회귀모형에서 가장 중요한 확률변수는 분석하는 목적과 분석하는 분야에 따라 다를 것이다.
그리고 분석하고 있는 샘플 데이터를 어떻게 수집하고 측정하였는가도 각 확률변수에 있어서
명백한 중요도에 영향을 미칠 수도 있다

먼저 통계적이거나 통계적 이지 않거나 회귀모형에서 가장 중요한 확률변수 결정하는 방법을
하나씩 알아보자.

■ 중요한 확률변수를 정의하기 위해 통계량을 사용하는 포괄적인 규칙

통계적인 방법들은 다른 예측변수의 상대적인 중요성을 보여줄 수 있다.
그렇지만 이러한 방법들은 확률변수들이 실질적인 관점에서 중요한지 아닌지는 결정할 수 없다.
실질적인 중요성을 결정하기 위해 여러분이 분석하는 영역의 지식을 사용할 필요가 있다.

분석하는 샘플을 어떻게 데이터를 수집하고 측정하였는가에 따라 모집단의 진짜 중요성과 비교하여 분석중인
샘플에 있는 확률변수의 명백한 중요성 사이에 편의가 발생할 수 있다.

만일 분석중인 관측값을 랜덤하게 수집하였다면, 분석중인 샘플 내의 예측변수의 변동성은 아마 모집단의
변동성을 반영할 것이다. 이 경우에 표준화된 회귀계수와 R-Square값의 변화는 모집단의 값을 반영할 것이다.

그렇지만 분석시에 제한된 범위에서 여러분 샘플의 예측변수의 값을 수집한다면 분석된 통계량은
그 예측변수의 중요성을 과소평가되는 경향이 있다. 역으로 만일 예측변수의 변동성이 모집단에 있는
변동성보다 크다면 분석된 통계량은 예측변수의 중요성을 과대평가하는 경향이 있다.

또한, 분석중인 예측변수에 대한 측정값의 정확도와 정밀도를 고려해야 한다. 왜냐하면 이것들은
명백하게 중요성 판단에 영향을 미치기 때문이다. 예를 들면, 낮은 품질의 측정값은 한 예측변수를 실제보다
덜 예측적인 것으로 보일 수도 있다.

만일 여러분의 목표가 반응값의 평균을 바꾸는 것이라면 여러분은 반응값과 예측변수 사에에 존재하는
상관관계보다는 인과관계에 대한 확신을 가져야 한다. 만일 인과관계가 없는 상관관계가 나타난다면
중요성에 대한 통계적인 값과 관계없이 반응값을 의도하는 값으로 변화를 주기 위해서 의도적으로
예측변수를 변경해줄 필요가 없다.

인과관계가 있는지 결정하기 위해서 일반적으로 관찰값에 대한 분석보다 계획된 실험이 필요하다.