회귀모형에서 가장 중요한 확률변수는 분석하는 목적과 분석하는 분야에 따라 다를 것이다.
그리고 분석하고 있는 샘플 데이터를 어떻게 수집하고 측정하였는가도 각 확률변수에 있어서
명백한 중요도에 영향을 미칠 수도 있다

먼저 통계적이거나 통계적 이지 않거나 회귀모형에서 가장 중요한 확률변수 결정하는 방법을
하나씩 알아보자.

■ 확률변수의 중요성을 결정하기 위해 일반 회귀계수를 비교하지 마라

일반 회귀계수는 각 예측변수와 반응변수 사이의 관계를 나타낸다. 계수의 값은 예측변수가
한단위 증가할 때 반응변수의 평균 변화량을 나타낸 값이다. 따라서 큰 계수값을 가지는
확률변수가 반응변수에 더 큰 변화를 나타내기 때문에 좀더 중요하다고 생각하기 쉽다.

그렇지만, 사용된 단위는 확률변수들의 다른 유형 간에 서로 다르다. 그렇기 때문에
회귀계수를 직접 비교하는 것은 불가능하다. 예를 들어, 분석하고 있는 확률변수가 온도일때,
무게 혹은 화학적 농도일 때 그 경우마다 한 한위를 변화시키는 의미는 매우 다르다.

같은 측정유형 안에서 서로 다른 단위가 있는 요인의 경우에는 문제가 더욱 복잡해 진다.
예를 들어, 무게는 g(그램)과 kg(킬로그램)으로 측정될 수 있다. 만일 같은 데이터 세트에 대하여
한 모형안에서는 g(그램) 단위로 맞추고, 다른 회귀모형에서는 kg(킬로그램) 단위로 맞춘다면
비록 수행하고 있는 회귀모형은 변경되지 않고 있지만 무게에 해당하는 회귀계수는 1000배 다르게
변하게 된다. 즉, 확률변수의 중요성의 크기는 그대로인데 회귀계수는 크게 변하게 된다.

정리하면, 회귀변수가 크다고 예측변수가 더 중요하다고 여길 필요는 없다.

■ 확률변수의 중요성을 결정하기 위해 P-value를 비교하지 마라

회귀계수는 확률변수의 중요성을 나타내지 않는데 P-value는 어떨까?
어쨌던 우리는 어떤 확률변수를 먼저 모형에 포함시켜야 할 것인지 결정하는데 도움이 되는
낮은 P-value를 찾는다. P-value 계산은 여러가지 특성을 포함하지만 그 중에 중요도는 없다.
매우 낮은 P-value는 중요성 보다는 매우 정밀한 예측값, 큰 표본 크기와 같은 특성을 반영할 수 있다.
실제 상황에서 낮은 P-value가 주는 효과는 크지 않다.