회귀분석(Regression Analysis), 분산분석(ANOVA), 실험계획(DOE) 를 사용하여 적합한
선형모형을 찾은 다음에, 회귀모형이 분석중인 데이터와 얼마나 잘 적합되는지 결정할 필요가 있다.
선형회귀에서 모든 데이터 포인트와 적합한 회귀선 사이 거리를 최소화한 방정식을 계산한다.

기술적으로 최소제곱모형(Ordinary Least Squares, OLS) 회귀분석은 잔차(Residual)제곱값을
모두 합한 결과를 최소화시켜 준다. 일반적으로 관측값과 모형의 예측값 사이의 차이가 작고
불편추정이면 그 회귀모형은 데이터에 잘 적합한다고 말한다.

적합성(Goodness-of-Fit)에 대한 분석 결과값을 살펴보기 전에 먼저 잔차분석 플롯을 확인해야 한다.
잔차분석 그래프가 원하지 않는 잔차의 패턴을 나타내 보일 수도 있는데, 이것을 통해 분석결과를 숫자로
보는 것보다 좀더 효율적으로 편의된 결과가 있음을 확인할 수 있다.

잔차분석 플롯을 확인을 통과한 다음, 회귀분석 결과로 부터 구한 숫자로 된 결과들을 신뢰할 수
있으므로 적합성(Goodness-of-Fit) 관련 통계량을 확인하도록 한다.

R-Square값은 분석중인 데이터가 회귀선에 얼마나 가깝게 적합하고 있는지에 대한 통계적 측정값이다.
'R-square 값 = 설명된 분산값 / 총분산값' 이며 항상 0~100% 사이의 값을 가진다.

R-Square값이 클수록 데이터 포인트들이 적합된 회귀선에 더 가깝게 위치하고 있음을 설명하며
100%가 되면 적합값과 관측값이 같아져서 모든 데이터 포인트들이 회귀선상에 위치하게 된다.

그렇지만 R-Square값을 통해 계수추정값과 예측값이 편의가 되어있는지 아닌지에 대해서는 결정할
수 없기 때문에 반드시 잔차플롯 평가를 먼저해야 한다. 또한 R-Square값은 분석한 회귀모형이
적합한지 하지 않은지에 대한 평가를 해주지 않는다. 즉, 잘 적합한 회귀모형에 R-Square 값이
작을 수도 있으며, 잘 적합되지 않은 모형에 R-Square값이 클 수도 있다.

R-Square값이 낮은 값으로 분석되면 본질적으로 좋지 않은 것이냐 하면, 그렇지 않다.
예를 들어 심리학과 같은 사람의 행동예측을 연구하는 분야에서는 기대하는 R-Square값이 대체로
낮은 값이 나타나며 일반적으로 50% 이하라고 알려져 있다. 사람은 물리적인 공정보다 예측하기
어렵기 때문이다.

뿐만 아니라, R-Square값이 낮지만 유의한 예측변수를 찾았다면 반응결과값의 변화와 관련된
예측변수가 어떻게 변하는지에 대해 중요한 결론을 이끌어 낼 수 있다. R-Square값에 관계없이
유의한 변수들은 반응결과 평균치 변화에 대한 주요한 역할을 한다.

낮은 R-Square값이 가장 문제가 되는 경우는 상당히 정확한 예측값을 필요로 할 경우이다.
그렇다면 예측을 위해 R-Square값은 얼마나 커야하는 것일까? 그것은 예측구간(Prediction Interval)에
대한 요구조건과 분석 데이터내에 변동성이 얼마나 있는지에 따라 다르다. 정확한 에측을
위해 높은 R-Square값이 필요하지만 그것 자체만으로는 충분하지 않다.

그렇다면 R-Square값이 높다면 본질적으로 좋은것이냐 하면, 역시 그렇지 않다.
높은 R-Square값이 회귀모형이 잘 적합하고 있음을 나타내기 위한 필수조건은 아니다.

먼저 회귀 적합선을 나타낸 그림을 살펴보면 반도체의 전자 유동성과 밀도의 자연로그 간의
적합선을 나타내고 있고 R-Square값이 96.5%으로 꽤 높은 값이다. 그렇지만, 회귀선이
어떻게 곡선을 따라 데이터 포인트들이 자리잡고 있는지 살펴보면 곡선의 위, 아래를
규칙적으로 넘나들고 있음을 볼수 있다.

그리고 잔차플롯을 살펴보면, 랜덤하다고 보기에는 무언가의 패턴이 발견되며 이것은 적합성이
좋지않음을 나타내고 왜 잔차플롯 분석을 하라고 하는지 의미를 상기시켜줄 것이다.

그렇지만, 분석중인 선형모형에서 중요한 예측변수, 다항변수, 교호항이 누락되었을 때도
비슷하게 편의현상이 발생된다. 이것을 통계에서는 규격편의(Specification Bias)라는데,
분석수준이 떨어지는 모형에 의해 발생된다. 이런 유형의 편의는 모형에 적절한 변수를
추가하여 잔차를 수정할 수 있다.

R-Square값은 분석중인 선형모형이 관측값들과 얼머나 잘 적합하는지를 나타내는 간편하고
직감적으로 이해하기 쉬운 측정값이다. 그렇지만, 위에서 보았다시피 R-Square값이
분석결과의 모든 것을 설명해 주지는 못한다. 그러므로, 회귀분석시에는 반드시 잔차플롯
분석과 함께 R-Square값을 평가해야 한다.

R-Square값이 분석모형과 반응변수간의 상관관계의 강도의 추정값을 제공하는 반면에
상관관계에 대한 정식적인 가설검정 결과는 제공해 주지 않는다. 전체 모형에 대한
F-test 결과를 확인하면 이 상관관계가 유의한 것인지 아닌지 결정할 수 있다.