조정 R-제곱이란 무엇인가? 정의, 예시

조정된 R-제곱은 회귀 모델이 데이터를 얼마나 잘 맞추는지를 통찰력 있게 제공하는 통계적 측정값으로, 사용된 예측 변수의 수를 고려합니다. R-제곱이 독립 변수에 의해 설명될 수 있는 종속 변수의 분산 비율을 나타내는 반면, 조정된 R-제곱은 모델의 예측 변수 수에 따라 이 값을 조정합니다. 이 조정은 매우 중요합니다. 왜냐하면 더 많은 예측 변수를 추가하면 R-제곱이 인위적으로 부풀려져 잘못된 해석을 초래할 수 있기 때문입니다.

• R-제곱 (R²): 이것은 모델이 설명하는 분산의 비율을 나타내는 기본 지표입니다. 0에서 1까지의 범위를 가지며, 값이 높을수록 더 나은 적합을 나타냅니다.

• 예측 변수의 수 (k): 이는 모델에 포함된 독립 변수의 수입니다. 예측 변수를 더 많이 포함할수록 실제 기여도와 관계없이 R-제곱 값이 높아질 수 있습니다.

• 샘플 크기 (n): 이것은 데이터셋의 총 관측 수입니다. 더 큰 샘플 크기는 모델 성능에 대한 더 신뢰할 수 있는 추정치를 제공할 수 있습니다.

• 과적합 방지: 과도한 예측 변수를 처벌함으로써, 조정된 R-제곱은 데이터의 노이즈에 단순히 맞추는 것이 아니라 진정으로 예측 가능한 모델을 식별하는 데 도움을 줍니다.

• 모델 비교: 이는 서로 다른 수의 예측 변수를 가진 모델 간의 공정한 비교를 가능하게 합니다. 더 높은 조정 R-제곱 값은 불필요한 복잡성 없이 기본 관계를 더 잘 포착하는 모델을 나타냅니다.

• 더 나은 해석 가능성: 조정된 R-제곱은 설명된 분산의 비율에 대한 보다 현실적인 추정치를 제공하여 분석가가 결과를 전달하기 쉽게 만듭니다.

조정된 R-제곱에 대한 공식은 본질적으로 하나이지만, 다양한 맥락에서 계산될 수 있습니다:

• 다중 선형 회귀: 가장 일반적인 응용 프로그램으로, 여러 독립 변수를 사용하여 종속 변수를 예측합니다.

• 다항 회귀: 조정된 R-제곱은 변수 간의 관계가 n차 다항식으로 모델링되는 다항 회귀에도 적용됩니다.

• 일반화 선형 모델: 다양한 유형의 일반화 선형 모델에 적용할 수 있으며, 모델 성능에 대한 통찰력을 제공합니다.

• 예제 1: 하나의 예측 변수를 가진 간단한 선형 회귀 모델은 R-제곱이 0.85일 수 있습니다. 그러나 의미 있는 정보를 제공하지 않는 두 번째 예측 변수가 추가되면 조정된 R-제곱이 0.80으로 떨어질 수 있으며, 이는 두 번째 예측 변수가 도움이 되지 않음을 나타냅니다.

• 예제 2: 주택 가격을 포함한 다중 회귀 분석에서 다섯 개의 예측 변수를 가진 모델이 0.90의 R-제곱 값을 보일 수 있습니다. 다른 예측 변수를 추가했을 때 조정된 R-제곱 값이 0.90으로 유지된다면, 이는 새로운 예측 변수가 모델의 설명력을 향상시키지 않는다는 것을 시사합니다.

• 교차 검증: 이 기술은 데이터를 하위 집합으로 분할하여 모델의 성능을 검증하는 것을 포함하며, 조정된 R-제곱 평가에 영향을 줄 수 있는 통찰력을 제공합니다.

• 모델 선택 기준: Akaike 정보 기준 (AIC) 및 베이지안 정보 기준 (BIC)과 같은 기술은 최적의 모델 선택에서 조정된 R-제곱을 보완할 수 있습니다.

• 특징 선택: 후방 제거 또는 전방 선택과 같은 전략을 사용하면 가장 중요한 예측 변수를 식별하는 데 도움이 될 수 있으며, 궁극적으로 조정된 R-제곱을 개선할 수 있습니다.

요약하자면, 조정된 R-제곱은 회귀 모델의 성능을 평가하는 데 유용한 지표입니다. 예측 변수의 수를 조정함으로써, 분석가들이 과적합에 의해 오해받지 않고 의미 있는 관계를 식별할 수 있도록 도와줍니다. 이 개념을 이해함으로써, 통계 분석을 개선하고 데이터에 기반한 보다 정보에 입각한 결정을 내릴 수 있습니다.