Model이 Ground-Truth와 가장 비슷한 복잡도를 가질 때 최적의 Test Error를 갖는다. 위의 그래프에서 확인해보면, 붉은 선으로 그려진 Test Sample의 Curve가 최하의 y 값을 가질 때가 최적이다.

편향-분산 트레이드 오프와 트레이닝vs테스트셋 성능을 생각해보면, x축(Model Complexity)이 좌측일수록 Bias는 커지지만 Variance는 작아지고, 우측일수록 Bias는 작아지지만 Variance는 커짐을 알 수 있다.

따라서 최적의 Model Complexity를 넘기는 과적합(OverFitting) 문제가 발생하면 Test Error가 최하점에서 다시 증가하는 것을 알 수 있다.

References

1. RPubs by RStudio

머신러닝에서 회귀분석의 의미

회귀분석은 종속 변수(target)와 하나 이상의 설명 변수(예측 변수라고도 함) 간의 미래 사건을 예측하는 방법이다. 예를 들면, 난폭운전과 운전자에 의한 교통사고 총 건수 사이의 상관관계를 예측하거나 비즈니스 상황에서는 특정 금액을 광고에 사용했을 때와 그것이 판매에 미치는 영향 사이의 관계를 예측하는 데 사용할 수 있다.

회귀분석은 머신러닝의 일반적인 모델 중 하나이다. 회귀분석 모델은 수치적 가치를 추정한다는 측면에서 관측치가 어느 범주에 속하는지를 식별하는 분류 모델과 다르다.

회귀분석은 예측, 시계열 모델링 및 변수 간 인과관계 발견 등에 주로 사용된다.

회귀분석이 중요한 이유

회귀분석은 실제 응용 프로그램에서 넓게 활용되고 있다. 연속 숫자를 포함하는 모든 머신러닝 문제 해결에 필수적이며, 여기에는 다음을 비롯한 많은 예가 포함된다:

금융 관련 예측(주택 가격 또는 주가) 판매 및 프로모션 예측 자동차 테스트 날씨 분석 및 예측 시계열 예측 회귀분석은 두 개 이상의 변수 사이에 유의미한 관계가 존재하는지 여부를 알려줄 뿐만 아니라 그 관계성에 대한 보다 구체적인 정보를 제공할 수 있다. 특히, 여러 변수가 종속 변수에 미치는 영향의 강도를 추정할 수 있다. 만약 한 변수(가령 가격)의 값을 변경하면 회귀분석을 통해 종속 변수(판매)에 어떤 영향을 미칠지 알 수 있다.

기업은 회귀분석을 사용하여 여러 척도로 측정된 변수의 효과를 검정할 수 있다. 활용할 수 있는 도구 상자에 회귀분석을 포함해두면, 예측 모델을 구축할 때 사용할 최상의 변수 집합을 평가하여 예측 정확도를 크게 높일 수 있다.

마지막으로 회귀분석은 데이터 모델링을 사용하여 머신러닝에서 회귀 문제를 해결하는 가장 좋은 방법이다. 차트에 데이터 포인트를 표시하고 이들을 관통하는 가장 적합한 선을 그어 각 데이터 포인트의 오류 가능성을 예측할 수 있다. 즉, 각 데이터 점이 선에서 멀리 떨어져 있을수록 예측 오차가 커진다(이 가장 적합한 선을 회귀선이라고 부르기도 한다).

회귀분석의 다양한 유형

References

1. 애피어 - 회귀분석 기법의 5가지 일반 유형과 각각의 활용 방법

• Confusion Matrix
• ROC Curve
• AUC Score

1. 추정해야할 계수의 수가 적기 때문에 적합하기가 쉽다.
2. 계수들에 대한 해석이 간단하고 통계적 유의성을 쉽게 검정할 수 있다.
3. f(X)의 형태에 대한 강한 가정을 근거로 구성된다.

비모수적 기법 (non-parametric)

1. 모수적 형태를 명시적으로 가정하지 않고, 그렇게 함으로써 더욱 유연한 또 다른 회귀 기법을 제공한다
2. 선택된 모수의 형태가 모수적 기법에 가깝지 않은 경우 비모수적 기법의 성능이 훨씬 좋다.
3. 비모수적 기법이 초래한 분산 증가는 편향 감소로 상쇄되지 않는다.

KNN 적합의 예시

인공신경망은 모수적 모델인가 비모수적 모델인가$?^{[1]}$

인공신경망 모델은 인풋, 은닉, 아웃풋 3개의 층(layer)으로 구성되어 있으며 각 층에 있는 노드들이 서로 연결된 네트워크 그래프 형태로 표현된다. 인공신경망 모델은 일단 네트워크 구조가 결정되면, 층간 노드들을 연결하고 있는 연결선의 가중치를 결정하는 것이 핵심이다. 여기에서 가중치는 모수(parameter)이며, 은닉층의 개수, 은닉층에 포함할 노드의 개수 등은 하이퍼모수(hyperparameter)이다. 모수인 가중치를 계산할 때 확률분포의 개념은 사용되지 않는다. 따라서 확률분포 사용 여부를 기준으로 본다면 인공 신경망은 비모수적 모델이다. 따라서 우리는 세미모수적 모델이라는 새로운 개념을 소개해보도록 하겠다.

세미모수적 기법 (semiparametric)

모수와 비모수의 중간으로, 연결선의 가중치인 모수가 존재하나 이 모수는 확률 분포와는 무관하게 얻어진다. ex. 인공신경망, 서포트 벡터 머신

References

1. 모수 모델 vs 비모수 모델

1. 반응변수-설명변수 상관관계의 비선형성
2. 오차항들의 상관성
3. 오차항의 상수가 아닌 분산
4. 이상치
5. 레버리지가 높은(영향력이 큰) 관측치
6. 공선성

1. 데이터의 비선형성

선형회귀모델의 기본 가정은 반응변수와 설명변수 사이에 직선(선형의) 상관관계가 있다는 것이다. 이는 즉, 실제 데이터가 반응변수와 설명변수 사이에서 직선(선형의) 상관관계를 보이지 않는다면, 선형회귀모델을 통해 얻은 모든 결론에 대해 신뢰할 수 없다는 점이다.

우리는 실제 데이터가 비선형성을 나타내는지 보기 위해 아래와 같은 테크닉을 취할 수 있다.

잔차 그래프

잔차 그래프는 비선형성을 식별하는 데 유용하다. 선형회귀모델에 문제가 있다면, 잔차 그래프에는 패턴이 존재할 것이다. 만약 선형회귀모델이 데이터를 잘 표현한다면, 잔차 그래프는 특정한 패턴이 보이지 않을 것이다. 만약 잔차그래프가 특정한 패턴을 통해 비선형 상관성이 있다는 것을 나타낸다면, 우리는 $log X, \sqrt{X}, X^{2}$와 같이 설명변수를 비선형적으로 변환하여 회귀모델에 적용하는 것이 간단한 접근법이다. 위의 그래프에서 Case 1은 잔차에 패턴이 거의 보이지 않고, 이차항에 대한 데이터 적합이 잘 되었다는 의미이다. 반면 Case 2는 모델이 비선형성에 대한 적합을 하지 못해서, 잔차 그래프에서 원본 데이터의 비선형성이 패턴으로 나타나는 모습을 볼 수 있다.

2. 오차항의 상관성

선형회귀모델의 가장 중요한 가정은 오차항들 $\epsilon_{1}, \epsilon_{2}, ..., \epsilon_{n}$이 서로 상관되어 있지 않다는 것이다. 만일 오차항들 사이에 상관성이 있으면 추정된 표준오차는 실제 표준오차를 과소 추정하는 경향이 있을 것이다. 상관성은 이산 시점에 측정된 관측치들로 구성된 시계열 데이터에서 자주 발생된다. 많은 경우, 이웃하는 시점에 얻어진 관측치들은 양의 상관성을 가지는 오차를 가질 것이다. 모델의 잔차를 시간의 함수로 그리고, 오차항들이 상관되어 있지 않다면 인지할만한 패턴이 보이지 않을 것이다. 반대로 오차항들이 양의 상관성을 가진다면, 잔차에서 패턴을 볼 수 있을 것이다.

3. 오차항의 상수가 아닌 분산

선형회귀모델에서 중요한 또 다른 가정은 오차항들의 분산 $Var(\epsilon_{i})=\sigma^{2}$이 상수라는 것이다. 오차의 비상수 분산 혹은 이분산성(heteroscedasticity)은 잔차 그래프에 깔때기 형태(funnel shape)가 있는지를 보고 식별할 수 있다. 잔차 그래프에 깔때기 형태를 보이면, 오차에 이분산성이 있다는 것이며 선형회귀모델의 데이터에 특별한 transformation을 행하거나 다른 모델을 취해야 한다. 위 그래프에서 붉은색 선은 추세를 식별하기 위한 잔차에 대한 평활적합이며, 파란색 선은 외측 분위수(outer quantiles)를 따라가며 오차의 이분산성을 파악하기 위함이다. 왼쪽은 깔때기 형태를 보여주며 이는 오차의 이분산성이 있음을 보여주고, 오른쪽은 Y에 로그변환을 통해 이분산성이 사라졌음을 보여준다.

4. 이상치 (Outliers)

이상치는 주어진 설명변수의 값 $x_{i}$에 대해 반응변수의 값 $y_{i}$가 보통 수준과는 다른 관측치이다. 이상치가 관찰되는 원인은 다양한데, 실제 데이터가 이상치를 포함하고 있을 수도 있고 데이터를 수집할 때 관측치를 잘못 기록하는 등의 수집 과정에서의 문제가 있을 수도 있다. 우리는 수집된 데이터를 통해 정말 '이상해 보이는 데이터'가 이상치인지를 알기는 어렵지만, 잔차 그래프를 통해 이상치를 식별할 수 있다.

우리는 여기에서 이상치로 판정된 관측치를 제외할 것인지에 대한 문제에 직면한다. 이상치가 데이터 수집 혹은 기록 오류에 의해 발생되었다고 생각하면 단순히 그 관측치를 제외하면 된다. 하지만 이상치는 필요 설명 변수가 없는 것과 같이 모델의 결함을 나타내는 것이라면 무작정 제외하고 가는 것은 위험할 수 있다.

5. 레버리지가 높은 관측치

높은 레버리지를 가지는 관측치는 대응하는 $x_{i}$ 값이 보통 수준과 다르다. 레버리지가 높은 관측치를 제외하는 것이 이상치를 제외하는 것보다 최소 제곱선에 더 큰 영향을 미친다. 단순선형회귀에서는 레버리지가 높은 관측치를 찾아 제거하는 것이 아주 쉽다. 하지만 다중선형회귀에서는 각 개별 설명변수 값의 범위에 있으나 전체 설명 변수를 고려했을 때 보통 수준과 다른 관측치를 찾을 수 있을 것이다. 예를 들면, 위 그래프의 중앙 패널과 같이 $X_{1}, X_{2}$ 설명변수끼리의 관계를 확인했을 때, 붉은색 동그라미로 표기된 관측치는 다중회귀모형에서 레버리지가 높은 관측치가 될 수 있다. 이를 그래프로 확인하는 방법은 2차원 이상의 설명변수끼리의 관계에서는 매우 어렵다. 따라서 우리는 관측치의 레버리지를 수량화하기 위해 레버리지 통계량_을 계산한다. 아래는 단순선형회귀에서의 레버리지 통계량이다. $h{i}=\frac{1}{n}+\frac{(x_{i}-\bar{x})^{2}}{\sum^{n}{i'=1}(x{i'}-\bar{x})^{2}}$ 레버리지 통계량 $h_{i}$은 항상 $1/n$과 $1$사이 값이고, 모든 관측치에 대한 평균 레버리지는 항상 $(p+1)/n$이다. 주어진 관측치가 $(p+1)/n$보다 훨씬 큰 레버리지 통계량을 가지면 대응하는 점은 높은 레버리지를 가진다고 의심해 볼 수 있다.

6. 공선성

공선성(Collinearity)은 두 개 또는 그 이상의 설명변수들이 서로 밀접하게 상관되어 있는 경우를 말한다. 아래의 그래프에서 왼쪽 Limit, Age 설명변수의 산점도를 통해 우리는 두 설명변수가 공선성을 거의 갖지 않음을 알 수 있고, 오른쪽 Limit, Rating 설명변수의 산점도를 통해 우리는 두 변수가 서로 매우 강하게 상관되어 있음을 알 수 있다. 설명변수간의 강한 상관성을 공선형적(colinear)이라고 한다. 회귀에서 공선성의 존재는 매우 큰 문제를 일으키는데, 이유는 반응 변수에 대한 공선형 변수들의 개별 효과를 분리하기 어려울 수 있기 때문이다. 공선성은 회귀계수 추정치의 정확성을 낮추므로 개별 $\hat{\beta_{j}}$에 대한 표준오차가 증가하게 한다. 따라서 공선성은 t-통계량을 줄인다(t-통계량은 $\hat{\beta_{j}}$를 그 표준오차로 나누어 계산하기 때문).

공선성을 검출하는 간단한 방법은 설명변수들의 상관행렬을 살펴보는 것이다. 하지만 유감스럽게도 모든 공선성 문제가 상관행렬에 의해 발견되는 것이 아니다. 특히 두 개의 쌍을 이루는 변수끼리 공선성을 갖지 않더라도 세개 또는 그 이상의 변수들 사이에 공선성을 가질 수 있다. 이를 다중공선성(multicollinearity)라고 한다. 공선성을 검출하는 가장 확실한 방법은 분산팽창인수(variance inflaction factor(VIF))를 계산하는 것이다. VIF는 전모델(full model) 적합 $\hat{\beta_{j}}$의 분산을 자신만의 적합에 대한 $\hat{\beta_{j}}$의 분산으로 나눈 비율이다. $VIF(\hat{\beta_{j}}) = \frac{1}{1-R^{2}{X{j}|X_{-j}}}$ VIF의 가능한 가장 작은 값은 1이며, 공선성이 전혀 없음을 나타낸다. 현실세계의 대부분의 데이터는 설명변수들 사이에 작은 양의 공선성이 있고, 5 또는 10을 초과하는 VIF 값은 문제가 있는 정도로 판정한다.

공선성 문제를 해결하는 대표적인 방법 2가지는 다음과 같다.

1. 회귀에서 문제가 있는 변수들 중 하나를 제외한다.
2. 공선성 변수를 단일 설명변수로 결합한다.

References

1. Understanding Diagnostic Plots for Linear Regression Analysis
2. RN Financial Research Centre - Lesson 3 - Simple Linear Regression

지도학습의 매우 단순한 기법인 선형회귀에 대한 부분이다. 양적 반응변수를 예측하는데 유용하게 사용되고 있으며, 많은 통계 학습 기법이 선형 회귀의 일반화 또는 확장으로 볼 수 있다.

1. 단순 선형 회귀

2. 다중 선형 회귀

3. 잠재적 문제

선형회귀모델의 가정

• 반응변수와 설명변수 사이에 직선(선형의) 상관관계가 있다.
• 오차항들 $\epsilon_{1}, \epsilon_{2}, ..., \epsilon_{n}$이 서로 상관되어 있지 않다.
• 오차항들의 분산 $Var(\epsilon_{i})=\sigma^{2}$이 상수이다.

LDA

LDA 분류기는 개별 클래스 내의 관측치들이 클래스 특정(클래스 별) 평균 벡터와 클래스 공통의 분산 $\sigma^{2}$을 갖는 정규분포를 따른다는 가정 하에 이 파라미터에 대한 추정값을 베이즈 분류기에 대입하여 얻는다. 즉, 개별 클래스를 분리해서 생각하고 베이즈 정리를 사용하여 $Pr(Y|X)$ 근사값을 얻는다. 그리고 각 클래스에 정규 분포를 사용하면 linear 혹은 quadratic discriminant analysis가 된다. 참고. 정사영을 이용한 LDA 유도

LDA가 필요한 이유

• 클래스들이 잘 분리될 때 로지스틱 회귀모델에 대한 모수 추정치는 아주 불안정하다. 선형 판별 분석은 이런 문제가 없다.
• 만약 n이 작고 각 클래스에서 설명변수 X의 분포가 근사적으로 정규분포이면 선형판별모델은 로지스틱 회귀모델보다 더 안정적이다.
• 선형판별분석은 반응변수의 클래스 수가 2보다 클 때 일반적으로 사용된다.

QDA

질적 반응변수를 예측하는데 사용될 수 있는 분류기는 아래와 같은 기법이 있다.

• 로지스틱 회귀(logistic regression)
• 선형판별분석(linear discriminant analysis)
• K-최근접이웃(k-nearest neighbor hood)
• 일반화가법모델(generalized additive model)
• 트리(tree)
• 랜덤포레스트(random forest)
• 부스팅(boosting)
• 서포트 벡터 머신(support vector machine)

관측치를 범주 혹은 클래스로 예측하는 것은 그 관측치를 분류 하는 것이라고 할 수 있기 때문에 우리는 통상적으로 분류에 사용되는 방법들을 분류기라고 부른다. 분류에 사용되는 방법들은 보통 질적 변수의 각 범주에 대한 확률을 먼저 예측하여 이것을 분류의 근거로 삼는다.

이런 의미에서 분류 방법 또한 회귀 방법처럼 동작한다.