Ridge Regression | Machine Learning | Pusan National University

RSS + λΣβⱼ²λ ≥ 0을 고정한 뒤 이 목적함수를 최소화하는 계수를 구한다.

절편과 척도절편은 벌점에서 제외하고, 특성은 학습 자료 기준으로 표준화한 뒤 벌점을 매긴다.

λ의 양 끝λ = 0이면 최소제곱이고, λ → ∞이면 계수는 0으로, 절편은 학습 관측값의 평균으로 수렴한다.

λ를 키우면 계수 벡터의 크기가 줄어든다

관측 30개, 표준화한 특성 8개 자료(실제로 쓰이는 특성은 x₁, x₄, x₇)에서 λ를 바꾸면 계수 경로 위 현재 위치, 계수 막대, RSS와 벌점이 바뀐다.

정규화 강도 λ 10

왼쪽: 선 하나가 계수 하나의 경로이고 파란 굵은 선이 실제로 쓰이는 x₁, x₄, x₇이다. 초록 세로선과 점이 현재 λ의 계수다. 오른쪽: 현재 계수 막대이며 점선 칸은 자료를 만들 때의 참 계수다.

소득 특성을 원 단위와 만원 단위로 적어 같은 예측값 βx = 100을 만든다. 단위를 바꾸면 계수 β와 그 제곱 β²가 바뀐다.

소득의 단위

행은 단위다. 두 행의 예측 기여 βx는 같고, 초록 테두리 행이 고른 단위다.

같은 자료에서 λ를 바꾸면 관측 30개의 예측값이 실제값을 따라가는 정도와 평균 쪽으로 모이는 정도가 바뀐다.

정규화 강도 λ 0

가로축은 실제값, 세로축은 학습 자료에서의 예측값이다. 초록 점이 관측 하나, 회색 점선이 예측 = 실제인 선, 빨간 점선이 학습 관측값의 평균이다.