Regularization Tradeoff | Machine Learning

E[(y₀ − f̂(x₀))²]= (E[f̂(x₀)] − f(x₀))² + Var(f̂(x₀)) + σ²이다.

편향(bias)과 분산(variance)편향은 평균 예측이 참함수값에서 벗어난 정도, 분산은 학습 자료를 바꿀 때 예측이 흔들리는 정도다.

λ 선택계수는 고정한 λ에서 목적함수로, λ는 교차검증의 평균 검증 오차로 정한다.

λ를 키우면 적합 곡선들이 덜 흔들리지만 평균 곡선은 참함수에서 멀어진다

참함수 f(x) = sin(2x) + x/2에서 잡음 σ = 0.5인 학습 자료를 200번 새로 뽑아 9차 다항식 ridge regression을 적합했다. λ를 바꾸면 적합 곡선들의 흩어짐, 평균 곡선의 위치, 세 오차 항이 바뀐다.

정규화 강도 λ 0.01

왼쪽: 검은 점선은 참함수, 옅은 파란 선은 서로 다른 학습 자료 8개로 적합한 곡선, 초록 선은 200개 곡선의 평균이다. 오른쪽: 막대는 x 구간 전체에서 평균한 편향의 제곱(짙은 파랑), 분산(초록), 잡음 분산(회색)이며 세 막대를 더한 값이 기대 제곱 예측 오차다.

편향의 제곱 증가보다 분산 감소가 클 때까지 예측 오차가 줄어든다

같은 모의실험의 세 항을 λ마다 이어 그렸다. λ를 옮기면 현재 위치에서 두 항의 크기와, 한 칸 더 키웠을 때 각 항의 변화량이 바뀐다.

정규화 강도 λ 0.01

가로축은 λ 후보(0과 로그 간격), 세로축은 오차다. 짙은 파란 실선은 편향의 제곱, 초록 점선은 분산, 빨간 실선은 기대 제곱 예측 오차, 회색 점선은 잡음 분산 0.25이며 초록 세로선이 현재 λ다.

λ는 학습 목적함수가 아니라 교차검증 오차로 고른다

관측 30개, 특성 8개(실제로 쓰이는 특성 3개) 자료에 ridge regression과 lasso를 적합했다. 방법과 λ를 바꾸면 학습 목적함수 값과 5-fold 교차검증 오차가 바뀐다.

방법

λ 10

왼쪽은 학습 자료 전체에서 잰 RSS와 벌점의 합(ridge regression 기준), 오른쪽은 5-fold 교차검증 평균 오차다. 초록 점이 현재 λ, 빨간 점이 각 그림의 최솟값이다.