Learning and Generalization

Prediction Error


잡음 ε이 입력과 독립이고 기댓값이 0일 때, 학습을 마친 f̂와 입력 x를 고정하고 ε에 대해서만 기댓값을 내면, 제곱 예측 오차의 기댓값은 줄일 수 있는 오차 [f(x) − f̂(x)]²과 줄일 수 없는 오차 Var(ε)의 합이다. 예측 위치는 최저점까지의 거리를, 잡음 분산은 바닥의 높이를 정한다.

줄일 수 있는 오차[f(x) − f̂(x)]²이며 예측이 참 함수값에 가까울수록 작아진다.
줄일 수 없는 오차Var(ε)이며 어떤 예측으로도 없앨 수 없는 잡음의 분산이다.
관측 오차한 번 생성된 Y에 대한 (Y − f̂(x))²이며 그 기댓값과 다르다.

잡음은 오차 곡선의 바닥을 올리고 최저 위치는 그대로 둔다

f(x) = 4에서 예측값 f̂(x)와 잡음 분산 Var(ε)를 바꾸면 곡선의 높이, 현재 점, 두 항의 크기가 함께 바뀐다.

제곱 예측 오차의 기댓값 곡선예측값에 따른 제곱 예측 오차의 기댓값
가로축은 예측값 f̂(x), 세로축은 제곱 예측 오차의 기댓값이다. 파란 곡선은 (4 − f̂)² + Var(ε), 회색 점선은 잡음 바닥이다. 현재 점 아래의 초록 실선은 줄일 수 있는 오차, 짙은 점선은 Var(ε)의 높이다.

한 관측의 오차는 잡음 바닥보다 작을 수 있다

f(x) = 4, f̂(x) = 2, Var(ε) = 1로 고정하고 이번 관측의 잡음 ε를 바꾸면 Y와 관측 제곱 오차가 바뀐다.

f(x) = 4참 함수값
f̂(x) = 2예측
Y = f(x) + ε
세 카드는 참 함수값, 고정된 예측, 이번 잡음으로 생성된 관측이다. 초록 테두리가 ε에 따라 바뀌는 값이다.