개념 확인: Learning and Generalization

한 학생이 다음 순서로 모델을 만들었다.

1. 전체 자료를 학습 자료와 테스트 자료로 나눴다.
2. 학습 자료로 모델 A를 적합했다.
3. 테스트 오차를 확인했다.
4. 테스트 오차가 커서 모델 구조를 바꾸고 같은 테스트 자료를 다시 확인했다.
5. 가장 낮은 테스트 오차를 최종 성능으로 보고했다.

독립적인 최종 평가를 깨뜨린 단계를 찾고, 그 단계가 왜 문제인지와 테스트 자료를 어떤 원칙으로 사용해야 하는지 설명한다. 이 성능을 보고할 때 함께 밝혀야 할 정보 두 가지도 적는다.

어떤 회귀 모델의 잔차 y − ŷ가 학습 자료에서 0, 1, −1, 0, 테스트 자료에서 2, −2다.

1. 학습 MSE와 테스트 MSE를 계산한다.
2. 두 값의 차이만 보고 알 수 있는 것과 아직 단정할 수 없는 것을 각각 적는다.
3. 다른 분류 모델은 테스트 관측 8개 가운데 2개를 잘못 분류했다. 테스트 오류율을 구하고, MSE 대신 오류율을 써도 자료를 나누는 원칙이 같은지 적는다.

관측값이 Y = f(X) + ε를 따르고 ε은 X와 독립이고 𝔼(ε) = 0, Var(ε) = 9라고 하자. 모델이 f를 정확히 알아내 Ŷ = f(X)로 예측한다.

1. 이 모델의 제곱 예측 오차의 기댓값 𝔼[(Y − Ŷ)²]이 0이 될 수 있는지 적는다.
2. 모델을 더 복잡하게 만들면 Var(ε)를 줄일 수 있는지 적는다.
3. 줄일 수 있는 오차와 줄일 수 없는 오차를 식의 항으로 구분한다.

같은 학습 자료로 복잡도가 다른 세 모델을 적합하고, 학습에 쓰지 않은 별도 자료에서도 MSE를 쟀다. 최종 평가용 테스트 자료는 따로 남겨 두었다.

1. 과소적합의 증상이 가장 강한 모델을 고르고 편향·분산 가운데 주된 원인을 적는다.
2. 과적합의 증상이 가장 강한 모델을 고르고 주된 원인을 적는다.
3. 세 모델 가운데 고를 모델을 적고, 고른 뒤에도 따로 남긴 테스트 자료로 한 번 더 평가해야 하는 이유를 적는다.
4. C를 보고 ‘학습 오차가 거의 0이니 완성이다’라고 한 주장의 문제를 적는다.

같은 입력 x₀에 대해 학습 자료를 여러 번 새로 뽑아 모델을 다시 적합했다. 참 함수값은 f(x₀) = 𝔼(Y ∣ X = x₀) = 50이다.

• 방법 P의 예측: 39, 40, 41, 40
• 방법 Q의 예측: 30, 68, 45, 61

1. 구조적으로 같은 방향으로 빗나가는 증상이 더 강한 방법을 고르고 편향·분산과 연결한다.
2. 학습 자료가 달라질 때 적합이 흔들리는 증상이 더 강한 방법을 고르고 편향·분산과 연결한다.
3. 방법 Q의 흔들림을 키울 수 있는 조건 세 가지를 적는다.