부산대학교기계학습개론
Scientific Inference Lab

Learning and Generalization

Training and Test Data

같은 모델도 평가하는 관측이 달라지면 평균제곱오차(mean squared error, MSE)와 선택 결과가 달라진다. 테스트 자료는 모델 결정에 쓰이지 않을 때만 독립된 평가가 된다.

학습 MSE적합에 사용한 관측의 평균제곱오차다.
테스트 MSE학습에 쓰지 않은 관측의 평균제곱오차다.
평가 독립성테스트 결과가 모델 결정으로 되돌아가지 않는 성질이다.

학습 MSE가 작은 모델과 테스트 MSE가 작은 모델이 다를 수 있다

평가에 쓰는 자료를 바꾸면 같은 두 모델의 제곱 오차 행, 두 MSE, 더 작은 모델이 함께 바뀐다.

자료관측 y모델 A 예측모델 B 예측A 제곱 오차B 제곱 오차
파란 행이 평가에 쓰는 자료다. 초록 테두리 칸은 그 자료에서 MSE가 더 작은 모델의 제곱 오차다.

테스트 결과로 모델을 고르면 그 값은 독립된 평가가 아니다

테스트 MSE의 쓰임을 바꾸면 결정 흐름에서 되먹임 경로와 최종 보고값의 성격이 바뀐다.

상자는 결정 순서다. 빨간 점선 상자는 테스트 결과가 모델 결정으로 되돌아간 단계, 초록 상자는 독립된 평가 단계다.