One Split Is One Sample

개념 확인: Cross-Validation

자료를 여러 번 나누어 검증 성능을 요약하고 후보 선택과 최종 평가를 구분한다.

문제 1

한 번 나누어 잰 점수의 한계

같은 학습 방법인데 학습·검증 자료를 다르게 나누면 검증 점수가 달라지는 이유를 두 가지 적는다.
개발 자료의 일부만으로 학습해 잰 검증 오차가 최종 모델의 오차보다 높게 나올 수 있는 이유를 적는다.
학습, 검증, 테스트 자료가 각각 정하는 것을 적는다.
학습 정확도는 0.98, 검증 정확도는 0.71일 때 먼저 의심할 원인과 확인할 것을 적는다.

해설 펼치기

학습 관측이 달라져 학습된 계수와 예측값이 달라지고, 검증 관측이 달라져 평가하는 관측의 난이도와 구성이 달라진다.
적은 관측으로 학습한 모델은 자료 부족으로 성능이 낮아질 수 있어, 개발 자료 전체로 학습할 최종 모델보다 오차를 높게 추정할 수 있다.
학습은 계수 등 매개변수를, 검증은 후보 모델과 설정의 선택을, 테스트는 선택을 마친 모델의 최종 성능을 정한다.
학습만 높으므로 과적합 또는 학습·검증 자료의 분포 차이를 의심하고, 학습·검증 구성과 모델 복잡도를 확인한다.

문제 2

k-fold 계산

관측 200개인 개발 자료로 5-fold 교차검증을 한다.

다섯 fold의 검증 MSE가 12, 15, 11, 14, 13일 때 CV₍₅₎를 구한다.
한 번의 학습에 쓰는 관측 수와, 한 관측이 학습과 검증에 각각 몇 번 쓰이는지 적는다.
같은 자료로 LOOCV를 하면 모델을 몇 번 학습하는지와 한 번의 학습 관측 수를 적는다.
LOOCV의 오차 추정 분산이 5-fold보다 항상 작다고 할 수 없는 이유를 적는다.

해설 펼치기

(12 + 15 + 11 + 14 + 13)/5 = 13이다.
200 × 4/5 = 160개다. 학습에 4번, 검증에 1번 쓰인다.
n = 200번 학습하고 한 번에 199개를 쓴다.
학습 자료가 거의 같아 학습된 모델들의 예측이 강하게 상관될 수 있다. 상관된 결과를 평균하면 독립적인 결과만큼 변동이 줄지 않는다.

문제 3

후보를 고르고 평가하기

같은 5-fold 분할로 다항 회귀의 차수 후보를 비교했다(MSE, 낮을수록 좋음).

다항 차수	평균 검증 MSE	분할 간 표준편차
2	31.5	2.1
5	26.8	1.9
9	27.1	3.4

평균 검증 MSE로 고를 후보를 적는다.
차수 5와 9의 평균 차이가 작을 때 더 확인할 것을 두 가지 적는다.
고른 뒤 최종 모델을 학습하는 자료와, 최종 성능을 재는 자료를 적는다.
선택에 쓴 교차검증 점수를 최종 성능으로 보고하면 어떤 문제가 있는지 적는다.

해설 펼치기

평균 검증 MSE가 가장 낮은 차수 5다.
같은 fold에서 차수 5가 일관되게 나은지, 성능 차이가 작다면 더 단순한 후보의 복잡도·비용도 비교한다. 표준편차 비교가 유의성 검정을 대신하지는 않는다.
선택한 설정으로 테스트 자료를 제외한 개발 자료 전체에서 다시 학습하고, 선택에 쓰지 않은 테스트 자료로 최종 평가한다.
선택에 사용한 검증 점수에는 선택의 영향이 남아 최종 성능을 낙관적으로 추정할 수 있다.

문제 4

fold를 나누는 방법

다음 자료에서 무작위 k-fold 분할의 문제와 알맞은 분할 방법을 적는다.

사기 거래가 전체의 1%인 거래 자료
환자 한 명을 여러 번 측정한 자료
날짜 순서가 있는 판매량 예측 자료

마지막으로, 표준화에 쓸 평균과 표준편차를 교차검증 전에 전체 개발 자료에서 구하면 생기는 문제를 적는다.

해설 펼치기

어떤 fold에는 사기 거래가 하나도 없을 수 있다. 범주 비율을 지켜 나눈다.
같은 환자가 학습과 검증 양쪽에 들어가 점수가 부풀려진다. 사람 단위로 나눈다.
미래 자료로 과거를 맞히게 된다. 시간 순으로 나눈다.

검증 fold의 정보가 학습 과정에 들어간다. 전처리 통계량도 각 학습 fold에서 구한다.

문제 5

변동과 계산 비용

모델 A의 5-fold 정확도가 0.82, 0.84, 0.83, 0.83, 0.83, 모델 B가 0.73, 0.93, 0.78, 0.88, 0.83일 때 두 평균과 차이를 적는다.
분할 간 변동이 평균의 신뢰구간을 뜻하는지 적는다.
후보 12개를 10-fold 교차검증으로 비교할 때의 학습 횟수를 구한다.
관측 500개에서 후보 3개를 LOOCV로 비교할 때의 학습 횟수를 구하고 k를 5나 10으로 시작하는 이유를 적는다.

해설 펼치기

둘 다 평균 0.83이지만 A는 분할별 점수가 0.82~0.84로 안정적이고 B는 0.73~0.93으로 크게 흔들린다.
아니다. 분할별 변동은 안정성을 살피는 정보이며 그 자체가 평균의 신뢰구간은 아니다.
12 × 10 = 120번이다.
3 × 500 = 1,500번이다. k = 5나 10은 학습 반복이 적으면서 각 실행에서 학습 자료를 80~90% 쓰므로 계산 비용과 추정의 편향·분산을 함께 고려한 출발점이 된다.