Counting the Mistakes

Classification Metrics


혼동행렬(confusion matrix)은 이진분류의 결과를 TP, FP, FN, TN 네 칸의 관측 수로 적은 표다. 정확도, 정밀도(precision), 재현율(recall), F₁은 이 네 칸에서 서로 다른 분자와 분모를 골라 계산한다.

거짓 양성(FP)과 거짓 음성(FN)FP는 실제 음성을 양성으로, FN은 실제 양성을 음성으로 예측한 경우다.
정밀도 TP / (TP + FP)양성으로 예측한 관측 가운데 실제 양성의 비율이다.
재현율 TP / (TP + FN)실제 양성 가운데 양성으로 예측한 비율이며 민감도, TPR과 같다.

같은 혼동행렬에서 지표마다 세는 칸이 다르다

관측 1,000개 중 실제 양성은 20개, 음성은 980개다. 찾아낸 양성 수 TP와 양성으로 잘못 예측한 음성 수 FP를 바꾸면 네 칸과 네 지표가 함께 바뀐다.

왼쪽 표의 행은 예측, 열은 실제 범주다. 초록 칸은 맞힌 관측, 빨간 칸은 오류이며, 초록 테두리 칸이 강조한 지표의 분모에 들어가는 칸이다. 오른쪽 막대는 네 지표의 값이다.

양성을 어느 쪽으로 두느냐에 따라 정밀도와 재현율이 달라진다

질환 검사 결과 TP = 12, FP = 3, FN = 8, TN = 977을 그대로 두고 양성으로 부를 범주를 바꾸면 네 칸의 이름과 정밀도·재현율이 바뀌고 정확도는 그대로다.

행은 예측, 열은 실제 범주다. 칸마다 관측 수와 현재 양성 기준의 이름을 적었다. 초록 칸이 맞힌 관측이다.

한쪽 지표가 1이어도 F₁은 다른 쪽 오류를 드러낸다

같은 관측 1,000개, 양성 20개에서 예측 방식을 바꾸면 정밀도, 재현율, 두 값의 산술평균과 조화평균 F₁ = 2PR / (P + R)이 바뀐다.

정밀도, 재현율, F₁막대는 왼쪽부터 정밀도, 재현율, F₁이다. 빨간 점선은 정밀도와 재현율의 산술평균이다.
막대는 왼쪽부터 정밀도, 재현율, F₁이다. 빨간 점선은 정밀도와 재현율의 산술평균이다.