ROC Curves | Machine Learning | Pusan National University

TPR = TP / (TP + FN)실제 양성 가운데 양성으로 분류한 비율이며 재현율과 같다. ROC 곡선의 세로축이다.

FPR = FP / (FP + TN)실제 음성 가운데 양성으로 잘못 분류한 비율이다. ROC 곡선의 가로축이다.

ROC AUC양성의 점수가 음성보다 높을 확률에 동점 확률의 절반을 더한 값이다.

임계값을 낮추면 FN은 늘지 않고 FP는 줄지 않는다

실제 양성 20개와 음성 980개의 점수 p̂는 그대로 두고 임계값 t를 바꾸면 양성으로 분류되는 관측과 네 칸의 수가 바뀐다.

임계값 t 0.50

가로축은 점수 p̂다. 위 줄의 점은 실제 양성 20개, 아래 막대는 실제 음성 980개를 0.05 간격으로 센 수다(막대 높이는 제곱근 척도, 막대 위 수가 개수). 빨간 세로선이 임계값이고, 그 오른쪽 초록 영역이 양성으로 분류되는 구간이다. 흐린 점과 막대는 음성으로 분류된 관측이다.

ROC 곡선은 모든 임계값의 (FPR, TPR)을 한 그림에 놓는다

점수를 매기는 방식을 고르고 임계값을 옮기면 곡선 위 현재 점과 그 점의 FPR, TPR이 바뀐다. 점수 방식을 바꾸면 곡선 전체와 AUC가 바뀐다.

점수 방식

임계값 t 0.50

가로축 FPR, 세로축 TPR이다. 파란 곡선이 ROC 곡선, 옅은 파란 면이 곡선 아래 넓이, 회색 점선 대각선이 무작위 순위의 기준선, 초록 점이 현재 임계값의 점이다.

같은 FPR도 실제 음성이 많으면 FP 건수가 커진다

TPR을 0.60(양성 20개 가운데 TP 12개)으로 고정하고, 실제 음성 수와 FPR을 바꾸면 FP 건수와 양성 예측 가운데 실제 양성의 비율이 바뀐다.

실제 음성 수

FPR

막대 전체가 양성으로 예측한 관측이다. 초록 부분은 실제 양성 TP, 빨간 부분은 실제 음성 FP이며, 두 부분의 길이 비가 건수의 비다.