Threshold Selection | Machine Learning | Pusan National University

임계값을 낮추면점수가 고정되어 있을 때 TP와 FP는 늘거나 같고 FN은 줄거나 같다.

평가 기준 먼저놓친 사기(FN)와 잘못된 경보(FP)의 비용을 정한 뒤 그 기준으로 임계값을 고른다.

자료의 역할임계값은 검증 자료에서 고르고, 테스트 자료에서는 고정한 임계값을 한 번 평가한다.

임계값을 낮출수록 사기를 더 찾지만 잘못된 경보도 늘어난다

가상 거래 100건(사기 6건)의 사기 확률 추정값은 그대로 두고 임계값 t를 바꾸면 사기로 분류하는 거래와 네 칸의 수가 바뀐다.

임계값 t 0.50

가로축은 사기 확률 추정값이며 작은 값을 넓게 보이도록 제곱근 눈금을 썼다. 위 줄의 초록 점은 실제 사기 6건, 아래 줄의 파란 점은 정상 94건이다. 빨간 세로선이 임계값, 그 오른쪽 초록 영역이 사기로 분류되는 구간이고 흐린 점은 정상으로 분류된 거래다.

같은 거래 100건에서 임계값을 옮기면 실제 사기 중 놓친 비율, 실제 정상 중 잘못 경보한 비율, 전체 오류율이 곡선 위에서 바뀐다.

임계값 t 0.20

가로축은 임계값이다. 초록 긴 점선은 FN 비율 FN/6, 파란 짧은 점선은 FP 비율 FP/94, 검은 실선은 전체 오류율 (FN + FP)/100이며 빨간 세로선이 현재 임계값이다.

놓친 사기 하나의 비용을 잘못된 경보 하나의 몇 배로 볼지 바꾸면 검증 자료에서 총비용이 가장 작은 임계값이 바뀐다. 테스트 자료(사기 6건, 정상 94건)에서는 그 임계값을 고정해 평가한다.

FN 한 건의 비용 (FP 한 건 = 1)

가로축은 임계값, 세로축은 총비용 FN × 비용 + FP다. 짙은 파란 실선은 검증 자료, 빨간 점선은 테스트 자료이며 초록 점이 검증 자료에서 고른 임계값이다.