개념 확인: Imbalanced Data

문제 1~2는 검증 거래 2,000건 중 실제 사기 50건, 정상 1,950건인 가상 자료를 쓴다. 사기를 양성으로 둔다.

로지스틱 회귀 모델의 결과는 TP = 35, FP = 60, FN = 15, TN = 1,890이다.

1. 모든 거래를 정상으로 예측하는 기준모델의 정확도와 재현율을 구한다.
2. 로지스틱 회귀 모델의 정확도를 구하고 기준모델과 비교한다.
3. 정확도만 보고 기준모델을 고르면 무엇을 놓치는지 혼동행렬의 칸으로 적는다.
4. 기준모델을 같은 평가 자료에서 계산해야 하는 이유를 적는다.

문제 1의 검증 자료와 모델을 사용한다.

1. 문제 1 모델의 정밀도, 재현율, F₁을 구한다(소수 셋째 자리까지).
2. 음성 재현율(TN/(TN + FP))과 균형 정확도를 구하고, 기준모델의 균형 정확도와 비교한다.
3. 정확도를 (N₊/N) × 양성 재현율 + (N₋/N) × 음성 재현율로 나누어 계산하고, 양성 재현율이 정확도에 반영되는 비중을 적는다.
4. 놓친 사기를 줄이는 것이 목적일 때 우선 볼 지표와 함께 확인할 값을 적는다.

검증 거래 200건 중 사기 10건인 가상 자료에서 같은 확률 점수에 세 임계값을 적용했다.

1. 각 임계값의 FN, 정밀도, 재현율을 구한다(소수 셋째 자리까지).
2. ‘재현율 0.7 이상 중 FP가 가장 적은 임계값’을 기준으로 하면 무엇을 고르는지 적는다.
3. FP 비율과 FN 비율이 같아지는 임계값을 자동으로 고르면 안 되는 이유를 적는다.
4. 이 표가 검증 자료에서 나왔다면 선택한 임계값을 테스트 자료에서 어떻게 다뤄야 하는지 적는다.
5. 세 임계값을 PR 곡선의 (재현율, 정밀도) 점으로 적는다(소수 셋째 자리까지). 실제 사기 비율을 무작위 순위의 기준 높이로 둘 때 각 점이 그보다 위인지 확인하고, 세 점만으로 전체 PR 곡선을 얻었다고 할 수 있는지 설명한다.
6. 별도의 검증 자료 두 개가 각각 1,000건이며 양성 비율은 A에서 1%, B에서 10%다. 두 자료에서 같은 임계값의 양성 재현율은 0.8, 음성 중 양성으로 잘못 예측한 비율(FPR)은 0.1이라고 하자. 각각 TP·FP·정밀도를 구하고, 재현율과 FPR이 같아도 PR 곡선의 점이 달라지는 이유를 설명한다.

학습 관측 800개 중 소수 범주가 40개, 다수 범주가 760개다.

1. 다수 표본 줄이기와 소수 표본 복제하기로 두 범주 수를 맞출 때 각 범주 수와 합을 구한다.
2. 두 방법이 각각 잃거나 만들지 못하는 것을 적는다.
3. 전체 자료에서 소수 표본을 먼저 복제한 뒤 학습·검증으로 나누면 생기는 문제 두 가지를 적는다.
4. 올바른 순서를 층화 분할(stratify)을 포함해 적는다.

문제 4의 학습 자료에 균형 가중치 w(c) = n/(C × n(c))를 쓴다. C는 범주 수, n(c)는 범주 c의 학습 관측 수다.

1. 소수와 다수 범주의 관측당 가중치와 범주별 가중치 합을 구한다(소수 셋째 자리까지).
2. 가중치를 틀린 예측에만 곱한다는 설명이 왜 틀렸는지 적는다.
3. 가중치 적용 후 재현율이 0.60에서 0.89로 오르고 정밀도가 0.89에서 0.05로 떨어졌다. 어떤 변화가 일어났는지 FP와 FN으로 설명한다.
4. 균형 가중치가 실제 업무의 오류 비용을 뜻하지 않는 이유와, 가중치로 해결하기 어려운 상황 하나를 적는다.