Feature Importance | Machine Learning | Pusan National University

d_t = (n_t/N)[I_t − (n_L/n_t)I_L − (n_R/n_t)I_R]분기점 t 하나가 줄인 가중 불순도다. 회귀 트리에서는 (RSS_t − RSS_L − RSS_R)/N과 같다.

v_j = Σ d_t / Σ 전체 d_t특성 j로 나눈 분기점의 감소량만 더해 전체 감소량으로 나눈다. 분할이 없으면 모두 0이다.

인과가 아님중요도가 크다는 것은 이 나무에서 오차를 많이 줄였다는 뜻이고, 특성을 바꾸면 결과가 어떻게 변할지는 알려 주지 않는다.

중요도는 분기점마다의 감소량을 특성별로 모은 비율이다

y가 x₁에 크게, x₂에 조금 의존하고 x₃와는 무관하게 만든 학습 관측 120개로 회귀 트리를 키운다. 최대 깊이를 바꾸면 분기점이 늘고, 각 분기점의 감소량 조각과 특성별 합이 바뀐다.

최대 깊이 2

한 줄이 특성 하나다. 막대 안의 조각 하나가 그 특성으로 나눈 분기점 하나의 감소량 d_t이고, 조각을 모두 이은 길이가 특성 중요도 v_j다. 세 줄의 길이를 더하면 1이다.

y는 x₁에만 의존하고, x₁′은 x₁에 아주 작은 잡음을 더한 복사본, x₂는 y와 무관하다. 관측 100개에서 무작위로 다시 뽑은 학습 자료를 바꾸면 깊이 3 나무의 중요도가 어떻게 달라지는지 보인다.

학습 자료

한 줄이 학습 자료 하나로 키운 나무이며, 파란 부분이 x₁, 초록 부분이 x₁′, 회색 부분이 x₂의 중요도다. 초록 테두리 줄이 선택한 학습 자료다.