Tree Prediction | Machine Learning | Pusan National University

경로와 구역뿌리에서 끝점까지의 경로는 한 구역에 도달하는 조건의 연쇄이고, 같은 끝점에 닿은 관측은 같은 범주로 예측된다.

끝점 수의 상한최대 깊이가 d이면 끝점은 많아야 2ᵈ개다. 깊이는 검증 성능을 비교해 고른다.

단위 변환x < 2 m를 100x < 200 cm로 바꿔도 같은 관측이 같은 쪽으로 가므로 표준화가 보통 필요 없다.

나무의 불안정성자료가 조금 바뀌어 맨 위 분할이 달라지면 그 아래 규칙이 통째로 달라 보일 수 있다.

새 관측은 조건을 따라 내려가 도달한 끝점의 다수 범주로 예측된다

학습 관측 40개로 키운 깊이 3의 분류 트리에 새 관측 하나를 넣는다. x₁과 x₂를 바꾸면 점이 놓인 구역, 나무에서 따라가는 경로, 끝점의 구성과 예측이 함께 바뀐다.

새 관측의 x₁ 5.0

새 관측의 x₂ 3.0

왼쪽에서 초록 원은 범주 1, 파란 사각형은 범주 0 학습 관측이고 검은 마름모가 새 관측이다. 구역 색은 끝점의 예측 범주이며 초록 테두리가 새 관측이 들어간 구역이다. 오른쪽 나무에서 굵은 초록 선과 테두리가 새 관측이 따라간 경로이고, 끝점의 두 수는 범주 0과 범주 1의 학습 관측 수다.

깊이를 늘리면 학습 오차는 계속 줄지만 검증 오차는 어느 깊이부터 다시 커진다

가운데 원 안이면 85%, 밖이면 15%의 확률로 범주 1이 되는 자료에서 학습 관측 100개로 나무를 키우고 검증 관측 1,000개로 잰다. 최대 깊이를 바꾸면 구역 모양과 두 오분류율이 바뀐다.

최대 깊이 4

왼쪽은 학습 관측 100개와 현재 깊이의 구역이고, 빨간 점선 원은 자료를 만든 원의 경계다. 오른쪽 곡선은 깊이별 오분류율이며 파란 실선이 학습, 초록 점선이 검증이고 세로 점선이 현재 깊이다.

비스듬한 경계는 축에 나란한 분할을 겹쳐 계단 모양으로 근사한다

같은 학습 관측 60개에 두 가지 참 경계를 붙인다. 경계 방향과 최대 깊이를 바꾸면 구역 모양, 필요한 분할 수, 학습 오분류 수가 바뀐다.

참 경계

최대 깊이 2

초록 원은 범주 1, 파란 사각형은 범주 0이고 빨간 점선이 참 경계다. 구역 색은 나무의 예측이며 검은 선이 분할 경계다. 오른쪽 막대는 깊이마다 쓰인 분할 수다.