One Line Is Not Enough

Linear Separability


자료가 선형 분리 가능(linearly separable)하다는 것은 모든 관측에서 yᵢ(wᵀxᵢ + b) > 0을 만족하는 w와 b가 있다는 뜻이다. 같은 선형 분류기라도 자료의 배치에 따라 분리할 수 있는지가 달라진다.

선형 분리 경계s = 0인 결정 경계 가운데 +1 관측은 모두 s > 0 쪽, −1 관측은 모두 s < 0 쪽에 두는 경계다.
선형 분리 가능모든 관측을 경계 밖 정답 쪽에 엄격히 두는 w, b가 있는 성질이다.
분리 경계는 여럿분리 가능한 유한 자료에는 분리 경계가 여러 개 있다.

AND와 OR은 직선 하나로 나뉘지만 XOR은 나뉘지 않는다

논리 자료를 고르면 강의의 분리 경계가 먼저 놓이고, w₁, w₂, b를 바꾸면 경계와 관측별 판정이 함께 바뀐다.

논리 자료와 경계네 점과 경계
빈 원은 정답 +1, 채운 원은 −1이다. 초록 칠은 s ≥ 0, 파란 칠은 s < 0이며, 빨간 원은 yᵢsᵢ ≤ 0으로 경계 밖 정답 쪽에 있지 않은 관측이다.

분리 가능한 자료에는 분리 경계가 여러 개 있다

AND 자료에서 w = (0.5, 0.5)로 두고 b만 바꾸면 네 점을 모두 분리하는 경계가 한 구간 전체에서 나온다.

평행 이동한 경계AND 자료와 경계
짙은 직선이 현재 경계이고 회색 점선 두 개는 네 점을 모두 분리하는 b 구간의 양 끝 경계다. 빨간 원은 판정이 틀리거나 경계 위에 놓인 관측이다.