부산대학교기계학습개론
Scientific Inference Lab

One Line Is Not Enough

Linear Separability

선형 경계가 공간을 나누는 방식과 한 직선으로 나눌 수 없는 자료를 판정한다.

문제 1

점수의 부호와 경계

w = (2, −1), b = −2인 선형 점수 s = wᵀx + b다.

  1. 점 (2, 1), (0, 0), (1, 0)의 점수를 구하고 각 점이 양의 반공간, 음의 반공간, 경계 위 가운데 어디인지 적는다.
  2. 경계 위의 점 (1, 0)을 어떻게 예측할지 정해야 하는 이유를 적는다.
  3. w는 경계에 대해 어느 방향을 가리키는지 적는다.
  4. w는 그대로 두고 b만 0으로 바꾸면 경계가 어떻게 달라지는지 적는다.
해설 펼치기
  1. (2, 1): 4 − 1 − 2 = 1이라 양의 반공간. (0, 0): −2라 음의 반공간. (1, 0): 2 − 0 − 2 = 0이라 경계 위다.
  2. s = 0인 점은 규약으로 범주를 정해야 한다. 정하지 않으면 같은 모델도 구현에 따라 다른 답을 낸다.
  3. 경계에 수직이며 s가 커지는 쪽을 가리킨다.
  4. 방향은 같고 위치만 평행 이동해 원점을 지나는 경계 2x₁ − x₂ = 0이 된다.
문제 2

NAND 분리 경계 찾기

NAND는 두 입력이 모두 1일 때만 −1이고 나머지는 +1이다.

  1. 네 점 (0, 0), (0, 1), (1, 0), (1, 1)의 정답 범주를 적는다.
  2. w = (−0.5, −0.5), b = 0.75일 때 네 점의 점수를 구하고 모두 올바르게 분류하는지 확인한다.
  3. NAND가 선형 분리 가능하다고 말할 수 있는 근거를 적는다.
  4. 네 이진 입력을 모두 올바르게 분리하는 다른 경계가 있을 수 있는가? 입력이 이 네 조합뿐이고 NAND 규칙이 그대로라면, 올바른 경계들이 같은 예측을 내는지도 적는다. 입력에 0과 1 사이의 측정값도 들어오는 별도 문제에서는 어느 경계가 나은지 네 점만으로 정할 수 있는가?
해설 펼치기
  1. (0, 0), (0, 1), (1, 0)은 +1, (1, 1)은 −1이다.
  2. 0.75, 0.25, 0.25, −0.25로 부호가 정답과 모두 같다.
  3. 모든 관측을 정답 범주에 따라 나누는 선형 분리 경계가 하나 이상 존재하기 때문이다.
  4. 다른 경계도 있을 수 있다. 네 이진 조합은 NAND의 가능한 입력 전부이므로 이를 올바르게 분리하는 경계들은 같은 NAND 규칙의 새 이진 관측에 대해 같은 예측을 낸다. 0과 1 사이의 측정값은 이 진리표의 입력 범위 밖이다. 그 값들의 정답과 성능은 네 점만으로 정할 수 없으므로, 별도 문제의 자료와 검증 기준이 필요하다.
문제 3

분리 가능성 판단의 근거

다음 문장이 맞는지 판단하고 틀리면 고친다.

  1. 선형 분리 가능성은 퍼셉트론이라는 모델의 성질이다.
  2. 퍼셉트론을 최대 에포크까지 돌려도 갱신이 멈추지 않았으므로 자료는 선형 분리가 불가능하다.
  3. 한 에포크의 갱신이 0이면 그 자료는 선형 분리 가능하다.
  4. 잡음으로 두 범주가 조금 겹친 자료에는 선형 분류기를 쓸 수 없다.
해설 펼치기
  1. 틀렸다. 주어진 특성 표현에서 자료 집합이 갖는 성질이다.
  2. 틀렸다. 반복 상한 도달만으로는 분리 불가능을 판정할 수 없다.
  3. 맞다. 모든 관측이 경계 밖 정답 쪽에 있다.
  4. 틀렸다. 엄격한 선형 분리는 불가능해도 일부 오분류를 허용하는 선형 분류기는 쓸 수 있다.
문제 4

XNOR은 왜 한 직선으로 안 되는가

XNOR은 두 입력이 같을 때 +1, 다를 때 −1이다.

  1. 경계 위 관측 없이 네 점을 분리하려면 w₁, w₂, b가 만족해야 할 부등식 네 개를 적는다.
  2. 네 부등식이 동시에 성립할 수 없음을 보인다.
  3. 유한한 계수 격자를 탐색해 분리 경계를 찾지 못한 것과 2의 결론은 어떻게 다른지 적는다.
  4. XNOR 자료에서 갱신이 없어질 때까지만 반복하도록 구현한 퍼셉트론에 생기는 문제를 적는다.
해설 펼치기
  1. (0, 0): b > 0. (0, 1): w₂ + b < 0. (1, 0): w₁ + b < 0. (1, 1): w₁ + w₂ + b > 0.
  2. 두 번째와 세 번째를 더하면 w₁ + w₂ < −2b, 네 번째에서 w₁ + w₂ > −b이므로 −b < −2b, 곧 b < 0이다. 첫 부등식 b > 0과 모순이다.
  3. 격자 탐색은 검사한 계수 중에 없다는 것만 말한다. 부등식의 모순은 어떤 실수 계수로도 분리할 수 없음을 보인다.
  4. 한 에포크의 갱신이 0이 되지 않아 종료되지 않는다. 별도의 종료 조건이 필요하다.
문제 5

곱 특성으로 나누기

특성 변환 φ(x) = (x₁, x₂, x₁x₂)를 쓴다.

  1. XNOR 네 점의 x₁x₂ 값을 적는다.
  2. s = −x₁ − x₂ + 2x₁x₂ + 0.5로 네 점의 점수를 구하고 XNOR을 올바르게 분류하는지 확인한다.
  3. 특성 공간에서 s = 0이 무엇이고, 원래 좌표에서는 왜 직선 하나로 보이지 않는지 적는다.
  4. 이진 입력 네 조합을 모두 올바르게 나눴더라도, 이진값 외 측정값이 들어오는 별도 문제에서 이 특성을 쓰려면 무엇을 확인해야 하는가?
해설 펼치기
  1. (0, 0), (0, 1), (1, 0)은 0, (1, 1)은 1이다.
  2. 0.5, −0.5, −0.5, 0.5로 부호가 정답 +1, −1, −1, +1과 같다.
  3. 세 특성 공간에서는 평면이다. 곱 항이 있어 원래 좌표로 옮기면 선형식이 아니므로 직선 하나가 아닌 경계가 된다.
  4. 이진 입력의 가능한 경우는 이미 모두 확인했다. 이진값 외 측정값은 그 범위 밖이므로, 별도 문제의 정답과 검증 자료로 특성의 유용성을 확인해야 한다. 특성을 많이 늘리면 과적합 가능성도 커질 수 있다.