Supervised Learning

 

두개의 차이는 다들 알다싶이 데이터에 Label이 있냐 없냐의 차이이다.

가장 대표적인 차이는 Classification과 Cluster의 차이이다. 각 알고리즘의 대표적인 모델들을 알아보자

 

Supervised Learning

- NN(Nearest Neighbor Classifier)

- K-NN(K-Nearest Neighbor Classifier)

설명은 아래를 참고

https://velog.io/@jhlee508/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-KNNK-Nearest-Neighbor-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98

- SVM(Support Vector Machine): 선형대수를 아는사람에겐 Maximum margin이라고하면 바로 알아들을것 같다.

 

위의 학습중에 몇가지 고민할거리가 있는데 K-NN의 경우는 최적의 K를 찾는것

SVM의 경우는 100%분류를 하는 hyperplane을 찾을 것인지 아니면 정확도는 좀 떨어져도 명확히 구분을 하는 hyperplane을 찾을것인지 말이다. 아래 그림을 보면서 무엇이 더 좋은 hyperplane인지 생각해보면 좀 더 이해가 쉽게 될것이다.

이를 해결하기 위해 등장한 개념이 Slack Variable, Soft Margin 이다. (쉽게 이야기하자면 조금 틀린것 정도는 그냥 넘어가줄게! 하는 정도이다.)

 

또한 여기서 중요한 개념이 한가지더 등장한다. 

 

바로 Kernel Trick이다. 위의 그림은 2차원이지만 이를 3차원으로 맵핑해서 구분하면 할 수 있지 않을까? 라는 생각이다. (차원을 늘리는것은 계산상 미련한 짓이지만 더 좋은 결과를 나타내기도 한다.) 아래 그림을 보자.

보다 상세한 개념은 아래 링크를 따라가보자

https://sanghyu.tistory.com/14

 

figure form: https://www.researchgate.net/figure/Non-linear-classifier-using-Kernel-trick-16_fig4_340618118