chapter 5
Support vector machine (SVM)
머신러닝에서 가장 인기 있는 모델
복잡한 분류 문제에 적합하며 작거나 중간 크기의 데이터 셋에 적합
선형 SVM 분류
소프트 마진 분류
모든 샘플이 모두 도로 바깥쪽에 올바르게 분류되어 있으면 이는 하드 마진 분류 라고한다.
하드 마진 분류는 데이터가 선형적으로 구분 되어있어야 하고, 이상치에 민감함
마진오류 사이에 적절한 균형을 잡는게 소프트 마진 분류라고 한다.
sklearn SVM모델에서 C는 마진오려를 지정하는 하이퍼파라미터
SVM 모델이 과대적합(overfitting) 이면 C를 감소시켜 모델을 규제가능
비선형 SVM 분류
다항식 커널
낮은 차수의 다항식은 매우 복잡한 데이터셋을 잘 표현 하지 못함, 높은차수의 다항식은 괸장히 많은 특성을 추가하므로 모델을 느리게 만듬
커널 트릭이라는 수학적 기교를 적용함 , 실제 특성을 추가히자 않으면서 다항식 특성을 많이 추가한것과 같은 결과를 도출
과대적합이면 차수를 줄이고 , 과소적합이면 차수를 늘여야한다.
유사도 특성
각 샘플의 특정 landmark 와 얼마나 닮았는지 측정하는 유사도 함수로 계산
가우시안 RBF 커널
Radial basis function
계산 복잡도
SVM 회귀
마진 안에서는 훈련 샘플이 추가되어도 모델의 예측에는 영향이 적다. epsilon - insensitive
SVM 이론
결정 함수와 예츨
선형 SVM 분류기를 훈련한다는 것은 마진오류를 하나도 발생하지 않거나 제한적인 마진 오류르 가지면서 가능한 마진을 크게 하는 w 와 b 를 찾는것! ( 가중치 백터 w, 편향 b)
.....
