支持向量機簡單介紹

1.概述

支持向量機（SVM，支持向量網絡），是機器學習中獲得關注最多的算法沒有之一。它源于統計學習理論。
|
|
|

功能

有監督學習	線性二分類與多分類（Linear Support Vector Classification）非線性二分類與多分類（Support Vector Classification, SVC）普通連續型變量的回歸（Support Vector Regression）概率型連續變量的回歸（Bayesian SVM）
–	–
無監督學習	支持向量聚類（Support Vector Clustering，SVC）異常值檢測（One-class SVM）
–	–
半監督學習	轉導支持向量機（Transductive Support Vector Machines，TSVM）

1.1支持向量機分類器是如何工作的

支持向量機所作的事情其實非常容易理解。先來看看下面這一組數據的分布，這是一組兩種標簽的數據，兩種標簽分別由圓和方塊代表。支持向量機的分類方法，是在這組分布中找出一個超平面作為決策邊界，使模型在數據上的分類誤差盡量接近于小，尤其是在未知數據集上的分類誤差（泛化誤差）盡量小。
超平面
在幾何中，超平面是一個空間的子空間，它是維度比所在空間小一維的空間。 如果數據空間本身是三維的，則其超平面是二維平面，而如果數據空間本身是二維的，則其超平面是一維的直線。在二分類問題中，如果一個超平面能夠將數據劃分為兩個集合，其中每個集合中包含單獨的一個類別，我們就說這個超平面是數據的“決策邊界‘“。
這個例子表現出，擁有更大邊際的決策邊界在分類中的泛化誤差更小，這一點可以由結構風險最小化定律來證明（SRM）。如果邊際很小，則任何輕微擾動都會對決策邊界的分類產生很大的影響。邊際很小的情況，是一種模型在訓練集上表現很好，卻在測試集上表現糟糕的情況，所以會“過擬合”。所以我們在找尋決策邊界的時候，希望邊際越大越好。

支持向量機，就是通過找出邊際最大的決策邊界，來對數據進行分類的分類器。也因此，支持向量分類器又叫做最大邊際分類器。

1.2線性SVM的拉格朗日對偶函數和決策函數

**將損失函數從最初形態轉換為拉格朗日乘數形態。**我們的損失函數是二次的(quadratic)，并且我們損失函數中的約束條件在參數w和b下是線性的，求解這樣的損失函數被稱為“凸優化問題”(convex optimization problem)。拉格朗日乘數法正好可以用來解決凸優化問題，這種方法也是業界常用的，用來解決帶約束條件，尤其是帶有不等式的約束條件的函數的數學方法。首先第一步，我們需要使用拉格朗日乘數來將損失函數改寫為考慮了約束條件的形式：
這是一個非常聰明而且巧妙的表達式，它被稱為拉格朗日函數，其中 alpha就叫做拉格朗日乘數。此時此刻，我們要求解的就不只有參數向量w 和截距b 了，我們也要求解拉格朗日乘數 ，而我們的 x和 y都是我們已知的特征矩陣和標簽。
將拉格朗日函數轉換為拉格朗日對偶函數。