cs229中文笔记(七)

简介

转自张雨石的中文笔记

另外一种SVM的理解

路宽

$路宽，x-到x+之间的距离。w为与超平面垂直的投影向量。$
$(\overrightarrow{x_+}-\overrightarrow{x_-})\frac{\overrightarrow w}{|w|}$
$=\frac{1}{|w|}(\overrightarrow{w}·\overrightarrow{x_+}-\overrightarrow{w}·\overrightarrow{x_-})$
$=\frac{1}{|w|}(1-b-(1-b))$
$=\frac{2}{|w|}$

目标函数

所以，目标函数为

$$\begin{align*} max \frac{2}{||w||}&=max \frac{1}{||w||} \\ &=min ||w|| \\ &=min \frac{1}{2}||w||^2 \end{align*}$$

最终，目标函数为：
$Z=\frac{1}{2}||w||^2-\sum \alpha_i[y_i(wx_i+b)-1]$
$\frac{\partial Z}{\partial \overrightarrow{w}}=\overrightarrow{w}-\sum \alpha_iy_ix_i=0$
$得到\overrightarrow{w}=\sum \alpha_iy_ix_i$
$\frac{\partial Z}{\partial b}=-\sum \alpha_iy_i=0$
$得到\sum \alpha_iy_i=0$
$代入到Z原目标函数：$

$$\begin{align*} Z&=\frac{1}{2}\sum_i \alpha_iy_ix_i \sum_j \alpha_jy_jx_j - \sum_i \alpha_iy_ix_i \sum_j \alpha_j y_j x_j - \sum \alpha_iy_ib+\sum \alpha_i \\ &=\sum \alpha_i-\frac{1}{2}\sum_i \alpha_iy_ix_i \sum_j \alpha_jy_jx_j \end{align*}$$