吴恩达机器学习课程笔记

吴恩达机器学习课程笔记

机器学习定义

什么是机器学习？
机器学习（Machine Learning）：是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。一个程序被认为能从经验E中学习，解决任务 T，达到性能度量值P，当且仅当，有了经验E后，经过P评判， 程序在处理T时的性能有所提升。

监督学习和无监督学习

监督学习（Supervised Learning）：对于数据集中每一个样本都有对应的标签，包括回归（regression）和分类（classification）；
无监督学习（Unsupervised Learning）：数据集中没有任何的标签，包括聚类（clustering），著名的一个例子是鸡尾酒晚会。实现公式：[W,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x’);

单变量线性回归

模型表示（model representation）

线性回归模型：
$$\begin{gathered} h_{\theta }(x)={\theta }_0+{\theta }_{1}x \\ J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h(x^i)-y^i{)}^2 \end{gathered}$$给定训练样本$(x^i,y^i)$，其中：$i=1,2,...,m$，$x$表示特征，$y$表示输出目标，监督学习算法的工作方式如图所示：

假设函数h(hypothesis)：是一个从输入$x$到输出$y$的映射，$h(x)={\theta }_0+{\theta }_{1}x$。${\theta }_0$和${\theta }_1$都是模型参数。

代价函数

代价函数（cost function）$J(\theta )$，通常使用平方误差函数，如下：$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h(x^i)-y^i{)}^2，m为训练样本的数量。$$训练的目标为最小化代价函数，即 $\underset{{\theta }_0,{\theta }_1}{\mathrm{minmize}}J({\theta }_0,{\theta }_1)$。

代价函数的另外一个图形表示是等高图，如图所示：

梯度下降

代价函数：$J({\theta }_0,{\theta }_1)$，可以推广到$J({\theta }_0,{\theta }_1,{\theta }_2,...,{\theta }_n)$
目标： $\underset{{\theta }_0,{\theta }_1}{\min }J({\theta }_0,{\theta }_1)$
初始化${\theta }_0,{\theta }_1$，更新公式：$${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$$$\alpha$为学习速率（learning rate）。

如果α太小，梯度下降会变得缓慢；如果α太大，梯度下降可能无法收敛甚至发散。

线性回归中的梯度下降

梯度下降的每一步遍历的所有数据集中的样例，又叫“batch” Gradient Descent Algorithm。

凸函数（convex function）

多变量线性回归

假设函数：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$。 定义$x_0=1$，
从而：$x=[x_0,x_1,x_2,\dots ,x_n{]}^T,x\in {\mathbb{R}}^{n+1}$；$\theta =[{\theta }_0,{\theta }_1,{\theta }_2,\dots ,{\theta }_n{]}^T,\theta \in {\mathbb{R}}^{n+1}$
假设函数可记作：$h_{\theta }(x)={\theta }^{T}x$。
代价函数：$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$梯度下降更新公式：$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta ),j=0,1,\dots ,n$$更精确的：$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)},j=0,1,\dots ,n$$
可以通过for循环更新$\theta$，也可以采用向量形式更新$\theta$：$$\theta =\theta -\frac{\alpha }{m}{X}^T(X\theta -y)$$

特征缩放（feature scaling）

目的：保证特征处于相似的尺度上，有利于加快梯度下降算法运行速度，加快收敛到全局最小值
方式：
Mean normalization：$$x_i=\frac{x_i-\mu }{\sigma }$$其中$\mu$为平均值，$\sigma$为标准差；
max-min：$$x_i=\frac{x_i-min}{max-min}$$

学习率（learning rate）

梯度下降更新公式：${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta ),$

• “debugging”：如何确保梯度下降正确运行；
• 如何正确选择学习率。
• 如果$\alpha$太小：收敛慢
• 如果$\alpha$太大：每一次迭代过程中$J(\theta )$将会不断的越过最小值，无法收敛，$J(\theta )$如下图所示：
  
• choose $\alpha$：$\dots ，0.001，0.003，0.01，0.03，0.1，0.3，1，\dots$
• 寻找一个合适的较小值和较大值，保证结果和速度的同时选取较大的值，或者稍小的合理值。

特征和多项式回归

举例：房价预测问题
假设有两个特征：$x_1$是土地宽度，$x_2$是土地纵向深度，可做假设：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$。
可以考虑构造特征底面积$x=x_1\ast x_2$，此时假设函数：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$。
数据集样本分布如图：

多项式回归（polynomial regression）：
二次模型：

三次模型：

更恰当的模型：

正规方程（normal equation）

代价函数：$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$对$J(\theta )$求偏导并令导数为零可解得：$\theta =(X^{T}X{)}^{-1}{X}^{T}y$，推导过程如下：
令$$x^{(i)}=\left(\begin{array}{c}{x}_0^{(i)}\\ x_1^{(i)}\\ ⋮\\ x_n^{(i)}\end{array}\right)\in {\mathbb{R}}^{n+1}，y=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right)\in {\mathbb{R}}^m$$令
$$X=\left(\begin{array}{cccccc}1& x_1^{(1)}& \cdots & x_j^{(1)}& \cdots & x_n^{(1)}\\ 1& x_1^{(2)}& \cdots & x_j^{(2)}& \cdots & x_n^{(2)}\\ ⋮& ⋮& \ddots & ⋮& \ddots & ⋮\\ 1& x_1^{(m)}& \cdots & x_j^{(m)}& \cdots & x_n^{(m)}\end{array}\right)=\left(\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ ⋮\\ (x^{(m)}{)}^T\end{array}\right)\in {\mathbb{R}}^{m\times (n+1)}$$又$\frac{\partial }{\partial \theta }J(\theta )=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}=0$，可得$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$推导过程如下：

正规方程存在条件：

• $X^{T}X$是可逆矩阵，若不可逆，可计算广义可逆矩阵。
  
  比较：
  梯度下降算法：需要选择学习速率$\alpha$； 需要许多次迭代；当特征数量n较大时也能够运转正常；
  正规方程： 无需选择参数；无需迭代；需要计算$(X^{T}X{)}^{-1}$；当n较大时计算缓慢

逻辑回归（logistic regression）

假设表示

逻辑回归模型： $h_{\theta }(x)，$want： $0\le h_{\theta }(x)\le 1$
令$h_{\theta }(x)=g({\theta }^{T}x)$，将${\theta }^{T}x$代入$g(\cdot )$：$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$其中：$g(z)=\frac{1}{1+e^{-z}}$称为Sigmod函数，也叫作Logistic函数。

hope：
$$\{\begin{array}{l}{h}_{\theta }(x)\ge 0.5，y=1\\ h_{\theta }(x)<0.5，y=0\end{array}$$
从概率的角度：$h_{\theta }(x)=p\{y=1|x,\theta \}$

决策界限（Decision Boundary）

$\text{predict：y=1}，\text{if }{h}_{\theta }(x)\ge 0.5$
$\text{predict：y=0}，\text{if }{h}_{\theta }(x)<0.5$
$h_{\theta }(x)\ge 0.5\to z\ge 0\to {\theta }^{T}x\ge 0$
$h_{\theta }(x)<0.5\to z<0\to {\theta }^{T}x<0$
定义：${\theta }^{T}x=0$为决策边界。

代价函数（cost function）

假设表示定义的：$h_{\theta }(x)=p\{y=1|x,\theta \}$，由极大似然的思想：$$\begin{array}{c}\theta =\underset{\theta }{\mathrm{argmax}}{\prod }_{i=1}^{m}p\{y_i=1|x,\theta {\}}^{y_i}p\{y_i=0|x,\theta {\}}^{1-y_i}\\ =\underset{\theta }{\mathrm{argmax}}{\prod }_{i=1}^{m}p\{y_i=1|x,\theta {\}}^{y_i}(1-p\{y_i=1|x,\theta \}{)}^{1-y_i}\end{array}$$令$\Gamma ={\prod }_{i=1}^{m}p\{y_i=1|x,\theta {\}}^{y_i}(1-p\{y_i=1|x,\theta \}{)}^{1-y_i}$，取对数可得：$$\log (\Gamma )=\sum _{i=1}^m{y}_i\log (h_{\theta }(x))+(1-y_i)(1-\log (h_{\theta }(x)))$$所以：$$\begin{gathered} \theta =\underset{\theta }{\mathrm{argmax}}\log (\Gamma ) \\ =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m{y}_i\log (h_{\theta }(x))+(1-y_i)(1-\log (h_{\theta }(x))) \end{gathered}$$令$cost(h_{\theta }(x),y_i)=-y_i\log (h_{\theta }(x))-(1-y_i)(1-\log (h_{\theta }(x)))$，所以目标：$$\theta =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^{m}cost(h_{\theta }(x),y_i)$$（注意：线性回归的$cost(h_{\theta }(x),y_i)=(h_{\theta }(x)-y_i{)}^2$。）
由于$cost(h_{\theta }(x),y_i)=-y_i\log (h_{\theta }(x))-(1-y_i)(1-\log (h_{\theta }(x)))$，写成：$$cost(h_{\theta }(x),y_i)=\{\begin{array}{l}-y_i\log (h_{\theta }(x))，\text{if yi=1}\\ -(1-y_i)(1-\log (h_{\theta }(x)))，\text{if yi=0}\end{array}$$


逻辑回归代价函数：
$$\begin{gathered} J(\theta )=\frac{1}{m}\sum _{i=1}^{m}cost(h_{\theta }(x^{(i)}),y^{(i)}) \\ =-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))) \end{gathered}$$拟合参数：$$\underset{\theta }{\min }J(\theta )$$
梯度下降法：
$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )={\theta }_j-\frac{\alpha }{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$高级优化算法：

• 共轭梯度算法
• BFGS
• L-BFGS
  优点：无需人工选择参数$\alpha$；运算速度比梯度下降更快
  缺点：更加复杂

正则化（regularization）

欠拟合和过拟合（underfitting and overfitting）

欠拟合

欠拟合，高偏差：说明没有很好的拟合训练数据
解决办法：增加特征，如增加多项式

过拟合

过拟合，高方差：拟合训练数据过于完美，$J(\theta )\approx 0$，导致模型的泛化能力很差，对于新样本不能准确预测；
解决办法：

• 减少特征个数
  a)人工保留合适的特征
  b)采用模型选择算法
• 正规化
  a)保留所有特征，减小参数${\theta }_j$的维度

正则化代价函数

对${\theta }_j$加入惩罚项：
线性回归代价函数：$$J(\theta )=\frac{1}{2m}\left[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^m{\theta }_j^2\right]$$
逻辑回归代价函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})))+\frac{\lambda }{2m}\sum _{j=1}^m{\theta }_j^2$$拟合参数：$$\underset{\theta }{\min }J(\theta )$$目标：$\underset{\theta }{\min }J(\theta )$

线性回归和逻辑回归的正则化

梯度下降算法：
repeat：{$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$$$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\left[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}+\lambda {\theta }_j\right]$$
   \quad\quad\quad\; }
等价于：
repeat：{$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$$$${\theta }_j:={\theta }_j(1-\alpha \frac{1}{m})-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$$
   \quad\quad\quad\; }
正规方程：
假设：$m\le n(examples\le features)$
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$If $\lambda >0$，$$\theta ={\left(X^{T}X+\lambda \underset{(n+1)\times (n+1)}{\left[\begin{array}{ccccc}0& & & & \\ & 1& & & \\ & & 1& & \\ & & & \ddots & \\ & & & & 1\end{array}\right]}\right)}^{-1}{X}^{T}y$$只要$\lambda >0$，那么括号内的矩阵一定不是奇异矩阵，也就是可逆的。

神经网络学习

模型表示

上图代表单个的神经元。神经网络即是一组神经元。典型的三层神经网络如下图所示：

详细解释：
$a_i^{(j)}$：第$j$层的单元$i$的激活项。(“activation of unit i in layer j”)
${\Theta }^{(j)}$：从第$j$层($units$: $s_j$)到第$j+1$层($units$: $s_{j+1}$)的权重矩阵，维数：$s_{j+1}\times (s_j+1)$
$$a_1^{(2)}=g({\Theta }_{10}^{(1)}{x}_0+{\Theta }_{11}^{(1)}{x}_1+{\Theta }_{12}^{(1)}{x}_2+{\Theta }_{13}^{(1)}{x}_3)$$$$a_2^{(2)}=g({\Theta }_{20}^{(1)}{x}_0+{\Theta }_{21}^{(1)}{x}_1+{\Theta }_{22}^{(1)}{x}_2+{\Theta }_{23}^{(1)}{x}_3)$$$$a_3^{(2)}=g({\Theta }_{30}^{(1)}{x}_0+{\Theta }_{31}^{(1)}{x}_1+{\Theta }_{32}^{(1)}{x}_2+{\Theta }_{33}^{(1)}{x}_3)$$$$h_{\Theta }(x)=a_1^{(3)}=g({\Theta }_{10}^{(2)}{a}_0^{(2)}+{\Theta }_{11}^{(2)}{a}_1^{(2)}+{\Theta }_{12}^{(2)}{a}_2^{(2)}+{\Theta }_{13}^{(2)}{a}_3^{(2)})$$

神经网络前向传播

$$h_{\Theta }(x)=a^{(3)}=g(z^{(3)})=g({\Theta }^{(2)}{a}^{(2)})=g({\Theta }^{(2)}g(z^{(2)}))=g({\Theta }^{(2)}g({\Theta }^{(1)}{a}^{(1)}))$$

代价函数

逻辑回归代价函数：$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})))+\frac{\lambda }{2m}\sum _{j=1}^m{\theta }_j^2$$神经网络代价函数：$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^K(y_k^{(i)}\log (h_{\theta }(x^{(i)}){)}_k+(1-y_k^{(i)})\log (1-h_{\theta }(x^{(i)}){)}_k)+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{j=1}^m\sum _{i=1}^m({\theta }_{ji}^l{)}^2$$优化目标：$\underset{\Theta }{\min }J(\Theta )$
需要计算：

• $J(\Theta )$
• $\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )$， ${\Theta }_{ij}^{(l)}\in \mathbb{R}$

如图：

前向传播：
$$\begin{gathered} a^{(1)}=x \\ {z}^{(2)}={\Theta }^{(1)}{a}^{(1)} \\ {a}^{(2)}=g(z^{(2)}) \\ {z}^{(3)}={\Theta }^{(2)}{a}^{(2)} \\ {a}^{(3)}=g(z^{(3}) \\ {z}^{(4)}={\Theta }^{(3)}{a}^{(3)} \\ {a}^{(4)}=g(z^{(4}) \\ {h}_{\Theta }(x)=a^{(4)} \end{gathered}$$

反向传播：

计算：${\delta }_j^{(l)}$=第$l$层第$j$个节点的误差（error）；
对于每一个输出单元：${\delta }_j^{(4)}=a_j^{(4)}-y_j$，写成向量形式为：${\delta }^{(4)}=a^{(4)}-y$；由输出层逐级往上计算${\delta }^{(l)}、{\delta }^{(l-1)}\dots {\delta }^{(2)}$：
$$\begin{gathered} {\delta }^{(3)}=({\Theta }^{(3)}{)}^T{\delta }^{(4)}.\ast g\prime (z^{(3)}),g\prime (z^{(3)})=a^{(3)}.\ast (1-a^{(3)}) \\ {\delta }^{(2)}=({\Theta }^{(2)}{)}^T{\delta }^{(3)}.\ast g\prime (z^{(2)}),g\prime (z^{(2)})=a^{(2)}.\ast (1-a^{(2)}) \end{gathered}$$ 可以证明(忽略$\lambda$，即$\lambda =0$)：$$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )=a_j^{(l)}{\delta }_i^{(l+1)}$$详细的：
对于训练集$\{(x^{(1)},y^{(1)}),\dots ,(x^{(m)},y^{(m)})\}$；
初始化${\Delta }_{ij}^l=0$，for all $l,i,j$

理解：

换句话说：${\delta }_j^{(l)}=\frac{\partial }{\partial z_j^{(l)}}cost(i)$ ,$for(j\ge 0)$
where $cost(i)=y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))$
$\delta$项是代价函数关于这些中间项的偏导数，衡量影响神经网络的权值，进而影响神经网络的输出的程度。

展开参数

梯度检验

随机初始化

together

机器学习细节

模型选择（model selection）

可以依据训练误差和测试误差来评估假设$h_{\theta }(x)$；
一般来说，我们将数据集划分成训练集（60%）、验证集（20%）和测试集（20%）；
在训练集上我们学习参数$\theta$：$minJ(\theta )$；
计算训练误差、验证误差：
for linear regression：
$$J_{train}(\theta )=\frac{1}{2m_{train}}\sum _{i=1}^{m_{train}}(h_{\theta }(x_{train}^{(i)})-y_{train}^{(i)}{)}^2$$$$J_{cv}(\theta )=\frac{1}{2m_{cv}}\sum _{i=1}^{m_{cv}}(h_{\theta }(x_{cv}^{(i)})-y_{cv}^{(i)}{)}^2$$for logistic regression：$$J_{train}(\theta )=-\frac{1}{m_{train}}\sum _{i=1}^{m_{train}}(y_{train}^{(i)}\log (h_{\theta }(x_{train}^{(i)}))+(1-y_{train}^{(i)})\log (1-h_{\theta }(x_{train}^{(i)})))$$$$J_{cv}(\theta )=-\frac{1}{m_{cv}}\sum _{i=1}^{m_{cv}}(y_{cv}^{(i)}\log (h_{\theta }(x_{cv}^{(i)}))+(1-y_{cv}^{(i)})\log (1-h_{\theta }(x_{cv}^{(i)})))$$选择$J_{cv}(\theta )$最小的模型；
计算测试误差$J_{test}(\theta )$；
对于逻辑回归还可以计算误分类率：$$error=\{\begin{array}{l}1，\text{if yi=1，hθ(x)<0.5 or yi=0，hθ(x)≥0.5}\\ 0，\text{if yi=1，hθ(x)≥0.5 or yi=0，hθ(x)<0.5}\end{array}$$

方差和偏差（variance VS bias）

如图：

一般来说，欠拟合会产生高偏差；过拟合过产生高方差；
具体来说，当模型欠拟合时，训练误差和验证误差都会较大；当模型过拟合时，训练误差很小，然而验证误差很大，如下图：

如何处理高方差和高偏差问题呢？
一般来说，加入合适的正则化项可以有效地避免过拟合（即高方差）

当正则化参数$\lambda$较大时，${\theta }_j\approx 0$(除${\theta }_0$外)，假设函数趋于直线，因而会造成高偏差的问题，导致欠拟合；
当正则化参数$\lambda$较小时，正则化项不起作用，模型会变得过拟合。如图：

一般的，对于高偏差问题（欠拟合）：

• 增加特征个数
• 增加多项式特征
• 降低$\lambda$

对于高方差问题（过拟合）：

• 增加训练样本
• 减少特征个数
• 增加$\lambda$

对于神经网络来说，参数越少，越有可能欠拟合；参数越多，网络结构越复杂，越有可能过拟合，应该加入正则化项。

机器学习系统设计

不对称分类的误差评估（skewed classes）

查准率和召回率（Precision和Recall）

y=1 in presence of rare class that we want to detect；
Precision： 预测为正，实际为正的概率
$$Precision=\frac{TP}{TP+FP}$$
Recall： 正例被准确预测的概率，也叫查全率，敏感性
$$Recall=\frac{TP}{TP+FN}$$

两者平衡

以逻辑回归为例：$0\le h_{\theta }(x)\le 1$
预测y=1，if $h_{\theta }(x)\ge 0.5$；预测y=0，if $h_{\theta }(x)<0.5$；

1. 如果我们想要比较确信为正例时才判定为正例，那么提高阈值，模型会对应高查准率，低召回率；
2. 如果希望避免假阴性，那么降低阈值，模型会对应低查准率，高召回率

PR曲线

F1 Score

$$F1=2\frac{PR}{P+R}$$

支持向量机

优化目标

复习：
逻辑回归的假设函数：$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$
$\text{if y=1, we want }{h}_{\theta }(x)\approx 1，{\theta }^{T}x>>0$
$\text{if y=0, we want }{h}_{\theta }(x)\approx 0，{\theta }^{T}x<<0$

$$cost(\theta ,x)=-(y\log h_{\theta }(x)+(1-y)\log (1-h_{\theta }(x)))$$
对逻辑回归的代价函数进行修改：

因此，我们可以得到支持向量机的代价函数：
$$\underset{\theta }{\min }C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^m{\theta }_j^2$$
公式中的$C$可以看做是$\frac{1}{\lambda }$，说明支持向量机中更加偏重代价；

间隔最大化

当取一个较大的$C$值时，当$y^{(i)}=1$时，${\theta }^T{x}^{(i)}\ge 1$；当$y^{(i)}=0$时，${\theta }^T{x}^{(i)}\le -1$；
因此我们可以得到支持向量机的决策边界（Decision Boundary）：
$$\begin{array}{cc}\underset{\theta }{\min }& \frac{1}{2}{\sum }_{j=1}^n{\theta }_j^2\\ \text{s.t.}& {\theta }^T{x}^{(i)}\ge 1,\text{if}{y}^{(i)}=1\\ & {\theta }^T{x}^{(i)}\le -1,\text{if}{y}^{(i)}=0\end{array}$$

从数学解释上看间隔问题：
$$\frac{1}{2}\sum _{i=1}^n{\theta }_j^2=\frac{1}{2}(\sqrt{{\theta }_1^2+\dots {\theta }_n^2}{)}^2=\frac{1}{2}||\theta |{|}^2$$
简化：n=2

所以有：$${\theta }^T{x}^{(i)}=p^{(i)}||\theta ||={\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)}$$
决策问题转换为：

核函数

高斯核函数：$$f_i=\text{similarity}(x,l^{(i)})=\exp (-\frac{||x-l^{(i)}|{|}^2}{2{\sigma }^2})$$
如果$x\approx l^{(i)}$：$$f_i\approx \exp (-\frac{0^2}{2{\sigma }^2})\approx 1$$如果$x$ is far from $l^{(i)}$：$$f_i\approx \exp (-\frac{{\text{(larger number)}}^2}{2{\sigma }^2})\approx 0$$
${\sigma }^2$对核函数的影响：

可以看出，${\sigma }^2$越大，变化越缓慢；${\sigma }^2$越大，变化越剧烈。
如何选择标记$l^{(i)}$呢？

SVM将每一个训练样本$(x^{(i)},y^{(i)})$，令标记$l^{(i)}=x^{(i)}$，对于每一个输入$x$，计算$f_1,f_2,...,f_m$，令$f_0=1$，生成新的特征向量$f\in {\mathbb{R}}^{m+1}$

SVM参数对性能的影响：

逻辑回归和SVM比较

1. 如果特征个数n远远大于训练样本个数，建议使用逻辑回归或者线性SVM
2. 如果特征个数n较小，训练样本个数适当，建议使用高斯核SVM
3. 如果特征个数小，训练样本非常大，建议增加更多特征或者使用逻辑回归或线性SVM

无监督学习