吴恩达机器学习笔记（自用）

吴恩达机器学习课程地址

机器学习的定义

什么是机器学习？

机器学习（Machine Learning）：是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。一个程序被认为能从经验E中学习，解决任务 T，达到性能度量值P，当且仅当，有了经验E后，经过P评判， 程序在处理T时的性能有所提升。

机器学习算法

1.监督学习（Supervised Learning）

监督学习（Supervised Learning）：对于数据集中每一个样本都有对应的标签（被告知什么是所谓的正确答案），包括回归（regression）和分类（classification）

· 回归（Regression）：预测连续的数值输出
· 分类（Classification）：预测离散值的输出

2.无监督学习（Unsupervised Learning）

无监督学习（Unsupervised Learning）：数据集中没有任何的标签（只知道这里有数据，但不知道这些数据的结构，包括聚类（clustering），比如Google news（收集大量的新闻，将其分成一个个的新闻专题）。

实现公式：[W,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x’)
· SVD：奇异值分解函数

单变量线性回归

模型描述（Model Representation）

·Notation:

m	训练集的样本数
x‘s	输入的变量/特征
y’s	输出的变量/目标变量
(x,y)	一个训练集中的样本
(x(i),y((i))	第i个训练样本

假设函数h(hypothesis)：是一个从输入x到输出y的映射,h(x) = θ₀ +θ₁x。θ₀ 和θ₁都是模型参数

代价函数

代价函数（cost function） $J(\theta )$，通常使用平方误差函数，如下：
$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)}{)}^2，m为训练样本数$$

训练的目标是为了最小化代价函数，即 $\underset{{\theta }_0,{\theta }_1}{\mathrm{minmize}}J({\theta }_0,{\theta }_1)。$

简化一下，当θ₀ = 0时，假设函数就时一个过原点的直线，此时h(x) = θ₁x。

代价函数的另外一个图形表示是等高图，如图所示：

当你的点离同心椭圆的中心点越近，说明你的拟合更准确

梯度下降

代价函数：$J({\theta }_0,{\theta }_1)$,可以推广到更多元的函数$J({\theta }_0,{\theta }_1,{\theta }_2,...{\theta }_n)$
目标：$\underset{{\theta }_0,{\theta }_1}{\mathrm{minmize}}J({\theta }_0,{\theta }_1)。$

设置初始的${\theta }_0,{\theta }_1$，然后更新公式:-
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1),对于j=0，1时$$

θ₀ 和 θ₁ 是要同时更新的，即在计算完θ₀后在计算θ₁时，使用的θ₀还是计算前的θ₀

$\alpha$被称为学习速率(learning rate),用来控制下降时幅度多大。

$\alpha$如果太小的话，会导致梯度下降的很慢，如果$\alpha$太大的话，梯度下降可能无法收敛甚至发散

线性回归中的梯度下降

凸函数（convex function）

没有局部最优解只有全局最优解

多变量线性回归

n	特征量的数目
x(i)	第i个训练样本输入的特征值
xj(i)	第i个训练样本中的第j个特征值

假设函数h(hypothesis)：h_θ(x) = θ₀ +θ₁x₁+θ₂x₂+…+θ_nx_n。为了方便起见，设x₀ = 1，
从而x = [x₀，x₁，x₂，…，x_n]^T,$x\in {\Re }^{n+1}$,θ = [θ₀，θ₁，θ₂，…，θ_n]^T,$\theta \in {\Re }^{n+1}$
因此假设函数可以记为$h_{\theta }(x)={\theta }^{T}x$

多元梯度下降法

代价函数：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)}{)}^2，此时\theta 是一个n+1维的向量$$
梯度下降更新公式：
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta ),对每个j=0,...,n都是同步更新的$$
更精确的：
$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$

特征缩放（Feature Scaling）

目的：确保不同特征的取值都在相近的范围内，这样梯度下降法可以更快的收敛，通常使每个特征都近似的在$-1\le x_i\le 1$之间（不是强制的）

归一化（Mean normalization):
$$x_i=\frac{x_i-\mu }{s_i},其中\mu 为特征x_i的平均值，s_i为特征x_i的范围(max-min)(也可是特征i标准差)$$

学习率（Learning rate）

梯度下降更行公式：${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$

• “debugging”：如何确保梯度下降正确运行；
• 选择合适的$\alpha$，太小会导致收敛慢，太大可能每一次迭代过程中$J(\theta )$将会不断的越过最小值，无法收敛

• 在运行梯度下降公式时，尝试不同的$\alpha$值，（e.g.0.001，0.01，0.1，1…每十倍取一次），对于不同的α值绘制$J(\theta )$随着迭代次数变化的函数，找快速下降的。
• 寻找一个合适的较小值和较大值，保证结果和速度的同时选取较大的值，或者稍小的合理值。

特征和多项式回归

例子: 房价预测问题

• 三次函数
  
• 二次函数（downdowndown）
  
• 更精确的模型
  

正规方程(Normal equation)(区别于迭代方法的直接解法）

对代价函数$J(\theta )$求偏导并令所有的偏导为零，解出$\theta =(X^{T}X{)}^{-1}{X}^{T}y$

推导过程

$$x^{(i)}=\left(\begin{array}{c}{x}_0^{(i)}\\ x_1^{(i)}\\ x_2^{(i)}\\ .\\ .\\ .\\ x_n^{(i)}\end{array}\right)\in {\mathbb{R}}^{n+1},y=\left(\begin{array}{c}{y}_1\\ y_2\\ .\\ .\\ .\\ y_m\end{array}\right)\in {\mathbb{R}}^m$$

• 梯度下降和正规方程之间比较：

如果特征的数量不是很大（approximate <10000)时，正规方程通常时很好的；如果特征量很多的的话，梯度下降会好一点

正规方程在矩阵不可逆的情况下的解决方式

逻辑回归(Logistic Regression)

假设表示(Hypothesis resprentation)

逻辑回归模型：$h_{\theta }(x)$ ,让 $0\le h_{\theta }(x)\le 1$
在线性回归中，$h_{\theta }(x)={\theta }^{T}x$，在逻辑回归中令$h_{\theta }(x)=g({\theta }^{T}x)$，，将${\theta }^{T}x$带入g(x)得：
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
其中$g(z)=\frac{1}{1+e^{-z}}$被称为Sigmod函数，也叫Logistic函数。

$h_{\theta }(x)=P(y=1|x;\theta )$ ( 对于输入的x，y=1的概率估计)

决策界限（Decision Boundary）

Suppose predict:$"y=1"if{h}_{\theta }(x)\ge 0.5$
predict:$"y=0"if{h}_{\theta }(x)<0.5$
$h_{\theta }(x)\ge 0.5⟶z\ge 0.5⟶{\theta }^{T}x\ge 0$
$h_{\theta }(x)<0.5⟶z\le 0.5⟶{\theta }^{T}x<0$

定义${\theta }^{T}x=0$为决策边界，注意决策边界是假设函数的属性，取决于其参数$\theta$，不是数据集的属性

代价函数

$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$

Logistic regression cost function：
$$Cost(h_{\theta }(x),y)=\{\begin{array}{r}-log(h_{\theta }(x))ify=1\\ -log(1-h_{\theta }(x))ify=0\end{array}$$
注意：y永远只能是1/0

简化代价函数

我们可以将$Cost(h_{\theta }(x),y)$写成：$-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$
所以根据最大似然法：
$$J(\theta )=J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)})))$$

拟合参数：$\underset{\theta }{\min }J(\theta )$

梯度下降

$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}，对每个j=0,...,n都是同步更新的$$
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$

高级优化算法

1.共轭梯度法
2.BFGS

• L-BFGS
• 优点：无需人工选择参数α \alphaα；运算速度比梯度下降更快
• 缺点：更加复杂

多元分类（Multiclass classification）

e.g. 天气会有晴天、多云、雨天、雪天

One-vs-all:
训练出每个$h_{\theta }^{(i)}(x)$后，对一个新的输入，找哪个假设函数的值最大，说明这个数据更符合这一个

正则化(Regularization)

过拟合和欠拟合(overfitting&overfitting)

• 欠拟合：
  
  欠拟合，高偏差（high bias）：说明没有很好的拟合训练数据
  解决办法：增加特征，如增加多项式
• 过拟合：
  
  过拟合，高方差（high variance）：拟合训练数据过于完美，$J(\theta )\approx 0$，导致模型的泛化能力很差，对于新样本不能准确预测；
  解决办法：
• 减少特征个数
  a)人工保留合适的特征
  b)采用模型选择算法(会自动选择哪些变量留下)
• 正规化
  a)保留所有特征，减小参数${\theta }_j$的维度/大小

代价函数（Cost function）

Regularization：
对于参数值${\theta }_0,{\theta }_1...,{\theta }_n$其值都比较小，那么我们可以：1.有一个更简单的假设模型(因为在某些参数趋于时，函数会更趋向于一个更低次的函数)。2.更不容易出现过拟合问题
线性回归代价函数：
对${\theta }_j$加入惩罚项，将除了${\theta }_0$之外的所有参数值都进行缩小：
$$J(\theta )=\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^m{\theta }_j^2]，不对{\theta }_0进行惩罚$$
逻辑回归代价函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)})))+\frac{\lambda }{2m}\sum _{j=1}^m{\theta }_j^2，不对{\theta }_0进行惩罚$$
拟合参数：：
$$\underset{\theta }{\min }J(\theta )$$

线性回归和逻辑回归的正则化

线性回归

为社么单独把${\theta }_0$拿出来？因为正则化不惩罚${\theta }_0$

逻辑回归

样子和之前的线性回归梯度下降算法一样，知识$h_{\theta }(x)$是逻辑回归中的假设函数

神经网络

模型展示

• $\theta$既可以被叫做‘’权重‘，也可被叫做’参数‘’
• x0 == 1，可以画出也可以不画出

上图代表单个的神经元。神经网络即是一组神经元。典型的三层神经网络如下图所示：

• 第一层就叫做输入层
• 最后一层叫做输出层
• 除了输入层和输出层之外的其他层都叫隐藏层

详细解释：
$a_i^{(j)}：第j层的单元i的激活项。(“activationofunitiinlayerj”)（激活项就是指由一个具体的神经元计算并输出的值）$
${\Theta }^{(j)}:第j层(units:s_j)到第j+1层(units:s_{j+1})的权重矩阵，维数：s_{j+1}\times (s_j+1)$
$$a_1^{(2)}=g({\Theta }_{10}^{(1)}{x}_0+{\Theta }_{11}^{(1)}{x}_1+{\Theta }_{12}^{(1)}{x}_2+{\Theta }_{13}^{(1)}{x}_3)$$
$$a_2^{(2)}=g({\Theta }_{20}^{(1)}{x}_0+{\Theta }_{21}^{(1)}{x}_1+{\Theta }_{22}^{(1)}{x}_2+{\Theta }_{23}^{(1)}{x}_3)$$
$$a_3^{(2)}=g({\Theta }_{30}^{(1)}{x}_0+{\Theta }_{31}^{(1)}{x}_1+{\Theta }_{32}^{(1)}{x}_2+{\Theta }_{33}^{(1)}{x}_3)$$
$$h_{\theta }(x)=a_1^{(3)}=g({\Theta }_{10}^{(2)}{a}_0^{(2)}+({\Theta }_{11}^{(2)}{a}_1^{(2)}+({\Theta }_{12}^{(2)}{a}_2^{(2)}+({\Theta }_{13}^{(2)}{a}_3^{(2)})$$

神经网络前向传播

简单的例子

多元分类

代价函数

$L=神经网络的总层数$
$s_l=在第l层中总的计算单元数（不包括偏差单元）$
逻辑回归的代价函数：
$$J(\theta )=-\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}log(h_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$
神经网络的代价函数：
$$h_{\Theta }(x)\in {\Re }^K,(h_{\Theta }(x){)}_i=i^{th}output$$
$$J(\theta )=-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log(h_{\Theta }(x^{(i)}){)}_k+(1-y_k^{(i)})log(1-(h_{\Theta }(x^{(i)}){)}_k)]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_{l+1}}({\Theta }_{ji}^{(l)}{)}^2$$

计算目标： $\underset{\theta }{\min }J(\Theta )$
需要计算：

• $J(\Theta )$
• $\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta ),{\Theta }_{ij}^{(l)}\in \mathbb{R}$

如题：

前向传播：

反向传播

${\delta }_j^{(l)}=第l层第j个节点的误差(error)$
对于每个输出单元：${\delta }_j^{(4)}=a_j^{(4)}-y_j$，写成向量形式为：${\delta }^{(4)}=a^{(4)}-y,维度为输出单元的数目$，由输出层逐级往上计算${\delta }^{(l)},{\delta }^{(l-1)},...,{\delta }^{(2)}$（没有${\delta }^{(1)}$）:
$${\delta }^{(3)}=({\Theta }^{(3)}{)}^T{\delta }^{(4)}.\ast g^{\prime }(z^{(3)}),g^{\prime }(z^{(3)})=a^{(3)}.\ast (1-a^{(3)})，".\ast "代表的是点乘$$
$${\delta }^{(2)}=({\Theta }^{(2)}{)}^T{\delta }^{(3)}.\ast g^{\prime }(z^{(2)}),g^{\prime }(z^{(2)})=a^{(2)}.\ast (1-a^{(2)})$$
所以我们可以证明（忽略$\lambda$，即$\lambda =0$）：
$$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )=a_j^{(l)}{\delta }_i^{(l+1)}$$

矩阵D是梯度矩阵

理解反向传播

前向传播的理解：

理解反向传播：

$\delta$项是代价函数关于这些中间项的偏导数，衡量影响神经网络的权值，进而影响神经网络的输出的程度。

展开参数

实际上在上图分别多了一个θ和D的矩阵

**使用矩阵表达式的好处：**参数以矩阵的形式储存，在正向/反向传播时会更方便，也会更能充分利用向量化实现
**使用向量表达式的好处：**当拥有像thetaVec/gradientVec，在使用一些高级优化算法时可以直接用

梯度检测（Gradient checking）

使用梯度检测可以保证前向/反向传播是百分百正确的



如果得到的gradApporx ≈DVec(从反向传播中得到的)，那说明反向传播的实现是正确的

一旦验证了反向传播是正确的，那么在训练开始之前一定要关掉梯度检验，因为它会特别慢

随机初始化（Random initialization）

不能将θ初始化成0，因为如果这样做，会导致在后面的计算中绿色/红色/蓝色的权重依然是相等的即使它们不再是全0

Putting it together

对于隐藏层节点的数量，与输入特征的数量相匹配（相同/两倍/三倍）是比较好的选择

机器学习的细节

机器学习诊断法(machine learning diagnostic):

评估假设(Evaluating a hypothesis)

一种方法是将所有数据分为两部分，前70%是作为训练集，后30%是作为测试集

但是如果数据集里的数据是有特定的顺序/规律的话，那么就随机选择70%的数据为训练集，其余30%为测试集

线性回归

逻辑回归

模型选择

上面拟合后的模型是不能预测出假设对于新样本的泛化能力的，因为这些参数$\theta$能很好地拟合训练集，但对于其他的数据可能就没这么好了

一般来说，我们将数据集划分成训练集（60%）、交叉验证（cross validate）集（20%）和测试集（20%）：

训练/验证/测试误差：

• Training error：
  $$J_{train}(\theta )=\frac{1}{2m_{train}}\sum _{i=1}^{m_{train}}(h_{\theta }(x_{train}^{(i)})-y_{train}^{(i)}{)}^2,forlinearregression$$
  $$J_{train}(\theta )=-\frac{1}{m_{train}}\sum _{i=1}^{m_{train}}(y_{train}^{(i)}log(h_{\theta }(x_{train}^{(i)}))+(1-y_{train}^{(i)})log(1-h_{\theta }(x_{train}^{(i)})))$$
• Cross Validiation error:
  $$J_{cv}(\theta )=\frac{1}{2m_{cv}}\sum _{i=1}^{m_{cv}}(h_{\theta }(x_{cv}^{(i)})-y_{cv}^{(i)}{)}^2$$
  $$J_{cv}(\theta )=-\frac{1}{m_{cv}}\sum _{i=1}^{m_{cv}}(y_{cv}^{(i)}log(h_{\theta }(x_{cv}^{(i)}))+(1-y_{cv}^{(i)})log(1-h_{\theta }(x_{cv}^{(i)})))$$
• Test error:
  $$J_{test}(\theta )=\frac{1}{2m_{test}}\sum _{i=1}^{m_{test}}(h_{\theta }(x_{test}^{(i)})-y_{test}^{(i)}{)}^2,对逻辑回归公式同上$$

在训练集上我们学习参数$\theta :minJ(\theta )$;对得到的参数$\theta$选择$J_{cv}(\theta )$最小的模型；最后用$J_{test}(\theta )$来估计泛化误差

诊断方差和偏差（Diagnosing variance vs. bias）

一般来说，欠拟合会产生高偏差；过拟合过产生高方差；
具体来说，当模型欠拟合时，训练误差和验证误差都会较大；当模型过拟合时，训练误差很小，然而验证误差很大，如下图：

正则化和偏差、方差

如何处理高方差和高偏差问题呢？
一般来说，加入合适的正则化项可以有效地避免过拟合（即高方差）

注意$J_{train}(\theta ),J_{cv}(\theta )和J_{test}(\theta )都没有正则化项$

当正则化参数$\lambda$较大时 ,${\theta }_j\approx 0$(除${\theta }_0$外)，假设函数趋于直线，因而会造成高偏差的问题，导致欠拟合；
当正则化参数$\lambda$较小时，正则化项不起作用，模型会变得过拟合。如图：

学习曲线（Learning curve）

高偏差情况

• 随着训练集样本数的不断增加，$J_{cv}(\theta )和J_{train}(\theta )$的值越来越接近，而且都很大
• 如果算法是高偏差（欠拟合）的话，再怎么增加样本数也不会让交叉验证/测试集误差减小很多

高方差情况

• 随着训练集样本数的不断增加，$J_{cv}(\theta )和J_{train}(\theta )$的值会有很大的差距
• 如果算法是高方差（过拟合）的话，增加样本数也可能会让交叉验证/测试集误差减小

方法

一般的，对于高偏差问题（欠拟合）：

• 增加特征个数
• 增加多项式特征
• 降低$\lambda$

对于高方差问题（过拟合）：

• 增加训练样本
• 减少特征个数
• 增加$\lambda$
  

对于神经网络来说，参数越少，越有可能欠拟合；参数越多，网络结构越复杂，越有可能过拟合，应该加入正则化项。
如何选择神经网络的层数？尝试把数据集划分成上面的三部分，然后训练有一/二/三…个隐藏层的网络，然后验证哪个的$J_{cv}(\theta )$最小

机器学习系统设计

误差分析（Error analysis）

开发一个复杂的机器学习系统：

e.g.设计一个垃圾邮件分类系统，发现错误识别的邮件中钓鱼邮件的数量是最多的，所以可以画更多的时间来改进钓鱼邮件的识别

不对称分类的误差估计（Error metrics for skewed classes）

查准率和召回率（precision recall）：

y = 1 in presence of rare class(稀有类别，即该类别在所给样本中比较少出现) that we want to detect

如图，如果某个类分类结果为1，如果算法预测结果也为1，称为真阳性（TP），如果算法预测结果为0，称为假阴性（FN）；如果某个类分类结果为0，如果算法预测结果也为0，称为真阴性（TN），如果算法预测结果为1，称为假阳性（FP）。

Precision： 预测为正，实际为正的概率（e.g.对所有预测患癌的患者，有多大几率真得了）
$$Precision=\frac{TP}{TP+FP}$$
Recall： 正例被准确预测的概率，也叫查全率，敏感性（e.g. 假设所有都得癌症了，有多大几率正确预测他们得了）
$$Recall=\frac{TP}{TP+FN}$$

一个算法如果有高查准率和召回率，那么说明这个算法比较好

两者之间的权衡：

对于一个逻辑回归问题，以癌症预测为例，我们之前是设定如果$h_{\theta }(x)\ge 0.5$，判断 y=1，即患癌症；如果 $h_{\theta }(x)<0.5$，判断 y=0，即为良性肿瘤，这时候的查准率和召回率处在一个平衡的水平。

但如果以上面的方法进行预测，那么很有可能在没有准确把握的情况下将病人诊断为患癌。我们希望只有在有准确把握的情况下将病人诊断为癌症，于是修改算法如下：
$$\begin{gathered} 当h_{\theta }(x)\ge 0.9,预测y=1 \\ 当h_{\theta }(x)\le 0.9,预测y=0 \end{gathered}$$

这样子的话会导致查准率变高，召回率变低；反之，当我们想要尽可能让所有患癌的患者被正确诊断不错过最佳治疗时期，我们需要将假阴性样本提高，算法修改如下：
$$\begin{gathered} 当h_{\theta }(x)\ge 0.3,预测y=1 \\ 当h_{\theta }(x)\le 0.3,预测y=0 \end{gathered}$$

这样子的话会导致查准率变低，召回率变高。

1. 如果我们想要比较确信为正例时才判定为正例，那么提高阈值，模型会对应高查准率，低召回率；
2. 如果希望避免假阴性，那么降低阈值，模型会对应低查准率，高召回率

所以对大多数算法来说，我们必须要在precision和recall之间进行权衡：

$F_1$ score

$$F_1=2\frac{PR}{P+R}$$
选择最大的F score

支持向量机（SVM，也叫大间距分类器）

支持向量机就是对于逻辑回归问题得到的损失函数，进行以直线替代曲线，从而起到优化的作用。

优化目标

$$cost(\theta ,x)=-(ylog{h}_{\theta }(x)+(1-y)log(1-h_{\theta }(x)))$$

 左图为 y=1 时得到的图像，右图是 y=0 时得到的图像。可以看到该函数为一条曲线，我们用两条直线可以得到与图中一条曲线差不多的图像，分别将左图由直线组成的函数称为$cos{t}_1(z)$，将右图由直线组成的函数称为 $cos{t}_0(z)$。
 
逻辑回归优化目标如下：
$$\underset{\theta }{\min }\frac{1}{m}\sum _{i=1}^m[y^{(i)}(-log(h_{\theta }(x^{(i)}))+(1-y^{(i)})((-log(1-h_{\theta }(x^{(i)})))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

我们将逻辑回归的整体优化目标做出以下改变：

1. 将$-log{h}_{\theta }(x^{(i)})$替换为$cos{t}_1({\theta }^T{x}^{(i)})$,将$-log(1-h_{\theta }(x^{(i)}))$替换为$cos{t}_0({\theta }^T{x}^{(i)})$
2. 由于在逻辑回归代价函数中，$\frac{1}{m}$ 只是一个常数，把它去掉并不会影响代价函数求偏导的结果，因此一般支持向量机把$\frac{1}{m}$去掉；
3. 支持向量机的正则化一般不采用在正则化项 采用正则化参数$\lambda$，而是在被正则化项 采用参数 C 进行正则化。这在本质上没什么区别，只是写法上的不同，C 在这里的作用类似$\frac{1}{\lambda }$

所以我们可以得到支持向量机SVM整体优化目标函数：
$$\underset{\theta }{\min }C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$

支持向量机并不会输出概率，而是进行直接的预测（y = 1/0）

间隔最大化

直观理解

当取到一个较大的C值时，当$y^{(i)}=1$时，${\theta }^T{x}^{(i)}\ge 1$,当$y^{(i)}=0$时，${\theta }^T{x}^{(i)}\le -1$
如果我们把优化问题看成是通过选择参数使SVM的第一项为零，那么优化问题就成为$$\underset{\theta }{\min }C\times 0+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2,s.t.{\theta }^T{x}^{(i)}\ge 1if{y}^{(i)}=1;else{\theta }^T{x}^{(i)}\le -1$$
因此我们可以得到SVM的决策边界

数学原理

$$\frac{1}{2}\sum _{i=1}^n{\theta }_j^2=\frac{1}{2}(\sqrt{{\theta }_1^2+...+{\theta }_n^2}{)}^2=\frac{1}{2}||\theta |{|}^2$$

进行简化：令${\theta }_0=0$,n = 2

所以有：
$${\theta }^T{x}^{(i)}=p^{(i)}||\theta ||={\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)},p^{(i)}是x^{(i)}在\theta 上的投影长度（可正可负）$$

决策边界转换为：

在左图中：对样本$x^{(1)}$，短的红线段$p^{(1)}$是样本到参数$\theta$的投影，它非常短。类似地，对样本$x^{(2)}$，它到$\theta$的投影是粉色线段$p^{(2)}$，这个投影非常短。$p^{(2)}$事实上是一个负值。
由于$p^{(i)}$将会是非常小的数，因此当我们考察优化目标函数的时候，对于正样本而言，我们需要 $p^{(i)}\cdot \left||\theta \right||\ge 1$,但 $p^{(i)}$非常小,那就表明$\theta$的范数非常大。类似地，对于负样本而言$p^{(2)}\cdot \left|\theta \right|<=-1$。$p^{(2)}$会是一个非常小的数，因此唯一的办法就是$\theta$的范数变大。但是我们的目标函数是希望找到一个参数$\theta$，它的范数是小的。因此，这看起来不像是一个好的参数向量$\theta$的选择。

为什么参数向量θ事实上是和决策边界是90度正交的？ 对任意一个线性分割样本的决策边界，看成是一个Logistic Regression。在逻辑回归中，假设已经拟合出参数θ（θ是一个向量），那么求解θ^Tx=0这个方程就可以得到决策边界。 Logistic Regression中输出函数为Sigmoid函数，临界点为z=0。${\theta }^T\cdot x=0$，故正交。（决策边界是由$x^{(i)}组成的$）

核函数

我们可以通过改造支持向量机来构造复杂的非线性分类器，这需要用到核函数。

如果我们要对以下非线性模型进行分类：

根据上图可以用f1,f2…来表示相应的多项式，那是否会有用f1,f2…表示对更好的选择？

和函数的分类问题

设定几个坐标$l^{(i)}$landmark；用f 值表示我们用来描述给定初始特征变量 x 与我们所给定的坐标 l (landmarks) 的接近程度：
$$f_i=similarity(x,l^{(i)})=k(x,l^{(i)})=exp(-\frac{||x-l^{(i)}|{|}^2}{2{\sigma }^2})=exp(-\frac{{\sum }_{j=1}^n(x_j-l_j^{(i)}{)}^2}{2{\sigma }^2})$$

其中$similarity(x,l^{(i)})=k(x,l^{(i)})$称为核函数，本例中使用的核函数为高斯核函数

如果$x\approx l^{(i)}$:
$$f_i\approx exp(-\frac{0^2}{2{\sigma }^2})\approx 1$$

如果x is far from $l^{(i)}$:
$$f_i\approx exp(-\frac{(largenumber{)}^2}{2{\sigma }^2})\approx 0$$

$\sigma$ 的值对于核函数的影响：

由上图我们可以看出， $\sigma$值越大，特征变量值 f 随着 x 与 $l$距离的变化越缓慢；反之则反。

由核函数根据输入的初始特征变量 x 和我们选择的标记点 l 计算的到的假设函数$h_{\theta }(f)$ 的每一个特征变量 f，带入假设函数$h_{\theta }(f)$并预测输入样本属于哪一类

如何选择landmark

SVM将每一个训练样本$(x^{(i)},y^{(i)})$,令标记$l^{(i)}=x^{(i)}$，对于每一个输入$x$，计算$f_1,f_2,...,f_m$ ，令$f_0=1$,生成新的特征向量$f\in {\mathbb{R}}^{m+1}$

核函数的想法理论上可以用于其他的算法，但由于总总原因，核函数在其他算法无法很好推广，比如核函数结合逻辑回归会变得很慢

SVM参数对性能的影响

使用SVM

我们在使用SVM时不要自己手写函数，而是要调用现成的包，虽然不用具体实现SVM的细节，但我们还是要自己选择合适的参数C和核函数

在使用高斯核函数之前一定要进行特征缩放，否则可能数值大的那个特征影响大

除了高斯核函数之外也有其他的核函数，如多项式核函数（polynomial kernel）、字符串核函数（string kernel，输入是字符）…

多类分类

基本的方法与逻辑回归的多类分类思想相似。

Logistic regression vs. SVMs

已知特征数量 n（$x\in {\mathbb{R}}^{n+1}$,包含x₀），训练样本数量 m：

• 如果$n\gg m$，选择l逻辑回归或线性核函数（没有核函数的SVM）。（eg. n=10,000 m=10-1000）
• 如果特征个数n较小，训练样本个数适当，选择高斯核函数。（eg. n=1-1000 m=10-10,000）
• 如果特征个数n小，训练样本非常大，增加更多特征或者选择逻辑回归或者线性核函数的SVM。（eg. n=1-1000 m=50,000+）

逻辑回归和线性核函数往往做着相似的事情，得到相似的结果。

无监督学习

K-Means算法

符号：
K : 表示我们要分类的种类个数；
$c^{(i)}$ : 当前样本$x^{(i)}$所属的簇的索引或者序号；
${\mu }_k$: 表示当前第 k 个聚类的中心位置$k\in \{1,2,...,K\}$；
${\mu }_{c^{(i)}}$ : 当前样本$x^{(i)}$所属的簇的索引代表的聚类的中心位置。

算法思路

算法输入：

1. K（聚簇的数目）
2. 训练集$\{x^{(1)}、x^{(2)}、...,x^{(m)}\}$,注意$x^{(i)}\in {\mathbb{R}}^n(drop{x}_0=1、convention)$

思路详解：
   假设我们打算将输入样本分为两个类，即 K=2。K-Means 算法在刚开始随机生成两个坐标点，这两个坐标点代表两个类。

接下来进入迭代过程：

1. 遍历所有样本，计算每个样本与这些坐标点的距离，并将样本点归为与它距离最短的坐标点的那一类；
2. 移动坐标点，坐标点的位置是属于该坐标点的所有样本的平均值；
3. 迭代第一步和第二步，直到坐标点的位置不再移动。

• $c^{(i)}$ 是一个索引，即如果$x_1,x_3,x_6和x_{10}$都是第二簇的，那么$c_1,c_3,c_6和c_{10}都为2$
• ${\mu }_k$也是一个n维向量，因为$x^{(i)}$都是n维向量

优化目标

$$J(c^{(1)},...,c(m),{\mu }_1,...,{\mu }_K)=\frac{1}{m}\sum _{i=1}^m||x^{(i)}-{\mu }_c^{(i)}|{|}^2$$
$$\underset{c^{(1)}...,c(m),{\mu }_1,...,{\mu }_K}{\min }J(c^{(1)},...,c(m),{\mu }_1,...,{\mu }_K)$$

此代价函数也被称为失真代价函数 或者 K均值算法的失真。

KM算法分为两步，第一步相当于$\mathrm{minimize}J(...)wrt{c}^{(1)},...,c(m)(holding{\mu }_1,...,{\mu }_{K}fixed)$，第二步相当于$\mathrm{minimize}J(...)wrt{\mu }_1,...,{\mu }_K$

随机初始化

在随机初始化中我们一般随机选取K个样本点直接作为初始聚簇中心点。

为什么要进行随机初始化：

一眼看上去图中的样本点可以分为两个聚簇，如果随机采用样本中的两个点作为聚簇中心点，很有可能将两个聚簇中心点同时设定在同一个聚簇中，这样就会使算法陷入局部最优。解决这个问题的办法是进行多次随机初始化，找到学习结果最好的初始化聚簇中心点，如下：

如果聚类的个数比较少（2 - 10），那么多次随机初始化往往会给出一个很好的分类结果；如果要找的聚类数量很多，多次随机初始化不会有很大的改善，第一次可能就会给出一个好的结果

选取聚类数量

大多数时候聚类数量 K还是通过我们自己观察手动选取，但吴恩达老师在这里介绍了肘部法则。
  
作出代价函数 J 随着聚簇数量的变化的曲线，然后选取函数的畸变点（导数变化最大的点，如左图，因很像一个肘部而得名），这个点就是我们想要的聚簇分类数量最合理的点。

但大多数时候“肘部函数”会像右图那样看不出肘部在哪里，这时肘部法则的缺陷。
  
还有一种方法是根据其后面的表现来选择KM的聚类数：

降维(Dimensionality Reduction)

目标1：数据压缩

如果一个数据集有多个特征，且多个特征之间存在某种相关性，这样我们可以把这些具有相关性的特征通过降低维度来进行数据的压缩，以达到减少特征冗余的目的。这样既可以减少存储空间大小，也可以提高算法的速度。

• 2D to 1D:
  
• 3D to 2D:
  把所有点投影到一个平面上
  

目标2：可视化

如果一个数据集包含50个特征，那么它的特征是五十维的，我们很难绘制五十维的图像来表示该数据集中的每一个样本。但如果我们把这个数据集的50个特征压缩为2个特征，那么我们可以在二维图像上清晰地看到每个样本点的分布，这样有助于我们分析问题。

降维算法：主成分分析法(PCA)

PCA算法试图找到一个低维的平面对数据进行投影，以便最小化每个样本点与投影后的对应点之间距离的平方。在使用PCA之前，要先进行均值归一化和特征规范化，使所有的特征均值为0

PCA不是线性回归

 左图为线性回归，右图为PCA。虽然两种算法表面上看上去都是对样本点进行拟合。但仔细研究上图就会发现，线性回归算法根据样本点所对应的y值拟合直线；而PCA算法根据样本点同拟合直线的距离拟合直线，且PCA中的变量是平等的。

使用PCA算法

数据预处理

1. 对于训练集：$x^{(1)},...,x^{(m)}$;
2. 先计算这些样本的均值：${\mu }_j=\frac{1}{m}{\sum }_{i=1}^m{x}_j^{(i)}$;
3. 令$x_j^{(i)}=x_j^{(i)}-{\mu }_j$（这样的好处是能使处理后的样本均值为零）；
4. 进行特征缩放——均值归一化。

PCA计算过程

假设我们要将数据从n维降到k维，我们首先要计算协方差（covariance matrix）：
$$\Sigma =\frac{1}{m}\sum _{i=1}^n(x^{(i)})(x^{(i)}{)}^T,\Sigma 是一个协方差矩阵$$
$$上面的公式也可写成Sigma=\frac{1}{m}\ast (X^{T}X)$$

计算矩阵$\Sigma$的特征向量，使用的octave公式如下（svd称为奇异值分解）：
$$[U,S,V]=svd(Sigma),Sigma是一个n\times n矩阵（n\ast 1\ast 1\ast n）$$
我们获得矩阵U（只需要U，不需要S和V）：
$$U=\left(\begin{array}{cccc}|& |& & |\\ u^{(1)}& u^{(2)}& ...& u^{(n)}\\ |& |& & |\end{array}\right)\in {\mathbb{R}}^{n\times n}$$
取矩阵U的前k列，将$x\in {\mathbb{R}}^n⟶z\in {\mathbb{R}}^k$:
$$z^{(i)}={\left(\begin{array}{cccc}|& |& & |\\ u^{(1)}& u^{(2)}& ...& u^{(k)}\\ |& |& & |\end{array}\right)}^T{x}^{(i)},z^{(i)}\in {\mathbb{R}}^{k\times 1},前面的矩阵也写成U_{reduce}$$

主成分数量k的选择

概念一：PCA算法的平均投影误差平方：
$$\frac{1}{m}\sum _{i=1}^m||x^{(i)}-x_{approx}^{(i)}|{|}^2,x_{approx}^{(i)}=U_{reduce}{z}^{(i)}(n\ast k\ast k\ast 1)$$

概念二：样本数据总方差（所有样本与原点距离的平方）：
$$\frac{1}{m}\sum _{i=1}^m||x^{(i)}|{|}^2$$

一般来说，我们会从1开始，尝试选择最小的 k 值使得上述两个概念比值小于等于 0.01（99%的方差性会被保留）：
$$\frac{\frac{1}{m}{\sum }_{i=1}^m||x^{(i)}-x_{approx}^{(i)}|{|}^2}{\frac{1}{m}{\sum }_{i=1}^m||x^{(i)}|{|}^2}\le 0.01$$

• 在octave中，我们可以有一个更简单的方式来进行计算：
  1. 对于公式：$$[U,S,V]=svd(Sigma)$$
  2. 输出矩阵S如下所示：
     $$S=\left[\begin{array}{cccc}{s}_{11}& 0& \cdots & 0\\ 0& s_{22}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & s_{nn}\end{array}\right]\in {\mathbb{R}}^{n\times n}$$
  3. 则上述选择标准公式可以用如下公式代替：
     $$1-\frac{{\sum }_{i=1}^k{s}_{ii}}{{\sum }_{i=1}^n{s}_{ii}}\le 0.01$$
     $$也即：\frac{{\sum }_{i=1}^k{s}_{ii}}{{\sum }_{i=1}^n{s}_{ii}}\ge 0.99$$

压缩重现

可以通过$$x_{approx}^{(i)}=U_{reduce}{z}^{(i)}$$来重新获得原数据（与$x^{(i)}$还是有差距但基本差不多）

应用PCA的建议

监督学习中有时候输入样本的特征很多，我们也要想办法把它们减低维度，具体步骤如下：

注意：降维映射Mapping $x^{(i)}\to z^{(i)}$ 只能是在训练集中通过PCA算法运行得到，不能在交叉验证集或者测试集中一起通过PCA算法得到。在训练集中通过PCA算法得到的映射可以用于后期检验泛化程度时交叉训练集或者测试集的降维。

PCA的错误用法

使用PCA算法防止过拟合

特征数量太多是导致过拟合的一种原因。即使有时候使用PCA算法看起来可以解决过拟合的问题，但是吴恩达老师不建议这么做，最好的方式还是使用正则化，原因是：**PCA算法对于监督学习样本特征的降维是忽略掉了标签y，我们只是使用输入的 $x^{(i)}$让算法去寻找低维数据来近似。正因如此，PCA算法会舍弃掉一些有价值的信息。**如果使用正则化来防止过拟合的话，至少会得到与PCA相同的好结果。

在算法设计阶段直接使用PCA

在设计一个机器学习系统时，与其一上来就使用PCA进行降维，倒不如先使用原数据先跑一下，如果原数据跑得慢/占了太多内存，才考虑使用PCA来加快速度。

异常检测（Anomaly detection）

异常检测问题主要用在无监督学习。

异常检测问题可以这么理解：给定一些初始的样本，将它们称为一个类C。对于一个输入的新样本，通过算法判断该新样本是否属于类C，如果不属于，则判断该新样本存在异常（也可以这么理解：通过初始的样本训练得到一个阈值，如果新样本超出这个阈值，这判断该样本为异常样本）。

异常检测问题应用的场景是：飞机引擎的异常检测、购物网站行为不寻常用户检测、数据中心监控哪台计算机出现异常。

高斯分布/正态分布（Guassian/Normal distribution）

如果一个实数x的概率符合高斯分布（标准差为$\sigma$ ，均值为$\mu$ ，方差为${\sigma }^2$，我们把它记作$x\approx N(\mu ,{\sigma }^2)$
高斯分布中$\mu$控制曲线的中心位置，$\sigma$控制曲线的宽度（$\sigma$越大，曲线越矮，反之瘦高）

参数估计

对于给定的数据集，假设通过观察我们认为这些数据集的分布大致符合高斯分布。那么我们可以计算该数据集所对应的高斯分布的参数：
$$\mu =\frac{1}{m}\sum _{i=1}^m{x}^{(i)}$$
$${\sigma }^2=\frac{1}{m}\sum _{i=1}^m(x^{(i)}-\mu {)}^2$$

异常检测算法

对于训练集{$x^{(1)},...,x^{(m)}$},训练集中的每个样本$x^{(i)}\in {\mathbb{R}}^n$。我们假设训练样本的每一个特征值x_i都符合某种正态分布，则有：
$$p(x)={\Pi }_{j=1}^{n}p(x_j;{\mu }_j,{\sigma }_j^2)$$

得到异常算法的一般步骤：

1. 选择可以帮我们指出那些反常样本的特征值$x_i$；
2. 对所选的特征值进行参数估计得到$\mu 和\sigma$
3. 对于给定的新样本，通过上述式子计算它的正态分布概率，并与我们我设定的阈值$ϵ$作比较。如果$p(x)<ϵ$，则判断该样本异常

具体的例子！！！

评估异常检测算法

对于异常检测算法，我们要有一个评估算法好坏的标准，最好是可以通过一个实数评价指标告诉我们算法的好坏。

评估思路

我们在对异常检测算法进行评估时，需要用到带标签的数据，将训练后的模型对这些带标签数据的标签预测值和带标签数据的真实标签做对比，就可以帮助我们评估一个算法的好坏。

• 假定我们有一些带标记的数据，y = 0时为正常样本，y = 1为异常样本。
• 设定训练集：$x^{(1)},x^{(2)},...,x^{(m)}$（可假定都是正常/异常的样本)
• 交叉验证集合：$(x_{cv}^{(1)},y_{cv}^{(1)}),...,(x_{cv}^{(m_{cv})},y_{cv}^{(m_{cv})})$
• 测试集：$(x_{test}^{(1)},y_{test}^{(1)}),...,(x_{test}^{(m_{test})},y_{test}^{(m_{test})})$

在交叉验证集合和测试集中可以包含适当的异常样本，即y = 1的样本

步骤如下：

1. 将训练集中的样本用高斯分布拟合，并训练出模型$p(x)=p(x_1;{\mu }_1,{\sigma }_1^2)\cdot \cdot \cdot p(x_n;{\mu }_n,{\sigma }_n^2)$，得到${\mu }_1,{\sigma }_1^{}$