【人工智能】机器学习基础（QDU）

转载请务必经过我的同意

• 【人工智能】不确定性推理（QDU）
• 【人工智能】传统机器学习算法（QDU）
• 【人工智能】非线性分类器（QDU）
• 【人工智能】机器学习基础（QDU）
• 【人工智能】深度学习（QDU）

最小二乘法

一般用于计算损失函数取最值时的解。

两个参数的最小二乘法

定义2D样本的回归模型如下：

2D样本：一般由一个特征决定标签/函数值，因此参数的确定需要常数项系数和一次项系数，即两个因素影响损失函数值，所以称为2D

$$loss=\sum _i^n(y_i-w_0-w_{1}x{)}^2$$

要让损失函数$loss$取得最小值需要求导：
$$\begin{gathered} \frac{\partial loss}{\partial w_0}=2\sum _i^n(y_i-w_0-w_1{x}_i)(-1)=0 \\ \frac{\partial loss}{\partial w_1}=2\sum _i^n(y_i-w_0-w_1{x}_i)(-X_i)=0 \end{gathered}$$
使用克莱姆法求解如下：

克莱姆法则：

记n元非齐次线性方程组的系数矩阵为$A$，自变量矩阵（列向量）为$X$，常数项矩阵（列向量）为$B$。

记系数矩阵$A$的行列式为$D=|A|$ 。

当$D\ne 0$时，有唯一解，$X=A^{-1}B$。其中$X$由$x_i$构成，$x_i=\frac{D_j}{D}$ $(j=1,2,...,n)$，其中$D_j$是把$D$中第$j$列元素对应地换成常数项而其余各列保持不变所得到的行列式。

求解过程：

由上面两个偏导为零可以列出2元线性方程组：
$$\{\begin{array}{l}n{w}_0+{\sum }_i^n{x}_i{w}_1={\sum }_i^n{y}_i\\ {\sum }_i^n{x}_i{w}_0+{\sum }_i^n{x}_i^2{w}_1={\sum }_i^n{x}_i{y}_i\end{array}$$

可得：
$$\begin{gathered} D=\left|\begin{array}{cc}n& \sum x_i\\ \sum x_i& \sum x_i^2\end{array}\right|=n\sum x_i^2-(\sum x_i{)}^2 \\ {D}_0=\left|\begin{array}{cc}\sum y_i& \sum x_i\\ \sum x_i{y}_i& \sum x_i^2\end{array}\right|=\sum x_i^2\sum y_i-\sum x_i\sum x_i{y}_i \\ {D}_1=\left|\begin{array}{cc}n& \sum y_i\\ \sum x_i& \sum x_i{y}_i\end{array}\right|=n\sum x_i{y}_i-\sum x_i\sum y_i \end{gathered}$$
最终可得：
$$\begin{gathered} w_0=\frac{\sum x_i^2\sum y_i-\sum x_i\sum x_i{y}_i}{n\sum x_i^2-(\sum x_i{)}^2} \\ {w}_1=\frac{n\sum x_i{y}_i-\sum x_i\sum y_i}{n\sum x_i^2-(\sum x_i{)}^2} \end{gathered}$$

最小二乘法的矩阵表达形式

可用于求解多参数的最值。

为了更佳地展示过程，我们设损失函数为$loss=||Ax-b|{|}_2^2$，其中$A$表示样本数据的特征值，$x$表示参数即求解目标，$b$表示样本数据特征值对应的标签/函数值。求损失函数取最小值时对应的解，此解即为模型中的参数。

$||x|{|}_2$为二范数，又称欧几里得范数。详见0 范数、1 范数、2 范数的区别 - 知乎

$$\begin{gathered} ||Ax-b|{|}_2^2 \\ =(Ax-b{)}^T\ast (Ax-b) \\ =x^T{A}^{T}Ax-b^{T}Ax-x^T{A}^{T}b+b^{T}b \end{gathered}$$

令其对$x$的导数等于零可得：

对其求导需要一些有关矩阵/向量求导的知识：

① $\frac{\partial x^{T}a}{\partial x}=\frac{a^{T}x}{x}=a$

② $\frac{\partial x^{T}Ax}{\partial x}=Ax+A^{T}x$

③ $A^{T}A$是对称的

④ 如果矩阵$A$是对称的，$Ax+A^{T}x=2Ax$

$$\begin{gathered} \frac{\partial x^T{A}^{T}Ax-b^{T}Ax-x^T{A}^{T}b+b^{T}b}{\partial x}=0 \\ \frac{\partial x^T{A}^{T}Ax}{\partial x}-\frac{\partial b^{T}Ax+x^T{A}^{T}b}{\partial x}+\frac{\partial b^{T}b}{\partial x}=0 \end{gathered}$$

其中，$\frac{\partial x^T{A}^{T}Ax}{\partial x}\stackrel{②}{=}{A}^{T}Ax+(A^{T}A{)}^{T}x\stackrel{③}{=}2A^{T}Ax$

$\frac{\partial b^{T}Ax+x^T{A}^{T}b}{\partial x}=\frac{\partial (b^{T}A)x+x^T(A^{T}b)}{\partial x}\stackrel{①}{=}{A}^{T}b+A^{T}b=2A^{T}b$

$\frac{\partial b^{T}b}{\partial x}=0$

因此，$原式=2A^{T}Ax-2A^{T}b=0$，解得$x=(A^{T}A{)}^{-1}{A}^{T}b$

最小二乘法的局限性

只有当矩阵$A$的每一列都是线性不相关的，矩阵$A^{T}A$才是可逆的。 最小二乘法才存在唯一的最优解 $x=(A^{T}A{)}^{-1}{A}^{T}Y$。

1. $A^{T}A$不可逆时，无法求解
2. 当特征维数大时，$A^{T}A$求逆困难

因此引入“梯度下降法”。

梯度下降法

梯度即是某一点最大的方向导数，沿梯度方向函数有最大的变化率（正向增加，逆向减少）。

代价函数沿梯度的负方向下降最快。

梯度下降法（Gradient Descent，GD）

梯度下降法步骤

规定：

$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n={\sum }_{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$

设$loss(\theta )=\frac{1}{2}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

其中$x^{(i)}=(x_1,x_2,...,x_n{)}^T$，$y^{(i)}$ 为特征值{$x_1,x_2,...,x_n$}对应的真实值。

1. 首先对 $\theta$ 赋初值，这个值可以是随机的，也可以让 $\theta$ 是 一个全零的向量。
2. 计算梯度：$\frac{\partial loss(\theta )}{\partial {\theta }_j}=\frac{\partial }{\partial {\theta }_j}\frac{1}{2}{\sum }_{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)}{)}^2={\sum }_{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)})x_j^{(i)}$
3. 修改参数值：${\theta }_j={\theta }_j-\alpha \frac{\partial loss(\theta )}{\partial {\theta }_j},\forall j$，其中$\alpha$表示学习步长，也就是每次按照梯度减少的方向变化多少。
4. 按照（3）迭代更新$\theta$值，直至收敛或者$\theta$ 值的改变小于设定的阈值。

局限性

1. 梯度下降不一定能够找到全局的最优解，有可能是一个局部最优解。当然，如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解。
2. 由于有局部最优解的风险，需要多次用不同初始值运行算法。
3. 步长太大，会导致迭代过快，甚至有可能错过最优解。步长太小，迭代速度太慢，很长时间算法都不能结束。所以算法的步长需要多次运行后才能得到一个较为优的值。

批量梯度下降法（Batch Gradient Descent，BGD）

批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。

（1）对目标函数求偏导：
$$\frac{\partial loss(\theta )}{\partial {\theta }_j}=\frac{\partial }{\partial {\theta }_j}\frac{1}{2}\sum _{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)}{)}^2=\sum _{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)})x_j^{(i)}$$
其中 $i=1,2,...,m$ 表示样本数， $j=0,1,...,n$ 表示特征数，这里我们使用了偏置项 $x_0^{(i)}=1$ 。

（2）每次迭代对参数进行更新：
$${\theta }_j={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
注意这里更新时存在一个求和函数，即为对所有样本进行计算处理，可与下文SGD法进行比较。

优点：

1. 一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。
2. 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。

缺点：

​ 当样本数目 $m$ 很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。从迭代的次数上来看，BGD迭代的次数相对较少。

随机梯度下降法（Stochastic Gradient Descent，SGD）

随机梯度下降法不同于批量梯度下降，随机梯度下降是每次迭代使用一个样本来对参数进行更新。使得训练速度加快。

（1）对目标函数求偏导：
$$\frac{\partial loss(\theta )}{\partial {\theta }_j}=\frac{\partial }{\partial {\theta }_j}\frac{1}{2}\sum _{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)}{)}^2=\sum _{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)})x_j^{(i)}$$
（2）参数更新：
$${\theta }_j={\theta }_j-\alpha (h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
优点：
由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。
缺点：

1. 准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。
2. 可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。
3. 不易于并行实现。

小批量梯度下降（Mini-Batch Gradient Descent，MBGD）

小批量梯度下降，是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代 使用 $batch\_size$ 个样本来对参数进行更新。

这里我们假设 $batch\_size=10$ ，样本数 $m=1000$。

优点：

1. 通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。
2. 每次使用一个batch可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。（比如上例中的30W，设置batch_size=100时，需要迭代3000次，远小于SGD的30W次）
3. 可实现并行化。

缺点：

​ $batch\_size$的不当选择可能会带来一些问题。

逻辑回归

判定边界

逻辑回归是解决分类问题的一个算法，我们可以通过这个算法得到一个映射函数 $f:X\to y$，其中$X$为特征向量，$X=x_0,x_1,...,x_n$， $y$为预测结果。在逻辑回归中，标签$y$是一个离散值。

当将训练集的样本以其各个特征为坐标轴在图中进行绘制时，通常可以找到某一个 判定边界 去将样本点进行分类。例如：

线性判定边界：

非线性判定边界：

在图中，样本的标记类型有两种类型，一种为正样本，另一种为负样本，样本的特征$x_0$和$x_1$为坐标轴。根据样本的特征值，可将样本绘制在图上。

在图中，可找到某个判定边界来对不同标签的样本进行划分。根据这个判定边界，我们可以知道哪些样本是正样本，哪些样本为负样本。

因此我们可以通过学习得到一个方程$E_{\theta }(X)=0$来表示判定边界，即判定边界为$E_{\theta }(X)=0$的点集。(可以看作是等高超平面)
$$E_{\theta }(X)=X^T\theta$$
其中$\theta ={\theta }_0,{\theta }_1,{\theta }_2,...,{\theta }_n$，为保留$E_{\theta }(X)=0$中的常数项，令特征向量$X=1,x_1,x_2,...,x_n$。

为使得我们的边界可以非线性化，对于特征$x_i$可以为特征的高次幂或相互的乘积。

对于位于判定边界上的样本，其特征向量$X$可使得$E_{\theta }(X)=0$。因此，判定边界是满足$E_{\theta }(X)=0$的特征向量$X$表示的点的集合。

sigmoid函数

在上面，可以通过找到一个判定边界来区别样本的标签，得到一个方程$E_{\theta }(X)=0$来表示判定边界。

对于二分类问题，即样本标签的类型只有两种类型。

当样本标记的类型只有两种时，其中一类的样本点在判定边界的一边，其会有$E_{\theta }(X)>0$，而另一类的样本会在判定边界的另一边，会有$E_{\theta }(X)<0$。

当样本点离判定边界越远时，$E_{\theta }(X)$的绝对值越大于$0$，这时样本的标签是某种类型的概率会很大，可能会等于$1$；当样本点离判定边界越近时，$E_{\theta }(X)$的接近$0$，样本的标签是某种类型的概率会在$0.5$左右。

因此，我们可以将$E_{\theta }(X)$函数转换为一种概率函数，通过概率来判断样本的标签是某一种类型的概率会是多少。而这种转换可以使用sigmoid函数来实现︰
$$g(z)=\frac{1}{1+e^{-z}}$$
sigmoid函数图像如下：

从sigmoid函数图像可看出：当z为0左右时，函数值为0.5左右；z越大于0时，函数值越大于0.5越收敛于1；z越小于0时，函数值越小于0.5越收敛于0。

因此，sigmoid函数可适用于在二分类问题中将$E_{\theta }(X)$函数转换为概率函数。
当$E_{\theta }(X)>0$时，样本标记的类型为某一类型的概率会大于0.5；当$E_{\theta }(X)\le 0$时，样本标记的类型为某一类型的概率会小于0.5；当$E_{\theta }(X)$约等于0时，样本标记的类型为某一类型的概率会在0.5左右。
在二分类问题中，可以找到逻辑回归函数$h_{\theta }(X)=sigmoid(E_{\theta }(X))$，判定边界可看作$h_{\theta }(X)=0.5$时的等高线。
$$\begin{gathered} g(z)=\frac{1}{1+e^{-z}} \\ {h}_{\theta }(X)=g(E_{\theta }(X))=g({\theta }^{T}X)=\frac{1}{1+e^{-{\theta }^{T}X}} \end{gathered}$$

不知道你有没有这样的疑问，“$E_{\theta }(X)$不是已经可以确定特征值$X$属于哪一类了吗，为什么还要映射到sigmoid函数上？这不是多此一举吗？”

如果我们已经知道了参数$\theta$，那么映射到sigmoid函数上以获取类别确实多此一举，但是我们建立模型的时候并不知道$\theta$，$\theta$是我们通过训练集训练出来的。要想训练就需要损失函数控制训练的好与坏，损失函数需要连续地表达真实值与预测值之间的差距，因此将离散的两种标签连续化非常重要。sigmoid函数就是将$E_{\theta }(X)$的正负映射成一些连续的函数值，同时还要很好地表达现实含义，即“分为当前类的可能性”。得到连续的值后我们就可以通过特征值与“分为当前类的可能性”之间的函数关系构建损失函数，从而对模型进行训练，得到参数$\theta$。

损失函数

定义

在二分类问题中，若用 $h_{\theta }(X)$ 的值表示正样本的概率，且$h_{\theta }(X)\in (0,1)$，需要的损失函数应该是这样的：

1. 当样本标签的类型是正类型时，若该样本对应的 $h_{\theta }(X)$ 值为1时，即为正类型的概率为$1$，这时损失函数值应为$0$；若该样本对应的 $h_{\theta }(X)$值为$0.0001$时，即为正样本的概率为$0.0001$，这时候损失函数值应该是一个很大的值。
2. 当样本标记的类型是负类型时，若该样本对应的 $h_{\theta }(X)$ 值为0时，即为正样本的概率为$0$，这时损失函数值应为$0$；若该样本对应的$h_{\theta }(X)$值为$0.9999$时，即为正样本的概率为$0.9999$，这时候损失函数值应该是一个很大的值。

因此二分类问题中，为满足这种需求，对于单个样本来说，其损失函数可以表示为︰
（ $h_{\theta }(X)$ 的值表示正样本的概率）
$$Cost(h_{\theta }(X),y)=\{\begin{array}{llc}-log(h_{\theta }(X))& if& y=1\\ -log(1-h_{\theta }(X))& if& y=0\end{array}$$
其中$y=1$表示样本为正样本，$y=0$表示样本为负样本。

结合起来的写法︰
$$Cost(h_{\theta }(X),y)=-[ylog(h_{\theta }(X))-(1-y)log(1-h_{\theta }(X))]$$
上式的代价函数也称作：交叉熵代价函数。

对于训练集所有样本来说，共同造成的损失函数的均值$los{s}_{\theta }(X)$可以表示为︰
$$los{s}_{\theta }(X)=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(X^{(i)}),y^{(i)})$$
将$Cost$函数代入得：
$$los{s}_{\theta }(X)=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}log(h_{\theta }(X^{(i)}))-(1-y^{(i)})log(1-h_{\theta }(X^{(i)}))]$$
对于样本来说，其标记$y$为$1$（正样本）或为$0$（负样本），对于预测概率函数$h_{\theta }(X)$来说，预测到样本为正样本的概率值在$0$到$1$之间。

极大似然估计

上面是一种求损失函数的方式，我们也可以换一种方式来求损失函数，即极大似然估计。用极大似然估计来作为损失函数。

如果不知道极大似然：详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解 - CSDN

上述的损失函数$los{s}_{\theta }(X)$也可以通过极大似然估计来求得：以$h_{\theta }(X)$的值表示正样本的概率，且以$y=1$表示正样本，$y=0$表示负样本，则有：
$$\begin{gathered} P(y=1|x;\theta )=h_{\theta }(x) \\ P(y=0|x;\theta )=1-h_{\theta }(x) \end{gathered}$$
合并上述两个式子则有：
$$p(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{(1-y)}$$

对$m$个样本，求极大似然估计：
$$\begin{gathered} L(\theta )=\prod _{i=1}^{m}p(y_1|x_i;\theta ) \\ =\prod _{i=1}^m(h_{\theta }(x_i){)}^{y_i}(1-h_{\theta }(x_i){)}^{(1-y_i)} \end{gathered}$$
取对数似然估计：
$$\begin{gathered} l(\theta )=logL(\theta ) \\ =\sum _{i=1}^m{y}_{i}log{h}_{\theta }(x_i)+(1-y_i)log(1-h_{\theta }(x_i)) \\ {h}_{\theta }(X)=\frac{1}{1+e^{-X^T\theta }} \end{gathered}$$
对数似然取极值（极大值）时的$0$取值便是我们想要的，因此需要对目标函数$l(\theta )$进行最大化，即相当于对上述的$loss(\theta )$进行最小化：$l(\theta )=-loss(\theta )$。

梯度下降法求损失函数极小值

损失函数的矩阵法表示：
$$loss(\theta )=-Y\cdot log{h}_{\theta }(X)-(E-Y)\cdot log(E-h_{\theta }(X))$$
其中$E$为单位向量，$\cdot$ 为内积。
$$\frac{\partial loss}{\partial \theta }=-Y\cdot X^T\frac{1}{h_{\theta }(X)}{h}_{\theta }(X)(1-h_{\theta }(X))+(E-Y)\cdot X^T\frac{1}{1-h_{\theta }(X)}{h}_{\theta }(X)(1-h_{\theta }(X))$$

求导使用了矩阵求导的链式法则，和下面三个公式：

① $\frac{\partial logX}{\partial X}=1/X$

② $\frac{\partial g(z)}{\partial z}=g(z)(1-g(z))（g(z)为signmoid函数）$

③ $\frac{\partial X\theta }{\partial \theta }=X^T$

化简后可得：
$$\frac{\partial loss}{\partial \theta }=X^T(h_{\theta }(X)-Y)$$
在梯度下降法中每一步向量$\theta$的迭代公式如下：
$$\theta =\theta -\alpha X^T(h_{\theta }(X)-Y)$$
其中，$\alpha$为梯度下降法的步长。

Softmax Regression

用于解决多元分类问题

前置知识：

① 指数族分布

指数族分布的概率密度函数：

指数族分布其实是一类分布，包括高斯分布、伯努利分布、二项分布、泊松分布、Beta分布、Gamma分布、Dirichlet分布……但它们都能写成统一的形式：
$$p(x)=h(x)e^{{\theta }^{T}T(x)-A(\theta )}$$
分布函数框架中的h(x),η(θ),T(x)和A(θ)并不是任意定义的，每一部分都有其特殊的意义。

• $\theta$是自然参数（natural parameter），通常是一个实数
• $h(x)$是底层观测值（underlying measure）
• $T(x)$是充分统计量（sufficient statistic），能为相应分布提供足够信息的统计量
• $A(\theta )$被称为对数规则化（log normalizer）

② 广义线性模型：广义线性模型到底是个什么鬼？ - 搜狐网

Softmax Regression：是对logstic regression扩展的一种多分类器。

详细内容：多分类问题Softmax Regression - CSDN

REF

Logistic Regression（逻辑回归）模型实现二分类和多分类 - CSDN

(img-Dc6GLMQX-1641472243467)]

② 广义线性模型：广义线性模型到底是个什么鬼？ - 搜狐网

Softmax Regression：是对logstic regression扩展的一种多分类器。

详细内容：多分类问题Softmax Regression - CSDN