机器学习（四）多元线性回归和正规方程

---

Log

2022.01.02继续学习，记录一下
2022.01.03学习速度比计划中的要慢，得快点了
2022.01.04或许应该调整一下计划

---

一、多元线性回归（Multivariate linear regression）

• 多变量（Multiple variables）： 即每一个样本都有多个特征（features）， 于是引入如下符号：
  $$\begin{array}{rl}n& =\text{number of features(样本特征数量)}\\ x^{(i)}& =\text{input (features) of }{i}^{th}\text{training example(第i个样本)}\\ x_j^{(i)}& =\text{value of feature }j\text{in}{i}^{th}\text{training example(第i个样本的第j个特征值)}\end{array}$$
• 例如：

Size(feet²) x_1	Number of bedrooms x_2	Number of floors x_3	Age of home (years) x_4	Price($1000) y
2104	5	1	45	460
1416	3	2	40	232
1534	3	2	40	315
852	2	1	36	178
…	…	…	…	…

$$\begin{array}{rl}{x}^{(2)}& =\left[\begin{array}{c}1416\\ 3\\ 2\\ 40\\ 232\end{array}\right]\\ x_3^{(2)}& =2\end{array}$$

• 引入多变量后原来的假设函数（Hypothesis）也随之变化：
  $$\begin{array}{rl}Priviously:& h_{\theta }(x)={\theta }_0+{\theta }_{1}x\\ Currently:& h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n\end{array}$$
• 为了简化以上表达式，定义：x_0 = 1，则有：
  $$\begin{gathered} x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ ...\\ x_n\end{array}\right]\in R^{n+1}\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ...\\ {\theta }_n\end{array}\right]\in R^{n+1} \\ \begin{array}{rl}{h}_{\theta }(x)& ={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n\\ & =\underset{(n+1)\times 1}{\left[\begin{array}{ccccc}{\theta }_0& {\theta }_1& {\theta }_2& ...& {\theta }_n\end{array}\right]}\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ ...\\ x_n\end{array}\right]\\ & ={\theta }^{T}x\end{array} \end{gathered}$$
• 多元线性回归（Multivariate linear regression）: 如上，多元（Multivariate）即多特征，多变量。

二、多元梯度下降法（Multivariate gradient descent）

1.梯度下降算法引入多变量

• 首先将代价函数简化为向量的形式：
  $$J({\theta }_0,{\theta }_1,...,{\theta }_n)⟹J(\theta )$$
• 进一步我们就可以从单变量梯度下降变为多变量梯度下降：
  $$\begin{gathered} Previously(n=1) \\ \begin{array}{r}Repeat\{\end{array} \\ \begin{array}{rl}{\theta }_0:& ={\theta }_0-\alpha \underset{\frac{\partial }{\partial {\theta }_0}J(\theta )}{\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})}\\ {\theta }_1:& ={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x^{(i)}\end{array} \\ \} \end{gathered}$$
  $$\begin{gathered} Newalgorithm(n\ge 1) \\ \begin{array}{r}Repeat\{\end{array} \\ {\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_j^{(i)} \\ \} \\ E.g. \\ {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_0^{(i)} \\ {\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_1^{(i)} \\ {\theta }_2:={\theta }_2-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_2^{(i)} \\ ... \end{gathered}$$

2.特征缩放（feature scaling）

• 要旨： 确保不同特征的取值在相近的范围（a similar scale） 内，这样梯度下降算法就能更快的收敛。
• 以两个特征量为例，如果二者的取值范围相差过大，那么最终展现出来的代价函数J(θ)的等值线（contour） 图像为一个细长的椭圆（下图左），即偏移（skew） 严重，进而导致在梯度下降的过程中来回振荡（meander around），需要花费很长时间才能找到一条到达全局最优解的路线；通过进行特征缩放（scale the features），使两个特征量的取值更加接近，得到的图像看起来会更加圆一些（下图右），梯度下降算法会找到一条更直接的路，速度相比较而言也会更快
  
• 目标： 令 x_0 = 1 , 剩下的变量近似满足 -1 ≤ x_i ≤ 1 （也就是说，可以稍微大一点或小一点，但是别太大或太小，0到3和-2到0.5也行，相比之下-100到100、-0.00001到0.00001就不行）。并不需要太精确，能够让梯度下降进行的更快就行。
• 具体做法：
  1. 将特征除以最大值（divide by the maximum value），例如
     $$x_1=\frac{size}{2000}$$
  2. 均值归一（mean normalization），例如
     $$x_1=\frac{size-1000}{2000}$$
     即
     $$x_1=\frac{x_1-{\mu }_1}{s_1}$$
     其中
     $$\begin{array}{rl}{\mu }_1& :变量x_1的平均值\\ s_1& :x_1的范围(max-min)，或x_1的标准差\end{array}$$
     注意：均值归一处理时 x_0 不用变(x_0 = 1)。

3.学习率

• 梯度下降算法的更新规则如下：
  $${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$

①确保梯度下降正常工作

• 调试（Debugging）： 如何保证梯度下降正常工作。
• 正常情况：每一步迭代之后J(θ)都应该下降。
• 不同的情况达到近似收敛需要的迭代次数不同，收敛的阈值很难确定，一般通过J(θ)的图像来判断，而不是通过自动收敛测试来判断。
  
• 与此同时，也可以通过J(θ)的图像来判断梯度下降是否正常工作，如果出现随着迭代次数的增加J(θ)不断增大的情况（下图左），那么有可能是因为学习率α选择过大（下图中，从红点处开始迭代，左右来回振荡，每次都越过最小值不断增大，下图右）。
  

②正确选择学习率

• 可以证明出，只要学习率α足够小，每次迭代就都会下降，但是学习率α过小则会导致迭代速度变慢。
• 总结：
  1. 学习率α过大会导致迭代后J(θ)数值增大。
  2. 学习率α过小会导致迭代速度变慢。
• 在确定学习率α时通常要选择一系列不同的值进行测试，每隔10倍取一个值（也可以是3倍，如0.001–> 0.003–> 0.01–> 0.03–> 0.1–> 0.3–> 1），再对每一个α绘制J(θ)关于迭代步数变化的曲线，然后选择使J(θ)快速下降的α值作为最终的学习率（比最大值小一些或者比最小值大一些，合理即可）。

三、特征和多项式回归

1.特征的选择

• 可以通过定义新特征来建立更好的模型，以房价预测为例：
  
• 最初的假设函数里有2个特征，分别是临街宽度（frontage） 和 纵深（depth） ，但是预测房价时显然用土地面积（land area） 来预测会更加合理一些，因此进行如下的操作：
  $$\begin{array}{rl}{h}_{\theta }(x)& ={\theta }_0+{\theta }_1\times \underset{x_1}{frontage}+{\theta }_2\times \underset{x_2}{depth}\\ & \\ area& =frontage\times depth\\ & \Downarrow \\ x& =x_1\times x_2\\ & \\ h_{\theta }(x)& ={\theta }_0+{\theta }_1\times x\end{array}$$

2.多项式回归（Polynomial regression）

• 多项式回归（Polynomial regression）： 与选择特征相近的想法密切相关的一个概念，通过对算法进行处理来实现对数据的拟合，应用于非线性关系的拟合。

• 以下图为例，图中展示的是房屋大小与价格的训练集。
  

• 根据图像的特点，我们可以清楚地发现，通过一次函数来拟合并不能达到最好的效果，自然地我们便想到了用二次函数来拟合：
  $${\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$$
  

• 虽然二次函数可以较好地拟合当前数据，但是通过分析可知该二次函数是上凸的，也就是说在函数的后半段图像会呈现下降的趋势，即随着房屋面积的增大房价会随之降低，这显然是不合理的，因此用二次函数来拟合数据并不理想，进一步想到用三次函数来拟合：
  $${\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3$$

• 使用多项式回归对假设函数进行简单的处理，来实现上述三次函数对数据的拟合：
  $$\begin{array}{rl}{h}_{\theta }(x)& ={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3\\ & ={\theta }_0+{\theta }_1(size{)}^1+{\theta }_2(size{)}^2+{\theta }_3(size{)}^3\\ x_1& =(size)\\ x_2& =(size{)}^2\\ x_3& =(size{)}^3\end{array}$$

• 通过对三个特征量的设置，再应用线性回归的方法，就可以将一个三次函数拟合到上述数据中。

• 值得注意的是，当使用梯度下降算法时，如果三个特征量的范围相差过大，还需要进行特征缩放 ，将值的范围变得具有可比性。

• 除此之外，拟合的方式并不唯一，对于本例而言，还可以用以下的假设函数进项拟合（保证了上升趋势，不会下降）：
  $$h_{\theta }(x)={\theta }_0+{\theta }_1(size)+{\theta }_2\sqrt{(size)}$$

四、正规方程（Normal Equation）

• 正规方程对于某些线性回归问题会给出更好的方法来求参数θ的最优值。

1.梯度下降与正规方程简单的比较

• 梯度下降算法通过多次迭代实现代价函数J(θ)的最小化。
• 正规方程则提供了 一种求θ的解析解法（analytical method），即不需要进行迭代，一步求出最佳θ的值。
  

2.正规方程的直接理解

• θ为实数时： 假设有一个非常简单的代价函数J(θ)，就是一个实数θ的函数（θ是一个标量/实数值，不是向量），其中该函数是θ的二次函数（quadratic function），通过对其求导（take derivation） 并将导数（derivatives） 置零来最小化该二次函数，得到使J(θ)最小的θ值。
  $$\begin{gathered} \theta \in \mathbb{R} \\ \begin{array}{rl}J(\theta )& =a{\theta }^2+b\theta +c\\ \frac{\partial }{\partial \theta }J(\theta )& =0\Rightarrow \theta \end{array} \end{gathered}$$
• θ为向量时： 当θ为一个n+1维的参数向量时，可以通过逐个对参数θ_j求J的偏导，再全部将其置零得到最小化代价函数J的θ值。
  $$\begin{gathered} \theta \in {\mathbb{R}}^{n+1} \\ \begin{array}{rl}J({\theta }_0,{\theta }_1,...,{\theta }_m)& =\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2\\ \frac{\partial }{\partial {\theta }_j}J(\theta )& =0\Rightarrow {\theta }_0,{\theta }_1,...,{\theta }_n\end{array} \end{gathered}$$
• 实际上，当θ为向量时，求出的偏导形式会十分复杂，下面通过一个例子来引入一个更简单的方法：
  • 下面是一个m=4（样本容量为4）n=4（特征数为4）的训练样本，为了能够实现正规方程，需要在最前面一列加上x_0，再构建出一个包含所有特征向量的矩阵X

x_0	Size(feet²) x_1	Number of bedrooms x_2	Number of floors x_3	Age of home (years) x_4	Price($1000) y
1	2104	5	1	45	460
1	1416	3	2	40	232
1	1534	3	2	40	315
1	852	2	1	36	178

$$X=\underset{m\times (n+1)}{\left[\begin{array}{ccccc}1& 2104& 5& 1& 45\\ 1& 1416& 3& 2& 40\\ 1& 1534& 3& 2& 40\\ 1& 852& 2& 1& 36\end{array}\right]}y=\underset{m\times 1}{\left[\begin{array}{c}460\\ 232\\ 315\\ 178\end{array}\right]}$$

• 进一步可以通过下面的式子直接求出使代价函数最小化的θ：
  $$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
• Octave中计算这个量的命令：pinv(X'*X)*X'*y

3.正规方程的一般形式

• 假设有m个训练样本，n个特征变量，每一个训练样本x(i)的形式如下：
  $$\begin{gathered} \begin{array}{rl}& mexamples(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\\ & nfeatures\\ & \end{array} \\ {x}^{(i)}=\left[\begin{array}{c}{x}_0^{(i)}\\ x_1^{(i)}\\ x_2^{(i)}\\ .\\ .\\ .\\ x_n^{(i)}\end{array}\right]\in {\mathbb{R}}^{n+1} \end{gathered}$$
• 设计矩阵（design matrix）： 使用上面给出的x(i)构造出的如下矩阵X：
  $$X=\underset{m\times (n+1)}{\left[\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ ...\\ ...\\ (x^{(m)}{)}^T\end{array}\right]}$$
• 例如：
  $$if{x}^{(i)}=\left[\begin{array}{c}1\\ x_1^{(i)}\end{array}\right]thenX=\underset{m\times 2}{\left[\begin{array}{cc}1& x_1^{(1)}\\ 1& x_2^{(1)}\\ ...& \\ ...& \\ 1& x_m^{(1)}\end{array}\right]}y=\underset{m\times 2}{\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ...\\ ...\\ y^{(m)}\end{array}\right]}$$

4.梯度下降与正规方程具体的比较

m个训练样本，n个特征

梯度下降法 (Gradient Descent)	正规方程法 (Normal Equation)
缺点： 需要选择学习率α （即需要进行多次尝试，选择最佳学习率）	优点： 不需要选择学习率α
缺点： 需要进行多次迭代	优点： 不需要进行迭代
优点： 当n很大时仍然可以正常运行	缺点： 需要计算（X’X）的逆（n×n维） （计算机实现逆矩阵计算的代价以矩阵维度的三次方增长）
	缺点： n如果很大计算的速度就会慢

• 总结：如果n很大就选择梯度下降法，如果n很小就选择正规方程法，一般以10000作为大小的判断结点（n为10000时）。
• 注意：使用正规方程法不需要进行特征缩放。
• 对于后面将会学到的更加复杂的学习算法，正规方程法并不适用，梯度下降法反而更具优势，但对于线性回归这个特定的模型，正规方程法是一个比梯度下降法更快的替代算法。

5.矩阵不可逆（non-invertibility）情况

• 当计算下式时，如果X'X不可逆怎么办？
  $$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
• 一般来说，不可逆的情况很少发生，如果使用Octave的pinv(X'*X)*X'*y命令来计算，仍然可以得到正解。技术上来说，Octave里有两个可以计算矩阵的逆的函数：pinv和inv，区别就在于pinv是伪逆函数（pseudo-inverse，可以计算不可逆的情况），inv是逆。
• 导致不可逆发生的主要原因：
  • ①包含了多余的特征（redundant features），即线性依赖（linearly dependent）、线性相关
    • 例如：特征量x1代表房子的面积，以平方英尺作为单位，特征量x2也表示房子的面积，以平方米为单位，二者相互依赖，一个可以用另一个表示。
    • 从数学的角度来说，就是一个矩阵的某两行存在着倍数的关系，即对应的两个方程实际上是一个方程（互为线性函数），通过对矩阵的化简操作可以产生“0”行，从而导致矩阵不可逆。
  • ②有太多的特征变量（例如m≤n）
    • 个人理解是样本数量太少，特征量之间更容易产生关联，导致线性相关（回到①，本质上的原因应该都是一样的）
    • 解决方案：删去一些特征，或者使用一种叫做正则化（regularization） 的方法（后面会学到）。

总结

• 本文介绍了多元线性回归以及两个相关的算法，分别是多元梯度下降法以及正规方程法，除此之外还讨论了特征以及多项式回归的问题。
• 多元线性回归是一种新的线性回归版本，具有更有效的形式，适用于多个变量或者多特征量的情况。
• 多元梯度下降法是在原来的梯度下降算法的基础上引入了多变量，当不同的特征取值范围相差太大时需要要进行特征缩放，一般以±1为边界，但对精度的要求并不是很高，除此之外，多元梯度下降法中还介绍了正确选择学习率的方法以及选择不恰当时会出现的问题。
• 对于正规方程法，只要特征变量的数目并不大（通常以10000作为边界），它就是一个很好的计算参数θ的替代方法，此时在线性回归模型中比梯度下降法更具有优势。
• 我们可以自由的对特征变量进行组合变换修改（或者定义新的特征），以获得更好的线性回归模型，通常可以通过多项式回归来实现这一变换。