周志华 机器学习初步 线性模型

周志华 《机器学习初步》 线性模型

还未更新完，会持续更新

一.线性回归

1.线性模型

线性模型的特点和重要性

• 线性模型的重要性

  • 人在考虑问题时，通常不是直接去思考一些非线性的问题。
  • 而考虑线性的问题，我们马上会有一个几何的直观的印象。基于这种几何直观的印象，我们可能能够从直观上得到一些解决方案，之后在线性模型的基础上可能得到针对非常复杂的非线性问题的解决方案

  

  • 比如要用线性模型去做分类和回归
    • 分类，找一条线把两类点分开
    • 回归，找一条线把点串起来

• 线性模型的特点：简单、基本、可理解性(understandability)/可解释性(comprehensibility)好

  • 线性模型形式简单、易于建模, 但却蕴涵着机器学习中一些重要的基本思想, 许多功能更为强大的非线性模型(nonlinear model)可在线性模型的基础上 通过引入层级结构或高维映射而得
  • 此外, 由于 $\mathbf{w}$ 直观表达了各属性在预测中的重要性(权重), 因此线性模型有很好的可解释性
    • 例如若在西瓜 问题中学得 “ $f_{好瓜}(\mathbf{x})=0.2\cdot x_{\text{色泽 }}+0.5\cdot x_{\text{根蒂 }}+0.3\cdot x_{\text{敲声 }}+1$ ”, 则意味着可通过综合考虑色泽、根蒂和敲声来判断瓜好不好, 其中根蒂最要紧, 而敲声比色泽更重要.

线性模型的基本形式

• 给定由 d 个属性描述的示例 $\mathbf{x}=\left(x_1;x_2;\dots ;x_d\right)$, 其中 $x_i$ 是 $\mathbf{x}$ 在第 i 个属性上的取值, 线性模型(linear model)试图学得一个通过属性的线性组合来进行 预测的函数, 即
  $$f(\mathbf{x})=w_1{x}_1+w_2{x}_2+\dots +w_d{x}_d+b,$$

• 一般用向量形式写成$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b,$其中 $\mathbf{w}=\left(w_1;w_2;\dots ;w_d\right)$.

• $\mathbf{w}$ 和 $b$ 学得之后, 模型就得以确定.

2.线性回归

感觉老师这里用的“学得”这个词很好，之前在别的教程暂时没有看到这种表述哈哈，机器学习，“学得”

​ 给定数据集 $D=\left\{\left({\mathbf{x}}_1,y_1\right),\left({\mathbf{x}}_2,y_2\right),\dots ,\left({\mathbf{x}}_m,y_m\right)\right\},其中{\mathbf{x}}_i=(x_{i1};x_{i2};\dots ;x_{id}),y_i\in \mathbb{R}.$ “线性回归” (linear regression) 试图学得一个线性模型以尽可能准确地预测实值输出标记

• 线性回归试图学得
  $$f\left(x_i\right)=w{x}_i+b\text{ 使得 }f\left(x_i\right)\simeq y_i$$
  我们要找到这么一个线性方程，使得 f(x) 等于y，理想情况是完全相等。但由于有 overfitting 的存在，完全相等未必是好的，所以我们找一个约等于关系也是正确的。但是为了简化，把约等于符号写成等于也可以。

离散属性的处理

• 线性回归擅长的处理数值属性

  • 例如若在西瓜问题中学得 “ $f_{好瓜}(\mathbf{x})=0.2\cdot x_{\text{色泽 }}+0.5\cdot x_{\text{根蒂 }}+0.3\cdot x_{\text{敲声 }}+1$ ”,

    • x色泽如果是青绿、乌黑这种，x敲声是浑浊、清脆，这没法做加法，所以我们要把先把这些离散属性转换成数值。

  • 离散属性的处理

    先考虑一种最简单的情形: 输入属性的数目只有一个，为便于讨论, 此时我们忽略关于属性的下标, 即 $D={\left\{\left(x_i,y_i\right)\right\}}_{i=1}^m$, 其中 $x_i\in \mathbb{R}.$

    • 若有 “序” (order), 则连续化;
      • 对离散属性, 若属性值间存在 “序” (order) 关系, 可通过连续化将其转化为连续值, 例如二值属性 “身高” 的取值 “高” “矮” 可转化为 {1.0,0.0}, 三值属性 “高度” 的取值 “高” “中” “低” 可转化为 {1.0,0.5,0.0};
      • 西瓜的颜色，青绿色，乌黑色，浅白色，我们分别赋予1，0.5，0？我们没法随意定序，这时候我们就不能把它简单的把当做1， 0 这样来处理。因为在具体算法的求解过程中，很可能会把 1 和 0 当成了数值关系。若将无序属性连续化, 则会不恰当地引入序关系， 对后续处理如距离计算等造成误导。
    • 否则, 转化为 k 维向量
      • 若属性值间不存在序关 系, 假定有 k 个属性值, 则通常转化为 k 维向量, 例如属性 “瓜类” 的取值 “西瓜” “南瓜” “黄瓜” 可转化为 (0,0,1),(0,1,0),(1,0,0).
      • 比如还是上面说的西瓜的颜色，青绿色，乌黑色，浅白色，我们可以分别是 (0,0,1),(0,1,0),(1,0,0).

性能度量：均方误差/平方损失（square loss）

• 我们怎么样去找一个线性回归的解决方案？（如何确定 w 和 b ）

  • 显然, 关键在于如何衡量 f(x) 与 y 之间的差别

  • 均方误差是回归任务中最常用的性能度量, 因此我们可试图让均方误差最小化, 即

    $w^{\ast },b^{\ast }$ 表示 w 和 b 的解.

    $\begin{array}{rl}\left(w^{\ast },b^{\ast }\right)& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2.\end{array}$
    对 $E_{(w,b)}={\sum }_{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$进行最小二乘参数估计

  • 注意一些写法，周老师这门课里面 、

    • $[x_1;x_2;...x_n]$ ，里面用分号表示列向量
    • $[x_1;x_2;...x_n]$ ，里面用逗号表示行向量

  • w 和 b 解出来了，整个方程就确定了，就意味着那条线得到了。而这条线是在干什么？我们拿到很多这样的数据点之后，我们要找一条线把它全穿过去。

二.最小二乘解

• 均方误差有非常好的几何意义, 它对应了常用的欧几里得距离或简称 “欧氏距离" (Euclidean distance). 基于均方误差最小化来进行模型求解的方法称为 “最小二乘法” (least square method).

• 在线性回归中, 最小二乘法就是试图找到一条直线, 使所有样本到直线上的欧氏距离之和最小.

• 求解 w 和 b 使 $E_{(w,b)}={\sum }_{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$ 最小化的过程, 称为线性回归模型的最小二乘 “参数估计” (parameter estimation).

• 我们可将 $E_{(w,b)}$ 分别 对 w 和 b 求导, 得到
  $$\begin{gathered} \frac{\partial E_{(w,b)}}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\left(y_i-b\right)x_i\right)(1) \\ \frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-\sum _{i=1}^m\left(y_i-w{x}_i\right)\right)(2) \end{gathered}$$
  然后令上面两个式子均为零可得到 w 和 b 最优解的闭式(closed-form)解

  闭式解(或称为“解析解”)是指可以通过具体的表达式解出待解参数

  $$w=\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\bar{x}\right)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}$$

  $$b=\frac{1}{m}\sum _{i=1}^m\left(y_i-w{x}_i\right)\text{, }$$

  其中 $\bar{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$ 为 x 的均值.

  • 推导

    • 由(2)可得$b=\frac{1}{m}{\sum }_{i=1}^m\left(y_i-w{x}_i\right)$ ，又因为 $\frac{1}{m}{\sum }_{i=1}^m{y}_i=\bar{y}，\frac{1}{m}{\sum }_{i=1}^m{x}_i=\bar{x}$ ，则 $b=\bar{y}-w\bar{x}$

    • 令(1)为0，代入可得
      $$\begin{array}{rl}& \\ w\sum _{i=1}^m{x}_i^2& =\sum _{i=1}^m{y}_i{x}_i-\sum _{i=1}^m(\bar{y}-w\bar{x})x_i\\ & \\ w\sum _{i=1}^m{x}_i^2& =\sum _{i=1}^m{y}_i{x}_i-\bar{y}\sum _{i=1}^m{x}_i+w\bar{x}\sum _{i=1}^m{x}_i\\ & \\ w\left(\sum _{i=1}^m{x}_i^2-\bar{x}\sum _{i=1}^m{x}_i\right)& =\sum _{i=1}^m{y}_i{x}_i-\bar{y}\sum _{i=1}^m{x}_i\\ & \\ w& =\frac{{\sum }_{i=1}^m{y}_i{x}_i-\bar{y}{\sum }_{i=1}^m{x}_i}{{\sum }_{i=1}^m{x}_i^2-\bar{x}{\sum }_{i=1}^m{x}_i}\end{array}$$

      将 $\bar{y}{\sum }_{i=1}^m{x}_i=\frac{1}{m}{\sum }_{i=1}^m{y}_i{\sum }_{i=1}^m{x}_i=\bar{x}{\sum }_{i=1}^m{y}_i和\bar{x}{\sum }_{i=1}^m{x}_i=\frac{1}{m}{\sum }_{i=1}^m{x}_i{\sum }_{i=1}^m{x}_i=\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2$ 代人上式, 即可得式
      $$w=\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\bar{x}\right)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}$$

• 我们为什么求偏导？ 背后的思想是什么？

  • 比如我们先把b固定，看w，想象一下，随着w变化，E(w,b)一直在变化，那么什么时候可能恰恰不变了呢？w的偏导数等于0的时候，E(w,b)不变（b固定的情况下)
    • 不变了意味着什么？一种是到了极小值点不动了，还有一种是它到了极大值点不动了。我们希望找到一个极值点，到这个点不再变化了。
      • 线性回归是凸函数，极小值就是最小值
      • 对线性回归的表达式E(w,b)来说，没有最大值。因为模型可以无限离谱，可以偏离无限远，误差可以无穷大
  • 把握背后的思想
    • 对一个对象求偏导，让它为0，意味着希望找到的是对象不再发生变化的点。
    • 它什么时候不再发生变化？是达到了一个极值，稳定值，不会变大也不会变小了。
      • 而现在线性回归“不会变大”这件事情是不存在的，可以无限大。所以找这个点的时候，只可能是追求“不会变小”。这一点正好是我们要找到最优解的目标
    • 对一个对象求偏导，实际上是在找它的变化率。如果它的变化率最近是 0 了，这就意味着它不动了，它不动了，它会有什么可能？要结合模型的假设去思考。

三.多元线性回归/多变量线性回归 multi-variate linear regression

由最小二乘法导出损失函数

也称为多变量线性回归

• 多元线性回归是更加一般的情形：

  单元线性回归：单个属性， $f\left(x_i\right)=w{x}_i+b$，只需要一个权重，多元有多个属性，就需要多个权重，w和x都是列向量，所以写成下面这样

  • 数据集 D, 样本由 d 个属性描述. 此时我们试图学得$f\left({\mathbf{x}}_i\right)={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b$ 使得 $f\left({\mathbf{x}}_i\right)\simeq y_i\text{, }{\mathbf{x}}_i=\left(x_{i1};x_{i2};\dots ;x_{id}\right)y_i\in \mathbb{R}$

• 类似的, 可利用最小二乘法来对 $\mathbf{w}$ 和 $b$ 进行估计.

• 为便于讨论, 我们把 $\mathbf{w}$ 和 $b$ 吸收入向量形式 $\hat{\mathbf{w}}=(\mathbf{w};b)$, 相应的, 把数据集 $D$ 表示为一个 $m\times (d+1)$ 大小的矩阵 $\mathbf{X}$, 其中每行对应于一个示例, 该行前 $d$ 个元素对应于示例的 $d$ 个 属性值, 最后一个元素恒置为 $1$ , 即
  X = ( x 11 x 12 … x 1 d 1 x 21 x 22 … x 2 d 1 ⋮ ⋮ ⋱ ⋮ ⋮ x m 1 x m 2 … x m d 1 ) = ( x 1 T 1 x 2 T 1 ⋮ ⋮ x m T 1 ) \\\\\mathbf{X}=\left(\begin{array}{ccccc}\\x_{11} & x_{12} & \ldots & x_{1 d} & 1 \\\\x_{21} & x_{22} & \ldots & x_{2 d} & 1 \\\\\vdots & \vdots & \ddots & \vdots & \vdots \\\\x_{m 1} & x_{m 2} & \ldots & x_{m d} & 1\\\end{array}\right)=\left(\begin{array}{cc}\\\boldsymbol{x}_{1}^{\mathrm{T}} & 1 \\\\\boldsymbol{x}_{2}^{\mathrm{T}} & 1 \\\\\vdots & \vdots \\\\\boldsymbol{x}_{m}^{\mathrm{T}} & 1\\\end{array}\right)\\\\ X= ​x11​x21​⋮xm1​​x12​x22​⋮xm2​​……⋱…​x1d​x2d​⋮xmd​​11⋮1​ ​= ​x1T​x2T​⋮xmT​​11⋮1​ ​
  再把标记也写成向量形式 $\mathbf{y}=\left(y_1;y_2;\dots ;y_m\right)$,

  同样采用最小二乘法求解, 有
  $${\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\mathrm{argmin}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
  令 $E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}),$

推导

呜呜，稍微有点蒙

• 跟着南瓜书推了推 第3章-多元线性回归_哔哩哔哩_bilibili,这个视频讲的太好啦呜呜！

• 将 $\mathbf{w}$ 和 $b$ 组合成 $\hat{\mathbf{w}}$ :

  $\mathbf{w}和x_i$都是d维的 $x_i$是第i个样本

  $$f\left({\mathbf{x}}_i\right)={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b$$

• 展开写成这样
  f ( x i ) = ( w 1 w 2 ⋯ w d ) ( x i 1 x i 2 ⋮ x i d ) + b \\\\f\left(\boldsymbol{x}_{i}\right)=\left(\begin{array}{llll}\\w_{1} & w_{2} & \cdots & w_{d}\\\end{array}\right)\left(\begin{array}{c}\\x_{i 1} \\\\x_{i 2} \\\\\vdots \\\\x_{i d}\\\end{array}\right)+b \\\\ f(xi​)=(w1​​w2​​⋯​wd​​) ​xi1​xi2​⋮xid​​ ​+b

• 把b看为$w_{d+1}=w_{d+1}\cdot 1$，相应的w和xi里面都要增加一个元素
  $$\begin{gathered} f\left({\mathbf{x}}_i\right)=w_1{x}_{i1}+w_2{x}_{i2}+\dots +w_d{x}_{id}+b \\ f\left({\mathbf{x}}_i\right)=w_1{x}_{i1}+w_2{x}_{i2}+\dots +w_d{x}_{id}+w_{d+1}\cdot 1 \end{gathered}$$

• 向量化表示

  把新的$\mathbf{w}$记作$\hat{\mathbf{w}}$，新的${\mathbf{x}}_{\mathbf{i}}$记作$\widehat{{\mathbf{x}}_{\mathbf{i}}}$
  f ( x i ) = ( w 1 w 2 ⋯ w d w d + 1 ) ( x i 1 x i 2 ⋮ x i d 1 ) f ( x ^ i ) = w ^ T x ^ i f\left(\boldsymbol{x}_{i}\right)=\left(\begin{array}{ccccc}w_{1} & w_{2} & \cdots & w_{d} & w_{d+1}\end{array}\right)\left(\begin{array}{c}x_{i 1} \\ x_{i 2} \\ \vdots \\ x_{i d} \\ 1\end{array}\right)\\f\left(\hat{\boldsymbol{x}}_{i}\right)=\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{i} f(xi​)=(w1​​w2​​⋯​wd​​wd+1​​) ​xi1​xi2​⋮xid​1​ ​f(x^i​)=w^Tx^i​

• 上面是针对一个样本的，那么整个的损失就是要求和，由最小二乘法可得
  $${E}_{\hat{\mathbf{w}}}=\sum _{i=1}^m{\left(y_i-f\left({\hat{\mathbf{x}}}_i\right)\right)}^2=\sum _{i=1}^m{\left(y_i-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_i\right)}^2$$

• 下面继续将其向量化,把求和符号向量化

  共m个样本

  E w ^ = ∑ i = 1 m ( y i − w ^ T x ^ i ) 2 = ( y 1 − w ^ T x ^ 1 ) 2 + ( y 2 − w ^ T x ^ 2 ) 2 + … + ( y m − w ^ T x ^ m ) 2 E w ^ = ( y 1 − w ^ T x ^ 1 y 2 − w ^ T x ^ 2 ⋯ y m − w ^ T x ^ m ) ( y 1 − w ^ T x ^ 1 y 2 − w ^ T x ^ 2 ⋮ y m − w ^ T x ^ m ) E_{\hat{\boldsymbol{w}}}=\sum_{i=1}^{m}\left(y_{i}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{i}\right)^{2}=\left(y_{1}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{1}\right)^{2}+\left(y_{2}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{2}\right)^{2}+\ldots+\left(y_{m}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{m}\right)^{2}\\E_{\hat{\boldsymbol{w}}}=\left(\begin{array}{llll}y_{1}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{1} & y_{2}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{2} & \cdots & y_{m}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{m}\end{array}\right)\left(\begin{array}{c}y_{1}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{1} \\ y_{2}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{2} \\ \vdots \\ y_{m}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{m}\end{array}\right) Ew^​=i=1∑m​(yi​−w^Tx^i​)2=(y1​−w^Tx^1​)2+(y2​−w^Tx^2​)2+…+(ym​−w^Tx^m​)2Ew^​=(y1​−w^Tx^1​​y2​−w^Tx^2​​⋯​ym​−w^Tx^m​​) ​y1​−w^Tx^1​y2​−w^Tx^2​⋮ym​−w^Tx^m​​ ​

  • 如何继续化简？
    ( y 1 − w ^ T x ^ 1 y 2 − w ^ T x ^ 2 ⋮ y m − w ^ T x ^ m ) = ( y 1 y 2 ⋮ y m ) − ( w ^ T x ^ 1 w ^ T x ^ 2 ⋮ w ^ T x ^ m ) = ( y 1 y 2 ⋮ y m ) − ( x ^ 1 T w ^ x ^ 2 T w ^ ⋮ x ^ m T w ^ ) y = ( y 1 y 2 ⋮ y m ) , ( x ^ 1 T w ^ x ^ 2 T w ^ ⋮ x ^ m T w ^ ) = ( x ^ 1 T x ^ 2 T ⋮ x ^ m T ) ⋅ w ^ = ( x 1 T 1 x 2 T 1 ⋮ ⋮ x m T 1 ) ⋅ w ^ = X ⋅ w ^ \left(\begin{array}{c}y_{1}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{1} \\ y_{2}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{2} \\ \vdots \\ y_{m}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{m}\end{array}\right)=\left(\begin{array}{c}y_{1} \\ y_{2} \\ \vdots \\ y_{m}\end{array}\right)-\left(\begin{array}{c}\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{1} \\ \hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{2} \\ \vdots \\ \hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{m}\end{array}\right)=\left(\begin{array}{c}y_{1} \\ y_{2} \\ \vdots \\ y_{m}\end{array}\right)-\left(\begin{array}{c}\hat{\boldsymbol{x}}_{1}^{\mathrm{T}} \hat{\boldsymbol{w}} \\ \hat{\boldsymbol{x}}_{2}^{\mathrm{T}} \hat{\boldsymbol{w}} \\ \vdots \\ \hat{\boldsymbol{x}}_{m}^{\mathrm{T}} \hat{\boldsymbol{w}}\end{array}\right)\\\boldsymbol{y}=\left(\begin{array}{c}y_{1} \\ y_{2} \\ \vdots \\ y_{m}\end{array}\right), \quad\left(\begin{array}{c}\hat{\boldsymbol{x}}_{1}^{\mathrm{T}} \hat{\boldsymbol{w}} \\ \hat{\boldsymbol{x}}_{2}^{\mathrm{T}} \hat{\boldsymbol{w}} \\ \vdots \\ \hat{\boldsymbol{x}}_{m}^{\mathrm{T}} \hat{\boldsymbol{w}}\end{array}\right)=\left(\begin{array}{c}\hat{\boldsymbol{x}}_{1}^{\mathrm{T}} \\ \hat{\boldsymbol{x}}_{2}^{\mathrm{T}} \\ \vdots \\ \hat{\boldsymbol{x}}_{m}^{\mathrm{T}}\end{array}\right) \cdot \hat{\boldsymbol{w}}=\left(\begin{array}{cc}\boldsymbol{x}_{1}^{\mathrm{T}} & 1 \\ \boldsymbol{x}_{2}^{\mathrm{T}} & 1 \\ \vdots & \vdots \\ \boldsymbol{x}_{m}^{\mathrm{T}} & 1\end{array}\right) \cdot \hat{\boldsymbol{w}}=\mathbf{X} \cdot \hat{\boldsymbol{w}} ​y1​−w^Tx^1​y2​−w^Tx^2​⋮ym​−w^Tx^m​​ ​= ​y1​y2​⋮ym​​ ​− ​w^Tx^1​w^Tx^2​⋮w^Tx^m​​ ​= ​y1​y2​⋮ym​​ ​− ​x^1T​w^x^2T​w^⋮x^mT​w^​ ​y= ​y1​y2​⋮ym​​ ​, ​x^1T​w^x^2T​w^⋮x^mT​w^​ ​= ​x^1T​x^2T​⋮x^mT​​ ​⋅w^= ​x1T​x2T​⋮xmT​​11⋮1​ ​⋅w^=X⋅w^

    • 里面关键的是${\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_1={\hat{\mathbf{x}}}_1^{\mathrm{T}}\hat{\mathbf{w}}$这一步， $\hat{\mathbf{w}}$，$\widehat{{\mathbf{x}}_{\mathbf{i}}}$都是列向量，其中一个转置乘以另一个，也就是行向量乘以列向量，得到的都是一个数， 所以这个是对的

      最后那个大X是m行，d+1列， w hat 是 d+1行， 1列

  • 于是
    E w ^ = ( y 1 − w ^ T x ^ 1 y 2 − w ^ T x ^ 2 ⋯ y m − w ^ T x ^ m ) ( y 1 − w ^ T x ^ 1 y 2 − w ^ T x ^ 2 ⋮ y m − w ^ T x ^ m ) E w ^ = ( y − X w ^ ) T ( y − X w ^ ) E_{\hat{\boldsymbol{w}}}=\left(\begin{array}{cccc}y_{1}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{1} & y_{2}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{2} & \cdots & y_{m}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{m}\end{array}\right)\left(\begin{array}{c}y_{1}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{1} \\ y_{2}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{2} \\ \vdots \\ y_{m}-\hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{x}}_{m}\end{array}\right)\\E_{\hat{\boldsymbol{w}}}=(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})^{\mathrm{T}}(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}}) Ew^​=(y1​−w^Tx^1​​y2​−w^Tx^2​​⋯​ym​−w^Tx^m​​) ​y1​−w^Tx^1​y2​−w^Tx^2​⋮ym​−w^Tx^m​​ ​Ew^​=(y−Xw^)T(y−Xw^)

求最优解

对 $\hat{\mathbf{w}}$ 求导:
$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$

• 令上式为零可得 $\hat{\mathbf{w}}$ 最优解的闭式解, 但由于涉及矩阵逆的计算, 比单变量情形 要复杂一些. 需要讨论

  • 若 ${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$ 满秩或正定, 则
    $${\hat{w}}^{\ast }={\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$$

    • 令一阶导数为0，可得
      $${\hat{\mathbf{w}}}^{\ast }={\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$$

      其中 ${\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}$ 是矩阵 $\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)$ 的逆矩阵. 令 ${\hat{\mathbf{x}}}_i=\left({\mathbf{x}}_i,1\right)$, 则最终学得的多元线性回归模型为
      $$f\left({\hat{\mathbf{x}}}_i\right)={\hat{\mathbf{x}}}_i^{\mathrm{T}}{\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}.$$

  • 若 ${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$ 不满秩, 则可解出多个 $\hat{w}$

• 现实任务中 ${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$ 往往不是满秩矩阵.

  例如在许多任务中我们会遇到 大量的变量, 其数目甚至超过样例数, 导致 $\mathbf{X}$ 的列数多于行数, ${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$ 显然不满 秩. 此时可解出多个 $\hat{\mathbf{w}}$, 它们都能使均方误差最小化. 选择哪一个解作为输出, 将由学习算法的归纳偏好决定, 常见的做法是引入正则化 (regularization)项.

  • 我们不能硬去解它，我们要加入额外的限制。而额外的限制就是或者正则化。

    大家再联系一下我们在第一部分讲到的东西，机器学习很多时候是要有一个偏好的，没有偏好就有很多题做不出来。具体在操作的时候我们我们把它叫做加正则化。

    加了限制之后，就得到可解的一个方程了。不同的解法可以加不同的限制，可以根据自己的喜好把限制加上去，这里面就有很大的弹性了。

推导

$${\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\mathrm{argmin}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
求解 $\hat{\mathbf{w}}$ 仍然是一个多元函数求最值（点）的问题, 同样也是凸函数求最值的问题。

• 推导思路
  • 证明 $E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$ 是关于 $\hat{\mathbf{w}}$ 的凸函数
  • 用凸函数求最值的思路求解出 $\hat{\mathbf{w}}$

证明凸函数

• 求 $E_{\hat{\mathbf{w}}}的Hessian（海塞）矩阵{\nabla }^2{E}_{\hat{\mathbf{w}}}$, 然后判断其正定性:
  $$\begin{array}{rl}& \\ \frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}& =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\right]\\ & \\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[\left({\mathbf{y}}^{\mathrm{T}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\right)(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\right]\\ & \\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[{\mathbf{y}}^{\mathrm{T}}\mathbf{y}-{\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}\right]\\ & \\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[-{\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}\right]\\ & \\ & =-\frac{\partial {\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}-\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}}{\partial \hat{\mathbf{w}}}+\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}\end{array}$$
  注意此时，分子上都是标量，也就是标量要对向量函数求导

  • 那么标量如何对向量函数求导呢

    x为n维向量，f输入是n维向量，输出是标量，f就是n元标量函数，求导就是把各个分量的偏导数求出来，然后然后组成向量

    如果组成列向量，称为分母布局， 组成行向量，称为分子布局

    

  • 继续
    $$\begin{gathered} \frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=-\frac{\partial {\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}-\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}}{\partial \hat{\mathbf{w}}}+\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}} \\ 根据矩阵微分公式\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{a}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{a}}^{\mathrm{T}}\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a},\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=\left(\mathbf{A}+{\mathbf{A}}^{\mathrm{T}}\right)\mathbf{x}可得: \\ \begin{array}{rl}& \\ \frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}& =-{\mathbf{X}}^T\mathbf{y}-{\mathbf{X}}^T\mathbf{y}+\left({\mathbf{X}}^T\mathbf{X}+{\mathbf{X}}^T\mathbf{X}\right)\hat{\mathbf{w}}\\ & \\ & =2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})\end{array} \end{gathered}$$
    此时一阶导求毕
    $$\begin{gathered} \begin{array}{rl}& \\ {\nabla }^2{E}_{\hat{\mathbf{w}}}& =\frac{\partial }{\partial \hat{\mathbf{w}}}\left(\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}\right)\\ & \\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})\right]\\ & \\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left(2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-2{\mathbf{X}}^{\mathrm{T}}\mathbf{y}\right)\end{array} \\ 根据矩阵微分公式\frac{\partial \mathbf{A}\mathbf{x}}{\partial \mathbf{x}}={\mathbf{A}}^{\mathrm{T}}可得: \\ {\nabla }^2{E}_{\hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}\mathbf{X} \end{gathered}$$

    这个海塞矩阵不一定是正定的

  • 同西瓜书, 假定 ${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$ 为正定矩阵, 因此 $E_{\hat{\mathbf{w}}}$ 是关于 $\hat{\mathbf{w}}$ 的凸函数得证。

  • 令一阶导为0
    $$\begin{gathered} \frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})=0 \\ 2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-2{\mathbf{X}}^{\mathrm{T}}\mathbf{y}=0 \\ 2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}=2{\mathbf{X}}^{\mathrm{T}}\mathbf{y} \\ \hat{\mathbf{w}}={\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y} \end{gathered}$$

四.广义(Generalized)线性模型

• 我们之前说的线性回归是我们用线性模型来逼近y，一个 ground truth。那我们能不能让它逼近y的衍生物，和y有关，但和y不完全一样。
• 比如用它去逼近 y 的对数
• 其实是在用指数项逼近y，wx+b是个线，是在用(wx+b)的指数来逼近 y ， y 等于指数上的线性模型
  • 现在就可以用求解线性模型的方式来得到了一个非线性的解决方案。
  • 线性模型稍加变化就可以求解非线性的问题。
  • log linear regression，叫对数线性回归。它是用线性回归来逼近对数的目标。

• 所以更一般的来说，还有更多的变化。

  用线性模型，它经过某个操作g来逼近y。刚才 ln y 是把 g 把它放到y左边

  现在我们放到右边(假设g可逆)，那就是 g 的逆函数
  g叫做联系函数，这是把我们线性回归产生的结果和真正要的结果两者联系起来。
  各种各样的g就可以得到各种各样的线性回归的模型的一个广义变化。
  
  

参考资料

• 西瓜书
• MOOC
• 南瓜书