【机器学习笔记02】最小二乘法（多元线性回归模型）

【参考资料】
【1】张贤达《矩阵分析与应用》
【2】同济大学《线性代数》
【3】程云鹏 《矩阵论》
【4】https://www.youtube.com/watch?v=94YIk1JVqYA
【5】https://blog.csdn.net/u010976453/article/details/54381248

---

数学基础

1.转置矩阵

定义： 将矩阵A同序数的行换成列成为转置矩阵$A^T$，举例：
$A=\left(\begin{array}{ccc}1& 2& 0\\ 3& -1& 1\end{array}\right)$ 其转置矩阵为$A^T=\left(\begin{array}{cc}1& 3\\ 2& -1\\ 0& 1\end{array}\right)$

转置矩阵具有如下性质：
（1）$(A^T{)}^T=A$
（2）$(A+B{)}^T=A^T+B^T$
（3）$(\lambda A{)}^T=\lambda A^T$
（4）$(AB{)}^T=B^T{A}^T$

2.矩阵的导数

基本定义： 如果矩阵$A(t)=(a_{ij}(t){)}_m{\times }_n$ 每一个元素分量$a_{ij}(t)$是t的可微函数，则矩阵A的导数为：
$A^{\prime }(t)=\frac{d}{dt}A(t)=(\frac{d}{dt}{a}_{ij}(t){)}_m{\times }_n$，也就是每个元素单独求导数。

当存在A、B两个可导矩阵，存在如下一些定理：

（1）$\frac{d}{dt}(A(T)+B(T))=\frac{d}{dt}A(T)+\frac{d}{dt}B(T)$
（2）$\frac{d}{dt}(A(T)B(T))=\frac{d}{dt}A(T)\cdot B(T)+A(T)\cdot \frac{d}{dt}B(T)$

需要注意的是在本例中，求导属于矩阵对向量的求导（重要），定义如下：

令$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ...& ...& ...& ...\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$
与$x=[x_1,x_2,...x_n{]}^T$

我们有$A.x=\left[\begin{array}{cccc}{a}_{11}{x}_1& a_{12}{x}_2& \cdots & a_{1n}{x}_n\\ a_{21}{x}_1& a_{22}{x}_2& \cdots & a_{2n}{x}_n\\ ...& ...& ...& ...\\ a_{m1}{x}_1& a_{m2}{x}_2& \cdots & a_{mn}{x}_n\end{array}\right]$
此时Ax对向量x，相当于每一行的第i列分别对$x_i$求导，因此：
$\frac{\partial Ax}{\partial x}=\left[\begin{array}{cccc}{a}_{11}& a_{21}& \cdots & a_{1m}\\ a_{12}& a_{22}& \cdots & a_{2m}\\ ...& ...& ...& ...\\ a_{1n}& a_{2n}& \cdots & a_{nm}\end{array}\right]=A^T$

备注（一个常用的定理）：

（1）$\frac{\partial x^{T}Ax}{\partial x}=(A^T+A)x$

3.多元线性回归的矩阵推导

在多元线性回归模型的矩阵表示下，对于矩阵方程Ax=b我们存在误差：

注意：在下面的推导中，A是我们的数据矩阵，也就是样本，而要求的x是系数。

$\varphi =||\Delta b|{|}^2=(b-Ax{)}^T(b-Ax)=(b^T-x^T{A}^T)(b-Ax)$,展开则有
$\varphi =b^{T}b-b^{T}Ax-x^T{A}^{T}b+x^T{A}^{T}Ax$ ,对x向量求导得到:
$\frac{\partial \varphi }{\partial x}=-2A^{T}b+2A^{T}Ax=0$，则求x为:
$x=(A^{T}A{)}^{-1}{A}^{T}b$

备注：在吴恩达的视频中矩阵推导是采用矩阵迹的特性，因为$(b^T-x^T{A}^T)(b-Ax)$是一个实数，实数的迹等于自己。因此做$\frac{\partial }{\partial x}tr((b^T-x^T{A}^T)(b-Ax))$，往下利用矩阵迹的求导，结果是一样的。

---

程序实现(基于矩阵公式推导)

# -*- coding: utf-8 -*-
import numpy  as np

def _test_multi_lr():

    x = np.random.random((2,200))#注意这里的数据矩阵实际是A的转置

    delta  = np.transpose(np.random.random_sample(200)/100)

    """
    随机变量为y = 0.3x1 + 0.4x2 + delta
    从矩阵的角度看y = wx
    w = [0.3, 0.4] [x1, x2]^T

    delta 是一个混淆变量
    """  

    y = np.matmul(np.array([0.3, 0.4]), x) + delta

    w = np.matmul(x, np.transpose(x)) # A^T * A

    w1 = np.linalg.inv(w) # (A^T*A)^T

    w2 = np.matmul(w1, x) # (A^T*A)^T*A^T

    w3 = np.matmul(w2, y) # (A^T*A)^T*A^T

    print(w3) #输出[0.30494425 0.40421688]
    
    pass

"""
说明：

多元线性回归的最小二乘法实现，采用矩阵公式推导。对应的笔记《最小二乘法（多元线性回归）》

作者：fredric

日期：2018-8-20

"""
if __name__ == "__main__":

    _test_multi_lr()