Pytorch深度学习【三】

线性回归模型

• 假设的提出

  • 住房受卧室个数，卫生间个数和居住面积影响，记为$x_1$、$x_2$、$x_3$
  • 成交价是关键因素的加权和
    $$y=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$$
    权重和偏差的实际值在后面确定

• 线性模型的理解

  • 给定n维输入 $x=[x_1,x_2,x_3,\cdots ,x_n{]}^T$
  • 线性模型有一个n维权重和一个标量偏差
    $$w=[w_1,w_2,\cdots ,w_n{]}^T,b$$
  • 输出是输入的加权和
    $$y=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b$$
  • 向量版本
    $$y=<w,x>+b$$

• 线性网络可以看作单层的神经网络

• 衡量预估质量

  • 比较真实值和预测值，例如房价售价和估值
  • 假设$y$是真实值，$\hat{y}$是估计值，我们可以比较
    $$\ell (y,\hat{y})=\frac{1}{2}(y-\hat{y}{)}^2$$
    这个叫做平方损失

• 训练数据

  • 收集一些数据点来决定参数值(权重和偏差)，例如过去6个月卖的房子
  • 这个被称为训练数据
  • 通常越多越好
  • 假设我们有n个样本，则有
    $X=[x_1,x_2,x_3,\cdots ,x_n{]}^T$ $y=[y_1,y_2,y_3,\cdots ,y_n{]}^T$

• 训练损失
  $$\ell (X,y,w,b)=\frac{1}{2n}\sum _1^n(y_i-<x_i,w>-b{)}^2$$
  上式描述为向量就是
  ℓ ( X , y , w , b ) = 1 2 n ∥ y − X w − b ∥ 2 \ell(X,y,w,b) = \frac {1}{2n}\begin{Vmatrix} y-Xw-b\end{Vmatrix}^2 ℓ(X,y,w,b)=2n1​ ​y−Xw−b​ ​2

• 最小化损失来学习参数—即为求到上式中的最小值时的$w$和$b$
  $$w^{\ast },b^{\ast }=arg(min(\ell (X,y,w,b)))$$

• 显示解

  • 将偏差加入权重 $X\leftarrow [X,1]$—加入1这个列向量主要是满足矩阵乘法 $w\leftarrow [w,b{]}^T$

  ℓ ( X , y , w ) = 1 2 n ∥ y − X w ∥ 2 \ell(X,y,w) = \frac{1}{2n}\begin{Vmatrix} y-Xw\end{Vmatrix}^2 ℓ(X,y,w)=2n1​ ​y−Xw​ ​2
  $$\frac{\partial \ell (X,y,w)}{\partial w}=\frac{1}{n}(Xw-y{)}^{T}X$$

  • 损失是凸函数，所以最优解满足
    $$\begin{array}{rl}& \frac{\partial \ell (X,y,w)}{\partial w}=0\\ \Rightarrow & \frac{1}{n}(Xw-y{)}^{T}X=0\\ \Rightarrow & w^{\ast }=(X^{T}X{)}^{-1}Xy\end{array}$$

• 总结

  • 线性回归是对n维输入的加权，外加偏差
  • 使用平方损失来衡量预测值和真实值的差异
  • 线性回归有显示解
  • 线性回归可以看做是单层神经网络