【西瓜书+南瓜书】学习笔记2

3.1基本形式

给定属性示例$x=(x_1;x_2;...x_d)$其中$x_i$是$x$在第$i$个属
性上的取值，线性模型(linear model) 试图学得一个通过属性的线性组合来进行
预测的函数，即$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$。$w$和$b$学习可得。

3.2线性回归

给定数据集$D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$，其中$x_i=(x_{i1};x_{i2};...x_{id})$，$y_i\in R$，“线性回归” (linear regression) 试图学得一个线性模型以尽可能准确地预测实值输出标记。
一元线性回归
数据集D只有一个属性，其线性回归可写为$f(x)=w_{}{x}_i+b$

• 基于最小二乘法的参数估计
  基于均方误差最小化来进行模型求解的方法
  $$\begin{array}{r}(w^{\ast },b^{\ast })=\arg \underset{(w,b)}{\min }\sum _{i=1}^m(f(x_i)-y_{i)}{)}^2\\ =\arg \underset{(w,b)}{\min }\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\end{array}$$
  求解$w$和$b$使得$E_{(w,b)}=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$最小化，对$E_{(w,b)}$求导得到
  $$\begin{array}{r}\frac{\partial E_{(w,b)}}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^2(y_i-b)x_i)\\ \frac{\partial E_{(w,b)}}{\partial b}=2(mb-\sum _{i=1}^2(y_i-w{x}_i))\end{array}$$
  令上面两条式子为0可得到$w$和$b$最优解的闭式解

$$w=\frac{\sum _{i=1}^m{y}_i(x_i-\overline{x})}{\sum _{i=1}^m{x}_i^2-\frac{1}{m}(\sum _{i=1}^m{x}_i{)}^2}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$
其中$\overline{x}=\frac{1}{m}\sum _{i=1}^m{x}_i$

多元线性回归
数据集D有$d$个属性，其线性回归可写为$f(x_i)=w^T{x}_i+b$

• 基于最小二乘法的参数估计
  把$w$和$b$吸收入向量形式 $w=(w,b)$,维度为d+1，则属性的矩阵相应增加一列，即
  
  标签的向量可以表示为$y=(y_1;y_2;...y_m)$，使得$\arg \underset{(w,b)}{\min }(y-Xw{)}^T(y-Xw)$，对$w$求导得：
  
  ①$X^{T}X$为满秩矩阵或正定矩阵时,令上式为0可得
  $$w^{\ast }(X^{T}X{)}^{-1}{X}^{T}y$$
  ②$X^{T}X$不是满秩矩阵时有多个解，选择哪一个由归纳偏好决定，常见的做法是引入正则化项。

3.3对数几率回归

在线性回归模型下套用一个映射函数实现分类功能

上面使用得是对数几率函数，需要注意的是映射函数是单调可微的。

-使用极大似然函数估计$w$和$b$

3.4线性判别分析

它的核心思想是同类样本的投影点尽可能的近，异类样本的投影点尽可能远。