机器学习-周志华 学习笔记 （线性模型）

有基本形式，有变形，是引入层级结构或高维映射，LR是用线性表达式去拟合结果的一个变种形式。变形后可以加强模型的表达能力。只需要高维映射连续且充分光滑。

线性回归中，最常用，均方误差 ，作为优化目标。均方误差的物理意义：欧氏距离。求解方法：最小二乘法，即直接求导=0，对参数进行估计。特征变多后，导致矩阵为非满秩矩阵，则存在多个最优解。这时，需引入正则化，对特征进行选择。

对数线性回归：用线性模型去逼近y的衍生物，ln y 。即认为输出是在指数尺度上变化的。

对数几率回归（LR）：不直接回归y，将回归的值，，用对数几率函数，映射到0到1,y，进而做分类问题。最后线性回归逼近的是，ln(y/1-y)  ，对数几率。用极大似然作为最优化目标，用梯度下降或者牛顿法去求解均可得到最优解。

类别不平衡问题：1）在缩放，因为平时假设正负例可能性相同。2）反例欠采样   3）正例过采样。3）阈值移动。

欠采样，工作量小，为了不丢失信息，可将负例分若干集合，供每个模型学习，最后将模型进行集成。

过采样，增大了数据集，可能会导致过拟合，可采用对正例插值产生额外正例的方法。

补充：如果优化目标是线性的，可以直接求导或者用梯度下降。（闭式解）非线性的只能迭代的求解，梯度下降和高斯-牛顿法是其中两种。

需补充：全局最优解和局部最优解。

LR由来： 1.P(y|x,w) 服从指数族分布。2.根据指数族分布的定义，在二分类的情况下，求得p(y=0|x,w) 和p(y=1|x,w).3 .根据最大熵模型得到损失函数，极大似然。

线性回归为什么是最小二乘法：y=wx+bias，认为bias服从正态分布。在已知w和x的条件下，y也服从正态分布。然后使得P（y|w,x）乘积最大。经变形后，等价于最小二乘。（可由极大似然推出）

啥叫过拟合？在那些情况下，可能会过拟合？过拟合怎么办？正则项为什么可以防止过拟合？

过拟合是在训练样本上拟合的很好，但是在测试集上表现不好。说明模型过于复杂，可能充分拟合了训练样本上的噪声。拟合过于充分的话，说明在样本间曲线有很大的波动，则导数值很大，也就是系数很大。

训练集上数据量小，特征太多都有可能过拟合。

可增大数据量，减小特征，交叉验证，加入正则项。

正则项：1. 可以理解为在损失函数上加了一项，控制了模型复杂度。要想使得损失函数最小化，则复杂度不能太大。复杂度不能太大，可能表现为系数值变小，也可以表现为系数变少（有很多变为0）。l1是将特征影响比较小的直接致0，l2是减少影响小的特征的值。就是在迭代过程中，一组

统计学习在模型选择方面的问题~有两个策略，一个是经验风险最小化，一个是结构风险最小化。我理解第一个是低bias，第二个是低variance。

正则化在某种意义上来讲引入了参数的先验分布，减少参数的选择空间，放到广义线性模型中，就是对一些基函数作了取舍（参数不至于过大，那么对应的基函数对最终结果的贡献也就很小，通俗来讲就是不完全依赖数据集，有了自我的一些判断与选择）------->避免了过拟合。