线性回归和逻辑回归

线性回归和逻辑回归是机器学习中基础又比较常用的内容。线性回归主要用来解决连续值预测的问题，而逻辑回归用来解决分类的问题，输出的属于某个类别的概率。

线性回归

线性回归问题

通常来讲，线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。表达形式为y = wx + e，e为误差服从均值为0的正态分布。适用于有监督学习的预测。
一元线性回归分析：y = ax + b，只包含一个自变量和一个因变量，且二者的关系可以用一条直线近似表示
多元线性回归分析：hθ(x)=θ0+θ1X1+...+θnXn，包括两个或两个以上的自变量，并且因变量和自变量是线性关系。

损失函数

通俗来讲，损失函数用来衡量参数选择的准确性。损失函数定义为：
J(θ0,θ1,...,θn)=1/2m∑i->m(hθ^(x(i))−y(i))^2

image.png

这个公式计算的是线性回归分析的值与实际值的距离的平均值。显然，损失函数得到的值越小，损失也就越小。

梯度下降

损失函数的定义是一个凸函数，可以使用凸优化的一些方法：
梯度下降：逐步最小化损失函数的过程。如果下山的过程，找准下山方向(梯度)，每次迈进一步，直至山地。如果有多个特征，对应多个参数θ,需要对每一个参数做一次迭代

image.png

做完以后再求J函数。
学习率：上段公式中的 α就是学习率，它决定了下降的节奏快慢，就像一个人下山时候步伐的快慢。 α过小会导致收敛很慢， α太大有可能会导致震荡。如何选择学习率呢，目前也有好多关于学习率自适应算法的研究。工程上，一般会调用一些开源包，包含一些自适应方法。自己做的话会选择相对较小的 α，比如0.01。下图展示了梯度下降的过程

image.png

Logistic回归(逻辑回归)

应用分析

与线性回归不同，逻辑回归主要用于解决分类问题，那么线性回归能不能做同样的事情呢？举个例子，比如恶性肿瘤和良性肿瘤的判定。加入我们通过拟合数据得到线性回归方程和一个阈值，用阈值判定是良性还是恶性：

image.png

如上图， size小于某值就是良性，否则恶性。但是"噪声"对线性方程的影响特别大，会大大降低分类准确性。例如再加三个样本就可以使方程变成这样：

image.png

那么Logistics回归是怎么做的呢？如果不能找到一个绝对数值判定肿瘤的性质，就用概率的方法，预测出一个概率，比如>0.5判定为恶性的。

Sigmoid函数

逻辑回归首先把样本映射到[0,1]之间的数值，这就归功于sigmoid函数，可以把任何连续的值映射到[0,1]之间，数越大越倾向于0，越小越趋近与1.sigmoid函数公式如下：

image.png

判定边界：对多元线性回归方程求 sigmoid函数

image.png

，找到一组 θ，假设得到 -3 + X1 + X2 = 0的直线，把样本分为两类。把(1,1)带入g函数，概率值<0.5，就判定为负样本。这条直线就是判定边界，如下图：

image.png

逻辑回归的损失函数

线性回归的损失函数对逻辑回归不可用，因为逻辑回归的值是0或1，求距离平均值会是一条不断弯曲的曲线，不是理想的凸函数。一个适合逻辑回归的损失定义方法如下：

image.png

其中 h(x)是一个概率值， y = 1表示正样本， y = 0表示负样本。当y是正样本时，如果给定的概率特别小(预测为负样本)，损失就会很大；给定的概率很大（预测为正样本），损失就会接近0。损失值的函数如图：

image.png

带L2正则项的损失函数：

image.png

LR的优点与应用

• LR的优点：

1. LR是以概率的形式输出结果，不只是0和1的判定
2. LR的可解释强，可控性高
3. 训练快，feature engineering之后效果赞
4. 因为结果是概率，可以做ranking model
5. 添加feature简单

• LR的应用场景：

1. CTR预估、推荐系统的learning to rank
2. 一些电商搜索排序基线
3. 一些电商的购物搭配推荐
4. 新闻ap排序基线

工程应用经验

样本处理

• 样本太大怎么处理

1. 对特征离散化，离散化后用one-hot编码处理成0,1值，再用LR处理会较快收敛
2. 如果一定要用连续值的话，可以做scaling
3. 工具的话有spark Mllib，它损失了一小部分的准确度达到速度的提升
4. 如果没有并行化平台，想做大数据就试试采样。需要注意采样数据，最好不要随机取，可以按照日期/用户/行为，来分层抽样

• 怎样使样本不平衡

1. 如果样本不均衡，样本充足的情况下可以做“下采样”---抽样，样本不足的情况下 做“上采样”---对样本少的做重复
2. 修改损失函数，给不同权重。比如负样本少，就可以给负样本大一点的权重
3. 采样后的predict结果，用作判定请还原

关于特征处理

1. 离散化优点：映射到高维空间，用linear的LR(快，且兼具更好的分割性)；稀疏化，0,1向量内积乘法运算速度快，计算结果方便存储，容易扩展；离散化后，给线性模型带来一定的非线性；模型稳定，收敛度高，鲁棒性好；在一定程度上降低了过拟合风险
2. 通过组合特征引入个性化因素：比如uuid+tag
3. 注意特征的频度： 区分特征重要度，可以用重要特征产出层次判定模型