6.逻辑回归

1.用自己的话描述一下，什么是逻辑回归，与线性回归对比，有什么不同？

 　　逻辑回归的本质是线性回归，只是逻辑回归在特征到结果的过程中加了一层sigmod函数映射。一般用于二分类，当然也可以用于多分类。

　　线性回归评估误差的方式是通过最小二乘法距离公式，求解损失函数的最小值thata；

　　逻辑回归的损失函数是对数似然函数log loss，函数的公式如下：

　　

　　真实值为1时，损失函数用第一条式子进行计算；真实值为0时，损失函数用第二条式子进行计算。

　　使用对数似然函数作为逻辑回归的损失函数原因：

　　当y = 1，h = 0时，log0 = ∞，对模型的惩罚力度最大；当y = 1，h = 1时，log1 = 0，相当于没有惩罚，也就是说没有损失，这个时候就达到了最优结果。

　　综上：线性回归用来预测，逻辑回归用来分类。

          线性回归是拟合函数，逻辑回归是预测函数

          线性回归的参数计算方法是最小二乘法，逻辑回归的参数计算方法是梯度下降

　　

2.自述一下什么是过拟合和欠拟合？

 　　过拟合：过分依赖训练数据

• 原因：过拟合是由于学习的太彻底，这可能是由于训练数据量太少的缘故。
• 解决方法：可以增大数据的训练量，训练数据要足够大才能使得数据中的特征被模型学习到。还需要清洗数据，尽量减少数据中的噪声，以防止这些噪声被模型学习到。正则化方法也常用来处理过拟合，正则化包括L1正则化和L2正则化，

　　欠拟合：未能学习训练数据中的关系

• 原因：学习不足，模型简单。
• 解决方法：可以考虑添加特征，从数据中挖掘出更多的特征，有时候还需要对特征进行变换，使用组合特征和高次特征。例如线性模型只能拟合一次函数的数据。尝试使用更高级的模型有助于解决欠拟合，如使用SVM，神经网络等。正则化参数是用来防止过拟合的，出现欠拟合的情况就要考虑减少正则化参数。

3.思考一下逻辑回归的应用场景有哪些？

 　　广告CTR预估；

　　电商搜索排序；

　　电商购物搭配推荐；

　　是否为垃圾邮件；

　　是否患病；

　　金融诈骗；

　　虚假账号。