【071】岭回归和Lasso回归、线性回归、逻辑回归

内容目录

一、线性回归的一般形式二、岭回归与Lasso回归三、逻辑回归激活函数原函数和导数的绘制及饱和度-- 021原文见公众号：python宝

一、线性回归的一般形式

     损失函数又叫代价函数，是用来评判一个模型的好坏的。概况来讲,任何能够衡量模型预测出来的值 与真实值 之间的差异的函数都可以叫做代价函数。

过拟合问题及其解决方法       

        (1)   丢弃一些对我们最终预测结果影响不大的特征，具体哪些特征需要丢弃可以通过PCA算法来实现；
        (2)   使用正则化技术，保留所有特征，但是减少特征前面的参数θ的大小，具体就是修改线性回归中的损失函数形式即可，岭回归以及Lasso回归就是这么做的。

线性回归中可能遇到的问题

    （1）求解损失函数的最小值有两种方法：梯度下降法以及正规方程，两者的对比：

梯度下降	正规方程
需要选择学习速率，当然如果不设置也会有默认值	不需要
需要多次迭代	一次求导得出
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等其他模型
当特征数量n大时也能比较好的适用	需要计算（XTX）-1 如果特征数量N较大则运算代价大，因为矩阵的逆的计算时间复杂度为O(n3) 通常来说当n小于10000时还是可以接受的

    （2）特征缩放：即对特征数据进行归一化操作，进行特征缩放的好处有两点，一是能够提升模型的收敛速度，因为如果特征间的数据相差级别较大的话，以两个特征为例，以这两个特征为横纵坐标绘制等高线图，绘制出来是扁平状的椭圆，这时候通过梯度下降法寻找梯度方向最终将走垂直于等高线的之字形路线，迭代速度变慢。但是如果对特征进行归一化操作之后，整个等高线图将呈现圆形，梯度的方向是指向圆心的，迭代速度远远大于前者。二是能够提升模型精度。

    （3）学习率α的选取：如果学习率α选取过小，会导致迭代次数变多，收敛速度变慢；学习率α选取过大，有可能会跳过最优解，最终导致根本无法收敛。

二、岭回归与Lasso回归

  岭回归与Lasso回归的出现是为了解决线性回归出现的过拟合以及在通过正规方程方法求解θ的过程中出现的x转置乘以x不可逆这两类问题的，这两种回归均通过在损失函数中引入正则化项来达到目的，具体三者的损失函数对比见下图：   

    

        其中λ称为正则化参数，如果λ选取过大，会把所有参数θ均最小化，造成欠拟合，如果λ选取过小，会导致对过拟合问题解决不当，因此λ的选取是一个技术活。 

        岭回归与Lasso回归最大的区别在于岭回归引入的是L2范数惩罚项，Lasso回归引入的是L1范数惩罚项，Lasso回归能够使得损失函数中的许多θ均变成0，这点要优于岭回归，因为岭回归是要所有的θ均存在的，这样计算量Lasso回归将远远小于岭回归。 

三、逻辑回归

  在逻辑回归中,最常用的代价函数是交叉熵(Cross Entropy),交叉熵是一个常见的代价函数。

 

About Me：小婷儿

● 本文作者：小婷儿，专注于python、数据分析、数据挖掘、机器学习相关技术，也注重技术的运用

● 作者博客地址：https://blog.csdn.net/u010986753

● 本系列题目来源于作者的学习笔记，部分整理自网络，若有侵权或不当之处还请谅解

● 版权所有，欢迎分享本文，转载请保留出处

● 微信：tinghai87605025 联系我加微信群

● QQ：87605025

● QQ交流群py_data ：483766429

● 公众号：python宝 或 DB宝

● 提供OCP、OCM和高可用最实用的技能培训

● 题目解答若有不当之处，还望各位朋友批评指正，共同进步

如果您觉得到文章对您有帮助，欢迎赞赏哦！有您的支持，小婷儿一定会越来越好！