机器学习中的回归算法（上）

在机器学习中有很多的算法，我们在之前给大家介绍了支持向量机算法，支持向量机算法是一个十分经典的算法，因此也备受大家喜欢。下面我们在这篇文章中给大家介绍一下回归算法，希望这篇文章能够帮助我们更好地理解机器学习的知识。

机器学习中有很多的方法，在大部分机器学习课程中，回归算法都是介绍的第一个算法。其中的原因有两个，第一就是回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。第二就是回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即线性回归和逻辑回归。线性回归就是我们常见的直线函数。如何拟合出一条直线最佳匹配我所有的数据？对于这个问题的解决方法我们一般使用“最小二乘法”来求解。“最小二乘法”的思想是这样的，假设我们拟合出的直线代表数据的真实值，而观测到的数据代表拥有误差的值。为了尽可能减小误差的影响，需要求解一条直线使所有误差的平方和最小。最小二乘法将最优问题转化为求函数极值问题。函数极值在数学上我们一般会采用求导数为0的方法。但这种做法并不适合计算机，可能求解不出来，也可能计算量太大。这种做法的局限性很大，所以我们还是需要考虑从别的方向入手。

可能大家不知道的是，计算机科学界专门有一个学科叫“数值计算”，专门用来提升计算机进行各类计算时的准确性和效率问题。我们就举一个例子，比如著名的“梯度下降”以及“牛顿法”就是数值计算中的经典算法，也非常适合来处理求解函数极值的问题。梯度下降法是解决回归模型中最简单且有效的方法之一。从严格意义上来说，由于机器学习中的神经网络算法和推荐算法中都有线性回归的因子，因此梯度下降法在后面的算法实现中也有应用。

我们在这篇文章中给大家介绍了机器学习中回归算法知识的一部分，由于篇幅原因我们就给大家介绍到这里了，在后面的文章中我们会继续为大家介绍回归算法的其他部分知识。