机器学习-线性回归、广义线性模型（逻辑回归）

1、前言

  线性回归在整个机器学习算法中相对比较简单，但是在处理实际问题中，使用频率还是比较高。本文将对线性回归做简单介绍，最后利用通俗的讲解来说明逻辑回归于线性回归的关系。

2、线性回归相关问题

  线性模型一般表达式如下：

其中：代表了d的属性，与便是算法通过对训练样本学习获得。其中可以看作是每一个属性在模型中的权重。
  想要通过训练集学得上式中的与，根据机器学习-模型评估与选择可知，对于回归任务常用均方误差对模型评估，则模型学习的目的就是最小化均方误差：

通过最小化均方误差来求解模型的方法称为“最小二乘法”（最小二乘法应用很广）。
想要求得上式最小值，则应该使得导数等于0。

3、广义线性模型

  上面提到的线性模型只是对x进行线性组合后去逼近y值；实际应用中，我们可能还会有别的需求，例如通过对x线性组合后去逼近“y的衍生值”，例如，去逼近，则：

上式是“对数线性回归”，上式也可以理解为使逼近y值。
  一般地，一个单调可微函数，使得：

上式称为“广义线性模型”，其中称为“联系函数”。

4、逻辑回归

  以上分析中，最终的结果还是一个回归任务。但是在实际应用中，经常会有分类的任务，此时便出现了逻辑回归。
  逻辑回归如下：

其中，函数便是上面提到的“联系函数”，称为"Sigmoid 函数"（Sigmoid 函数是指图形像S的函数，上式函数只是其中一个典型代表，有时称为“对率函数”）。
图形如下：

逻辑回归

  从图中可以看出，通过转换，结果就是0-1的值，则对于二分类任务，可以看做是某个类别的概率，通过设定阈值就可以将结果转换为分类结果了。
注：逻辑回归虽然名字中包含了“回归”，但实际是一种分类模型。

以上内容如有理解不当，请指出，谢谢！另，文章中有些内容来源于一些书籍或其他博客，这里就不一一列举，如有侵权，请与我联系删除。