机器学习（二）线性模型——线性回归、对数几率回归、线性判别分析

一、线性回归

线性回归（linear regression：试图学得一个线性模型以尽可能准确地预测实值输出标记。

1.最简单的形式：输入属性的数且只有一个，
最小二乘法：基于均方差误差最小化来进行模型的求解，在线性回归中，最小二乘法就是试图找到一条直线，使得样本到直线上的欧氏距离之和最小。
2.但是更一般的形式：输入的属性有多个
求解这个的过程称为“多元线性回归”

二、对数几率回归

在 一 中讲到使用线性模型进行回归学习，若要进行分类任务，应该怎样做呢？
此时需要借助某些函数，将分类的任务的结果与回归得到的预测值联系起来。

从上图可以看出，对数几率函数是一种“Sigmoid函数”
对数几率回归，虽然名字带有“回归”，但实际上是一种分类学习方法（二分类问题）

对数几率回归（logistic regression），又称为对率回归、逻辑回归

三、线性判别分析（LDA）

线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法。
LDA思想：给定训练集样集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新的样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。