机器学习(二)线性模型——线性回归、对数几率回归、线性判别分析

一、线性回归

线性回归(linear regression:试图学得一个线性模型以尽可能准确地预测实值输出标记。

1.最简单的形式:输入属性的数且只有一个,
最小二乘法:基于均方差误差最小化来进行模型的求解,在线性回归中,最小二乘法就是试图找到一条直线,使得样本到直线上的欧氏距离之和最小。
2.但是更一般的形式:输入的属性有多个
求解这个的过程称为“多元线性回归”

二、对数几率回归

在 一 中讲到使用线性模型进行回归学习,若要进行分类任务,应该怎样做呢?
此时需要借助某些函数,将分类的任务的结果与回归得到的预测值联系起来。
机器学习(二)线性模型——线性回归、对数几率回归、线性判别分析_第1张图片
从上图可以看出,对数几率函数是一种“Sigmoid函数”
对数几率回归,虽然名字带有“回归”,但实际上是一种分类学习方法(二分类问题)

对数几率回归(logistic regression),又称为对率回归、逻辑回归

三、线性判别分析(LDA)

线性判别分析(Linear Discriminant Analysis,简称LDA)是一种经典的线性学习方法。
LDA思想:给定训练集样集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新的样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别。

你可能感兴趣的:(机器学习,机器学习,深度学习)