[机器学习算法]线性模型（逻辑回归+LDA）

一、基本形式

二、线性回归

给定数据集，线性回归即试图学得一个线性模型以尽可能准确地预测实值输出标记。

1、模型

2、参数估计方法

，通过偏导等于0得到最小二乘估计

3、变形

（1）对数线性回归

（2）广义线性模型

，其中是单调可微函数

三、对数几率回归

1、单位跃阶函数和对数几率函数

单位阶跃函数：

2、对数几率函数

注：逻辑回归的原理就是把线性回归得到的拟合值投射到对数几率函数上，从而保证结果在0~1之间

其中逻辑回归的参数估计方法详见博文的逻辑回归模型相关内容。

四、线性判别分析（Linear Discriminant Analysis，LDA），也被称为fisher判别分析

1、思想：给定训练样例集，设法将样例投影到一条直线上。使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。在对新样本进行分类时，将其投影到同样的直线上，再根据投影点的位置确定新样本的类别。

2、数学推导：

给定数据集。令分别表示第i类示例的集合、均值向量和协方差矩阵。如果将所有点投影在直线上，则两类样本的中心在直线上的投影分别为和；如果将所有点投影在直线上，那么两类样本的协方差分为是和。由于直线是一维空间，从而、、和都是实数。

令+尽可能小，尽可能大。

3、拓展方向：

（1）将LDA推广到多分类任务

（2）将样本投影到维空间而不是一条直线，则通常远小于数据原有的属性数。于是可通过这个投影来减小样本点的维数，LDA可作为一种典型的监督降维技术。