自己看的，西瓜书第三章

3.1线性回归的基本形式

给定d个属性描述，可以通过属性线性组合来进行预测的函数

即

3.2线性回归

3.2.1一元线性回归

准则：均方差最小
算法：最小二乘法

ps：垂直距离最短为线性回归，竖直距离最短为正交回归。

假设x和y满足线性函数关系，使用x的值来预测y

为了求出w和b，我们考虑衡量f(x)与y之间差别，使用均方误差来衡量，即让均方误差最小，为我们的优化准则。均方差对应于欧几里得距离简称“欧氏距离”。

其中，argmin(Y)指使Y达到最小时的w和b。

ps:书上对于凸函数的定义与国内定义不同。

3.2.2多元线性回归
准则：均方差最小
算法：梯度下降法，最小二乘法

3.3一般广义线性模型

这有知乎大佬的详细描述

3.4对数几率回归

准则：极大似然估计
算法：梯度下降，牛顿法
对于二分类任务的考虑，最理想的是“单位阶跃函数”。但由于单位阶跃函数的不连续性，我们选则用对数几率函数来替代。


单位阶跃函数与对数几率函数
ps:读数几率函数是一种“Sigmoid函数”

3.5线性判别分析（LDA）

准则：类内协方差矩阵最小。类间向量均值最大
算法：拉格朗日乘子法

3.6多分类学习

（继续学习…）