机器学习西瓜书自学笔记ch3

第3章 线性模型

属性值之间的序关系，可通过连续化转化为连续值。eg：高中矮：{1,0.5,0}

不存在序关系则转为k维向量

square loss：应当最小化均方误差。这里使用最小二乘法（least square method）

对于多元线性回归：求得最优解的方式一致。不为满秩矩阵则使用正则化（regularization）选择解。

广义线性模型（generalized linear model）：

函数g ( ⋅ ) 被称为联系函数（link function）

为对数几率（log odds）

线性判别分析：

LDA：将样例投射到直线上，同类样例的投影点接近，异类样例投影点远离

LDA的最大化的目标：Sb与Sw的“广义瑞利商（generalized Rayleigh quotient）”

求w：