机器学习理论笔记（1）

线性模型和最小二乘法

Given input: XT=(X1,X2,…,Xp) X T = ( X 1 , X 2 , … , X p )
Predict output: Y Y
Via:

Y^=β0^∑j=1pXjβj^(1.1) (1.1) Y ^ = β 0 ^ ∑ j = 1 p X j β j ^

β0^ β 0 ^ 表示截断（intercept）or 偏差（bias）
为方便起见，我们让 X X 中包含常量 1 1 ，那么就有

Y^=XTβ^(1.2) (1.2) Y ^ = X T β ^

对于输出输出对 (x,y) ( x , y ) 的最小二乘方法是：

RSS(β)=∑i=1N(yi−xTiβ)2(1.3) (1.3) R S S ( β ) = ∑ i = 1 N ( y i − x i T β ) 2

那么求解次最小二乘问题的解是：

β^=(XTX)−1XTy(1.4) (1.4) β ^ = ( X T X ) − 1 X T y

分类问题

参考图片中线性分类模型，我们规定两部分函数值（蓝色=0，橙色=1）。用线性回归模型来拟合，决策边界线是 xTβ^=0.5 x T β ^ = 0.5 ，把所有的点分成0,1两类，线的一侧为0，另一侧为1，由已知点极小化分类误差 RSS(β) R S S ( β ) 可以得到唯一一条直线，然后对整个空间进行分类。
这种回归分类方法简单但是适应性差。