机器学习总结三之线性回归

机器学习总结三之线性回归

线性回归定义

线性回归：利用线性回归方程的最小二乘函数对一个或者多个自变量和因变量之间关心进行建模的方法
线性回归数学定义：
数据
$$(Y_i,X_{i1},...,X_{ip}),i=1,...n$$
模型
$$Y=X\beta +ϵ$$
解析解
$$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}Y$$
上式中：
$$Y为包括了观测值的列向量Y_1,...,Y_n。$$
$$\beta 为包括了参数值的列向量。$$
$$X=\left(\begin{array}{cccccc}1& x_{11}& .& .& .& x_{1p}\\ 1& x_{21}& .& .& .& x_{2p}\\ .& .& .& & & \\ .& .& & .& & \\ .& .& & & .& \\ 1& x_{n1}& .& .& .& x_{np}\end{array}\right)$$
$$X^{T}X不可逆的时候可以采取的对策：$$

• 使用伪逆代替其逆矩阵，Python：numpy.linalg.pinv()
• 去掉冗余特征（线性相关的特征）
• 减少特征使得特征p<=n

线性回归解析解推导

示例

详见机器学习总结一