回归模型-简单线性回归

在一个回归模型中，我们需要关注或预测的变量叫做因变量，我们选取的用来解释因变量变化的变量叫做自变量。

一元线性回归模型

y=w₀+w₁x+ε，其中w₀，w₁为回归系数，ε为随机误差项，假设ε~N(0,σ²),则随机变量y~N(w₀+w₁x,σ²)。

面对一个具体问题，给定样本集合D={(x₁,y₁),…,(x_n.y_n)},我们的目标是找到一条直线y=w₀+w₁x使得所有样本点尽可能落在它的附近。

数据模型为$$(\widehat{w_0},\widehat{w_1})=argmi{n}_{(\widehat{w_0},\widehat{w_1})}\sum _{i=1}^n(y_i-w_0-w_1{x}_i{)}^2$$

多元线性回归模型

y=w₀x₀+w₁x₁+w₂x₂+…+w_dx_d+ε
或
y=w^Tx+ε，其中x=（x₁，x₂,…,x_d）为自变量，w=（w₁,w₂,…,w_d）为回归系数。

假设将训练集中的输入特征部分记为n*d维矩阵X，矩阵第一列值全为1，训练数据的输出特征部分写成向量形式y=(y₁，y₂，…，y_n)^T。
在多元线性模型中，输入X对应的模型输出为
$$\hat{y}=Xw$$

线性回归的问题

实际数据可能不是线性的
●使用R²等指标进行模型诊断，R²越接近1，证明模型拟合的越好。

多重共线性
●正则化、主成分回归、偏最小二乘回归
过度拟合问题
当模型的变量过多时，线性回归可能会出现过度拟合问题。假如在房价预测问题中，假设x表示房屋面积，如果将x²，x³等作为独立变量可能出现以下情况

简单线性回归通常对模型作了以下假设:
1.输入特征是非随机的且互相不相关;
2.随机误差具有零均值，同方差的特点，且彼此不相关;
3.输入特征与随机误差不相关;
4.随机误差项服从正态分布N(0, σ² ).