机器学习-线性回归模型

问题定义

给定数据集，是一个向量，是一个标量。数据集中的每个数据对可以看做空间中的一个点，那么线性回归问题就是试图学得一个超平面，使得数据集中的点尽量落在或者靠近这个超平面。
衡量与之前的差别，可以采用均方误差这种性能度量。数据集D中的每个样本的误差为，均方误差就是所有样本的误差的加和平均，即

问题求解

在该问题中，我们要求解的变量是和，使得和取得最优值的时候，误差取得最小值。即如下优化问题：

求最大最小值的问题，可以对和求关于损失函数的偏导数，然后令导数为0，得到一组等式，联立求解方程即可。