线型回归算法

举个例子：

数据：工资和年龄（2个特征）

目标：预测银行会贷款给我多少钱（标签）

考虑：工资和年龄都会影响最终银行贷款的结果那么它们各自有多大的影响呢？（参数）

通俗解释：

X1,X2就是我们的两个特征（年龄，工资），Y是银行最终会借给我们多少钱

找到最合适的一条线（想象一个高维）来最好的拟合我们的数据点

如图所示：

数学理论：

把θ和X看成向量，并且x0=1

这是一个样本的函数

将多个单样本函数累乘得到似然函数

注:转化为对数似然函数是因为把乘法转换为加法，更便于计算。

让似然函数（对数变换后也一样）越大越好

得到 损失函数

比较好理解，就是训练集中所有样本点，真实值和预测值之间的误差的平方和。其中1/2是为了后面计算方便，求导时会消掉。所以我们目的就是找到θ使得J(θ)最小，这就是最小二乘法（最小平方）。

这样就求出了权重参数