机器学习(三)线性回归原理

机器学习(三)线性回归原理_第1张图片

       上述考虑的问题,我们会得到一个式子,即:Y=θ1·X1+θ2·X2。但该线性公式没办法拟合所有的数据点,如下图。

机器学习(三)线性回归原理_第2张图片

机器学习(三)线性回归原理_第3张图片

       这里“θ0”作为偏置项,在二维平面里,即为截距。因此,上述公式“Y=θ1·X1+θ2·X2”即可修改为“Y=θ0+θ1·X1+θ2·X2”,将常数项“θ0”添加一个“X0”,即可用矩阵形式表示该公式。这里“X0”为常数“1”,没有实际含义。

机器学习(三)线性回归原理_第4张图片

       由于误差的存在,因此上述公式,Y(i)为真实值,θT·X(i)为预测值,E(i)为误差,我们希望误差项越小越好,即损失函数的结果越小越好。

机器学习(三)线性回归原理_第5张图片

       这里的误差,每个样本的误差值之间互不干涉,互相独立;同分布针对数据集来说,即来自同一处的数据,如同一个银行的数据。

       误差符合正态分布(高斯分布),但实际数据的分布不会完美符合正态分布,但这不影响误差整体符合这类规律。

机器学习(三)线性回归原理_第6张图片

       将(1)带入(2)的所得,即为X(i)和θ的组合,成为真实值Y(i)的可能性。我们希望可能性越大越好。

机器学习(三)线性回归原理_第7张图片

       这里可以转换成加法计算的原因是:我们并不关心L(θ)的极值是多少,我们只关心使得L(θ)取得极值的极值点是多少。类比一元二次方程,我们知道极值点X=?并不会受到两边同乘或者同除A的影响(仅为影响极值的大小)。因此,我们即可对误差进行化简。

机器学习(三)线性回归原理_第8张图片

       从而求解函数。这里X,θ,Y均为矩阵。这里,XT·X(矩阵X的转置·矩阵X)的目的,是为了将X转换为对称阵(方阵),X和Y均为已知量。

机器学习(三)线性回归原理_第9张图片

       上述虽然可以直接得到结果,但针对多数情况,我们需要学习的过程,梯度下降即为其中一种学习的方法。

机器学习(三)线性回归原理_第10张图片

       这里,由于数据样本X0和X1之间是独立的,因此优化的过程,是分别对θ0和θ1进行 优化。

机器学习(三)线性回归原理_第11张图片

       梯度方向是上升最快的方向,因此,这里的偏导结果应该取反,再加上原来θj的位置,即为更新后的位置。

       考虑数据样本的大小,批量梯度下降,每次都需要对所有样本数据求偏导在平均,因此计算量很大,梯度下降速度在数据集大的情况下慢。

       随机梯度下降由于每次找的样本是随机的,不一定是下降速度最快的方向,结果不可控。

       小批量梯度下降,综合了上述两种的优点,每次更新选区一小部分数据样本来计算(常用),受选择样本大小(batch包含样本数量的多少)的影响。

机器学习(三)线性回归原理_第12张图片

       上面公式的α即下面的学习率。

机器学习(三)线性回归原理_第13张图片

你可能感兴趣的:(机器学习,线性回归,算法)