深度学习之线性回归算法

在考虑问题的时候，如果给你一系列数据多个输入，产生一个输出，可以使用线性回归算法，将多个输入和一个输出，拟合成一个平面。
假定有两个输入X₁和X₂是输入，Y₁是输出。可以列出公式Y₁=X₀+θ₁X₁+θ₂X₂。

其中X₀项变为X₀θ₀为使其值不变，可让θ₀=1，为方便运算，后续大多数矩阵计算时都会在其开始处加入一列1。
然而使用上述公式，每个个体所获得数据之间一定存在误差。所有误差是独立具有相同分布，并且服从均值为0，方差为θ² 的高斯分布。
独立：两个事件互不关联
同分布：在同一个环境下比较
高斯分布即正态分布。
线性回归只有在数据情况维度较为简单的时候能通过数学公式能将其求解，更多是通过梯度下降原理进行求解。
梯度下降是在曲线上找到一个点，然后然后对其值求偏导，使其按照梯度方向求出最优值，找到全局的最小值点。
在机器学习中有三种梯度下降的方法：
1、批量梯度下降，容易得到最优解，不过每次需要考虑所有样本，所以速度与样本数量正相关，大多数时候十分缓慢
2、随机梯度下降，每次找一个样本，迭代速度十分快，然而不一定每次都朝收敛的方向前进，有可能随机样本为离群点。
3、小批量梯度下降，每次使用一小部分数据来算，目前较为实用。