21天学习挑战赛—深度学习线性回归详解（基本原理篇）

活动地址：CSDN21天学习挑战赛

1.线性回归原理推导

首先，我们先举一个栗子：
今天我带了一笔辛辛苦苦攒下来的钱准备相亲，于是去未来丈母娘家下彩礼娶老婆，第一种情况：我先自我介绍自己的基本情况，然后告诉未来丈母娘我带了多少彩礼，未来丈母娘针对于我的基本情况（工资年龄）和带的彩礼钱，要么同意这门婚事，要么反对这门婚事，即在已知情况的条件下，要么成功——1，要么失败——0,这种情况就属于分类问题。第二种情况：我先不告诉未来丈母娘我要给多少彩礼，我先自我介绍，然后问未来丈母娘需要多少彩礼，然后未来丈母娘也比较含蓄，说彩礼意思意思就行，然后这个意思意思的范围有可能在0~50w之间等等，所有的可能都是存在的，而我们为了娶到老婆获得丈母娘的点头，就得在一定的范围区间内根据我们的自身情况找到可能的一个值，这个情况就是回归问题。
如图所示：
数据：工资和年龄（两个特征）
目标：预测丈母娘想要多少彩礼钱（标签）
考虑：工资和年龄都会影响最终彩礼的结果那么它们各自有多大的影响呢？（参数）

然后，我们将工资设置为X1，年龄设置为X2，彩礼设置为Y。彩礼多少跟工资和年龄是相关的,但是工资和年龄哪个占的比重大呢？所以根据不同的丈母娘，我们把这个比重分别设置为P1，P2.即Y=X1P1+X2P2.
在这里,Y,X1,X2都是已知量，我们还差P1,P2。所以我们的线性回归的目标是求出P1,P2。当求出来的时候，问题就解决掉了。
进一步解释：
1：X1,X2是我们的两个特征（年龄，工资）Y是丈母娘最终想要的彩礼钱
2：找到最合适的一条线（想象一个高维）来最好的拟合我们的数据点。
如图：

上面的红点就是我们的数据点1，2，3，4等等，可是我们的方程是线性的，没办法拟合所有数据点，所以我们现在的要求就是尽可能拟合更多的数据点。

1.1误差项定义

那么数学来了：
1：假设P1是工资的参数，P2是年龄的参数
2：拟合的平面：H=X1P1+X2P2+P0(P0是偏置项）
3：整合：

这里解释H=X1P1+X2P2+P0(P0是偏置项），偏置项的用处是对这个平面进行一个向上或者向下的移动，就是一种微调的作用，核心的影响是P1,P2，而P0就是微调。为了方便计算要将方程转化为矩阵的形式，这里的就需要找到一个X0，即我们应该在数据那里新构造数值全1的一列（什么数乘以1还是那个数）就是一个补位的含义，就是为了让我们的数据转换成一个矩阵形式好计算而已。

误差：
1：真实值和预测值之间肯定是要存在差异的（用ƹ来表示该误差）
2：对于每个样本：

这里y是真实值，第二个是预测值，最后那个误差项就是ƹ，不同样本的误差是不一样的。我们希望误差越小越好

1.2独立同分布的意义

如图：

误差：
1，误差ƹ是独立并且具有相同的分布，而且服从均值为0方差为θ平方的高斯分布
2，独立：张三和李四一起去未来丈母娘家相亲，但他俩没关系。
3，同分布：他们都是在这家相亲，面对同一个丈母娘
4，高斯分布：丈母娘可能会多要，也可能会少要，但是绝大多数情况下这个浮动不会太大，极小情况下浮动会比较大（如丈母娘打麻将输了的情况下）,都是符合正常情况。

1.3似然函数的作用

这部分不好理解，我都懒得详细说，因为我也没搞懂，大致看一眼就行，后续再理解，嘿嘿嘿。


这个高斯分布是关于误差项的

1.4参数求解

是不是求不明白？巧了，我也求不明白。不过没关系，大致知道有这么个过程就好

1.5梯度下降通俗解释

梯度下降：
引入：当我们得到一个目标函数后，如何进行求解？直接求解？（并不一定可解，线性回归可以当作是一个特例）
常规套路：机器学习的套路就是我交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让他朝着这个方向去做
如何优化：一口吃不成一个胖子，我们要静悄悄的一步步的完成迭代（每次优化一点点，累积起来就是个大成绩了）。

这是一个loss-θ图像，为了找到最低点，我们要进行下“山”，下山越快越好，那怎么样最快呢？沿着梯度走！但是梯度是上升的，我们取个负号即所谓的梯度下降！每下山走一步，就要计算一次梯度。即完成一步步的迭代！进行逐步优化。

1.6总结

看不太懂也没关系，接下来会发一篇代码实操的文章进一步以一种肉眼可见的方式进行理解和学习。

​