李沐深度学习-08 线性回归

P1线性回归
1.
2.
3.
线性模型可以看作是单层神经网络，神经网络通常用这样图表示。输出的维度是1，每一个箭头表示一个权重w(i)。我们称之为单层神经网络，因为忽略输入层input layer。
4.
有了模型以后我们要进行预测，预测房价和实际房价的差值越小说明模型越好。
5.

方括号[]内的实体x1表示一个向量，即一个训练样本。每一个训练样本由多个特征促成，见图1。

6.
真实yi 减去预测值y_hat = +b。
我们的目标是找到一个最优解w，b让损失函数最小化。

线性回归是唯一一个有最优解w，b的模型，剩下的模型比较复杂，可能求不出最优解。
（深度学习的显示解是指通过训练一个深度神经网络来学习输入数据的隐含模式或规律，并使用该模型进行预测或分类任务的过程。在深度学习中，网络通过多层的神经元进行信息传递和特征提取，最终输出一个预测或分类结果。）

8.

P2优化方法
1.
当一个模型没有显示解的时候，可以随机挑选一个初始值w0，在接下来的时候不断更新w0来接近最优解。
梯度方向指示了函数在给定点上函数值增加最快的方向，负梯度则为函数下降最快的方向。
2.
3.
4.
5.