李沐基于Pytorch的深度学习笔记（5）-线性回归和基础优化算法（附代码）

代码章节：李沐基于Pytorch的深度学习笔记（7）-线性回归的基本实现（附代码）_m0_57628341的博客-CSDN博客

1 线性回归

线性回归的应用是机器学习和深度学习的一个基础，所以需要去了解。具体的东西在各种图书中都是有参考的。李沐老师这里举了个例子，这个例子就是啥呢，关于房价的一个预估。

做一个简化模型：

 这个模型和我们熟知的感知机模型其实是一样的。之后呢我们需要把这个模型拓展到一般化的线性模型。一般为了方便表示和计算，一般还是会做成矩阵的一个方式。

 这里可以把线性模型看作单层神经网络

 1.2 神经网络

 类似于这种模型都属于神经网络，而当前的神经网络的模型以及比这更加高级了。

1.3 训练和测试的开端

 参考最小二乘法，这里是为了求导，为啥不用|绝对值|，原因就是因为方便求导，这个是一个损失函数的表达，这种表达是为了来对权重就行一个调节。

 训练集这部分，其实训练集和测试机的划分是非常有讲究的，在周志华老师的《机器学习》上面提到过，一般需要进行3种划分方式，不过一般还是3：7的比例进行划分（比较方便）。至于什么抽查采样，或者分成N份，再1：N-1的进行N次训练取平均值这些方式，一般是没有采用的。

 一个学习参数，这种的学习参数是训练出来的。也就是损失函数在我们的模型中进行训练，从而选取最小的W,和b来进行训练。

 当我们选取之后，在进行最优解的一个求解。因为是线性模型，所以我们的损失是一个凸函数。这个其实不用太明白。因为这个其实不属于我们的领域。