02梯度下降

参考：http://biranda.top/Pytorch学习笔记004——梯度下降算法/#随机梯度下降
补充：
五折交叉验证
如下右图，在不同的训练集和测试集划分方法下，test MSE的变动是很大的，而且对应的最优degree也不一样。所以如果我们的训练集和测试集的划分方法不够好，很有可能无法选择到最好的模型与参数。

K折交叉验证，每次的测试集将不再只包含一个数据，而是多个，具体数目将根据K的选取决定。比如，如果K=5，那么我们利用五折交叉验证的步骤就是：

1.将所有数据集分成5份

2.不重复地每次取其中一份做测试集，用其他四份做训练集训练模型，之后计算该模型在测试集上MSE（i）

3.将5次的MSE（i）取平均得到最后的MSE