李沐老师pytorch笔记

1.关于模型的训练，胖的模型相比深度的模型更加不好训练

2.关于模型的层数理解，只有在有w参数的情况下才属于一层

3.对于激活函数tanh，Sigmoi，ReLu函数

4.鲁棒性：

以下解释来自维基百科
鲁棒性（英语：Robustness）可能指：
在生物学中，
鲁棒性 (进化)，指系统在扰动或不确定的情况下仍能保持它们的特征行为。根据所涉及的扰动，可分为突变鲁棒性、环境鲁棒性，等。
突变鲁棒性，在突变时生物体的表型仍保持不变的能力。
稳健性 (形态学)（英语：Robustness (morphology)）
鲁棒控制
鲁棒优化
鲁棒决策，一种尽可能对不确定性免疫，并在作出后相当长时间仍看上去不错的决策。
鲁棒统计，即使其假设与产生数据的真实模型不符，依然能良好运作的一种统计技巧。
鲁棒性 (计算机科学)
稳健性 (经济学)
鲁棒性 (化学)又称坚固性 (化学)，是指一种物质的化学结构在化学或机械作用下不受损坏的特性。

5.训练集和测试集之间的关系：

训练误差：训练数据集的误差
泛化误差：测试数据集的误差
将训练数据集中取出50%的数量去作为训练数据集，将剩余的50%作为验证数据集
划重点：不要将训练集和测试集弄混，测试集没有标签，通过训练数据集来进行调整超参数，使测试数据集的结果更可观
切记不同将真正的测试集进行多次训练，那相当于你考试把卷子写无数遍！！！

6.k-折交叉验证：

取k个验证集进行验证误差的最小值
假如
sta:数据
val：测试数据
train ：训练数据

sta	sta	sta
val	train	train
train	val	train
train	train	val

通过更改k的值，此例子k=3，通过使用三次数据将数据充分使用，通过令三次计算的误差取平均，得出的误差作为结果误差，通过调整参数使误差不断减少。
一般k的取值为5或者10.
数据越大，k越小
数据越小，k越大

7.总结：

一定要动手实践┗|｀O′|┛ 嗷~~
图片均来自截取李沐老师的哔哩哔哩直播视频

链接: 动手学pytorch.