天池新手赛——街景字符编码识别（四）

天池新手赛——街景字符编码识别（四）

Task 4 模型训练与验证

1.构造训练集，验证集

过拟合：

正则化：

1. 添加正则化相当于参数的解空间添加了约束，限制了模型的复杂度
2. L1正则化的形式是添加参数的绝对值之和作为结构风险项，L2正则化的形式添加参数的平方和作为结构风险项
3. L1正则化鼓励产生稀疏的权重，即使得一部分权重为0，用于特征选择；L2鼓励产生小而分散的权重，鼓励让模型做决策的时候考虑更多的特征，而不是仅仅依赖强依赖某几个特征，可以增强模型的泛化能力，防止过拟合。
4. 正则化参数 λ越大，约束越严格，太大容易产生欠拟合。正则化参数 λ越小，约束宽松，太小起不到约束作用，容易产生过拟合。
5. 如果不是为了进行特征选择，一般使用L2正则化模型效果更好。
   欠拟合：
   

2.模型的训练、验证、保存及加载

torch.save(moder_object.state_dict(),'modet.ot')
model.load_state_dict(torch.load('modet.pt'))

3.模型的调参流程

记录模型用的数据集，训练的轮数，模型的参数，模型的测试效果（map等各种信息）
关于训练技巧的链接：
http://www.lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html