深度学习——炼丹

学习率调整策略

自定义学习率调整策略

简单版

  net = MyNet()
  optim=optim.Adam(net.parameters(),lr=0.05)   
  for  param_group in optim.param_groups:    
       param_group["lr"]= param_group["lr"]*0.5
       print(param_group["lr"])   #0.25

复杂版（分块设置学习率并调整）

  optim=optim.Adam([{"params":net.conv2.parameters()},
  					{"params":net.conv3.parameters(),"lr":0.004},
  					{"params":net.conv4.parameters(),"lr":0.003}],lr=0.05)
  for param_group in optim.param_groups:
      param_group["lr"]*=0.5
      print(param_group["lr"])
  '''
  输出：
  	0.025
    0.0015
  '''

使用官网提供的学习率调整策略

https://www.cnblogs.com/ziwh666/p/12394406.html

权重保存、加载、权重冻结、权重初始化以及模型返回函数

权重保存

官方教程
官方教程2

权重加载（权重keys或者权重shape不一样时加载）

法一

missing_keys,unspected_keys= net.load_state_dict(checkpoint,strict=False)

法二
https://www.cnblogs.com/lyp1010/p/15224584.html

权重初始化

https://zhuanlan.zhihu.com/p/75938932?utm_id=0
https://blog.csdn.net/qq_41166909/article/details/130017078

权重冻结

https://blog.csdn.net/m0_46412065/article/details/127461239
https://blog.csdn.net/qq_46276946/article/details/131668754

模型返回函数

https://blog.csdn.net/weixin_45464524/article/details/128696556

图像增强（包含图像变换）

https://blog.csdn.net/GAKKI_Husband/article/details/129307236

性能评价指标(包含损失函数）

https://zhuanlan.zhihu.com/p/91511706

梯度下降优化器（包含权重衰减和动量）

https://zhuanlan.zhihu.com/p/626602808

多卡并行

https://zhuanlan.zhihu.com/p/649705522

参考文献

写得相当好，里面其他几篇也值得看