模型复现后性能低了怎么办？

1、原因

• 解释1： 对于AI模型，用不同的显卡跑，结果很大可能不一样。
  求偏导的结果不一定是准确的，有限循环小数，然后由于每个显卡精度不一样，导致反向传播和梯度下降的精度不一样，一个不一样微乎其微，但是1000多万个参数，都有一点区别，一点点小的变化会导致最后发生一个很大的变化
  我和他的显卡一样，但是性能还是和原作者不一样：
• 解释2：造假了
  有能力的人基本不会做这种事
• 解释3：模型没有设定随机数种子，导致模型参数初始化的时候，每次结果不一致

2、解决方法

用复现的结果，一定要记住，保存证据，保存跑出来的模型文件，然后写论文的时候记住，标明一下
你还可以做一件什么事情呢？？？
模型复现后性能低了：原论文91，复现后89（他的模型，他论文标明的参数，最好是相同的显卡）
那你只要达到90就行了。这个90不需要你和他的参数一致
调参：
他的bs32，你可以是16，他的lr是0.05，你的可以说0.005
调到最优值后，你是90