深度学习做实验总结

简介

做深度学习相关研究已经好几个月了，作为一个小白，好几个月都没有什么大的进展，无数次的实验失败让我还是有了一些心得体会，这里就算是个人最近的一些失败总结记录吧。接下来主要谈谈做实验和实验记录相关的感想，希望能够提供给大家一点参考。

1. 做实验：研究方向这个很重要，但是这个一般是和导师沟通后的结果，这里不多讨论。作为一个深度学习小白，很自然的想法是希望能在一个现有的方法上进行改进，因此选择一个开源并且好的baseline至关重要。没有开源的方法自己去复现很可能达不到论文给出的效果，如果开源代码复现效果也不好，可能需要仔细阅读论文(如果是一系列论文，则都需要细读)，观察作者是不是采取了什么trick。选好了baseline后，盲目地去增加卷积层数目或着是通道注意力，甚至是各种concat组装，这可能都是在浪费时间，就像是把神经网络纯当黑盒，希望瞎猫碰见死耗子(我就是这样)。此外，尽管网络调参很重要，但是过分花费时间在这上面也不合理，深入挖掘底层原理，合理分析网络结构才能对研究任务有更深入的理解。做实验思路很重要，首先应当找到研究点(即出发点)，找到目前方法或现有方法的不合理或者不完善的地方，作为自己方法的动机；其次去思考如何解决自己分析出的问题，这个idea的产生可能需要阅读大量文献，包括其他领域的，甚至需要绘图可视化和合理的公式推导。
2. 实验记录：最近发现实验记录是能帮助自己理清思路，不再盲目地去尝试了。这里推荐使用typora写作软件来记录实验，看起来十分清晰，下面给出一个示例参考：

总结

做研究真的是思路很重要，只有分析到了问题的出发点(这个需要积累)，深入分析造成这个不足的原因，才好找出可能的解决方案，可以是无效实验，但却不是盲目实验！有的厉害的人就可以根据自己分析到的问题，去找其他领域相关的解决方法来借鉴。保持记录实验的描述和思路，多向大佬学习才是小白的成长之路！