深度学习领域怎么找创新点总结

创新点总结
创新点总结2

对于英文不好的我来说，善用知乎和百度，微博，博客，等看看中文总结或者视频讲解。

多尺度特征，注意力机制，gcn，gan往上套就完了

@小Lay爱迁移：注意力机制加可解释AI，加顶会最顶的结构[泣不成声]

@Density：让网络进行N+1式增量学习[灵机一动]

@Reconnection：直接automl搜模型，然后假装是你提出的[看]当然我没这么干

@紫雨：实验室老师让做RGBD四通道目标检测 据说很新[捂脸]

@一口盐汽水：transformer最近在cnn里边比较火，EMANet里边的期望最大化注意力也非常不错，再就是试试无监督半监督的目标检测，感觉目标检测已经越来越难做了，实在不行试试多目标跟踪之类的[捂脸]

@小兔兔：万事万物加注意力机制就完事了[看]

@郑州王满银：改anchorfree 吧

@飞雨惊风：注意力模块加即插即用模块:创新的卷积层，池化层，然后做实验调参数[捂脸]

一个很好的注意力机制模型
Transformer 模型详解

如果把创新的标准放得低一点，那么把A算法的部分步骤（或者某运算、函数），嵌入B算法内部，应该算是创新吧，例如1）把跨层恒等连接加入卷积神经网络，就得到了残差网络；2）把非局部均值引入残差网络，就得到了非局部神经网络（non-local neural network）；3）把软阈值化引入残差网络，就得到了适合强噪数据的残差收缩网络。

融合了几个前人设计好的loss然后效果得到了提升，虽然这种也算是创新

个人认为。一般就是深度学习在你所在领域的一些应用，一般就是残差网络等cnn构架，或者lstm.gru或者它们的组合。或者加入注意力机制，某些结构的改进等。一般写的时候结构框图画的漂亮一点，多给出一些图和表，例如混淆矩阵，损失曲线等。如果可以通过可视化的手段说明一下使用深度学习的效果一般可以在稍微上一个档次。

CV中的注意力机制

一个注意力机制在cv中的视频

后来发现原来大家都在用trick。不加余弦衰减，不加mixup，不训练200个epoch,基本就达不到目前大家说的那个SOTA效果，但是这些不会有人和你说的，他们只会说我在resnet50上训练到了多少多少的准确率。

现在真的很多就在test调参

一般都会设置随机种子。我拿到一个2019的论文，种子是2019，我随手把他改成了1314，结果f1提升了1.5。。。我自己都惊呆了。。。直接sota了[捂脸]

深度学习很常见的一个现象是A提出了一个methodA，resultA = methodA + trickA。接着B提出了一个methodB，resultB = methodB + trickB。B在他们的文章中会宣称resultB ~> resultA，从而得出methodB ~> methodA的结论。但其实很有可能只是trickB ~> trickA，或者说trickB对methodB的提升比trickA对methodA的提升大。如果“公平”的比较的话，很有可能会出现下面的几种情况：methodA ~> methodB （都不加trick）；methodA + trickA ~> methodB + trickA（这不一定说明methodA ~> methodB，可能只是trickA更适用于methodA）；methodA + trickB ~> methodB + trickB （这种情况可能是B最不想见到的）。为了显示出methodB的solid，B一般不会在文章中提及他们使用的全部trick。

最容易的就是做交叉application，算法A在任务B上的表现等。如果发会议就能毕业的话，ccf的c类会议里有相当一部分都有>40%接受率（ICANN，IJCNN，ICPR等），你魔改一点网络结构去尝试解决一个没人在乎的问题，只要写的别太拉胯就硕士毕业了。
最容易毕业发文章的大概就是套application，发个会议就顺利过关了。

我个人认为，对于科研菜鸟，读文献最开始要广泛的读。第一步，你要知道什么领域有什么问题，你想解决什么领域的什么问题。所以方方面面的论文，感兴趣的领域都多读一读，建议多读一读综述。第二步，确定你想要解决问题的解决方法，可能解决这个问题会用到很多不同的算法，找一个感兴趣的，方法流行的，也就是近几年方法的研究热点。这样的好处是，可参考论文多，研究有价值。这个阶段大多数人论文会看的云里雾里，根本不知道写的是什么，不要慌张，跳过实验部分，只看他用了什么基础方法，意义是什么。第三步，这个时候已经确定这个方法了，去专门的学习这个方法的原理，系统的学习它的方法步骤。觉得掌握之后，就在知网下载一些差一点的学校学报的期刊，这种文章多是对方法没有改进，大多是应用一下，这种文章对于论文初级选手太友好了，这个时候你会发现，你看懂了第一篇文章，从头到尾。多看上几篇基本知道这个方法的一个写论文的步骤，实验的结果流程。第四步，开始接触高质量的文章了，国内大多数论文都是方法改进和应用创新，方法改进更能发表高质量的论文。国外的文章改进的很好，我们老师说完完全全创造一个新方法是不太可能的，这都是数学家之类的科学家做的事，我们能改进的效果更好，就很好了。所以，接触一些高质量的中文，有能力多看外文，然后熟悉他们的改进，进行归纳分析，有的论文会结合多种方法，改进的形式和组合太多了。最后给大家说一个套路，很多朋友不知道怎么找自己论文改进之处，创新点，可以把其中两种或者多种改进方式相结合，在结合不同的改进方法，可以找出很多点，当然了，找出点来不一定效果好，这个得通过后期实验验证和优化了。