关于ai学习过程中的一些反思(持续更新)

前景:以下为打了几场比赛和初步进入科研的一些反思。

---

2019.9.9

打比赛和搞学术研究确实有比较大的区别，最大的区别就是打比赛是final metric performance导向型的，而学术研究是以provide innovative methodology为导向的，比赛的目的就是通过各种trick，ensemble，data augumentation，pre-training以及Batch-normalization等各种操作来提升模型的性能。而学术研究则不然，首先你需要focus on the related work,在了解该领域前人研究的基础之上进行创新，你需要界定论文的主要贡献在哪个地方，比如搞模型设计就应该好好地做对比实验，一看准确率等指标，二看模型参数容量和计算规模(Glops)等指标，再者就是对实验的结果进行分析，写好interpretation，首先要能说服自己，其次就是说服reviewers，最后当然是要方便其他researchers进行fork，在此基础上进行深入的探索，推动这个领域的发展。

---

2019.9.18

(准备某个面试题，谈谈自己的看法吧)
目前的AI还属于一种弱人工智能，是一种定制化的智能，一般我们都需要为特定的任务甚至特定的数据集去定制模型，很难有泛化能力可言，因此现在ai已经可以在一些特定的简单的场景中落地使用，但对于较为复杂场景下的应用还有很多问题需要解决。同时对于ai领域现在大火的深度学习而言也面临着许多的问题，有的模型虽然在特定场景下效果好，但是其可解释性方面存在很大的欠缺，很多时候深度学习的模型更像是一个黑盒。但现在的种种发展是通往强人工智能的道路上的必要探索，虽然现在也不能肯定这个方向一定是对的，(不如许多研究类脑计算的学者认为通过晶体管来模拟生物神经元之间的信息传递是十分耗费资源且低效的)。但是毕竟人类的文明始终是在向前看的，一切有利于推进文明向前的发展机会都值得尝试，它引导着研究人员们去思考去质疑，去碰碰撞出新的思想火花，去探索出最终的正确道路。只是不知道AI这股潮流中的泡沫是否会因碰壁而逐一破裂消逝。

---

2019.9.28

昨天导师面试的时候挺有收获的，记录下想法。首先对于一个论文motivation的第一步，也是直接决定这篇文章该不该做的。做科研的话motivation非常重要，如果你正在做的是一个比较小的领域，那么现有的文章数量可能比较有限，你可以推陈出新地做一些较大的创新。而如果这个领域已经有很多的文章了，那么这时候就要做足功课仔细地去分析归类前人工作的模型，去寻求这些模型里面的一些共性的弱点或者缺陷，然后基于这些缺陷提出自己改进的方法分析自己的灵感来源和动机。motivation不应该只是单纯的提升performance，这是最弱的一项，因为这样你就基本抛开了前人的工作，缺乏一个分析的过程，容易陷入工程化的搭建网络模型，这是打比赛的思路。此外，做研究的时候应该要讲究一种因果性，就是由一个问题或者矛盾出发，然后寻求解决或改进的方法，设计相关的实验进行对比，观察结果，对于结果中出现的特殊现象要进一步进行假设分析并设计相关实验进行验证，一层一层的剖开一个未知的领域，为后人在该基础之上进行进一步的研究铺垫好石头，这才是研究的意义所在。