对当下AI的一些思考

中美的博弈没有一批像华为这样的企业是绝对不行滴，一个远远不够。明年将集中全部精力搞神经规则推理以及下一代AI的研究，今年算是过渡期，任务艰巨。过渡期一定要打好基础，实变函数与泛函数分析对于数学专业来讲只是入门的数学，但是计算机专业的学生很多都没有研究。目前大学本科的计算机专业在专业设置上存在问题，具体问题就不多讲了。数学，神经生物学，物理学，计算机学科相互交叉构成了AI的基础。目前国内大部分的私企做的Ai几乎全都是技术复制，一点儿研发都没有，这不是一件好事情。好在有阿里达摩院，商汤科技这样的公司，否则在互联网基础研究领域中国将全面落伍美国。创新需要积累，传承，不是喊出来的。没有基础学科的研究，就不会有创新。再过10~20年中国的创新能力将会和美国比肩，那个时候80后和90后差不多已经退出了舞台。在转型的过程中，80后和90后成了彻彻底底的牺牲品，获利的是70后和00后。这是从大的层面来看，具体到个人，就看自己如何转变了，不变只能等死。每天按部就班地打卡，996，写代码，这样的人生毫无生趣。人活一世，怎么也得搞出点儿东西出来，最近任正非说誓死不做亡国奴，很好。本人励志要研究神经规则推理，不搞技术复制，坚持原创。以下是本人的一些见解：

1.
回顾过去，是为了更好地思考未来。梳理过去的研究成果，换个角度看待现有的算法，势在必行。李航博士的那篇关于图模型的论文不错，90页。统计学派的经典著作，从朴素贝叶斯，到贝叶斯网络，HMM，再到无向图模型，ME，MEMM，CRF。统计学派中的EM算法很重要，模板匹配的问答，就用到了EM算法估计参数。统计学派和凸优化联系紧密，而且对推理很有帮助。虽然目前联结主义很盛行，但最终还是没能逃离统计学的泥潭。没有统计学，目前的AI什么都不是。本人认为脱离统计学的AI是不需要海量数据的，是真正的AI，是强AI，深度学习并不是最终的结果，最起码不能完成推理，但联结主义也有优点，可以借鉴。在科学家对猫和猴子大脑解剖后，了解了视觉神经识别机制，比如第一层的保角映射，海马体的功能等等，结合数学研究出来了CNN，一个可以用傅立叶变换解释的空间关系归纳偏置模型，还有另一个时间关系归纳偏置模型LSTM，由RNN经过CEC逐步改进而来，初步缓解了记忆消失问题，其数学基础是BPTT。把统计学派和联结主义学派结合起来，比如TF-IDF和word2vector的结合，BiLSTM_CRF……那么图结构和神经网络的结合，有一个问题需要解决的就是节点之间交互的规则如何制定？如何用神经网络学习这些规则？如何形成图结构？节点的全局属性和局部属性的更新策略是什么？如何解决目前深度学习高度依赖海量数据的笨重式的学习方法？去年谷歌的图像识别把黑人识别成了大猩猩，应该引发哪些思考？如果把前面的红绿灯其中一个用胶带粘住，能够通过推理识别出被粘住的是哪种颜色的灯吗？目前的问答基本都是解决BFQ的问题，那么对于因果关系的推理，如何解决？比如如何梳理发高烧和疟疾，非洲之间的关联？这些概念如何用语义进行表示？通过哪些规则可以获得这样的语义表示？语义表示和规则二者相互交叉。如果单纯地把图像识别中的机制移植过来，nlp基本不会有大的突破。语言的理解，除了文字本身，更依赖作者所处的环境和外部知识以及逻辑推理。比如，给你一篇文章，目前的研究大部分集中在篇章语义表示，中心句抽取(包括生成式的文章摘要)。如果我们把每段的段意或者关键词概括出来，这些关键词可能会形成一条路径，从中可以看出作者的情感倾向和创作思路。这些路径会形成图结构，节点之间存在关联，有权重，路径表明了创作思路，整个图结构表明了作者的情感倾向。目前的情感分析，包括语义相似度，还是很粗糙。对于AI，很多人第一反应就是分类，但是对于nlp这样复杂的问题，分类是非常笨重粗糙的手段。而目前工业界的nlp确实很初级，几乎没有进展。举个例子，Hadoop和Spark比较，前者无论如何改进，性能始终比不上后者。因为两者的设计思路完全不同。在原来的基础上小修小改，论文满天飞，这样的研究并没有太大意义。也许到目前为止，对于nlp很少有人下精力重新思考，它和图像到底存在哪些本质的不同，有哪些重合的地方。如何跳出小修小改的框框，重新进行理论创新，这需要非常深厚的功底，同时又不能太保守。联结主义和符号主义融合，神经规则推理可能是nlp的出路，知识图谱算是万里长征迈出了第一步，继续努力。

2.
在机器学习领域，有一条准则:预测误差≤训练误差+模型复杂度÷N。深度学习之所以需要海量数量才有可靠的泛化能力，这个公式可以解释。模型复杂度惩罚因子的分母是N(数据样本容量)。对于深度学习这个N当然是非常大才好了。比如把黑人识别成大猩猩，如果语料里黑人的数据不足，而大明猩猩很多，可能会出现数据倾斜问题。但是不管怎么努力总会有物料不足的情况。比如，对一个孩子，我告诉他这个是大猩猩，那个是黑人。这个过程需要海量数据教孩子吗？明显不需要。小学时学过简单的演绎推理:哺乳动物区别于其他动物的根本特征:胎生，哺乳。这句话意味着其他的特征是次要的，可能和非哺乳动物重叠。大猩猩除了是哺乳动物外，还有自己独特的特征。我把这个特征告诉孩子，他们之后遇到大猩猩，就可以自行推理，而并不是简单的图像识别。这个过程根本不需要海量数据。这说明，世界上的事物都有基本的共性，也有根本性的差异。推理必须要找出这些基，同时也要找到差异，而差异更多的是基通过不同的规则组合得到，比如基因的碱基对儿组合。强AI就应该朝着这个方向发展。

3.

目前有一部分博士生，学者，代码能力很差，数据结构需要进修。光研究别人研究过的理论不算学者，得能够引领理论革新，必须代码能力过硬，搞出的算法能够转化成实际的代码。体制内的研究目前存在非常大的问题，论文满天飞，犹如养鸡场的鸡下的蛋。一辈子发出一篇有影响力的论文足矣！中国更需要研究未来的学者，而不是过去的专家。有些私企动不动就给员工封机器学习专家，这种做法很不妥，低调点儿，踏实搞基础研究，最好不要太浮躁。还有的公司在中国封神，那就更不妥当了。目前已知搞神经规则推理研究的，只有吕正东博士的深度好奇一家，融资却不太顺利。融资多的都是美团外卖，拼多多这样的第三世界的互联网公司。这说明目前国内的环境并不太适合搞基础研究，而且Ai只是在应用领域进行一些创新，基础研究领域仍然不足。

4.

没有失败就不会成功，研发需要不断地试错，花费大量的银子。如果老板急功近利，格局低就不会搞研发，被资本控制的上市公司更不会搞研发，在美国也不例外。没有谁敢说，几年之内必须如何如何，不成功的话就如何如何。这样的公司一定是愣头青，浮躁的，这样的人一定是情商低，经不起挫折的，遇到困难就跳楼的那种。欠缺灵活，过于坚硬的东西，一定是容易折断的，不信你试试是不是这个样子？凡事给自己一个上限，同时也要给自己一个下限，对自己不是太苛刻的人，反而坚持的更久。唐僧取经，观音菩萨定的期限是3年，唐三藏自己定的期限是7年，结果用了12年。如果过了7年，还没到西天，心里这样想："妈的，都这么多年了，还没到呢，完了，彻底失败了，我这么优秀的人竟然失败了，真是耻辱啊，操他妈的，跳楼去！"。你看年轻时一帆风顺成绩特别优秀没有经历过风浪的部分985高材生，遇到挫折时是如何应对的？走不到最后是人格的缺失和不完整，大男子主义是因为把自己看的太高，不懂得尊重女性。国内的教育培养出高智商高情商的人非常少，教育缺少了人格培养。人的成功靠的确实是智商，情商的作用是保证智商正常发挥，甚至达到每个人的定数，也就是上限。

结尾：坚持做自己，但也不要过于自我，把握好度。做之前多想是必修之功课。老是走弯路就会增加成本，被卡住一回脖子下次就长记性了，还得自己搞，响鼓还是需要重锤，不给点儿刺激走的就太慢，特朗普间接帮助了中国，但是他也低估了中国。nlp的研究绝不是发个深度学习论文这么简单，深度学习不等同于nlp。入门需下功夫，需要多想。人生在世就是修炼，搞研究是修炼的一个途径。

成功的道路并不难，因为坚持梦想的人并不多，这条路其实很宽，有广阔的空间。