深度学习技术前沿

腾讯AI Lab 崔乐阳博士忆西湖大学读博期间和张岳导师之间的故事

我在西湖读博士

printf("hello world!");
#include
<西湖大学文本智能实验室PI张岳；
博士毕业生崔乐阳>

cout<<"导语"

从腾讯深圳办公大楼42层往下看
车水马龙，纷纷攘攘
与崔乐阳之前的生活环境大相径庭

几个月前
他还顶着不事稼穑的“博士生”头衔
偏安杭州转塘，而今
他已正式迈入职场
成为腾讯AI Lab的高级研究员

腾讯AI Lab
这是腾讯内部极少数的“非盈利”部门
由100多位来自世界知名院校的科学家
以及300多位经验丰富的工程师组成
在包括计算机视觉、语音识别
自然语言处理和机器学习
等领域开展研究

崔乐阳的导师张岳，对这个结果挺满意
今年他的三位学生，2位去了腾讯
1位去了清华大学做博士后
崔乐阳能够进入顶级企业的研究部门
张岳还是很高兴

本期我们关注的就是这位刚刚毕业的博士生
看看过去三年半来
这对师徒之间发生了怎样的故事

算法博士：像河流一样说话

全文3000字，约9分钟阅读

01
北纬1°18，新加坡。

这个热带岛国雨水充沛，全年降水量约在2400毫米，是杭州的2倍，北京的4倍。但是，这里极度缺水，因为缺乏独流大河，少有湖泊，地表水快速流向了海洋。

2018年一场例行的阵雨后，崔乐阳走进了张岳的办公室。当时，张岳在新加坡科技与设计大学任教，崔乐阳在新加坡国立大学读硕士。一进门，桌子上散乱着用A4纸打印的论文，雨后阳光的反射下有点晃眼。

崔乐阳在准备升博士的时候，有一天刷知乎，看到张岳准备去西湖大学工作了。在自然语言处理（NLP）领域，他一直有听说张老师，就“鼓起勇气”发了封邮件。

“那你读完博士准备做什么？” 张岳的问题穿过那堆论文来到崔同学面前。

“想去大厂。”崔乐阳的回答很实在。

“师徒”合影

“去哪里工作不是那么重要，重要的是在这个领域有做出改变的想法。”张岳说话的时候，特别轻声细语。

这句话让崔乐阳记住了。几个月后，两人离开新加坡，奔赴杭州，一个入职，一个入学，成了师徒。

02

张岳说的这个领域，叫自然语言处理，属于人工智能的重要分支。在今天，人工智能已经可以让自动驾驶上路，人脸识别的准确率达到99.99%。但是，自然语言处理领域被称为人工智能的塔尖明珠，为什么？

1950年图灵在论文《计算机器与智能》提出如何判断机器拥有人类智能，就是让人类和机器进行“匿名”对话。如果有30%的人类觉得是在和真人聊天，那就算通过了这场测试。

图灵传记电影《模拟游戏》剧照

图灵还预测，这一天将在2000年到来。

很遗憾，现在都2022年了，图灵测试在业界依然争论不休。

语言是思维的躯壳，我们的思维、情感、记忆都和语言揉合在一起。相比图像和声音，语言比较难“向量化”，让机器从事大量机械的学习容易，但涉及到语言背后的创造力，问题就进入了深水区。

就好比新加坡下了一场大雨，机器的算力可以抓到每一滴雨水，但人类的语言就像一条长长的河流，如何让无尽的水滴有生命地流淌起来？

在新加坡读硕士的时候，崔乐阳就做过一个研究，让机器识别人类语言中的“讽刺”。大致的方法就是从推特抓取带有讽刺标签的文本，然后让机器海量学习。这事儿听起来就有点天马行空，因为现实中，人类自己都很难搞清楚，对方说话有没有在讽刺。

再比如，在语言学中，有一种叫做“花园小径”的现象：

The old man the boat.

当你阅读到the old man 的时候，你一定会认为是“这位老人”要如何如何了，但读下去发现句子不对。哦，原来man是动词，是操控的意思，整句话应该理解为老人来开船。

听起来如此浪漫的语言学定义，其实背后正代表了语言的复杂性，人类的理解和思考活动，更像是穿梭在语言的花园内。

后来，崔乐阳在博士期间颇为得意的一篇论文，就是从“花园小径”出发，研究语言结构的问题。他在算法网络的每一层，都构建了一个词对所有输出标签的概率分布，以此增加算法对句子整体性的把握能力。

03

在自然语言处理领域，崔乐阳很佩服他的导师。

张岳在剑桥读博士阶段，受到人类从左到右阅读习惯的启发，研发出了一套机器学习去引导近似搜索的方法，处理速度比伯克利和斯坦福开发的模型快了15倍以上。在深度学习兴起后，张岳又开发了上述算法的神经网络版本，包括谷歌在内的公司，长时间在使用这些技术。

张岳在研究上总是力图找到关键的突破点。有一段时间，自然语言处理领域只研究各个单独任务，张岳觉得人脑并不是这样的，人会举一反三，触类旁通。受此启发，张岳提出了自然语言处理多个任务联合学习的模型，帮助机器学习算法取长补短，提升性能。

这些故事，给了崔乐阳不小的启发。

师徒两人都是北京人，年龄相差不过十几岁。站在一起合影，两个人笑起来还有那么几分“师生相”。

崔乐阳刚来杭州的时候，写第一篇论文，张岳给他修改，第一天手把手改完第一段，然后对崔乐阳说：

“ 你按照这个思路，自己去修改第二段。”
第二天，崔乐阳修改完来找导师，然后张岳又一起修改了第二段，然后对崔乐阳说，按照这个思路，继续修改下一段。

这篇论文就是这么一段段改的。当时崔乐阳的写作非常跳跃，没有办法顾及到阅读者的思路。

但这种手把手的教，仅限于细节层面，在思考层面，张岳主张鼓励学生先独立思考，然后再引导。他对学生有一句非常拗口的口头禅：

不愤不启，不悱不发。

这句话出自《论语》。学生需要主动思索，而老师需要在最关键的点上给予启发。

张岳在招博士生的时候，也极其看重学生对问题的好奇心。他说，做学术你就是自由的，完全需要兴趣驱动。

而最难的，常常是起步寻找方向那一刻。

有一次，实验室玩桌游阿瓦隆结束后，张岳把崔乐阳和另外一位博士生叫到办公室，开始讲自己对接下来研究方向的思考，一些自己觉得重要但还没有人做的课题，以及自己设计的算法模型。两位同学各拿了笔记本，记录了模型的细节。后来，两位同学在一年的时间内，各自完成了相应的工作，都发表在国际顶级会议上。

张岳（右）和崔乐阳在论文答辩会上

在学生们第一个项目完成之后，张岳逐渐把具体模型上的指导变成方向上的指引，鼓励同学自己思考，张岳相信学生能够独立发现有价值的方向，并提出合理的解决方案。

这相当于张岳在多年的研究思考基础上，给了博士生一个方向，一个初始速度。然后再慢慢给予方法论上的训练。崔乐阳在“花园小径”上的研究，就是张岳给了非常多的方法启发。

培养一个博士，有点像培养一个飞行员。飞行总会有不顺利。

崔乐阳有一篇关于常识问题分析的论文屡投不中，整整半年。当时做这个方向的人还比较少，张岳就和他说：“被拒绝是挺糟糕的，但很常见，谷歌创始人当年的论文也投不上嘛。”这就好比飞机出故障，一位年轻飞行员跳伞弃机了，回来后，老飞行员拍拍他的肩膀，编了个故事：

据统计，王牌飞行员约会损失11架飞机。

锻炼不被接受的耐性，崔乐阳说这是他博士期间最大的收获。经过多次修改调整后，这篇文章最后还是被《机器之心》报道了。

张岳老师在b站的公开课程

去年开始，张岳在学生们的“怂恿”下，还成了“up主”，实验室团队成员把他100多期的讲课视频免费更新在b站上，张岳给剑桥大学出的自然语言处理教材可能在国内不容易找到，但这些视频完全可以让年轻人自学这们课程，账号的个性签名很调皮：

做人呢，最要紧开心啦。

04

崔乐阳在GitHub主页的头像，是他小时候的一张照片，还是那个笑容。在经历这一栏里，崔乐阳的履历非常清晰漂亮，博士期间，微软亚洲研究院的两次实习，然后在微信实习。

崔乐阳把实习叫做“去工业界”。左手科研，右手实践，这样的模式下，崔乐阳非常清晰理论研究的应用方向。

崔乐阳的GitHub主页，实习经历拉满

这个理念，也是从张岳那边延续下来的。从张岳团队研发出来的自然语言处理的方法，可以结合非常多的领域应用。比如商业财经领域，例如让机器阅读公司财报、新闻、运营数据，从而对公司发展做出预判。再比如自动作文评分，以及帮助用户改写文案。

张岳团队一直希望把内核的问题想得更深一点。目前的人工智能往往需要大量的学习样本，耗费大量的计算资源，这个听起来就很像“人工的智能”。其实人类乃至生物界的学习不需要那么多样本。

答案可能还在自然界。目前张岳团队和浙江大学附属医院等研究机构合作，探索录制人类脑电信号，启发神经网络研究的自然语言处理算法。

崔乐阳办公室窗外

此时的崔乐阳，已经坐在腾讯42层的办公室，开发辅助写作工具。新加坡那次见面，他说要进互联网公司。4年过去了，这个愿望实现了一半。他确实去了高薪的互联网公司，但剩下的一半变了，看上去更有深意——在互联网公司的实验室，同样需要保持对研究的热情。

采访结束后，他发来一个正在参与开发的文本工具。

把“算法博士：像河流一样说话”这句标题敲进去，大概3秒钟之后，纯白色的显示框里，跳出了一句机器写来的后续文案：

因为人类语言的发展历史并不长，而且人类的大脑结构也不是一成不变的。

WestlakeNLP

张岳实验室

张岳实验室专注于自然语言处理基础研究，探讨机器学习如何自动理解和生成人类语言。实验室的工作重点在于深度学习和类人的机器学习方法。对于自然语言处理的大部分任务，实验室均有长期积累。包括基础自然语言处理中的分词、词法、句法、语义、篇章分析、信息抽取中的命名实体识别、共指消解、关系抽取、事件抽取、情感分析、意见挖掘，文本生成任务中的语言模型、对话生成、文本摘要、机器翻译，以及典型的下游应用。

来源：西湖大学WestlakeUniversity

腾讯AI Lab 崔乐阳博士忆西湖大学读博期间和张岳导师之间的故事

你可能感兴趣的:(算法,腾讯,大数据,机器学习,人工智能)