转自:AMiner × 量子位
王灏,现为罗格斯大学计算机系助理教授。一路从上海交大,到香港科技大学,再到MIT,他的学术之旅看上去是“轻装上阵”,一路意气风发。但实际上,入行于机器学习尚未得重视的年代,他也曾遇到论文被连连拒稿的困境,还不止一次…… 而生活中,“学术新星”的光环背后,他也是一个喜欢看火影,会为了看动漫自学日语的年轻人。今年1月,在AMiner团队推出的AI 2000榜单中,王灏位列数据挖掘领域第14位。
王灏本科就读于上海交通大学,大学期间,他一直保持专业第一名的好成绩,大二时就熟练掌握软件开发等技能。
此时,他希望更深入一步,去做科学研究。
当时,他所在的学院综合了电子科学和计算机科学两大热门专业。他所在的计算机系分为中文班和英文班,英语水平一直很好的王灏自然进入了接触项目机会更多的英文班。
这为他遇到自己的第一位伯乐——李武军老师埋下了伏笔。
“那时候每位老师如果想招本科生进组做研究,就列出自己的研究话题公布出来。我记得李武军老师的是社交网络分析。”
那时的社交网络远没有今天多样发达,人人网可以说是开辟之作。因此,当看到社交网络分析时,王灏自然而然地想到了自己常常接触的人人网,感到非常有兴趣。
于是,带上成绩单、简历等资料,他敲开了李武军老师办公室的门。
“我记得很清楚,跟李老师交流之后,他对办公室其他人说:‘这个计算机系第一名是个好苗子,应该好好培养。’”
对王灏来说,这句话给了他非常大的自信:“当时作为一名大二的学生,其实心智还比较懵懂,也许学习上很拿手,但不太确定自己到底有没有能力去做好研究性的事情。所以得到李老师的肯定和支持时,真的有一种遇到伯乐的感觉。”
不过,跨入科研门槛可不是说进就能进的,这需要扎实的知识基础打好地基才行。同时李武军老师告诉王灏,希望他朝着machine learning方向进行培养。
要知道,那时候的机器学习领域还很模糊,深度学习等概念的潜力也还未被广泛发掘。
但王灏并未因此迟疑。
他先是踏实努力地啃下一本本经典书籍、反复学习所有斯坦福video lecture课程。
半年之后,他去找李武军老师汇报。老师问他:“你看了这么久,觉得对机器学习感兴趣吗?”
换个人或许会斩钉截铁地说非常感兴趣。不过王灏从来是一个直白简单的男孩,他真实地表达了自己的感受:“至少我感觉机器学习的这些视频课程,还挺有意思的。”
就这么着,大三刚开学,王灏正式开始了自己的第一项研究性工作,自此,开启数据挖掘和机器学习的旅途。
听起来,学霸的科研之路都顺顺利利,但实际上在做科研、发表成果的过程中,王灏也经历了不少挫折。
他的第一篇论文是关于动态网络分析(DNA)的,用他的话说就是“一顿操作猛如虎”,很快做完就将这篇论文投了出去。然而,得到的结果却令人有些失望——第一篇论文被拒稿。
“点开邮件时,我的手真的有点抖。然后就看到‘we regret to inform you that paper is rejected’这行字,说实话,心有点凉,大脑有点缺氧。”王灏这样描述他第一次尝到的失败的滋味。
低沉两天之后,王灏调整状态,仔细修改论文并再次投出。然而,下一个消息更让他难受——再次被拒稿。但这次,他更多地是坚信自己的投入总能得到回报,他还将拒信打印出来激励自己,并反思问题、精心修改论文中的不足之处。
最终,这篇题为“Online Egocentric Models for Citation Networks”的论文顺利发表在人工智能领域最主要的学术会议之一国际人工智能联合会议上(International Joint Conference on Artificial Intelligence, 简称为IJCAI)。在文中,王灏提出了一种新的动态网络分析(DNA)模型,用于学习演化引文网络的时变参数和节点特征。不仅可以防止预测精度随时间下降,而且可以揭示引文网络中主题的演变。
△使用新模型测试引文事件的各项指标效果
另一篇让王灏印象深刻的论文则是在香港科技大学攻读博士期间发表的“Collaborative Deep Learning for Recommender Systems”,这是一项将贝叶斯模型应用在推荐系统中的研究。当时,传统的推荐系统基本都基于协同过滤(CF)方法,使用用户对项目的评分作为学习推荐的唯一信息来源。然而,一旦评分稀疏,就会导致推荐性能显著降低。为了解决这种稀疏性问题,王灏提出了一种协作深度学习(CDL)的分层贝叶斯模型,能够联合执行内容信息的深度表示学习和评分(反馈)矩阵的协作过滤,显著提高了性能水平。
然而,尽管该论文的实验效果很好,但不同于今天人们对深度学习的趋之若鹜,在2014年,王灏选择的贝叶斯深度学习模型其实并不被看好。
“在大家怀疑其实还没有完全接受deep learning的阶段,我要做一套更复杂的概率图模型,可能做deep learning的人去看,不知道概率图模型是什么东西;做概率图模型的人去看呢,又可能不接受deep learning。”
做“第一个吃螃蟹的人”,面临的风险或许更大——这篇论文投出后也被拒稿两次。但无论是王灏还是导师杨瓞仁(Dit-Yan Yeung)都对这一成果有信心,王灏又瞄准了数据挖掘国际顶会SIGKDD,由于该会议的截稿日期恰好在过年期间,所以他寒假直接留校“肝”论文,夜以继日产出,一口气投出三篇,最终功夫不负有心人,包括“Collaborative Deep Learning for Recommender Systems”在内的两篇论文都顺利发表!
2篇论文的2次投稿被拒经历,虽然让王灏有些心有余悸,但这份经历,也给了他更加踏实细致的锻炼。
现在,仅靠25篇论文就位列AI 2000榜单数据挖掘领域第14位的好成绩,已经充分说明了王灏的实力。
除了科研上的汗水与耕耘,王灏也喜欢留意生活中的其他事物,不论面对什么,都感到很充实快乐。
本科期间,他就喜欢在闲暇时看美剧,还自学了日语。“大一生日时,我给自己买的礼物是一套日语教材,因为我喜欢看火影忍者这些动漫,就想如果学会日语再去看,应该很有意思。”
而在香港科技大学期间,他又结识了一群挚友,常常一起出门徒步,也相互在学术上鼓励对方。“我印象特别深刻的就是,当时我们有一个不成文的规定,谁中了paper就要请其他人吃顿好的,所以每次出去吃饭我们都特别开心!这些好玩的事情非常大地帮助我平衡着学习和生活。”直到现在,他们还时常保持联系,“我觉得这是非常美好的一段时光。”
2016年,王灏又去往卡内基梅隆大学机器学习系访学,与专攻概率图模型的Eric Xing教授团队合作。在这里,他有一种“找到大本营”的感觉:“当时我们组里大多数人都正在研究概率图模型和深度学习,大家都清楚地知道这个课题的价值,所以我获得了很多正向反馈,这更加强了我对这个方向的兴趣和信念。”
博士毕业后,王灏又凭借突出的科研成绩进入麻省理工学院计算机科学与人工智能实验室担任博士后研究员,并与Dina Katabi教授和Tommi Jaakkola教授合作,这段时间他收获到更多触及科学家精神的认识。
一方面,由于Dina教授的主攻方向为wireless sensing和signal processing,所以王灏和她更多时候是在相互学习,并开始尝试从批判性的角度看待某个研究话题是否能够契合真实场景、有没有深远的价值。
另一方面,Tommi教授则带给了王灏有关“如何更好地阐释和提炼自己机器学习研究中核心贡献和概念”的问题的思考。因为对于科研人员来说,每一次创新可能都需要定义新概念,如何准确有效地去让他人接受这些新概念,显然需要反复斟酌思考。
“我们应该学会如何与不同背景的人交流,让大家去了解到自己的idea。同时,交流会碰撞出新的火花,在与他人进行学术交流的同时,可能会发现自己之前的idea是有缺陷的,这就能帮助我们不断地去修改、完善、创新。”
正是不断地学习和过往经历的积累,几年时间里,王灏迅速在数据挖掘领域占有一席之地,并于2020年进入罗格斯大学担任计算机科学系助理教授。
回顾过去,王灏从懵懂学生到独当一面的科研学者,再到传道授业的老师,用他自己的话来说,离不开“一颗孩子般的好奇心。”
“每位科学家可能都是一个小孩子,对一些事情带着天然的好奇心。这种好奇心会驱使我们不断探索新事物。”
王灏,罗格斯大学计算机系助理教授。
△截自王灏GitHub主页
在加入罗格斯之前,他在麻省理工学院(MIT)的计算机科学与人工智能实验室(CSAIL)与Dina Katabi和Tommi Jaakkola进行博后研究。
他博士毕业于香港科技大学计算机系,是2017年工程院博士研究奖唯一获得者。
他曾作为访问学者访问卡耐基梅隆大学(CMU)的机器学习系,与Eric Xing合作。
他的研究主要集中在统计机器学习、贝叶斯深度学习及其在healthcare、推荐系统、计算机视觉、自然语言处理上的应用。基于他在贝叶斯机器学习及其在数据挖掘和网络分析的工作,他获得了2015年微软奖学金和百度奖学金。
个人主页:
https://www.aminer.cn/profile/54333cffdabfaeb43f2a7731
实验室必读论文:
https://www.aminer.cn/topic/62984d3395bd360d5730b805
推荐阅读
西电IEEE Fellow团队出品!最新《Transformer视觉表征学习全面综述》
如何做好科研?这份《科研阅读、写作与报告》PPT,手把手教你做科研
最新 2022「深度学习视觉注意力 」研究概述,包括50种注意力机制和方法!
【重磅】斯坦福李飞飞《注意力与Transformer》总结,84页ppt开放下载!
分层级联Transformer!苏黎世联邦提出TransCNN: 显著降低了计算/空间复杂度!
清华姚班教师劝退文:读博,你真的想好了吗?
2021李宏毅老师最新40节机器学习课程!附课件+视频资料
欢迎大家加入DLer-计算机视觉技术交流群!
大家好,群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享,主要方向有:图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注:研究方向+学校/公司+昵称(如图像分类+上交+小明)
长按识别,邀请您进群!