点击上方“计算机视觉工坊”,选择“星标”
干货第一时间送达
作者 | 褚则伟
来源 | 知乎
链接 | https://zhuanlan.zhihu.com/p/242592577
编辑 | 机器之心
Kevin Gimpel 是 TTIC 和芝加哥大学计算机科学系的一位助理教授、博士生导师。他不会手把手教你做研究,但总会留很长的「comments」。在这种「放养」的模式下,学生依然能够体会到他的认真负责和一丝不苟…… 在这篇文章中,Gimpel 的学生、芝加哥大学计算机博士褚则伟总结了他从导师身上学到的几件事。
在芝加哥大学读博士的 5 年中(其实只有 4 年在做 NLP),我从导师 Kevin Gimpel 身上学到了不少东西,有关于学术研究的,也有关于工作方式的,这里写下来和大家做个分享。
Kevin 自己写过一篇给 PhD 学生的建议:https://ttic.uchicago.edu/~kgimpel/etc/phd-advice.pdfttic.uchicago.edu。里面不少建议的工作方式也是他自己一直在践行的。
工作时长
Kevin 提倡保持「可持续发展」的工作时长,既不能太短,也不能太长。他个人的建议是每天工作 8 小时,每周工作 5 天。这一点我做得并不好,我总是在 deadline 前高强度工作,平时则过得过于悠闲。
从我和他的日常合作中,我能很明显地感觉到他对于时间的掌控做得很好。每次开会到了 55 分钟的时候,他就会说「会议的时间就要结束了,我们可以来总结一下」。
到了 deadline 前修改 paper 的时候,他会说「明天早上我有 1 个小时可以修改一下你的论文,能不能告诉我你希望我关注哪一个 p?」到了晚上,他又会说「我差不多要下线了,如果你遇到了任何困难我们可以邮件沟通」。事实上,当他发完这封邮件之后,我基本上就不会再去麻烦他了,因为我知道这已经到了他的休息时间。
导师和学生的关系
在 Kevin 的眼中,他是我的导师(advisor)。advisor 顾名思义就是给出建议的人。所以他和我的关系几乎就一直仅限于「提供建议」。在四年的工作中,他从来没有给我布置过一次工作任务。我们之间的关系仅限于每周一次 1 小时的会议。在这个会议中,我们会讨论我最近的工作情况、研究进展。他会基于我的工作给出一些工作的「建议」。至于这个建议是否采纳,完全是我的事情。当然经过我自己走的多次弯路,我才意识到大部分时候他给的「建议」、尤其是「研究建议」,多半是非常优化的解决方案,我自己的探索大部分时候是徒劳。
这种「建议」的关系也体现在写论文上。对于是否要投递论文,投递哪个会议,Kevin 一向只是提出「建议」,从不会「要求」我去提交任何一篇论文。他的口头禅是「This is your work, so I will let you decide whether you want to make a submission this time.」每次到了 deadline 前要提交论文的时候,Kevin 一般会帮我修改一次论文。除了一些显然的语法错误之外,Kevin 一般尽可能避免帮我直接修改论文。他的做法一般是在我们的文档上留下很长的 comments,并且建议我可以修改如下,紧接着长篇大论的修改。但是最终是否采纳他的版本,则依然是我自己的选择。
不过组内有同学告诉我,一般来说 Kevin 给我提的「建议」,建议我还是直接当做「要求」来做即可。事实上如果从工作效率角度来说,直接听导师的命令或许更高一些。但是我认为导师给学生提供足够的自由度对于学生的能力培养和未来的工作发展是大有裨益的。
另一方面是,Kevin 似乎总是在工作中保持着高度的 professional。任何时候他几乎从来不聊一些与工作无关的问题,有时候会显得非常 nerd。
关于研究课题
Kevin 从来不会要求我们做任何特别方向的 research。不过并不是因为他没有想做的 idea,其实他自己经常会在不经意间(也许是故意的)向我们推销他的 research idea。例如 2017 年他给我推销 text style transfer,平时几乎不间断推销 commense knowledge 之类的 work,不过我最终并没有过多涉猎。我认为他之所以尽可能避免给我们灌输具体做研究的想法,一方面是他认为读博士做研究是学生的事情,他不应该越俎代庖,另一方面也是他希望尽快让我们培养自己选择课题做研究的能力。所以更多的时候我们都是学生之间互相讨论想做的项目,而不是找 Kevin 去要一个项目过来。
不过 Kevin 对于很多我们讨论过的 idea 会非常执着。例如某天讨论了一个问题,然后我决定去做一做。做完后发现不太行,Kevin 总会不停地再次提起,问这个能不能再试一试,有没有可能把它做 work?或者非常假装不经意间地再提起这件事情,说是不是可以稍微改一改再看看能不能做出来?由于 Kevin 讲话总是过于礼貌或者显得有些随意,以前我会忽视这些他似乎漫不经心的提议。不过慢慢地我就发现一件事情如果他提了两次,大概率就是他认为我的实验做得有问题,他认为应该是可以做成功的。
工作方式
Kevin 的整体风格非常一丝不苟。可能这与工作的性质有关,很多时候写论文就是要反复推敲遣词造句。
我在写论文的时候,有时会有一些比较随意的地方,例如说这里我用了 cross entropy loss 来训练,那里用了 hinge loss 来训练。他就会留下 comments:为什么这里要用 cross entropy,那里要用 hinge loss?然后我告诉他其实没有什么特别的原因,他就让我在这里加上一些解释,告诉作者「这里其实可以采用不同的 loss function,但是我们这里实验了这两种做法。」他说他不希望读者以为我们在告诉他们这两个 loss 在这里表现最好。
我相信很多 PhD 学生可能会了解一些所谓的「论文 presentation 技巧」。事实上这种技巧在某种程度上是一个 grey area,比方说一个模型在 A 数据集上表现好,在 B 上表现不好,这个时候我们可以把 B 扔了,只 present A 的结果。这样论文被接收的几率就提升了。Kevin 似乎从来不会给我这样的 presentation 建议,他总是会问,为什么 B 上面表现会不好,我们要研究一下。如果实在说不清为什么,他也会让我把 B 的结果放到 paper 上,至少也得在 appendix 里面。原因是不能误导读者。但是这样也直接导致了 paper 比较容易被 reject。很多时候把不好的结果扔掉,paper 看起来就会光鲜亮丽很多。
Kevin 的 professionalism 还体现在他对流程和制度的尊重上。有一些教授是默认他的博士生暑假会在自己的实验室工作,但是 Kevin 却一直是按照学校的规章制度办事。学校的规章制度如果是让学生工作 9 个月,那么他会默认暑假学生就不会在学校里了。当我硕士和博士答辩的时候,Kevin 也会询问我,学校对于硕士和博士的毕业要求是什么?我心中的想法是,「我毕不毕业还不是看你答不答应吗」,不过我发现他的想法是,我是否毕业是我和学校的事情,他的工作是按照学校的规章制度考察我有没有符合学校的毕业标准。
工作量
前面也提到了我导师「8x5=40」小时的每周工作量。Kevin 对于每周的工作量是有比较严格的控制的。又由于他对待工作非常认真,所以他几乎不会在主要的学术工作之外给自己增加工作量。例如审稿之类的工作,他就会根据自己的时间来具体安排,教学任务忙的时候,他就会少开一些 research meeting。如果正好某天要去度假,他就会提前发邮件给大家,自己某段时间要去度假了,这期间的会议就只能挪时间或者取消了,加班是不可能加班的。不过 Kevin 出去度假的一周一般来说就是我在家度假的一周。暑假期间,Kevin 偶尔也会接一些公司的 consulting 工作,但是据我观察他的工作时间依然非常固定,几乎不可能出现加班的情况。
Kevin 一直严格控制自己的学生数量。一方面,他的 funding 有限,没有办法大量招博士生。但是,即便有一些本科生、硕士生自愿「免费工作」(这些年 AI/NLP 非常火爆,所以想要来参与研究工作的,有才华的本科生和硕士生非常之多),大部分情况他也不会辅导额外的学生。一般来说除了博士生之外,他会有 1-2 个本科生或者硕士生额外辅导,这几乎已经是他的学生数量上限。这一点与一些研究组动辄二三十人的规模非常不同。Kevin 会尽可能把自己的时间花在自己的学生上,一旦学生的 meetings 填满了他的工作时间表,他就不再招收新的学生了。
教学
Kevin 对于教学的认真也令我非常吃惊。我在上他的 NLP 课程的时候,他会自己设计所有的作业,并且自己写代码把自己的作业写一遍,才会发出来让学生做。某一次作业他晚了将近一周才布置,然后他本人给出的解释是,他还没有写完自己创建的作业。他觉得如果自己没写完的话不想布置给学生做。
由于他自己对待教学工作如此认真,这直接导致了他的助教的工作量非常小。例如我曾经做过他「机器学习」课程的助教,基本上他会提供一切作业的答案,我们只要照着答案回答学生的问题即可(作业有 grader 来批改)。
presentation 和提问
一般在我们去 conference 上给 talk 之前,Kevin 会建议大家在组内做个 practice talk。Kevin 一般会在下面计时,让我们在规定时间内完成 talk。在 talk 之后,他会让大家提问,如果没有人提问的话,他总是能够自己提出几个问题来。很多时候因为他自己完全参与了整个项目,我会默认他应该没什么问题可以提的,但是他却总是能够找出几个细节来提出一些有价值的问题。在 talk 之后,他一定会发送一大段长篇大论的 email 给主讲者,里面是他自己针对每个 slide 给出的建议。
喝茶听 talk
TTIC(Kevin 所在的研究所)经常有各种日常 research talk。主要是邀请各个领域的人来给讲座,谈一谈最近的新工作。放眼望去,大家会发现不少听 talk 的人开着一台电脑,手头干着事情,顺便听一听主讲者的演讲。但是 Kevin 似乎永远都是泡好一杯茶,拿着茶杯进来听讲座,一边品茶一边听讲。这让我想到了「关注当下」似乎是禅修的一个高级境界,Kevin 毫无疑问已经达到了极高的境界。
社交
总的来说 Kevin 是个非常 nerdy 的人,但是他却非常热衷于让我们参加他的「学术圈子」的社交活动。例如每次去开会,如果他的导师 Noah Smith 也来参会,他们就会找个酒吧组织一个大型的 Noah’s Ark party。在里面和大家谈笑风生还是很愉快的。
疫情期间,Kevin 特别热衷于组织 Zoom social,一直组织和各个学校的 NLP 组社交 + 讨论,丰富了宅家的生活。
「佛系青年」
我认为 Kevin 在某种程度上是个「佛系青年」。他似乎也不着急发 paper,也不催他的学生干活,一切都是顺其自然地发展着。
「白左」
Kevin 的身上有很多「白左」的特征。事实上「白左」可能不是一个正确的标签,我这里主要是想要强调他是一个非常注重礼貌的人。
每当有人向他提出一个问题,无论这个问题的本身有多么无聊,他都会给出非常详细的解释。我听一个同学说他当年在 Kevin 的考试中某个问题上随便写了个答案,结果 Kevin 非常认真地研读了他的答案,给了很长的评论,最终表示自己没有看懂这位同学的解法,给了个 1 分(应该是个很大的简答题吧)。认真程度可见一斑。
每周的开会结束之后,即便我这一周工作量很小,只是与 Kevin 随意扯 research,他也必定会说「Thanks Zewei for the updates. There are so many interesting things going on with your research. I think it's promising. I am optimistic.」各种溢美之词让我听了都不好意思。每当提交一篇论文,Kevin 又必定会说,「Congratulations for this great submission! Thanks Zewei for the work.」 仿佛论文中不中都不重要,我们自己开心就好 :)
口头禅
「This is interesting.」据说 interesting 翻译成中文是「呵呵」。不过 Kevin 总是能把他的「interesting」说出更高的境界。例如,他总是在 interesting 过后加上一段很长的评论,表示为什么这件事情很「interesting」。
总结
Kevin 写任何文章总是有一个「conclusion」,所以我这里也继承一下他的衣钵。
我觉得 Kevin 其实代表了一大类美国研究者的风格。整个人非常一丝不苟,工作方式非常 professional,对于学生「似乎毫无要求」、学术放养。从某种程度上来说这是北美比较宽松的学术氛围导致的,大部分教授和学生并没有特别巨大的发论文压力,所以他们更有兴趣研究一些他们认为有意义的问题,而不是凑够文章好升迁。我在和国内同行交流的时候,发现很多人会问芝加哥大学有什么毕业要求,需要发几篇论文。事实上很多美国的学校根本就是没有论文要求的,甚至有不少人发了 0 篇论文直接毕业。这种宽松的制度对于科研的长期发展孰优孰劣,我就不好评判了。
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「计算机视觉工坊」公众号后台回复:深度学习,即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。
下载2
在「计算机视觉工坊」公众号后台回复:计算机视觉,即可下载计算机视觉相关17本pdf书籍,包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。
下载3
在「计算机视觉工坊」公众号后台回复:SLAM,即可下载独家SLAM相关视频课程,包含视觉SLAM、激光SLAM精品课程。
重磅!计算机视觉工坊-学习交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号