作者:贾扬清
链接:https://www.zhihu.com/question/392035070/answer/1230171680
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
1. 框架的沉浮。回答里面提到Caffe2,它的设计早于Tensorflow,计算图是从Purine的想法借鉴的,当时Google Brain还是按照神经元base的方式来做。从需求的角度讲,当时的核心挑战是系统部署能力,这是在Facebook里头非常重视的一点,应该说是在企业级框架当中第一个可以同时以一套系统部署在云上广告推荐训练以及端上AI/AR场景的平台。
但是每一个平台都有自己的强项和弱项。一个框架在系统上很强,相应的生态就会稍弱一些:大公司内部的需求和科研人员/长尾应用的需求是不一样的。一个需要处理PB级数据的系统,绝对会放弃易用性,而易用性对于开发者社区是极端重要的。从这个角度,我觉得mxnet已经在不可能的方向上利用自己的资源做了很多事情,无论是推动Gluon,还是做“动手学深度学习”。结果不论,但是在系统和生态的平衡上主动做了很多事情。
这个取舍,从第一天我们设计系统的时候是考量过的。在FB我们当时还做过这样的分析:“从人力上,我们无法长期和Google进行全面的对抗,因此我们的策略是解决Facebook的业务核心问题,广告、端上智能,等等。Tensorflow的长线在于大兵团作战,而我们的长线在于快速迭代解决业务需求。我们要一直保证在我们自己的需求上面,和TensorFlow保持六个月的优势”。
回头看我觉得这个策略非常成功,也推动了系统上的创新,ImageNet in an Hour被Jensen评价”也许是2017年深度学习系统最重要的论文“。据我理解,Facebook今天广告、手机AI等方面,前端在逐渐转向pytorch原语,后端系统继续使用caffe2的高性能架构。这和我离开前和Facebook同事设计的PyTorch 1.0的策略是一致的。
当然,这一段当中还是走了弯路,一度因为开源的热情,我还是推过Caffe2的社区,后来反思起来,任何一个系统都有长有短,通过Caffe2要解的是业务系统的问题,不是社区的问题,不应该全部通吃。后来我们将外部品牌统一为PyTorch,也是这样的一个思考。窃以为,mxnet的路线如何走,其实和这一堆的机器学习框架的分分合合都有相似性,关键是“我能解决谁的痛点,以及什么痛点”。造轮子不是目的,解决新的痛点才是目的。
非常感谢
@刘若泽
的批评,也是借机解释一下,在系统设计以及业务设计这个层面上的思考。
2. 所谓真实的想法。对我的批评是说“在和阿里聊但是假装说没有的事”。这可能指的是之前的这个回答:https://www.zhihu.com/question/66481733/answer/244549963
这个问题的背景是,另一个知友的回答当中讲到,“深度学习框架Caffe的作者Yangqing Jia想回国发展,于是给阿里投了简历,内部评估下来最终给了个P7+的Offer,后来就没有后来了。”。我当时的确没有投过简历,offer也的确无从谈起,因此,我本着对于自己公司(Facebook)和对同行的尊重辟了谣。即使是当年,我对阿里的评价也是“大家都是非常真诚和优秀的人” - 大家都是成人,不是说没选择的就是坏的,你说对不?
加入阿里是两年之后的事情,从个人的角度来说,Facebook工作非常开心,但是Facebook不做对外云业务,场景还是比较固定的,做的事情熟了就希望找对自己更大的挑战,而阿里对我也很信任,愿意相信我对于学习业务的热情,愿意交给我一块业务。2017年的时候没有意愿,2019年是职业发展的新思维。我相信大家博士毕业的时候都是想找一个好工作,然后工作几年之后想找一个更大的场景挑战自己,一样的。
这周我们事业部kickoff,我们一位一线同学在Q&A的时候和我说,”扬清,去年kickoff的时候我提过一个反馈,你对业务的熟悉程度不太够。今年我觉得比较欣慰的是,现在你开始重视业务,讲业务方法论了“,然后他对我提了新的问题和要求。这是我觉得弥足珍贵的地方,有这样一群人一起在做事情。阿里有没有问题?有!说没有问题的都是假的。像上面的同学说的一样,我作为一个事业部一号位对业务还不熟,那就是问题。但是我觉得总要解,面对问题解决问题才是重点。
我和Facebook的老战友关系依然紧密,如果有谁想去Facebook AI部门,只要你能力在,我给你refer。如果谁想来阿里我的部门,我非常欢迎。
这就再带回到沐神的团队的事情上。这件事情我的观点是这样的,管理本身就是一个专业,大批人员离职,可能是因为团队在转型,可能是因为需求在转型。我自己看到这个的时候,非常能感觉到李沐的痛苦,一边要带技术,一边要带人,整个AI业务在飞速发展,一个技术leader要一边学管理学业务一边把团队管得有声有色,很难的。说句难听话,你能你试试?我的一位职业上的mentor和我说过一句话,“不要觉得很多管理的事情是虚的,管理不是代码,不是数学,但是也有它的规律,我相信你能学会,但是你得学。”
和李沐多年好友,我自己也经历过从技术leader到技术管理的责任转换的痛苦。这种时候,我旗帜鲜明地反对各种传言吐槽什么的,好聚好散,技术上的争论都可以拿出来说,关键是要把事情做好。相信MXNet团队会解决短时间的问题,在AI系统的领域不断继续创新。
----
最后总是要吐槽一下的,说我官话的站出来评价下,官话有这么说的吗?
如何评价Facebook Training ImageNet in 1 Hour这篇论文? - 贾扬清的回答 - 知乎 https://www.zhihu.com/question/60874090/answer/181672076
如何评价清华大学发布的自研深度学习框架-计图(Jittor)? - 贾扬清的回答 - 知乎 https://www.zhihu.com/question/380993685/answer/1092398223
有句网络用语说得好,“我看众人皆sb,料众人看我亦如是”。那么多年在老师同事朋友的沟通当中我学到很多,心存敬畏,心存感激。你觉得是官话请自便。
===========================================
李沐
深度学习(Deep Learning) 话题的优秀回答者
--- 5/17 更新 ---
没料到大家如此热心,所以补充几点。
------
最近两个月我们组确实有人离开,在我看来是组织发展下的正常新城代谢。
============================================
作者:hopeispower
链接:https://www.zhihu.com/question/392035070/answer/1228365453
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
给回答里的各位自我介绍一下,本人2018年3月入职mxnet团队,自入职至今是在mxnet项目上贡献commit数量最多的contributor,也是社区committer。链接为证:https://github.com/apache/incubator-mxnet/graphs/contributors?from=2018-03-05&to=2020-05-16&type=c,本人就是那个haojin2。同时,我也是近期从mxnet团队离职的成员之一,去向是亚马逊内部的其他team。
其实我在知乎上是从来没有发过回答的,今天鼓起勇气发这个实名回答的原因主要是看到沐神的高赞回答以后,想为这个事件提供另一个视角。而且鉴于我之前一直属于team里的喜剧担当,现在已经有一些同仁来问我某些问题下针对mxnet阴阳怪气的回答是不是我写的,所以也是借此机会澄清一下,真不是我写的啊QAQ。当然我也不是沐神这样的大V,没有什么公信力,所以各位吃瓜群众对于我的说法愿意信就信,不愿意信的看过算过就行了。
其实沐神待我也是不薄,并且我对mxnet这个项目也算是有一些感情的。在开发之余,我也担当了mxnet生态系统一些PR blog的翻译润色和校对工作,各位去翻一下的话应该可以看到我的名字。尽管如此,我最终在近期选择了离职主要是因为总体上mxnet ecosystem的蛋糕没有做大,反而是越来越小,如此一来team内的上升空间也就缩小了。虽然mxnet渐渐成为我的舒适区,但是我也清醒地认识到不能再继续温水煮青蛙了。尤其是过去一年中有一多半的精力放在mentor我们在AWS Shanghai AI Lab的实习生上,没有很多时间去打磨和提升自己的技术。
其实我觉得大家也不必要把这件事想得太复杂,其实就是大家走到分岔路口时选择了各自适合的道路而已。作为一个在mxnet上花费了1年多时光的人,心底里还是希望mxnet ecosystem可以壮大的,祝沐神&mxnet今后越来越顺利。