Fashion-MNIST数据集发布一周年,论文引用量超250篇

Fashion-MNIST数据集发布一周年,论文引用量超250篇_第1张图片


作者简介:肖涵博士,Fashion-MNIST 数据集作者。现为腾讯 AI 部门高级科学家、德中人工智能协会主席。他曾于 2014-2018 年初就职于位于德国柏林的 Zalando 电商,先后在其推荐组、搜索组和 Research 组,担任高级数据科学家。


肖涵在德国慕尼黑工业大学计算机系取得了博士(2014)和硕士学位(2011),博士方向为对抗机器学习。这期间曾在国立台湾大学资工所做访问学者(2013)。赴德前,他曾在北京邮电大学取得了信息通信学士学位(2009)。肖涵所创办的德中人工智能协会如今拥有 400 余名会员,致力于德中两国 AI 领域的合作与交流。


个人微信:hxiao1987

Blog:https://hanxiao.github.io


引言


距离我 2017 年 8 月发布 Fashion-MNIST 数据集已经有一年的时间了。正如我在其 README 中写到的那样:Fashion-MNIST 的目标是要替代经典数字 MNIST 数据集,帮助研究者更好的评测和理解机器学习算法。在过去的一年里,我看到 ML/AI 社区朝这个方向不断前进着。越来越多的研究人员、工程师、学生和爱好者和初学者都爱上了这个数据集。 


数据集项目地址:

https://github.com/zalandoresearch/fashion-mnist


今天你可以在网上找到关于 Fashion-MNIST 数以千计的讨论、代码和教程。在 Github [1],Fashion-MNIST 已经获得了超过 4100 颗星星,被引用在 400 多个代码仓库中,1000 多条 commits 里和 7000 多个代码片段中。在 Google Scholar [2] 中,超过 250 篇学术论文使用或引用了 Fashion-MNIST 数据集。甚至连来自 AAAS 的「科学」(Science)杂志都引用了这个数据集。而在 Kaggle [3] 上,这个数据集在数千个数据集中是名列前茅,并附有 300 多个 Kernels。目前,所有主流的深度学习库都内置了这个数据集:你只需要一行 `import`,就可以直接使用它。 


毫无疑问,Fashion-MNIST 是一个非常成功的项目。在这里,我会对它在过去一年里所取得的重要成就做一个总结。


我为什么会做Fashion-MNIST?


2017 年 8 月的一天,那时我还在 Zalando Research 部门工作。我的上司让我调研一把生成对抗网络(GAN)并实现其中一两个模型,借机熟悉一下。我很快就写完并在 MNIST 数据集上做了测试。但我发现在 MNIST 上的生成结果似乎总是不错,无论你用的网络复杂度如何,参数设置如何。


或许因为 MNIST 过于简单?于是,我决定增加一些难度,把公司数据库中的衣服图片扔到网络里去。很显然,这就需要我重新写一个用于输入处理的 pipeline:把图片居中、调整白平衡、缩放等等,最后再载入到模型中。最终,我决定将图片做离线处理后,存储为 MNIST 的格式,省去了自己写 data loader。


这就是 Fashion-MNIST 最初的第一个版本,随后的几天里,我一直在玩这个新数据集,利用它做各种实验。同时,我不断改善它的图片质量,并在 Tensorflow,Keras 中为它提供更通用的 API 接口。最终,我把它发布为公司内部的一个开源项目(inner source project)。


在我的前同事 Kashif Rasul 和 Lauri Apple 的鼓励下,我们最终决定把这个数据集发布到 Github 和 arXiv 上。为了在国际上扩大影响力,我也将数据集的说明翻译成了中文和日文。


剩下的事情可能大家都已经知道了:这个数据集最先被 Reddit 下的 r/MachineLearning 板块讨论,随后迅速在 HackerNews,Github,Twitter 和 Facebook 上传播开来。连续三天内,Fashion-MNIST 成为 Github 上最热门的开源项目之一。几天后,甚至 Yann LeCun 本人都在他的 Facebook 主页上发帖鼓励大家尝试这个新数据集。


Fashion-MNIST数据集发布一周年,论文引用量超250篇_第2张图片


在这次的经历中,我想特别感谢我的前同事 Lauri Apple 的支持。Lauri 是一位长期致力于开源事业的女性。在一开始,我的想法(采用 Fashion-MNIST 替换 MNIST)遭到其他人的嘲笑和不理解,他们认为圈子里根本不会在乎这个数据集。这个时候,Lauri 站了出来告诉我:那些真正做出改变的人永远是那些相信改变的人people who actually make change are the ones who believe that change is possible)。


Fashion-MNIST对学术圈的贡献


在我今天写这篇总结的时候,已经有超过 260 篇学术论文在实验环节引用或使用了 Fashion-MNIST 数据集(根据截止至 9 月 18 日的 Google Scholar结果 [4])。考虑到数据集仅仅发布 1 年,这个数量还是非常可观的。经过一番筛选之后,我留下了其中 247 篇放在了一个 Google 表格里 [5],大家可以自行查阅。


那么这 247 篇论文出自谁之手,在哪发表,又研究了哪些问题?在下面,我会向大家做一个全面的介绍。


顶级AI研究机构青睐Fashion-MNIST


下图给出了 247 篇论文中按照机构的统计图。如果一篇论文由多个机构合作完成,则在统计时每个机构都加 1。而如果一篇论文中多个作者来自同一机构,则这一机构只加 1。并且,我还把同组织的机构合并在一起,比如 Google Research,Google Brain,Deep Mind 合并为了 Google;马普(Max Planck Institute)旗下的信息所、智能所和量子光学所合并为 Max Planck Institute。为了更加清晰的展示,论文数量小于 3 机构没有在这里展示,但大家仍然可以在上述 Google 文档 [5] 中查看全部机构的统计列表。


Fashion-MNIST数据集发布一周年,论文引用量超250篇_第3张图片


在这个图表中,我们不难发现来自北美、亚洲和欧洲地区顶尖的 AI 研究机构。在它们之中,Google 以 9 篇使用 Fashion-MNIST 的论文位居榜首。其次是英国剑桥大学,7 篇;IBM Research、加拿大蒙特利尔大学、北京大学和加州大学洛杉矶分校以 6 篇并列第三。中国方面,除北京大学外,中科院、南京大学、清华大学及京东也非常青睐 Fashion-MNIST 这个数据集。


而在工业界,除了已经列出的 Google,IBM Research 和 Microsoft,在完整列表中可以找到更多大家耳顺能详的公司 Facebook(2 篇), Telefónica Research(2篇),Uber(1 篇),Apple(1 篇), Samsung(1 篇), 华为(1 篇)和 Twitter(1 篇)。同时,我还注意到有不少北美地区的机器视觉创业公司也在 Fashion-MNIST 数据集上做了非常有意思的研究,并发表了高质量的论文。


美中两国在AI领域的竞争和合作


下图展示了这些文章出自于哪些国家或地区。如果一个论文由多个国家或地区合作完成,则在统计时每个国家或地区时都加 1。而如果一篇论文中多个作者来自同一国家或地区,则这一国家或地区只加 1。为了更清晰的展示结果,论文数量小于 4 的国家或地区没有在这里展示,但大家仍然可以在这里 [5] 查看全部国家或地区的统计列表。


Fashion-MNIST数据集发布一周年,论文引用量超250篇_第4张图片


很明显,美国以 94 篇引用 Fashion-MNIST 的论文的绝对多数占据了榜首,其次是中国 44 篇。加拿大、英国德国的研究人员也显示了对这个数据集的浓厚兴趣,分列第 3、4、5 位。榜上前 5 名的国家贡献了大约 50% 的论文量。总体来讲,共有来自 38 个国家的研究人员在他们的论文中使用了这个数据集。


尽管中美之间贸易战的乌云笼罩,AI 领域竞争激烈,但我们仍然看到两国在 AI 研究领域中大量的合作。在过去的一年内,两国共有 10 篇合作的论文使用了 Fashion-MNIST 数据集,高于任何其他两国之间的合作。其次是英国和德国,共合作了 4 篇论文。完整的国家地区合作列表可以在这里 [5] 看到。


把政治偏见放在一旁,我非常愿意看到更多的国家与国家之间在 AI 领域的合作。这也是 Fashion-MNIST 的使命之一:增加整个社区的凝聚力和多元化。特别是今天,当 AI 技术已经越出象牙塔,国与国之间的交流合作变得极为重要。


顶级会议青睐Fashion-MNIST


当然,论文不是靠数量而是靠质量取胜的。那么这些论文都是在哪里发表的呢?他们的质量又如何呢?下图给出了按照会议和期刊的统计表。我只统计了过去一年中已经确定被正式录取的论文,而那些正在审核状态的论文并没有在这个图表中展示。完整的列表可以在这里 [5] 查看。


Fashion-MNIST数据集发布一周年,论文引用量超250篇_第5张图片


大部分的论文都是在 2018 年涌现出来的,尤其是在诸如 NIPS,ICLR,ICML 等顶会。在 NIPS 2018 中,一共有 17 篇录用的论文使用了 Fashion-MNIST数 据集。而 2017 年这个数字是:零。不过这显而易见,因为在 NIPS 2017 年的 5 月份的投稿截止时,Fashion-MNIST 还没有诞生。而在稍后一点的 11 月戒指的 NIPS 2017 Workshop 中,我们已经可以看到研究者在论文中使用了这个数据集。 


除了在会议上发表,也有很多毕业论文和顶级期刊中引用到了 Fashion-MNIST,其中知名的期刊包括:Journal of Machine Learning Research(2 篇),Neurocomputing(2 篇),Nature Communications(1 篇)和 Science(1 篇)。


Fashion-MNIST 在「科学」杂志中被引用


Fashion-MNIST数据集发布一周年,论文引用量超250篇_第6张图片


这其中最让我骄傲的一篇论文引用,发表在 Science 科学杂志上。 在这篇题为 All-optical machine learning using diffractive deep neural networks [6] 的 Science 论文中,一个来自加州大学洛杉矶分校的团队建造了一个全光学的深度“神经”网络,并且用 3D 打印机打印了出来。这个光学深度神经网络功能上没什么不同,它能对 MNIST/Fashion-MNIST 的图像进行分类,只不过它的分类速度是——光速!


下图展示了 MNIST 和 Fashion-MNIST 模型上 5 个不同的物理层。这些层可以被 3D 打印出来,而层上面的每个点都有着不同的功能:或是允许光子通过,或是直接把光子反射回去,这就好比神经元之间的连接。在下图右侧,就是一个打印出的 3D 打印的全光学神经网络。


Fashion-MNIST数据集发布一周年,论文引用量超250篇_第7张图片


在实际分类时,这个 3D 打印的网络被放在如下的仪器中。通过判断在最后一层上光学信号最强的区域来获得分类结果。


Fashion-MNIST数据集发布一周年,论文引用量超250篇_第8张图片


GAN研究者青睐Fashion-MNIST


生成对抗网络(GAN)近几年一直是深度学习领域的研究重点,尤其是在图像生成、图像处理等应用领域,GAN 经常能取得惊人的效果。也不难理解为什么 GAN 的研究员喜欢 Fashion-MNIST 这个数据集:它比较轻量;不需要重新写 data-loader;却比 MNIST 包含更复杂的和多元的局部模式信息。


对于图像 GAN 的研究者来说,在打造一个新的算法时,第一个测试就是在 MNIST 和 Fashion-MNIST 上进行测试。下图展示了 247 篇论文按照关键词分类结果。很多论文作者没有提供关键词,对于这些论文,我在读过 Abstract 和 Related Work 后,为这些论文手工总结了一些关键词。为了更清晰的展示结果,论文数量小于 5 的关键词没有在这里展示,但大家仍然可以在这里 [5] 查看全部关键词的统计列表。


Fashion-MNIST数据集发布一周年,论文引用量超250篇_第9张图片


新的机器学习算法也喜欢使用 Fashion-MNIST 来做评测,例如胶囊网络(Capsule Networks)。胶囊网络自从发表以来就收到很多的讨论:有不少人质疑胶囊网络从设计上是否为 MNIST 做了特别的优化,而这种结构是否在其他数据集上仍然有效。不说大的 ImageNet 数据集,胶囊网络是否在 Fashion-MNIST 上仍然有效呢?在过去的一年里,有 9 篇新的胶囊网络在论文实验中使用了 Fashion-MNIST 数据集。他们设计了更稳定的路由算法以确保空间特征能够保留住。


Fashion-MNIST对社区的贡献


在我发布 Fashion-MNIST 几周后,我受邀到亚马逊柏林办公室做了一个演讲 [7]。在问答环节,我被一个研究员问道,是否担心 Fashion-MNIST 成为那些懒惰的研究员逃避现实问题的一个借口。毕竟,他们现在可以说自己的算法有了份“双保险”(在两个 MNIST 上验证过了)。


这个社区从来没有让我失望,这些高质量的论文已经很好的证明了自己。而除了学术圈的论文,这个社区还找到了 Fashion-MNIST 另一个重要用途:教学。在网上你可以找到数以千计的讨论、代码和教程,尤其是在机器学习入门的第一讲。


Fashion-MNIST 增加了整个社区的多元化:它吸引了很多年轻的 AI(特别是女性)爱好者、学生甚至是艺术家和设计师。他们在 Twitter 上表示,第一眼看到这个数据集都会觉得非常可爱,因此很想动手实践。


在 2018 年 9 月,Google 在中国举办的开发者大会上,来自 Google 的演讲者使用 Fashion-MNIST 作为例子向在场的数百名参会者普及 Keras 深度学习库和机器学习技术。而就在前几天,2018 年 10 月,Google Colab 发布的 TPU 示例 [8] 中,也使用了 Fashion-MNIST 作为演示的例子来展现 TPU 的超强算力。


Fashion-MNIST数据集发布一周年,论文引用量超250篇_第10张图片


总结


人工智能的进步需要来自整个社区的共同努力。我很欣慰的看到在过去的一年里,Fashion-MNIST 为这个社区做出了自己的贡献:它不仅吸引了多元化背景的爱好者,也促进研究人员设计更严密更具说服力的实验。所以无论你是研究员、学生、教授还是爱好者,无论你是想把 Fashion-MNIST 用在讲座、论文、研讨会、竞赛还是培训中,只要你喜欢,都可以去做。最重要的是享受技术带来的乐趣,让更多的人体验到机器学习和人工智能的魅力。


相关链接


[1]. https://github.com/search?q=fashion-mnist

[2]. https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=fashion-mnist&btnG=&oq=fas

[3]. https://www.kaggle.com/zalando-research/fashionmnist

[4]. https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=fashion-mnist&btnG=&oq=fas

[5]. https://docs.google.com/spreadsheets/d/1cGX7Juedn_KVUgjDk298v5uUjc_wPk930tKyEoZhTQM/edit?usp=sharing

[6]. http://innovate.ee.ucla.edu/wp-content/uploads/2018/07/2018-optical-ml-neural-network.pdf

[7]. https://www.slideshare.net/HanXiao4/fashionmnist-a-novel-image-dataset-for-benchmarking-machine-learning-algorithms

[8]. https://colab.research.google.com/github/tensorflow/tpu/blob/master/tools/colab/fashion_mnist.ipynb


640?



点击以下标题查看更多论文解读: 


  • 网络表示学习综述:一文理解Network Embedding

  • 神经网络架构搜索(NAS)综述

  • 从傅里叶分析角度解读深度学习的泛化能力

  • ECCV 2018 | 从单帧RGB图像生成三维网格模型

  • ACL2018高分论文:混合高斯隐向量文法

  • ECCV 2018 | 腾讯AI Lab提出视频再定位任务

  • KDD 18 | 斯坦福大学提出全新网络嵌入方法




640?#投 稿 通 道#

 让你的论文被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢? 答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得技术干货。我们的目的只有一个,让知识真正流动起来。


来稿标准:

• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向) 

• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志


? 投稿邮箱:

• 投稿邮箱:[email protected] 

• 所有文章配图,请单独在附件中发送 

• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通




?


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧



关于PaperWeekly


PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。


▽ 点击 | 阅读原文 | 获取最新论文推荐

你可能感兴趣的:(Fashion-MNIST数据集发布一周年,论文引用量超250篇)