AI行业态势感知（第三期）

 

 

导读

 

为了帮助飞桨同学更好地了解人工智能领域的最新资讯，每周二更新《AI行业态势感知》，从学术（论文和新思想、学术会议等），行业和政策（技术产业政策、项目基金申请、技术投融资等），人物（学者的人事变动和获奖情况）、数据（数据集），工具（新工具和应用推荐）等诸多角度，鸟瞰过去一周人工智能领域值得关注的动态。

 

 过去一周（2020/10/05~2020/10/12），值得关注的内容有以下3方面：

 

1.       MindSpore的架构师金雪锋在知乎撰写《AI框架中图层IR的分析》一文，文章重点分析了AI框架对IR有什么特殊的需求、业界有什么样的方案以及MindSpore的一些思考，以及通用的编译器IR的分类以及各自特点。（详情参见本周报“直接竞品动态”栏目）

 

2.      TensorFlow针对机器学习零基础学员推出 “TensorFlow 官方入门实操课程”，该课程是基于 TensorFlow 技术推广工程师 Laurence Moroney 制作的新手入门课程，由 TensorFlow 官方团队与专业老师们一起合作联合推出的中文版课程。本课程主讲机器学习的设计思路和基本方法，可进行线上实操练习训练。（详情参见本周报“直接竞品动态”栏目）

 

3.     清华大学人工智能研究院院长、中国科学院院士张钹教授近日阐述了自己对于“第三代人工智能”的看法。他认为，第三代AI发展的思路是把第一代的知识驱动和第二代的数据驱动结合起来，通过利用知识、数据、算法和算力等4个要素，构造更强大的AI，目前存在双空间模型与单一空间模型两个方案。（详情参见本周报“观点”栏目）

 

 

直接竞品动态：

 

Mindspore：MindSpore技术专栏 | AI框架中图层IR的分析

 

本文由MindSpore的架构师金雪锋撰写，重点分析了AI框架对IR有什么特殊的需求、业界有什么样的方案以及MindSpore的一些思考，以及通用的编译器IR的分类以及各自特点。

 

应对措施：飞桨对外公开的内容中，对于一些技术底层的深度讲解相对较少。从《AI框架中图层IR的分析》这篇在知乎上的反响来看还是有相当一部分对此类内容感兴趣，本周和文档团队评估在新版本发布时，是否可以增加深度文章的产量。

 

MegEngine：旷视研究院举办 CV Master 训练营

 

CV Master 训练营活动面向具备一定编程及深度学习基础的在校生、高校科研人员，及在职人员。该活动由旷视研究院基础检测组算法组研发主讲，承担学员使用MegEngine学习的算力资源，结营时会颁发结业证书。

 

应对措施：该训练营形式上与我们的教育活动很相似，并借助了paperweakly协助推广。请@钱芳@丁进@肖睿留意。截止本周二晚10点已招募275人，后续将持续关注其招募情况。

 

TensorFlow：机器学习零基础也不怕，“TensorFlow 官方入门实操课程”来了

 

该课程是基于 TensorFlow 技术推广工程师 Laurence Moroney 制作的新手入门课程，由 TensorFlow 官方团队与专业老师们一起合作联合推出的中文版课程。本课程主讲机器学习的设计思路和基本方法，可进行线上实操练习训练。

 

对飞桨有竞争压力的信息：

 

OneFlow 发布 v0.2.0

OneFlow 9月10日发布了0.2.0版本，在这个版本中， OneFlow  进行了不少性能优化，改进分布式性能。针对国内用户优化编译体验，提升OneFlow 下载编译速度。

Github

 

《TensorFlow 2.0深度学习开源书(龙书)》：

本项目登上了本周GitHub trending榜，并在Github趋势日榜单连续多天全球排名第1。为网易云课堂”“深度学习与TensorFlow2入门实战”视频课程配套教材。

Github

 

论文推荐

 

基于胶囊图神经网络的知识增强个性化评论生成

Knowledge-Enhanced Personalized Review Generation with Capsule Graph Neural Network

 

本文提出了一种基于胶囊图神经网络的个性化评论生成模型，首次将知识图谱应用与个性化评论生成任务中。个性化评论生成（PRG）旨在自动生成反映用户偏好的评论文本，这是一项具有挑战性的自然语言生成任务。以前的大多数研究都没有明确地对产品的事实描述进行建模，从而往往会产生无信息的内容。此外，它们主要集中在词级生成上，但不能在多个方面准确反映更抽象的用户偏好。针对上述问题，作者提出了一种基于胶囊图神经网络（Caps-GNN）的新颖的知识增强PRG模型。本文首先构造一个利用丰富项目属性的异构知识图（HKG），然后采用Caps-GNN来学习图形胶囊，以对HKG的基本特征进行编码。模型的生成过程包含两个主要步骤，即方面序列生成和句子生成。首先，基于图胶囊，模型自适应地学习方面胶囊以推断方面序列。然后，基于推断的aspect label，作者设计了一种基于图的复制机制，通过合并相关实体或来自HKG的单词来生成句子。

 

论文下载

 

稀疏知识图上多跳推理的动态预测与实现

Dynamic Anticipation and Completion for Multi-Hop Reasoning over Sparse Knowledge Graph

 

本文来自刘知远教授团队，该论文提出一种名为DacKGRover的知识图谱多跳推理模型，有效提升了在稀疏知识图谱上的推理效果。近年来，研究者们对多跳推理进行了广泛研究，以寻求一种有效且可解释的方法。先前的大多数推理方法都是为实体之间具有足够路径的密集知识图谱设计的，但不能在稀疏的知识图谱上很好地工作。一方面，稀疏的知识图谱包含的信息较少，这使得模型难以选择正确的路径。另一方面，缺乏到目标实体的证据路径也使推理过程变得困难。为了解决这些问题，作者通过应用新颖的动态预测和完成策略，提出了一种名为DacKGRover稀疏知识图谱的多跳推理模型：（1）预测策略利用基于嵌入模型的潜在预测在稀疏KG上执行更多潜在路径搜索。（2）根据预测信息，完成策略会在路径搜索过程中动态添加边线作为其他动作。

 

论文下载 

 

观点

 

清华张钹院士：第三代AI发展的思路是把第一代的知识驱动和第二代的数据驱动结合起来

 

清华大学人工智能研究院院长、中国科学院院士张钹教授近日阐述了自己对于“第三代人工智能”的看法。他认为，第三代AI发展的思路是把第一代的知识驱动和第二代的数据驱动结合起来，通过利用知识、数据、算法和算力等4个要素，构造更强大的AI，目前存在双空间模型与单一空间模型两个方案。

 

中国科学 

 

行业与政策

 

国内首份OCR白皮书出炉，基于深度学习的OCR已成主流

 

近日，在工业和信息化部、北京市人民政府、国际电信联盟ITU-T指导的2020 AIIA人工智能开发者大会上，主办方正式发布国内首份智能文字识别能力测评与应用白皮书。白皮书从OCR发展背景、技术沿革、产业发展现状、技术标准化、发展趋势等多个维度，对当前国内OCR产业进行了一次详细梳理，全面助推OCR技术产业化加速落地及可持续发展。

 

DeepTech深科技 

 

新工具

 

 基于PyTorch的GAN模型库：Imaginaire

 

该库由NVIDIA发布，支持有监督图-图转换、无监督图-图转换、视频-视频转换等任务，包含SPADE、pix2pixHD和vid2vid等模型。

 

NVIDIA

 

InnerEye深度学习工具包开源：让医学影像AI普及化

 

InnerEye项目的目标是希望人工智能在医学影像分析方面被普及化使用，并让研究机构、医院、生命科学组织和医疗服务提供者通过使用微软Azure云平台可以构建自己的医学影像人工智能模型。因此，为了使InnerEye项目的研究成果更容易获得，微软发布并开源了InnerEye深度学习工具包。该工具包让使用集合训练高性能模型，以及使用Azure机器学习服务或Azure Stack Hub部署模型，变得容易。

 

微软亚洲研究院  

 

NVIDIA开源C++标准库：Libcu++

 

NVIDIA已将其C++标准库libcu++在GitHub上开源，libcu++去年作为CUDA C++标准库被推出，属于CUDA 10.2的一部分。它不仅与支持NVIDIA CUDA的配置搭配使用，还支持与CPU搭配使用。NVIDIA的libcu++ fork自LLVM的libc++标准库。作为CUDA C++标准库，libcu++在过去的一年里已经初具规模，并在此后不断改进，拥有了更多的功能。作为NVIDIA C++标准库，libcu++提供了C++标准库的异构实现，可以在CPU和GPU代码之间使用。如果有使用C++标准库的经验，相信很快就能上手libcu++。NVIDIA C++标准库包含在NVIDIA HPC SDK和CUDA工具包中，无需额外的安装或编译器标志。

 

NVIDIA

 

 

应用

 

Pan-STARRS团队研究人员通过AI辅助构建构建宇宙3D地图

 

2016年，来自夏威夷大学马诺阿分校天文研究所的天文学家们曾经发布了一份包含30亿个天体的目录，其中包括恒星、星系和类星体。不过，对这个包含2PB数据的庞大数据库进行解析是一项不适合普通人甚至是研究人员的任务。2016年目录发布的一个主要目标是更好地描述那些遥远的光斑，并且在所有三维空间中绘制星系的排列图。所以Pan-STARRS团队的研究人员了借助机器学习算法，创造了了迄今为止最全面的“天文学成像目录”，包括恒星、星系和类星体等。研究成果现已发表在“皇家天文学会月报”。

 

新智元 

 

FaceBook AI：使用AI帮助卫生专家应对COVID-19大流行

 

Facebook AI正在与学术研究人员和其他专家合作，开展与COVID-19相关的一系列计划：1. 将有需要的人与附近提供COVID-19相关支持的个人和组织进行匹配；2. 提供有关COVID-19传播的位置和速率的更可靠的预测；3. 利用语言理解来联系更多人以提供帮助并提供有关COVID-19内容的翻译；4. 改进的COVID-19预测和资源规划工具。

 

Facebook AI

 

数据

 

代码智能新基准数据集CodeXGLUE

 

近期，微软亚洲研究院（自然语言计算组）联合Visual Studio和必应搜索发布了代码智能领域首个大规模多任务的新基准——CodeXGLUE。该基准可覆盖code-code、code-text、text-code、text-text四个类别，包含10个任务及14个数据集，具体有：代码克隆检测、代码缺陷检测、代码完形填空、代码补全、代码纠错、代码翻译、代码检索、代码生成、代码注释生成、代码文档翻译十项任务。其中，有自建数据集，也有在业界已有影响力的数据集。

 

微软亚洲研究院

 

代码及开源项目

 

用于参考图像分割的语言结构引导的上下文建模

 

参照图像分割旨在预测与自然语言表达所描述相匹配的对象的前景掩模。它具有广泛的应用前景，例如人机交互和交互式图像编辑。但由于自然语言表达可能包含多种语言概念，此任务与传统语义分割中的预定义类别相比，该类别的范围更广。它需要算法来处理语言和视觉之间不同的语义概念。为了获得有效的多模态语境，本文的解决方案是以语言结构为引导，选择性地对与句子相关的有效多模态语境进行建模。并且通过提出一个语言结构引导的上下文建模（LSCM）模块来实现上诉方案，该模块可以在DPT-WG的指导引导下聚合有效的多模态上下文并且排除干扰项。因此，得到了更具判别性的多模态特征，并且优于所有最新的方案。

 

中科院 

 

基于对比蒸馏的语言模型中间表示压缩

 

现有的语言模型压缩方法大多使用简单的L2损失，将large BERT模型的中间表示的知识蒸馏为较小的表示形式。尽管这一设计目标已经广泛使用， ，不能在教师网络的中间层中捕获到重要的结构知识。为了达到更好的蒸馏效果，研究人员提出针对语言模型压缩中间表示的对比蒸馏（CoDIR），这是一个原则性的知识蒸馏框架，训练学生模型通过对比目标从教师模型的中间层蒸馏知识。CoDIR学习将阳性样本和大量阴性样本进行区分，这有助于学生模型利用教师模型隐层中的丰富信息。CoDIR能够轻松应用于预训练和微调阶段的大规模语言模型压缩中，并在GLUE基准上获得了卓越的性能，优于最先进的压缩方法。

 

微软Dynamics 365 AI Reserach 

 

将无模态人体识别作为零样本学习

 

身份识别是事件检测，人员跟踪和公共安全中的重要主题。已经提出了许多用于人体识别的方法，例如人脸识别，行人再识别和步态识别等。典型地，现有方法主要将查询的图像分类到图像图库集合中的特定身份。这对于在广泛的视频监控应用中只有查询的文本描述或属性图库集可用的场景中来说是受到严重的限制。然而，目前很少有人致力于研究无模态识别，即以可伸缩的方式识别图库集中的查询。本文进行初步的尝试，并制定了一种新颖的无模态人体识别任务作为一种可扩展的通用的零样本学习模型。同时，它能够通过学习每个身份的区别性原型来连接视觉和语义两种模式。此外，语义引导的空间注意在视觉模态上得到了增强，以获得具有高全局类别级别和局部属性级上获得高区分性的特征。最后，我们针对两个常见的具有挑战性的识别任务（包括人脸识别和人员重新识别）设计并进行了大量的实验，证明该方法在无模态的人体识别方面优于各种最新的方法。

 

北京交通大学

 

教程

 

微软东昱晓《图表示学习：嵌入，GNNs与预训练》2020教程

 

近年来，图神经网络在结构化数据建模方面取得了巨大的成功。然而，大多数GNN是为同构网络设计的，即所有节点或边具有相同的特征空间和表示分布。这使得它们无法代表真实世界中不断演化的异构图，如知识图谱、物联网图、领英经济图、开放学术图和Facebook实体图。本文将介绍图神经网络架构，它可以建模十亿年规模的异构图形与动态。重点是如何设计图注意力和相对时间编码机制，以捕获真实图异构和动态性质。接下来，将进一步讨论为一般的图挖掘任务预先训练这类GNN的策略。最后，为了处理web规模的数据，将介绍一种异构的小型批处理图采样算法，该算法带有一个归纳的时间戳分配方法，用于高效和可扩展的训练。大量的实验显示了在实践中对网络规模图进行预训练的GNNs的前景。

 

微软

 

面向图数据的异常检测综述

 

本文针对面向图数据的图异常检测算法近十年的发展，定义了静态与动态图异常，给出了若干范例并讨论了相关研究难点、研究关键词、相关综述概述与研究框架图，在此基础上给出了基于静态图和动态图的异常检测算法分类，并对该领域未来相关工作作出了总结与展望。

 

ACTBIGDATA

 

《深度元学习》综述论文

 

深度神经网络在拥有大量数据集和足够的计算资源的情况下能够取得巨大的成功。然而，他们快速学习新概念的能力相当有限。元学习是解决这一问题的一种方法，通过使网络学会如何学习。令人兴奋的深度元学习领域正在高速发展，但缺乏对当前技术的统一、深刻的概述。这项工作就是这样。在为读者提供理论基础之后，作者研究和总结了主要的方法，这些方法被分为度量、模型和基于优化的技术。此外，作者确定了主要的开放挑战，如在异构基准上的性能评估，以及元学习计算成本的降低。

 

专知 

 

人物

 

2020年度“CCF-IEEE CS青年科学家奖”评选结果出炉，智源青年科学家梁云、翟季冬入选

 

“CCF-IEEE CS青年科学家奖”授予在科学研究方面有突出成就和重要贡献、年龄不超过40岁的青年学者，该奖由CCF和IEEE Computer Society共同评选和颁发。CCF奖励委员会决定授予国防科技大学郭得科教授、北京大学梁云副教授、中国科学院软件研究所吴志林研究员、南京大学俞扬教授、清华大学翟季冬副教授2020年“CCF-IEEE CS青年科学家奖”，以表彰他们的突出成就和重要贡献。其中梁云和翟季冬都是智源青年科学家。

 

中国计算机学会