AI周报 | “阿里灵杰”助力画出AI增长的第二曲线；腾讯提出“神农模型”获CLUE榜单！

一、最新论文解读

1.CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis

基于样式的 GAN（StyleGAN）架构在生成高质量图像方面取得了最先进的结果，但它缺乏对相机姿势的明确和精确控制。最近提出的基于 NeRF 的 GAN 在 3D 感知生成器方面取得了很大进展，但它们还无法生成高质量的图像。本文介绍了 CIPS-3D，这是一种基于样式的 3D 感知生成器，由浅层 NeRF 网络和深层隐式神经表示 (INR) 网络组成。生成器独立合成每个像素值，无需任何空间卷积或上采样操作。此外，我们诊断了镜像对称问题，这意味着一个次优解决方案，并通过引入辅助鉴别器来解决它。在原始单视图图像上进行训练，CIPS-3D 为 3D 感知图像合成创造了新记录，在 FFHQ 上以 256 美元的分辨率处理图像的 FID 为 6.97，令人印象深刻。论文还展示了 CIPS-3D 的几个有趣方向，例如迁移学习和 3D 感知面部风格化。

二、热门学习工具

1、Multiverso - 分布式键值存储，链接展示了如何安装、使用和扩展。

相关链接：

Home · microsoft/Multiverso Wiki · GitHub

2、DMTK - 微软的分布式机器学习工具包

相关链接：

微软分布式机器学习工具包DMTK——初窥门径 - ldzhangyx - 博客园

三、近期大厂动态

1、【阿里云】用4S标准带领团队锻造大数据+AI产品体系

“时至今日，我们可以越来越清晰的看到算力、算法、数据和场景的融合，尤其是 AI 和数据。没有数据，AI 是留在实验室里的火花；而没有 AI，数据就是堆在那里的一堆成本”，贾扬清提到，“阿里灵杰是我们在过去几年思考实践的过程中所沉淀下来的基于 Scale、Speed、Simplicity 和 Scenario 这样的 4S 标准的产品的体系。它不是一个为了创新而创新的过程，而是在我们希望 AI 能更加简易落地的时候不断生根的一个结果。我们希望阿里灵杰帮助我们和各行各业开发者一起，能够在云上画出人工智能增长的第二曲线。”

据悉，“阿里灵杰”是中国最大的大数据＋AI 一体化平台。“阿里灵杰”包含机器学习平台 PAI、云原生大数据计算服务 MaxCompute、实时计算 Flink 版、大数据开发治理平台 DataWorks、实时数仓 Hologres 等产品，可调动规模高达 10 万台以上计算集群，拥有云边端一体的高性能训练和推理引擎，能提供毫秒级延迟的实时数据分析能力等，也提供开箱即用的视觉、语音、决策、NLP、业务增长引擎等开放服务。

在过去一年，贾扬清介绍，他带领的团队在 4S 标准下也在不断提升产品能力，主要体现在四点：

（一）Scale：灵活扩缩的大数据、大模型、大应用

贾扬清向大家分享了几个数字：1. 云原生大数据平台 Max Compute 已经以 10 万台集群，支持 2000 万表和千万级的调度。但同时也可以从一张表，一个 GB，一个任务开始，用零启动成本来使用近乎无限的弹性。2. 在 AI 领域，阿里云发布了大规模分布式训练框架 Whale，提供分布式 comp graph 建模和自动优化，达摩院的科学家们用 Whale 训练了十万亿级参数的预训练模 AliceMind 和 M6。

（二）Speed：极致的运行、开发、运维效率

今天性能已经不是刀耕火种的手工优化。基于 AI for Systems 的逻辑，通过自动优化，阿里云的成熟产品 MaxCompute 和实时计算 Flink 版持续提升自己性能，MaxCompute 已经是第五年拿到 TPCx-BB 的性能第一名。

贾扬清介绍，“人力成本是最大的成本，开发效率越来越重要。我们的 AI 平台在前面一年完全实现云原生化，使我们可以一键式地完成从建模 / 训练 / 服务全链路的搭建过程。”

（三）Simplicity：标准、像调用函数般易用

今年，阿里云 MaxCompute 和 DataWorks 提供了丰富的生态和数据建模治理工具。阿里云 AI 工程团队与达摩院算法的合作，在十多个 AI 场景下提供了上百个标准化的算法模型服务，解决 AI 落地应用最后一公里的问题。使用 OCR、NLP 等，应该像下一个 App 那么简单。

（四）Scenario：向场景而生

没有场景化的 AI 能力是没有用处的。谁都需要算力，但是不一定管得好算力。阿里的云原生化的 PAI 软件层和 Eflops 高性能集群的结合，提供开箱即用的算力解决方案，支持从学术研究、工业制造场景的落地。

和之前基于运营的增长黑客相比，今天的增长引擎很多都是基于数据和算法的。PAI 将这些场景算法标准化，可以实现 RTA、用户触达、智能搜索等多个客户应用中的明显的业务提升。

2、登顶CLUE榜单，腾讯云小微与腾讯AI Lab联合团队提出基于知识的中文预训练模型

2021年10月13日，腾讯云小微与腾讯AI Lab联合团队提出了基于知识的中文预训练模型——“神农”，该模型仅包含十亿级参数量，并一举登顶CLUE总排行榜、1.1分类任务、阅读理解任务和命名实体任务四个榜单，刷新业界记录。

10月13日，“神农”刷新CLUE分类榜单纪录；HUMAN 为人类标注成绩，非模型效果，不参与排名。

同时，“神农”登顶CLUE阅读理解、NER榜单，刷新业界记录。

作为中文语言理解领域最具权威性的测评基准之一，CLUE涵盖文本相似度、分类、自然语言推理、阅读理解、NER等众多语义分析和理解类子任务。近段时间，各大公司纷纷用CLUE作为预训练算法能力的验证和衡量标准。此次登顶CLUE榜单，不仅代表了云小微与腾讯AI Lab联合团队在中文预训练研究领域达到业内领先水平，并且推动中文预训练模型在理解和推理方面提升了一个新高度。

第一，“神农”从两个角度对知识进行建模，分别是“通用型推理知识”和“任务型知识”。通用型知识指的是现有知识，比如词法、句法、图谱等，这类知识的特点是通用性强，覆盖度广。虽然能整体提高模型的能力，但是在特定场景中往往不容易发挥作用。而任务型知识旨在挖掘场景下特有的知识，并通过将其泛化来提升预训练模型的能力。二者可谓相辅相成。

第二，联合团队将汉语中典型的篇章推理知识作为通用知识融入预训练过程中，如因果、对比、递进、转折关系等。中文是表达极其丰富的语言，存在大量指示性的虚词。这些虚词在中文的语义理解中起着至关重要的作用。比如：

这段话的语义可谓一波三折，而引起语义起伏变化的正是这些虚词。通过引入这类知识可以强化模型对中文的理解能力。

第三，“神农”提出基于对比学习的任务型知识挖掘和融入算法。通过定义知识模板，该算法可以为指定任务“定制知识”，并将其融入到训练过程中。另外，“神农”将挖掘出来的知识在大规模单语文本中进行泛化，大大提高了知识的表达能力。