AI 浪淘沙 week（118-122）

国外

1. Jeff Dean 发布长篇研究摘要总结不寻常的2020，展望2021

【时间】2020-1-18
【来源】Google Research Jeff Dean
【链接】https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html
【内容摘要】
谷歌研究员、高级副总裁 Jeff Dean 代表 Google　research　社区发布长文，回顾 2020 展望2021 .介绍了下面的主题，参考出版物多达800 多个。主要议题有： - COVID-19与健康 // AutoML //医学诊断学ML//更好地了解ML算法和模型//天气，环境与气候变化//算法基础和理论//辅助功能//机器感知//ML在其他领域的应用//机器人技术//负责任的AI //量子计算//自然语言理解//支持开发人员和研究人员//语言翻译//打开数据集和数据集搜索//机器学习算法//研究社区互动//强化学习//展望2021年及以后

2. 图灵奖得主、“贝叶斯网络之父”Judea Pearl 和阿尔托大学计算机科学系副教授Aki Vehtari 发文讨论《50年来 最重要的统计学观点是什么？》

【时间】2021-1-17
【来源】Judea Pearl
【链接】https://arxiv.org/pdf/2012.00174.pdf
【内容摘要】
作者根据研究和文献阅读经验总结出了过去半个世纪以来最重要的8个统计观点，并表示：“它们是独立的概念，涵盖了统计方面不同的发展。这些思想都在1970年前的理论统计文献和各个应用领域的实践中就已经出现。但是在过去的五十年中，它们各自已经发展到足以成为新事物的程度。”
文章中表示最重要的 8 个统计学观点是：反事实因果推理、自助法和基于模拟的推理、超参数化模型和正则化、多层模型，泛型计算算法（generic computation algorithms），自适应决策分析，鲁棒推理和探索性数据分析 .
同时对于这些观点的共性和区别进行了分析，重点聚焦在大数据、计算优势、对于方法和工作流的影响、理论驱动和外延应用等等。另外对于这些观点分别进行了几十年期间内的回顾和展望。

3. EleutherAI 发布复刻版 GPT-3 模型代码库 GPT-neo 预计将赶上GPT-3尺寸

【时间】2021-1
【来源】eleuther 团队
【链接】https://www.eleuther.ai/gpt-neo
【内容摘要】
此前 OpenAI 发布了 GPT-3 这个庞然大物，具有 150 亿参数的语言模型，后来仅仅开放 API 供大家使用，同时表示和微软签订了独家授权，受到各种诟病。EleutherAI 团队最初计划仿制一个 GPT-2，在验证了可行性之后，建立了一个 800 多G 的语料库，并建立了 GPT-neo 这个语言模型代码库，预计能够超过 GPT-3 语言模型的尺寸。运行语言模型代码可以 TPU\GPU 等支持运行。用户可以访问项目GitHub 页面进行训练试用。目前该项目的部分配置还没有配置完全，目前还在筹备算力当中。

4. 谷歌人工智能博客发文总结图像和视频中相似姿势识别

【时间】2021-1-14
【来源】Google AI blog
【链接】https://ai.googleblog.com/2021/01/recognizing-pose-similarity-in-images.html,https://github.com/google-research/google-research/tree/master/poem
【内容摘要】
Google引入了将二维人体姿态映射到视图不变概率嵌入空间的Pr-VIPE模型，使用15块CPU在一天时间内即可完成训练。该模型中学习到的嵌入，可以直接用于姿态检索、动作识别和视频对齐等应用。此外，研究人员还提出了一个交叉视图检索基准，可以用来测试其他嵌入的视图不变属性。
此前的研究当中,Google 发布了论文《View-Invariant Probabilistic Embedding for Human Pose 》将二维人体姿态关键点映射到视图不变嵌入空间，来识别不同相机视图下人体姿态的相似性。该算法通过映射 2D人体姿势关键点来识别不同图片、视频当中人体姿势的相似性的嵌入空间。此功能可启用诸如姿势检索，动作识别，动作视频同步等任务。与直接将 2D 姿势关键点映射到 3D 姿势关键点的现有模型相比，Pr-VIPE 嵌入空间具有（1）视图不变，（2）概率以捕获 2D 输入歧义，并且不需要相机参数在训练或推理中。经过实验室内设置数据的训练，该模型可以直接在原生图片视频上工作，并具有相当不错的 2D 姿态估计器（例如PersonLab，BlazePose等）。该模型很简单，嵌入紧凑，使用 15 个 CPU 进行训练一天即可完成。

5. 可解释人工智能：工程观点

【时间】2021-1-10
【来源】Fatima Hussain, Rasheed Hussain, SMIEEE, and Ekram Hossain, FIEEE
【链接】https://arxiv.org/abs/2101.03613
【内容摘要】
深度学习的显着进步激发了人们在几乎每个领域使用人工智能技术的热情。 但是，这些算法的不透明性使其在安全关键型系统中的应用产生质疑。 “可解释性”维度不仅对于解释黑盒算法的内部工作至关重要，而且还增加了问责制和透明性维度，这对于监管机构，消费者和服务提供商至关重要。 可解释人工智能（XAI）是将所谓的黑盒AI算法转换为白盒算法的一组技术和方法，这些算法获得的结果以及该算法采取的变量，参数和步骤 达到所获得的结果，是透明且可解释的。 为了补充有关XAI的现有文献，我们采用一种“工程”方法来说明XAI的概念。 我们讨论了XAI的利益相关者，并从工程角度描述了XAI的数学轮廓。 然后，我们以自动驾驶汽车为例，讨论XAI在其不同组件（例如对象检测，感知，控制，动作决策等）中的应用。 这项工作是一项探索性研究，旨在确定XAI领域的新研究途径。
尽管XAI在基线AI模型中添加了必要的功能，但评估与解释相关的其他功能的AI模型的性能也非常重要。 必须考虑新功能可能会产生开销并可能影响准确性。 迄今为止，文献中的一些作品都集中在XAI的性能上。 在这个方向上需要进一步的研究。 同样，XAI对原始模型的影响（无论好坏）也值得进一步深入研究，以开辟新的研究途径。

国内

1.清华大学人工智能研究院、清华 - 中国工程院知识智能联合研究中心联合发布了《人工智能发展报告 2020》。

【时间】2021-1-21
【来源】清华大学、中国工程院知识智能能联合研究中心
【链接】https://static.aminer.cn/misc/pdf/zpAIreport2020.pdf
【内容摘要】
近日，清华大学人工智能研究院、清华 - 中国工程院知识智能联合研究中心联合发布了《人工智能发展报告 2020》。其核心发现主要有以下十点：1.总结了过去十年的十大AI研究热点；2.过去十年有5位AI领域学者获得图灵奖；3.顶刊获得最多奖项的领域是计算理论、安全与隐私和机器学习；4.人工智能最高引文的头部主题为机器学习、计算机视觉领域；5.中国在多个相关领域紧跟美国，处于世界前列，在多媒体和物联网领域超过美国，部分领域还需追赶；6.全球范围内中国人工智能领域学者数量占比9.8%，然而美国62.2%；7. 清华大学是唯一入选全球人工智能领域高层次学者数量TOP10 的中国机构；8.京津冀地区、长三角、珠三角地区为国内主要高层次人工智能人才聚集地；9.过去十年中国专利申请量世界第一，是第二名美国的8.2倍；10. 人工智能未来重点发展的技术方向包括：强化学习、神经形态硬件、知识图谱、智能机器人、可解释性 AI、数字伦理、知识指导的自然语言处理等。

2. 寒武纪发明首个AI训练芯片：7纳米制程，算力提升四倍

【时间】2021-1-21
【来源】寒武纪 官网
【链接】http://www.cambricon.com/index.php?m=content&c=index&a=lists&catid=334
【内容摘要】
寒武纪在官网发布首个 AI 训练芯片，采用创新性的MLUv02扩展架构，基于台积电7nm先进制程工艺制造，在一颗芯片上集成了高达460亿的晶体管。介绍中表示，芯片具备多项关键性技术创新， MLU-Link™多芯互联技术，提供高带宽多链接的互连解决方案；HBM2内存提供AI训练中所需的高内存带宽；vMLU帮助客户实现云端虚拟化及容器级的资源隔离及热迁移。预计将帮助AI计算应对性能、效率、扩展性、可靠性等多样化的挑战。

3.香港大学 、商汤、华为诺亚、南京大学团队发布论文，提出了新的细粒度透明对象分割数据集，宣称新算法对 20 多种语义分割算法基准测试优于 CNN Segmenting Transparent Object in the Wild with Transformer

【时间】2021-1-21
【来源】香港大学、南京大学、商汤、华为诺亚
【链接】https://arxiv.org/pdf/2101.08461.pdf,https://github.com/xieenze/Trans2Seg
【内容摘要】
团队提出了一个细粒度透明对象分割数据集 Trans10K-v2，是Trans10k-v1 的扩展。提出了几个吸引人的点，1.具有 11 种细粒度透明对象，更加实用；2.给当前的高级分割方法带来更多挑战。。通过语义分割公式化变成字典查找的问题。设计了一组科学系的原型作为 Trans2Seg 的 transformer 解码器的查询。在 20 多种最新的语义分割方法基准测试中，性能均优于基于 CNN 的算法。
文章方法可以更好地区分背景和不同类别的透明对象，尤其是在一幅图像中出现具有不同类别的多个对象时。 此外，该方法可以获得高质量的详细信息，例如对象边界和微小的透明对象，而其他基于 CNN 的方法则无法做到这一点。 补充材料中显示了更多结果。

4.IEEE认知发展与机器人学习国际会议将首次于中国北京召开

【时间】2021-08 23～26
【来源】北京大学
【链接】https://icdl-2021.org/
【内容摘要】
北京大学将于2021年8月23日至26日举办2021 IEEE认知发展与机器人学习国际会议（2021 IEEE International Conference on Development and Learning – ICDL）。
IEEE认知发展与机器人学习国际会议是IEEE计算智能协会（IEEE CIS）旗下的系列国际会议。IEEE ICDL国际会议汇集了计算机科学、机器人学、心理学和认知发展研究领域的研究人员，研究人和动物如何发展感知、推理和行为能力，并通过借鉴人与社会和环境交互、以及人的认知和发展能力，来发展智能机器人适应复杂多变环境的各项技能。这不仅是智能机器人迈向通用智能最有可能的路线之一，也有助于更好地理解人和动物信息加工的相关机理。本次会议的主题为：发展机器人与未来生活。

5.清华大学、阿里、中山大学联合发布论文，关于BERT模型蒸馏技术

【时间】2021-1-20
【来源】Lingyun Feng ,Minghui Qiu 2, Yaliang Li, Hai-Tao Zheng Ying Shen
【链接】https://arxiv.org/pdf/2101.08106.pdf
【内容摘要】
尽管诸如 BERT 之类的预训练语言模型在各种自然语言处理任务中均取得了令人满意的性能，但是它们的模型非常大，在实时应用中很难进行部署。一种典型的方法是采用知识蒸馏将这些大型的预训练模型（教师模型）压缩为小的学生模型。但是，对于缺乏训练数据的目标领域，教师几乎无法将有用的知识传给学生，这会导致学生模型的效果下降。为了解决这个问题，我们提出了一种方法，通过一种跨域自动数据增强的技术来为数据稀缺领域进行扩充。这个方法用强化选择器从目标数据分布中自动选取样本，来提升学生模型的表现。大量的实验表明，所提出的方法在四个不同的任务上明显优于最新的基准，对于数据稀缺的领域，压缩的学生模型甚至比原始的大型教师模型表现更好，参数更少（只有～13.3%）。

6.大连理工大学发布光场数据集和显著性检测论文（DUT-LFSaliency: Versatile Dataset and Light)

Field-to-RGB Saliency Detection）
【时间】2020-12-30
【来源】Yongri Piao, Zhengkun Rong, Shuang Xu, Miao Zhang, and Huchuan Lu
【链接】https://arxiv.org/abs/2012.15124
【内容摘要】
光场数据为显著性检测算法提供了更为有力的支持。基于学习的光场显著性检测取决于数据集的通用性、数据利用效率和灵活性设计。为了解决这一问题，大连理工团队构建了大规模的多功能数据集 DUTLF-v2，其中包含了102类目标、共4202个样本，样本多、场景逼真，可以有效支持基于RGB、RGB-D和光场数据的显著性检测算法。提出了焦点流和 RGB 流的非对称双流模型。
焦点流作为教师网络，学习利用焦点片段产生注意力只是，然后用单个RGB输入训练学生网络，来学习利用三种蒸馏方案替换焦点片段。结果显示蒸馏方案具有较好的广泛适用性。与性能最佳的方法比，模型可以减少 83% 的尺寸，并提升 5 倍 FPS ，在保证灵活性的同时得到了显著的性能提升。
+