GPT「高仿」问世：GPT-Neo，最大可达GPT-3大小，已开源 | AI日报

GPT“高仿”问世：GPT-Neo，最大可达GPT-3大小，已开源

近日，有个名叫 EleutherAI的团队（创始成员为：Connor Leahy，Leo Gao和Sid Black），宣布推出GPT-Neo开源项目，可用于复现GPT系列的各种语言模型，也包括GPT-3。

作者表示，目前他们已经成功制造出GPT-2大小的模型。从项目代码的可扩展性来看，他们预计可以复刻出GPT-3大小的语言模型，甚至比GPT-3更大。不仅如此，由于这是个开源的项目，大家还可以自主训练这些模型（将来也会包括GPT-3）。目前，作者已经给出了详细的训练步骤。

本质上，GPT-Neo有点像是GPT系列的“高仿”项目：GPT-Neo中的各种模型，设计原理接近GPT系列，但代码并不一样。作者们打算尝试各种结构和注意力类型，最终扩展出GPT-3大小的大语言模型。为了实现这一目标，他们从复现GPT系列的模型开始，不断尝试各种模型架构、和各种注意力机制的实现方式。

这里面，融合了各种让模型变得“更大”的研究：例如，多任务学习方法MoE（Mixture of Experts），采用多个专家的结构，将问题空间划分为同质区域，然后采用分发器，决定问题应该问哪些专家。又比如，具有线性复杂性的自注意力机制等。

项目地址：https://github.com/EleutherAI/gpt-neo

智源学者陈文光荣获2020年“CCF杰出贡献奖”

1月18日，中国计算机协会（CCF）发布公告，决定授予智源学者、清华大学陈文光教授2020年“CCF杰出贡献奖”，以表彰他为CSP的权威性、专业性做出的杰出贡献。

“CCF杰出贡献奖”奖励对CCF有独特或重大贡献；就重大问题提出独到观点或建议被CCF采纳并产生良好效果；发起并组织CCF有影响力的新的系列学术会议；推动学会与其他组织合作，促进了CCF的发展；向学会提供大额捐赠或资助；有其他独特或重大贡献的个人或单位。该奖于2010年设立。

陈文光，国内系统研究的领军人物之一，中国计算机学会副秘书长，曾任ACM中国理事会主席、ACM中国操作系统分会ChinaSys主席、ACM 通讯中文版主编等。

陈文光研究概况（转自清华大学计算机科学与技术系的陈文光个人主页）：

我长期研究高性能计算编程模型和编译系统，近几年在以图计算系统为代表的新一代大数据处理系统方面取得了进展。

2014年提出并实现了一种单机图处理引擎GridGraph，通过一种基于源和目的节点双层混洗的图数据结构，能够高效利用外存放置图的边，从而实现在单机上处理十亿结点以上的图。GridGraph性能比国际上同类单机图处理引擎如X-STREAM和GraphChi性能提高了一个数量级，论文在USENIX ATC 15上发表。

2016年初，进一步研制成功了名为”双子座“的分布式图计算系统，通过稀疏/稠密双模式计算引擎、稀疏性敏感的紧凑数据结构以及细粒度动态负载平衡等技术，在典型大数据分析应用（如PageRank, ALS等）上的性能是国际同类图计算系统PowerGraph和PowerLyra的十倍以上，是目前流行的大数据系统Spark性能的100倍以上，占用内存仅为其十分之一。论文在OSDI 16上发表。

上述系统软件已在github上开源：https://github.com/thu-pacman

通过北斗卫星定位和AI技术，中国在全球首次实现集装箱码头自动化

1月17日，在天津港集装箱码头自动化驾驶示范区内，25辆无人驾驶电动集装箱卡车成功在全球首次实现集装箱码头无人自动化的实船作业。无人驾驶电动集装箱卡车按照预设指令在自动化轨道桥下精准对位，装载集装箱后从自动化堆场自动驾驶，有序经过自动加解锁站，在北斗导航系统的指引下，按照实时测算的最优行驶线路，停靠到预定地点。然后，由远程控制自动化岸桥，从无人驾驶电动集卡上抓取集装箱，稳稳落在集装箱货轮上，整个流程中没有一名现场工作人员。

集装箱码头自动化升级，有3项关键技术：高精度卫星定位、自动驾驶，远程设备操控。

• 通过精准的定位，将指定的货物精确地放置在特定的位置，是码头自动化运转的前提。2020年6月23日，北斗系统第55颗导航卫星成功发射。至此，标志着我国建成了独立自主、开放兼容的全球卫星导航系统。

• 另一方面，自动驾驶技术逐渐成熟，并在货物运输领域率先实现大规模商用。以天津港为例，装载集装箱的货运车依据系统规划的行驶路线，可以精准停靠在预定地点。

• 远程设备操控，对网络带宽、延迟、稳定性都有很高的要求，这就需要5G网络的支撑。

---

点击左下角“阅读原文”，了解更多！