GitHub 2800颗星，支持GPT/Transformer，字节跳动这个开源项目是怎么来的？

AI 绘画、机器翻译、多轮对话……对于各类 AI 相关的功能来说，总有一个痛点，困扰着所有训模型的算法工程师们：

想要效果更好，那么 AI 模型一般都很大，耗费的算力更多不说，运行起来还更费时间；

如果希望模型小、运行快，那么效果通常不如前者好。

这就像天平的两端，算法工程师们常常需要根据不同场景和限定条件，在跑得快和效果好之间取得一个平衡。

因此，如果有一项技术可以在两者之间做好平衡，那么，它大概率会成为对业界有贡献的重要技术。

LightSeq 就是这样一项技术。

具体来说，LightSeq 是一个模型训练推理引擎，就像一个炼丹炉，Transformer/GPT/BERT 这种以体积大、效果好、但运行更耗时的 AI 模型都可以扔进去炼一炼，帮助它们提速。

而且 LightSeq 不仅可以在模型训练环节提速，让开发者更便捷的使用；也可以在推理环节提升运行速度，让各类 AI 模型更快地产出效果，降低 AI 翻译、AI 生成文字等任务的耗时，更好地服务用户。

自 2019 年开源以来，LightSeq 受到了很多机器学习从业者的欢迎，在 GitHub 上已经收获了超过 2800 颗星。

在做 LightSeq 之前，一个关于模型运行速度的问题一直让 ByteDance Research 团队的王辉感到困扰：

2019 年，机器翻译行业出现了一轮技术迭代，大家正在由 LSTM 模型切换到更新的 Transformer 模型，以实现更好的翻译效果。

但是，当时效果最好的 Transformer 翻译一句话，要耗费长达 1 秒钟的时间，这将大大影响用户体验。

于是王辉拉着几位同学，开始研究 GPU 模型加速，从头进行 CUDA 编程，开始了 LightSeq 的研发过程。

在学习了大量的底层技术知识、进行了不少优化研发后，LightSeq 第一版问世了。他们首先在字节跳动的火山翻译业务上运用，果然取得了不错的效果，翻译速度大大提升。

2019 年底，LightSeq 研发团队将它回馈给了开源社区，并持续保持版本迭代，帮助其他开发者一起提效。

开源成果受到欢迎，LightSeq 论文也同时获得了学术界的认可。

LightSeq 的推理引擎论文中选了 NLP 领域顶会 NAACL 2021。

第二年 LightSeq 的训练系统论文也被超算领域国际顶会 SC22 接收。

王辉最近还在北京大学软件和微电子学院开设了一个学期的研究生课程，专门给北大的学生们介绍 AI 领域的进展，教他们 LightSeq 的使用方法。

获得外部认可的同时，LightSeq 研发团队也在积极将它落地在字节跳动的 NLP 业务场景。除了机器翻译，例如广告文案生成、电商内容理解也能借助 LightSeq 大规模提升模型训练和推理的速度。

团队甚至还将 LightSeq 部署在了移动端，即使你的手机没连网，也能仅使用手机 CPU 的算力实现 AI 自动翻译。

他们还为此写了一篇论文《MobileNMT: Enabling Translation in 15MB and 30ms》，这篇论文也已经中选了自然语言处理顶会 ACL 2023 的 Industry Track。

LightSeq 团队希望不断追逐最前沿的技术，让技术回馈业界，用创新服务用户。来听听他们是如何探索新技术的吧。

GitHub 2800颗星，字节跳动这个开源项目是怎么做出来的？

最后，照例给大家送上 LightSeq 项目相关地址，欢迎各位开发者一起探索~

GitHub：

https://github.com/bytedance/lightseq

LightSeq 论文：

https://arxiv.org/abs/2010.13887

LightSeq2 论文：

https://arxiv.org/abs/2110.05722

MobileNMT 论文：

https://arxiv.org/abs/2306.04235