国产深度学习开源框架再添一员!OneFlow 主打高效性

国产深度学习开源框架再添一员!OneFlow 主打高效性_第1张图片

深度学习开源框架的舞台上,一直是国外科技巨头和科研机构占据着 C 位,但随着国内科技企业和高校陆续开源 PaddlePaddle、MindSpore 等框架,“国产深度学习开源框架”开始逐渐占有一席之地。

今年 7 月 31 日,就有一个国内创企一流科技开发的深度学习框架 OneFlow 正式在 GitHub 上开源。

小公司的打法是小而精,要深入某一个领域,靠差异化赢得市场。OneFlow 主打的就是解决大规模分布式 AI 训练问题。

无需中心调度,运算高效快速

OneFlow 整个项目研发历时共计 1300 多天,由一个 30 多人的团队完成。一流科技 CEO 袁进辉给 OneFlow 打了 85 分,他认为 OneFlow 在易用性、扩展性和效率上有很大优势。

OneFlow 主要解决用户多机多卡的问题,通过静态调度和流式执行达到目的,分为 Compiler 和 Runtime 两个步骤,通过去中心化调度,运行在大规模的分布式训练场景下。不需要中心调度器,可以在整个系统以全链路异步的方式运行。

袁进辉表示,OneFlow 通过发掘深度学习的调度规律,让系统在计算发生之前提前得到很多调度的规律的和策略,建行调度流程。

流式执行通过提前进行数据搬运规划在计算发生之前提取相关数据,同时进行数据的搬运和计算,既简化了流程有提升了效率。

在静态分析阶段,OneFlow 不会对任务进行等级划分,而是作为同等重要的任务同时进行,从而得到重叠传输和计算的最优方案。

细节仍需打磨,交给开发者检验

OneFlow 主要为 to B 客户提供服务,主打效率和扩展性。它的文档分为三个层次,一是 API 文档,二是用户搭建模型的文档,三是设计文档。袁进辉坦言,OneFlow 与成熟的 TensorFlow、PyTorch 相比还有许多要提升的部分,比如支持动态图方面,这些会在框架开源后逐步补足。

其实,按照原计划 OneFlow 应该在一年半之前就开源了,但由于细节需要调试和打磨,不得不延后了这么久。经历了 1300 多天的研发,OneFlow 终于问世了。

袁进辉给 OneFlow 打了 85 分,易用性和完备性还有不足之处,后面的完善需要在开发者的检验中逐步完成。

目前,一流科技已经完成了 3000 万左右的 A 轮融资。OneFlow 的商业版产品 OneBrain 也正在为企业带来更多商业可能。

GitHub 地址:https://github.com/Oneflow-Inc/oneflow

你可能感兴趣的:(开源框架,人工智能,深度学习)