管理7k+工作流，月运行超10000万次，Lyft开源的Flyte平台意味着什么？
作者 | Allyson Gale
译者 | 刘畅
编辑 | Jane
出品 | AI科技大本营（ID：rgznai100）
【导读】Flyte 平台可以更容易的创建并发，可伸缩和可维护的工作流，从而进行机器学习和数据处理。Flyte 已有三年多的训练模型和数据处理经验，成为定价，定位，ETA，自动驾驶等团队可实用的平台。实际上，Lyft 内部使用 Flyte 管理着 7000 多个独特的工作流，每月总计运行超过 100000 次，执行 100 万个任务，处理 1000 万个容器。
由于数据现在已成为公司的主要资产，因此执行大规模计算作业对业务至关重要，但从操作角度来看却存在一些问题。扩展，监管计算集群成为每个产品团队的负担，从而减慢了迭代速度，进而减慢了产品创新的速度。
Flyte 的任务是通过抽象这些开销来提高机器学习和数据处理的开发速度。Lyft 团队通过可靠，可扩展，精心设计的计算解决了诸多问题，使团队可以专注于业务逻辑。此外，Flyte 可支持跨租户共享和重用，因此问题只需解决一次。随着数据和机器学习之间的界线越来越不明显，包括从事这些工作的人员，这一点变得越来越重要。
为了让大家更好地了解 Flyte 是如何解决这一切问题，以下是该平台一些主要功能的概述：
1、Hosted、multi-tenant、and serverless
Flyte 可以摆脱麻烦的基础架构，使开发者可以专注于业务问题。作为一个支持多租户的服务，可以自己隔离 repo，并在不影响平台其余部分的情况下进行部署和扩展。平台会对代码进行版本控制，并对其依赖进行容器化，并且每次代码执行都是可重复的。
为了提供这种级别的隔离，研发团队直接将其建立在 Kubernetes 上，获得了容器化提供的所有优点：可移植性，可伸缩性，可靠性等等
2、Elastic Scale
Flyte 的主要目的就是扩展。有了完全分布式的容错控制平面，就不会出现单点故障，并且可以扩展到多个集群，数千个节点和数千个并发工作流。
Lyft 证明了该平台的扩展性，Flyte 已有三年多的训练模型和数据处理经验，成为定价，定位，ETA，自动驾驶等团队可实用的平台。实际上，Lyft 内部使用 Flyte 管理着 7000 多个独特的工作流，每月总计运行超过 100000 次，执行 100 万个任务，处理 1000 万个容器。
3、Parameters、Data Lineage、and Caching
所有 Flyte 的任务和工作流均具有强类型的输入和输出。这样就使参数化工作流程，拥有丰富的数据流，以及使用预先计算的缓存版本成为可能。例如，如果要进行超参数调优，则可以在每次运行时轻松调用不同的参数。此外，如果想调用之前已经计算过的任务，无论执行该任务的是谁，Flyte 都会巧妙地使用缓存输出，从而节省时间和金钱。
4、Versioned, Reproducible, and Shareable
Flyte 中的每个实体都是不可变的，每个更改都会明确地归为新版本。这让使用者可以轻松高效地迭代，测验和回滚工作流。此外，Flyte 支持在工作流之间共享这些版本化的任务，从而避免个人和团队之间的重复工作，加快开发周期。
5、Dynamic and extensible
Flyte 与框架无关，并且有不断增加的插件集合来满足所有工作流需求，包括 K8s 上的 Spark，AWS Batch，阵列作业，Hive Qubole，容器，Pods 等。而且也很容易贡献一个插件！用多种语言编写工作流任务也可能是有利的，因此Flyte 的 SDK 可以扩展到 Python 之外，允许进行真正的多语言编程。
附参考文章：
https://flyte.org/
https://lyft.github.io/flyte/contributor/index.html
（*本文为AI科技大本营翻译文章，转载请微信联系 1092722531）
◆
精彩推荐
◆
2020年，由 CSDN 主办的「Python开发者日」活动（Python Day）正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作，联手顶尖企业、行业与技术专家，通过精彩的技术干货内容、有趣多元化的活动等诸多体验，共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来，我们和中国万千开发者一起分享技术、践行技术，铸就中国原创技术力量。
【Python Day——北京站】现已正式启动，「新春早鸟票」火热开抢！2020年，我们还将在全国多个城市举办巡回活动，敬请期待！
活动咨询，可扫描下方二维码加入官方交流群~
CSDN「Python Day」咨询群 ????
来~一起聊聊Python
如果群满100人，无法自动进入，可添加会议小助手微信：婷婷，151 0101 4297（电话同微信）
推荐阅读
如何优雅地使用pdpipe与Pandas构建管道？
不可错过！2019 热门机器学习内容盘点
搜狐、美团、小米都在用的Apache Doris有什么好？ | BDTC 2019
伯克利新无监督强化学习方法：
减少混沌所产生的突现行为
机器推理文本+视觉，跨模态预训练新进展
中国搜索 20 年：易守难攻、刚需不减！
你点的每个“在看”，我都认真当成了AI