字节跳动宣布开源 BitSail 数据集成引擎

导读 字节跳动宣布开源 BitSail 数据集成引擎。BitSail 意为 “数据航行”,可支持二十余种异构数据源间的数据同步,提供离线、实时、全量、增量场景下的全域数据集成解决方案,从而打通困扰企业数字化转型的 “数据孤岛”,帮助企业用户更有效地发挥数据资产价值。

字节跳动宣布开源 BitSail 数据集成引擎_第1张图片

据悉,BitSail 起源于 2018 年。当时字节跳动的业务场景日益复杂,数据源越来越多,数据量更是呈爆发式增长。为了支撑公司业务快速发展,字节跳动数据平台团队开始自研数据集成引擎。

新引擎最初基于 Apache Flink 实现,历经多年持续改进和创新,现已具备批式集成、流式集成和增量集成三类同步模式,并支持分布式水平扩展和流批一体架构,在各种数据量和各种场景下,一个框架即可解决数据集成需求。此外,BitSail 采用插件式架构,支持运行时解耦,从而具备极强的灵活性,企业可以很方便地接入新的数据源。

目前,BitSail 不仅服务于抖音、今日头条等字节跳动内部业务,也服务了火山引擎多家企业客户,其稳定性、数据传输质量和运维成本等方面经过 “千锤百炼”,已经具备较高的产品成熟度。

数据显示,BitSail 在字节跳动内部每天的任务量超过 20 万,传输的数据行数超过百万亿行,其中单批任务达到千亿行、单流任务达到千万 QPS,支持 10 分钟级延迟 SLA。通过在火山引擎的云原生环境和客户专有云环境等不同场景的打磨,在确保数据传输安全性的同时,BitSail 的功能细节和性能得到进一步优化,可以满足企业绝大部分使用需求。

自 2015 年至今,字节跳动已开源了 50 多个项目,早期大多为工程师个人兴趣驱动。今年 5 月,字节跳动宣布成立开源委员会,为技术开源引入公司级的策略、规范与流程机制。BitSail 项目负责人表示,做好开源的 “北极星指标” 是能真实落地,帮助开发者在生产环境或实际业务中创造价值。BitSail 会持续夯实基础能力,并结合内外部业务实践输出更多创新的特性,帮助企业用户走好数字化 “第一步”。

更多Linux资讯请查看:https://www.linuxprobe.com 

你可能感兴趣的:(开源,java,开发语言)