Google 开源大数据引擎 Beam

Google 开源大数据引擎 Beam_第1张图片
Beam 的 logo

Google 之前贡献给 Apache 基金会的大数据引擎 Beam,目前已经完成孵化,上升到一级项目,网址: https://beam.apache.org/

Apache Beam 称自己是一个高级的统一编程模型,可用于批处理或流失数据处理作业。你可以用它来创建一个数据处理管线,完成各种大并发的处理任务。

Apache Beam 目前支持 4 种后端 runner,分别为 Apache Apex、Apache Flink、Apache Spark,以及 Google Cloud Dataflow,均处于研发阶段。

目前支持的开发语言仅有 Java 一种,正处于活跃开发中。第二个将被支持的开发语言为 Python,即将面世。

据说这个引擎对机器学习的支持也不错,感兴趣的读者可以开始尝鲜了。Quickstart 链接: https://beam.apache.org/get-started/quickstart/

你可能感兴趣的:(Google 开源大数据引擎 Beam)