Apache Beam入门学习一

一、Beam编程基本概念

PCollection:数据集,可能是有界数据集(数据量有限)和无界数据集(数据量无限)

PTransform:对数据集进行计算处理,对输入的PCollection进行指定的计算逻辑处理产生输出PCollection

Pipeline:将PTransform和PCollection串起来的一个DAG(directed acyclic graph)

PipelineRunner:Pipeline执行环境

你可能感兴趣的:(Apache Beam入门学习一)