Spark组件简介

Spark组件简介_第1张图片
Spark组件

Spark Core:

  • 包含Spark基本功能,包括任务调度,内存管理,容错机制等
  • 内部定义了RDDs(弹性分布式数据集)
  • 提供了许多APIs来创建和操作这些RDDs
  • 为其他组件提供底层服务

Spark SQL

  • Spark处理结构化数据的库,类似Hive SQL

Spark Streaming

  • 提供了API处理实时数据流
  • 企业中用来从Kafka接收数据做实时统计

Mlib

  • 机器学习包
  • 支持集群上的横向扩展

Graphx

  • 图处理库,进行图的并行计算
  • 提供了常用的图算法,eg:PageRank

Cluster Managers

  • 集群管理,Spark自带一个集群管理是单独调度器
  • 常见的集群管理包括Hadoop YARN,Apache Mesos

你可能感兴趣的:(Spark组件简介)