Spark on yarn搭建

Spark 支持三种模式的部署方法,分别为standalone、yarn、mesoss,
这篇主要讲述yarn的部署方法

一、准备

1.1 说明:

  • 选spark的时候要注意与hadoop版本对应;
  • spark基于yarn来管理,spark只能安装在NodeManager节点上

1.2 服务器资源准备

本地已经搭建了7节点的hadoop(HA)集群

10.242.154.185  app201
10.242.154.186  app212
10.242.167.217  app211
10.242.167.218  app210
10.242.167.219  app209
10.242.167.220  app208
10.242.167.221  app207

1.3 安装包准备:

选择spark版本可以到官网下载安装包:
spark官网地址:http://spark.apache.org/downloads.html
我们使用的hadoop2.7.5,所以如图选择:
Spark on yarn搭建_第1张图片


二、配置



三、验证



四、测试

你可能感兴趣的:(Spark on yarn搭建)