基于Hadoop集群的Spark集群搭建

基于Hadoop集群的Spark集群搭建

一. 单机版Spark搭建

(1)将下载下来的软件包拉至集群中(主节点上)

(2)解压至指定目录

(3)将解压下的文件移至某个特定目录下并查看

(4)修改环境变量

(5)使环境变量生效并进入scala命令行测试；

(6）解压scala压缩包并放置指定目录；

(7)添加环境变量

(8)生效环境变量并测试spark(source .bash_profile)

(9)单机版网页spark测试(主机地址为你当前虚拟机地址，在启动spark的时候你可以看到)

二. 集群版Spark搭建

(1)修改spark配置文件(注意目录)

(2)修改配置文件(加入你集群的主机名)

(3)生成配置文件并修改配置文件(jdk为你本机安装位置)


(4)向集群中其他主机发送

(5)启动Hadoop集群(start-all.sh),启动spark集群(在spark目录下的sbin目录下启动)(主节点启动有Master，从节点为Worker)

(6)查看端口

三. 访问方式
(1)添加本地映射端口localhost+8080的方式访问




(2)通过主节点IP地址+端口号进入Web端页面查看

至此，Spark集群搭建完毕。

四. 运行wordcounut程序
(1)在Hadoop集群中放置所需要的.txt文件

(2)执行命令spark-shell进入命令端后执行命令如下

至此，wordcount程序执行成功。

• 参考资源：https://www.cnblogs.com/zyrblog/p/8527048.html https://www.cnblogs.com/swordfall/p/7903678.html