Spark 无法打开WebUI界面的解决方法

1.遇到的问题

在chrome浏览器中输入https://master:8080后无法访问此网站。

2. 原因

出现这个问题的原因是：8080端口号被占用了或者你得输入http 不能输入 https

3. 解决方法

端口号重复的解决方法：

1. 进入spark安装目录下的sbin目录
2. vim ./start-master.sh
3. 找到 if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then SPARK_MASTER_WEBUI_PORT=8001 fi后，修改端口号为8001（我这里已经修改过了）
4. 在浏览器输入http://master:8001成功打开webUI
   

4. 我为什么设置master端口号为8001

之前在csdn搜的一些文章里把master的端口号设成了8081，一开始我也是这么改的，但是后来发现并不适合我。因为我搭建的是Spark HA集群,之后的话还要在centos1这台机器上启动Master结点。

这是cenots1启动master后的jps

如果我设置的是8081端口，我想打开centos1的webUI，输入了http:centos1:8081
结果进入的却是worker的UI。这是因为worker的UI的端口号本来就是8081
这是 start-slave.sh中的设置

所以这时又产生了端口冲突，导致打开的是worker的UI，所以我将第三步的端口号设成了8001，成功解决问题！