spark集群启动后WorkerUI界面看不到Workers解决

关闭防火墙修改conf/spark-env.sh 设置主节点信息和当前节点ip 添加slaves文件添加节点ip或hostname

spark-env.sh最后添加,其他节点修改这个文件

export SPARK_MASTER_HOST=192.168.5.10
export SPARK_MASTER_IP=192.168.5.10
export SPARK_MASTER_PORT=7077
export SPARK_LOCAL_IP=192.168.5.10

slaves添加 

master
node1
node2

sbin\spark-config.sh最后要加

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera

同时cong/spark-defualt.conf文件修改了7337端口不知道是否有效

主节点

./sbin/start-all.sh

如果报错Failed to create work directory xxx/spark/work

路径就是报错的那个路径

rm -rf /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/work 

再stop,start

访问http://192.168.5.10:8080/

work上就能看到了,如果内存比较小会有各种问题

启动spark-shell报内存错误,自己free -m看还有多少

spark-shell --executor-memory 600m