spark-env.sh配置——Spark学习日记

大数据

Spark 不显示Worker问题

配置好spark后，输入jps只有Master，没有Worker

---

修改spark-env.sh文件

找到spark-env.sh位置

//我的spark-env.sh位置
/home/hadoopadmin/spark-2.3.1-bin-hadoop2.7/conf

如果有 template 结尾的文件，都重命名为去掉 template

编辑spark-env.sh文件

vim spark-env.sh

修改里面的内容

变量说明

• JAVA_HOME：Java安装目录
• SCALA_HOME：Scala安装目录
• HADOOP_HOME：hadoop安装目录
• HADOOP_CONF_DIR：hadoop集群的配置文件的目录
• SPARK_MASTER_IP：spark集群的Master节点的ip地址
• SPARK_WORKER_MEMORY：每个worker节点能够最大分配给exectors的内存大小
• SPARK_WORKER_CORES：每个worker节点所占有的CPU核数目
• SPARK_WORKER_INSTANCES：每台机器上开启的worker节点的数目

把更新过后的spark拷到其他虚拟机中

scp -r /home/hadoopadmin/spark-2.3.1-bin-hadoop2.7 hadoopadmin@ETC02:/home/hadoopadmin
scp -r /home/hadoopadmin/spark-2.3.1-bin-hadoop2.7 hadoopadmin@ETC03:/home/hadoopadmin

重新启动spark,再次用jps查看当前状态（启动spark之前，保证hadoop正在运行）