大数据技术——搭建spark集群出现的问题

Master启动slave20220802080104时出现的问题：

• ssh免密登录出现的问题：

报错“WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED”

 

解决方法：

1)通过 ssh-keygen 密钥工具更新

  ssh-keygen -f ~/.ssh/known_hosts -R 远程主机IP地址

2)手动清除 ～/.ssh/known_hosts 里面报错主机的公钥信息

vi ~/.ssh/known_hosts

 

• 出现权限问题

• 

 

解决方法：

修改spark权限为hadoop

sudo chown -R hadoop:hadoop ./spark/

 

• Master启动slave20220802080104时提示JAVA_HOME is not set

• 

 

解决方法：

该错误是因为spark_env.sh文件中JAVA_HOME环境没有配置

spark-env.sh 中添加jdk 路径
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
如下：

 

启动成功