大数据集群运行过程中出现的问题解决方案

1、Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/.sparkStaging/application_1561599084053_0003/__spark_libs__1535509378331375892.zip could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.

解决方案：进入hadoop目录下etc/hadoop中找到hdfs-site.xml文件，然后打开，找到namenode和datanode的目录

每个人放的目录不一样，我是放在/home/hadoop/data下，然后查看namenode和datanode下VERSION中clusterID

 发现二者的clusterID不一致，将datanode的clusterID改成跟namenode的clusterID一致，各个节点得查看是否一致，若不一致就得修改，修改以后重启即可。

2、File file:/root/.sparkStaging/application_1561433677781_0001/__spark_libs__8780650763159643665.zip does not exist

解决方案：因为spark和Hadoop的配置路径进行过更改与更新，在spark-env.sh文件中Hadoop_conf_home没有更新，导致spark无法正确读取yarn集群的配置内容。导致了错误。

修改spark安装目录下/conf/spark-env.sh文件中的HADOOP_CONF_DIR，看看是否配置错了hadoop的路径

3、spark on yarn 错误ExitCodeException exitCode=13

解决方案： exitCode=13是集群模式冲突，查看程序中是否设置了.master(MASTER)或者.setMaster(MASTER)或者.setMaster("local[1]")或者.setMaster("local[*]")，把这个去掉即可

4、Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties. If you moved your data, make sure your configured broker.id matches. If you intend to create a new broker, you should remove all data in your data directories (log.dirs)

原因：kafka/config/server.properties中的broke.id跟log.dirs目录下meta.properties中的broke.id不一致

解决方案：在server.properties中找到log.dirs的目录，一般默认是放在/tmp/kafka-logs下，然后在/tmp/kafka-logs下找到meta.properties，将其中的broke.id改成跟server.properties中的broke.id一致。