spark-yarn-cluster任务提交方式Logs出现Fails且无法访问

A1 原因

1. 提交方式：注意用yarn-cluster提交方式的命令
2. 日志没有收集
   

A2 解决

1. 用yarn-cluster提交方式的命令命令：./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-2.4.6.jar 10 或者 ./spark-submit --master yarn-cluster --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-2.4.6.jar 10
2. 配置文件中：yarn-site.xml 和 mapred-site.xml 中的节点配置是哪个节点则就在哪个节点中启动日志命令。mr-jobhistory-daemon.sh start historyserver
   如下面需都是node03，保持一致，同时在node03节点运行命令：mr-jobhistory-daemon.sh start historyserver
   yarn-site.xml中：

<property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
</property>
<property>
        <name>yarn.log.server.url</name>
        <value>http://node03:19888/jobhistory/logs</value>
</property>
<property>
       <name>yarn.nodemanager.remote-app-log-dir</name>
       <value>/tmp/logs</value>
</property>

mapred-site.xml中

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node03:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node03:19888</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/history/done</value>
    </property>
<!-- 正在运行的任务信息临时目录 -->
    <property>
        <name>mapreduce.jobhistory.intermediate.done-dir</name>
        <value>/history/done/done_intermediate</value>
    </property>

A3 相关

spark的任务提交方式 submit命令。