Lost executor 原因分析及解决方案-记录

Lost executor

node 丢失原因：

        1 、有时候是物理机导致的 node 暂时丢失，物理机恢复后   容器也自己恢复。如io过高

        2 、另一种就是物理机故障了   容器真丢了

异常信息：

 1 、 ERROR cluster.YarnScheduler: Lost executor

 2 、 ERROR client.TransportClient: Failed to send RPC

 3 、 WARN storage.BlockManagerMaster: Failed to remove RDD

 4 、 ERROR cluster.YarnScheduler: Lost executor 1 on 172.18.13.24: Slave lost

原因分析：

1 、 yarn 资源不够导致

2 、节点内存分配少， yarn kill 了 spark application

3 、 RDD 太大，导致内存不够

4 、网络太差导致

5 、 Lost executor

解决方案：

1 、 spark.executor.extraJavaOptions=-XX:MaxPermSize=1024M" --driver-java-options -XX:MaxPermSize=1024m

2 、增加 executor 内存

3 、 -Dspark.akka.frameSize=10000