Spark常见问题解决-日志和排查办法

Spark日志与排查报错问题查看：

https://blog.csdn.net/qq_33588730/article/details/109353336

Spark常见问题

1. org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow
原因：kryo序列化缓存空间不足。

解决方法：增加参数，--conf spark.kryoserializer.buffer.max=2047m。

2. org.elasticsearch.hadoop.rest.EsHadoopNoNodesLeftException: Connection error
原因：此时es.port可能为9300，因为ElasticSearch客户端程序除了Java使用TCP方式连接ES集群以外，其他语言基本上都是使用的Http方式，ES客户端默认TCP端口为9300，而HTTP默认端口为9200。elasticsearch-hadoop使用的就是HTTP方式连接的ES集群。

解决方法：可以将es.port设置为 9200。

3. Error in query: nondeterministic expressions are only allowed in Project, Filter, Aggregate or Window, found
解决方法：如果是SparkSQL脚本，则rand()等函数不能出现在join...on的后面。

4. driver端日志中频繁出现：Application report for application_xxx_xxx (stage: ACCEPTED)
解决方法：通过yarn UI左侧的“Scheduler”界面，搜索自己