spark各种报错汇总以及解决方法

这篇文章主要记录下spark中遇到的各种问题,以及解决方法(以后会持续的更新)

1.File does not exist. Holder DFSClient_NONMAPREDUCE_-67513653_1 does not have any open files

今天早上发现程序报了一个这个错误,目前还没找到报错的原因,先记录一下吧.

2.org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions

这个报错是因为startoffest越界了,在设置offest的判断一下就好了.

3,Cannot use map-side combining with array keys

这个报错是因为应该使用flatMap的,但是却用了map,这两者的区别请看这里.

4,KafkaConsumer is not safe for multi-threaded access

报这个错其实是spark的一个bug,在spark2.1.0和spark2.2.0会出现,2.4.0已经修复

issues列表:https://issues.apache.org/jira/browse/SPARK-23636

5,java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/StringDeserializer

报这个错是因为少一个jar包,把下面的jar包打到依赖包就可以了