scala编写spark报错java.lang.ArrayIndexOutOfBoundsException: 10582

当前环境:jdk1.8+scala2.12+spark2.4

 
            org.apache.spark
            spark-core_2.12
            2.4.0
 

多次执行都发现创建RDD报该错误。

val rdd1 = sc.textFile("C:\\Users\\Administrator\\Desktop\\test.txt")

换其他方式创建RDD,同样报错:

sc.parallelize(List(1,2,3,4,5,6))

。。。。。。。
其实是因为jdk1.8的paranamer版本问题。
解决方案:
maven多引用一个包即可。。

       
            com.thoughtworks.paranamer
            paranamer
            2.8
        

你可能感兴趣的:(spark,Scala)