java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext,sparkcontext无法被序列化的问题

sparkcontext无法被序列化的问题,当我们在使用RDD调用map等算子,或者Dstream使用transform时,我们需要在它们的重写的方法里面,需要利用sparkcontext 比如把一个集合转化为RDD,但是一运行就报java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext(sparkcontext序列化异常)

java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext,sparkcontext无法被序列化的问题_第1张图片

因为它是不能序列化的,这时候我们可以使用static来修饰:

设置一个全局变量,用static来修饰就可以了

public static JavaSparkContext sparkContext = null;

你可能感兴趣的:(java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext,sparkcontext无法被序列化的问题)