Spark Streaming 中文乱码问题解决

    最近用Spark Streaming从Kafka接数据进行处理，是对中文的内容进行计算。发现处理时中文全变成了????????的形式，导致处理的结果和预期的不一样。

    遇到这种情况，想到的就是编码问题，因为在在本地运行spark streaming是可以处理中文的，放到集群上就不行了。

 解决方法：

集群上提交spark任务，指定参数

--conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"

重新提交任务，中文显示正常