spark stdout中文乱码

1、前言

        作为一个工作在中国的程序员，在项目开发中经常会打印中文，当然在编程中运用中文（日志等）不可避免的会碰到编码问题，刚开始遇到编码问题时，我也是挺不乐意去研究的，后来静下心慢慢的去研究发现，其实并没有那么的难。

        关于这个主题，网上看到了都是一模一样，可参照性低，下面来详细讲讲遇到问题和解决办法。

2、问题

        现有两套CDH5.7.2集群，spark1.6-cdh5.7.2（内网和预发布），在一个Spark项目中进行了大量的中文日志打印，在win和内网发布日志打印都正常，但是发布到预发布集群，stdout中中文就乱码了。在Spark job UI上看到日志如图：

        由于在内网和开发集群上都没有问题，并且预发布和内网机器系统一样，检查系统的默认编码也是一致，如下图：

        所以认为是不是Spark ui上的编码存在问题，于是查看stdout所在executor机器的stdout文件的编码，如图：

        这就明白为啥会乱码了，日志输出的编码格式就不对了，不乱码才怪呢！可是这个日志输出格式在哪配置呢？

3、问题排查过程

        要知道java程序或者其他程序写文件时，会先将对象转为byte，然后再写入磁盘，磁盘只能存储二进制文件，所以查看String.getByte方法，发现编码来自这段代码：

        这里有一个defaultCharset，继续更进：

         至此也就明白一个java程序的编码设置位置，这里要谢谢这位博主的文章：http://blog.csdn.net/u010234516/article/details/52842170 ，他还有一篇解释UTf-8与GBK互转的文章，想一解编码疑惑的同学可以参考参考。

        这时需要先确认启动的Spark程序运用了什么编码格式，这个在Spark Job UI上就可以一目了然，如下图：

        这也就是日志文件的编码格式，那么要怎么将编码格式更改为UTF-8呢？在代码里设置是不管用的，想知道为啥？点这里！

        首先需要明确，一个java、scala程序的发布包括编写、编译和运行，那么也就涉及三个过程的编码格式，我们来一个个的确认。首先确认编码时采用的编码格式为UTF-8，这个采用idea和eclipse编码都可以非常简单的查看，idea如下图：

        显然代码编写时的编码没有问题，再看编译时的编码，我采用maven进行打包编译的，在pom.xml中有这么一行：

        也就是说编写、编译的编码格式都正常，那就是运行时的编码存在问题，那就需要在启动java进程时，设置编码格式，这里请参照Spark作业提交时的环境变量来源，

        最后再spark-submit的时候增加如下参数即可：参照Spark配置参数

--conf spark.driver.extraJavaOptions=" -Dfile.encoding=utf-8 " \

--conf spark.executor.extraJavaOptions=" -Dfile.encoding=utf-8 " \

那么spark默认在哪获取这个file.encoding呢？容我卖再研究下，写到下一篇文章里。