Spark读取数据(GBK)乱码解决


// 可以使用以下方式读取text文件数据

JavaRDD rdd = sc.hadoopFile("PSP_MCC_CB.TXT", TextInputFormat.class, LongWritable.class, Text.class).map(new Function, String>() {
    @Override
    public String call(Tuple2 tuple)throws Exception {
        return new String(tuple._2.getBytes(), 0, tuple._2.getLength(), "GBK");
    }
});

你可能感兴趣的:(Spark读取数据(GBK)乱码解决)