Spark:java api读取hdfs目录下多个文件

需求:

由于一个大文件,在spark中加载性能比较差。于是把一个大文件拆分为多个小文件后上传到hdfs,然而在spark2.2下如何加载某个目录下多个文件呢?

public class SparkJob {
    public static void main(String[] args) {
        String filePath = args[0];
        // initialize spark session
        String appName = "Streaming-MRO-Load-Multiple-CSV-Files-Test";
        SparkSession sparkSession = SparkHelper.getInstance().getAndConfigureSparkSession(appName);

        // reader multiple csv files.
        try {
            Dataset rows = sparkSession.read().option("delimiter", "|").option("header", false)
                    .csv(filePath).toDF(getNCellSchema());
            rows.show(10);
        } catch (Exception ex) {
            ex.printStackTrace();
        }

        try {
            Dataset rows = sparkSession.read().textFile(filePath);
            rows.show(10);
        } catch (Exception ex) {
            ex.printStackTrace();
        }

        SparkHelper.getInstance().dispose();
    }

    private static Seq getNCellSchema() {
        List ncellColumns = "m_id,m_eid,m_int_id,.....";

        List columns = new ArrayList();
        for (String column : ncellColumns) {
            columns.add(column);
        }

        Seq columnsSet = JavaConversions.asScalaBuffer(columns);

        return columnsSet;
    }
}

测试结果:

Spark:java api读取hdfs目录下多个文件_第1张图片

 

你可能感兴趣的:(Spark:java api读取hdfs目录下多个文件)