SPARK-SQL 读取外部数据源 txt文件的读写

相关的资源文件地址

链接：https://pan.baidu.com/s/1QGQIrVwg56g9eF16ERSLwQ 
提取码：7v8n

txt 文件读写示例

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;

public class test10 {
    public static void main(String[] args) {
        SparkSession spark = SparkSession
                .builder()
                .config("spark.driver.host", "localhost")
                .appName("TextFileTest")
                .master("local")
                .getOrCreate();

        spark.sparkContext().setLogLevel("ERROR");

        //1: 将json文件数据转化成text文件数据，
        //**********注意只能保存一列**********
        //compression 压缩编解码器
        //`none`, `bzip2`, `gzip`
        Dataset jsonDF = spark.read().json(Utils.BASE_PATH + "/people.json");
        jsonDF.select("name")
                .write()
                .mode(SaveMode.Overwrite)
                .option("compression", "bzip2")
                .text(Utils.BASE_PATH + "/text");

        //读取text文件，返回DataFrame
        Dataset textDF = spark.read().text(Utils.BASE_PATH + "/text");
        textDF.show();
//        +-------+
//        |  value|
//        +-------+
//        |Michael|
//        |   Andy|
//        | Justin|
//        +-------+

        //读取text文件，返回Dataset
        Dataset textDS = spark.read().textFile(Utils.BASE_PATH + "/text");
        textDS.show();
//        +-------+
//        |  value|
//        +-------+
//        |Michael|
//        |   Andy|
//        | Justin|
//        +-------+

        spark.stop();
    }
}