SPARK命令行读取parquet数据

1,进入spark shell

./spark-shell

SPARK命令行读取parquet数据_第1张图片

2,执行以下操作读取parquet文件

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val parquetFile = sqlContext.parquetFile("/home/neunntest/hdfs/dataSet/2018-1-2/iris20180102_1514855343/*.parquet")

3,打印具体内容

parquetFile.take(150).foreach(println)

SPARK命令行读取parquet数据_第2张图片

你可能感兴趣的:(SPARK命令行读取parquet数据)