Spark读取Json格式数据创建DataFrame 21

2. 读取Json文件创建DataFrame

  1. 数据文件
    spark安装包自带不通格式的数据,我们去spark包里面找json文件
/export/servers/spark/example/src/main/resourcces/people.json
  1. 在spark shell执行下面命令,读取数据
    这里我们使用通过SparkSession构建DataFrame
val jsonDF = spark.read.json("file:///export/servers/spark/examples/src/main/reesources/people.json")
  1. 接下来就可以使用DataFrame的函数操作
jsonDF.show

在这里插入图片描述

jsonDF.printSchema

在这里插入图片描述

你可能感兴趣的:(Spark社区)