Spark读取文本文档创建DataFrame, 通过RDD转换成DataFrame, 通过SparkSession构建DataFrame 20

前言

• 在Spark2.0版本之前,Spark SQL中SQLContext是创建DataFrame和执行SQL的入口,可以利用hiveContext通过hive sql语句操作hive表数据,兼容hive操作,并且hiveContext继承自SQLContext.
• 在Spark2.0之后,这些都统一于SparkSession.SparkSession封装了SparkContext,SqlContext,通过SparkSession可以获取到SparkContext,SqlContent对象.
  

1. 读取文本文件创建DataFrame

1.1 通过RDD转换成DataFrame

文本文件即后缀为.txt的文件,如何读取呢,步骤如下:

1. 在本地创建一个文件person.txt,有三列id,name,age.列中的值用空格分隔,然后上传到hdfs上.

1 zhangsan 20
2 lisi 29
3 wangwu 25
4 zhaoliu 30
5 tianqi 35
6 kobe 40

上传数据文件到hdfs上:
hdfs dfs -put person.text /
2. 在spark shell执行如下命令,读取数据,将每一行的数据使用列分隔符分割.

• 先执行 spark-shell --master local[2]
• 然后在命令行输入val lineRDD = sc.textFile("/persont.txt").map(_.split(" "))
  

3. 定义case class(相当于表的schema约束)
   命令行继续输入case class Person(id:Int, name:String, age:Int)
   
4. 将RDD和case class关联
   命令行继续输入val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
   5. 将RDD转换成DataFrame
   命令行继续输入val personDF = personRDD.toDF
   
5. 展示出DataFrame中的数据
   命令行继续输入personDF.show
   
   我们可以看下personDF的约束
   

1.2 通过SparkSession构建DataFrame

使用spark-shell中已经初始化好的SparkSession对象,直接生成DataFrame

• 先执行spark-shell --master local[2]
• 命令行继续输入val dataFrame = spark.read.text("/person.txt")