实验5 Spark SQL 编程初级实践

实验5 Spark SQL 编程初级实践

一、实验目的
(1)通过实验掌握Spark SQL的基本编程方法。
(2)熟悉RDD到DataFrame的转化方法。
(3)熟悉利用Spark SQL管理来自不同数据源的数据。

二、实验平台
操作系统:Linux
Spark版本:2.4.5
scala版本:2.11.8

三、实验内容和要求
1.Spark SQL基本操作
将下列JSON格式数据复制到Linux系统中,并保存命名为employee.json。

文件内容如下:

{ "id":1 , "name":" Ella" , "age":36 }
{ "id":2 , "name":"Bob","age":29 }
{ "id":3 , "name":"Jack","age":29 }
{ "id":4 , "name":"Jim","age":28 }
{ "id":4 , "name":"Jim","age":28 }
{ "id":5 , "name":"Damon" }
{ "id":5 , "name":"Damon" }

为employee.json创建DataFrame,并写出Scala语句完成下列操作:

 //导入相应的包
 import spark.implicits._
 //读取文件
 val df=spark.read.json("hdfs://master1:9000/spark/employee.json")

(1)查询所有数据;

 df.show()

实验5 Spark SQL 编程初级实践_第1张图片
(2)查询所有数据,并去除重复的数据;

 df.distinct.show()

实验5 Spark SQL 编程初级实践_第2张图片
(3)查询所有数据,打印时去除id字段;

	 df.drop("id").show()

实验5 Spark SQL 编程初级实践_第3张图片

(4)筛选出age>30的记录;

 df.filter(df("age")>30).show()

实验5 Spark SQL 编程初级实践_第4张图片
(5)将数据按age分组;

df.groupBy("age").count.show() 

实验5 Spark SQL 编程初级实践_第5张图片
(6)将数据按name升序排列;

 df.orderBy("name").show()
 或者
 df.sort(df("name").asc).show()

实验5 Spark SQL 编程初级实践_第6张图片实验5 Spark SQL 编程初级实践_第7张图片
(7)取出前3行数据;

 df.take(3)
 df.limit(3).show

在这里插入图片描述

(8)查询所有记录的name列,并为其取别名为username;

df.select(df("name").as("username")).show()

实验5 Spark SQL 编程初级实践_第8张图片

(9)查询年龄age的平均值;

 df.agg("age"->"avg").show()

实验5 Spark SQL 编程初级实践_第9张图片

(10)查询年龄age的最小值。

 df.agg("age"->"min").show()

实验5 Spark SQL 编程初级实践_第10张图片

你可能感兴趣的:(spark)