Spark SQL DataFrame创建一文详解运用与方法

 


前言

配置的虚拟机为Centos6.7系统,hadoop版本为2.6.0版本,先前已经完成搭建CentOS部署Hbase、CentOS6.7搭建Zookeeper和编写MapReduce前置插件Hadoop-Eclipse-Plugin 安装。在此基础上完成了Hive详解以及CentOS下部署Hive和Mysql和Spark框架在CentOS下部署搭建。Spark的组件Spark SQL的部署:Spark SQL CLI部署CentOS分布式集群Hadoop上方法。

配置JDK1.8、Scala11.12

本文将介绍DataFrame基础操作以及实例运用


 

一、DataFrame

Spark SQL提供了一个名为DataFrame的抽象编程模型,是由SchemaRDD发展而来。不同于SchemaRDD直接继承RDD,DataFrame自己实现了RDD的绝大多数功能。可以把Spark SQL DataFrame理解为一个分布式的Row对象的数据集合。

Spark SQL已经集成在spark-shell中,因此只要启动spark-shell就可以使用Spark SQL的Shell交互接口。如果在spark-shell中执行SQL语句,需要使用SQLContext对象来调用sql()方法。Spark SQL对数据的查询分成了两个分支:SQLContext和HiveContext,其中HiveContext继承了SQLContext,因此HiveContext除了拥有SQLContext的特性之外还拥有自身的特性。

 

二、创建DataFrame对象

DataFrame可以通过结构化数据文件、Hive中的表、外部数据库、Spark计算过程中生成的RDD进行创建。不同的数据源转换成DataFrame的方式也不同。

创建sqlContext对象:

val sqlContext=new org.apache.spark.sql.SQLContext(sc)

通过这种方式创建的SQLContext只能执行SQL语句,不能执行HQL的语句。

创建HiveContext对象:

 val hiveContext=new org.apache.spark.sql.hive.HiveContext(sc)

HiveContext不仅支持HiveQL语法解析器,同时也支持SQL语法解析器。

1.结构化数据文件创建DataFrane

一般情况下,把结构化数据文件存储在HDFS。Spark SQL最常见的结构化数据文件格式是Parquet文件或JSON文件。Spark SQL可以通过load()方法将HDFS上的格式化文件转换为DataFrame,load默认导入的文件格式是Parquet。

JSON文件转换DataFrame有两种方法,一种使用format()方法:

val dfPeople=sqlContext.read.format(“json”).load(“/user/SparkSql/”test2.json")

也可以直接用json()方法:

2.外部数据库创建DataFrame

SparkSQL还可以从外部数据库中创建DataFrame,使用这种方式创建DataFrame需要通过JDBC连接或者ODBC连接的方式访问数据库。

这个应该是常用方法通过数据库导入,本人虚拟机MYsql并没有导入文件这里不作演示,代码:

val jdbcDF=sqlContext.read.format("jdbc").options(

|Map("url"->url,

|"user"->"root",

|"passwword"->"root",

|"dbtable"->"people")).load()

3.RDD创建DataFrame

RDD数据转为DataFrame有两种方式:

第一种方式利用反射机制推断RDD模式,需要定义一个case class类:

Spark SQL DataFrame创建一文详解运用与方法_第1张图片

第二种方式是当无法提前定义case class时,可以采用编程指定Schema的方式将RDD转换成DataFrame。通过编程指定Schame需要3步:

(1)从原来的RDD创建一个元组或列表的RDD。

(2)用StructType创建一个和步骤(1)在创建的RDD中元组或列表的结构相匹配的Schema。

(3)通过SQLContext提供的createDataFrame方法将Schema应用到RDD上。

Spark SQL DataFrame创建一文详解运用与方法_第2张图片

 

4.Hive中的表创建DataFrame

从Hive表中的表创建DataFrame,可以声明一个HiveContext对象:

你可能感兴趣的:(Spark,分布式,大数据,hive,spark)