SparkSQL之数据加载保存

目录

1 通用加载保存

2 Parquet

3 JSON

4 CSV

5 MySQL

6 Hive

6.1 内置Hive

6.2 外部Hive

6.3 运行 Spark SQL CLI

6.4 运行Spark beeline

6.5 代码操作Hive

---

1 通用加载保存

        SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式为 parquet

1）加载数据

scala> spark.read        
csv   format   jdbc   json   load   option   options   orc   parquet   schema   table   text   textFile

 如果读取不同格式的数据，可以对不同的数据格式进行设定

scala> spark.read.format("…")[.option("…")].load("…")

• format("…")：指定加载的数据类型，括"csv"、"jdbc"、"json"、"orc"、"parquet"和"textFile"。
• load("…")：在"csv"、"jdbc"、"json"、"orc"、"parquet"和"textFile"格式下需要传入加载数据的路径。
• option("…")：在"jdbc"格式下需要传入 JDBC 相应参数，url、user、password 和 dbtable

scala> spark.read.format("json").load("data/user.json").show
+---+--------+
|age|username|
+---+--------+
| 20|    小王|
| 30|    小李|
| 40|    小黑|
+---+--------+

我们前面都是使用read API 先把文件加载到 DataFrame 然后再查询，其实，我们也可以直接在文件上进行查询:  文件格式.`文件路径`

scala> spark.sql("select * from json.`data/user.json`").show
+---+--------+
|age|username|
+---+--------+
| 20|    小王|
| 30|    小李|
| 40|    小黑|
+---+--------+

2）保存数据

df.write.save 是保存数据的通用方法

scala> val df = spark.read.format("json").load("data/user.json")
df: org.apache.spark.sql.DataFrame = [age: bigint, username: string]

scala> df.write.
bucketBy   format       jdbc   mode     options   parquet       save          sortBy      
csv        insertInto   json   option   orc       partitionBy   saveAsTable   text 

如果保存不同格式的数据，可以对不同的数据格式进行设定

scala>df.write.format("…")[.option("…")].save("…")

• format("…")：指定保存的数据类型，括"csv"、"jdbc"、"json"、"orc"、"parquet"和"textFile"。
• save ("…")：在"csv"、"orc"、"parquet"和"textFile"格式下需要传入保存数据的路径。
• option("…")：在"jdbc"格式下需要传入 JDBC 相应参数，url、user、password 和 dbtable

 保存操作可以使用 SaveMode, 用来指明如何处理数据，使用 mode()方法来设置。有一点很重要: 这些 SaveMode 都是没有加锁的, 也不是原子操作。

SaveMode 是一个枚举类，其中的常量包括：

Scala/Java	Any Language	Meaning
SaveMode.ErrorIfExists(default)	"error"(default)	如果文件已经存在则抛出异常
SaveMode.Append	"append"	如果文件已经存在则追加
SaveMode.Overwrite	"overwrite"	如果文件已经存在则覆盖
SaveMode.Ignore	"ignore"	如果文件已经存在则忽略

scala> df.write.mode("append").save("/opt/module/spark-local/data/save")

 默认保存类型为parquet

2 Parquet

        Spark SQL 的默认数据源为 Parquet 格式。Parquet 是一种能够有效存储嵌套数据的列式存储格式。

        数据源为 Parquet 文件时，Spark SQL 可以方便的执行所有的操作，不需要使用 format。修改配置项spark.sql.sources.default，可修改默认数据源格式。

1）加载数据

scala> val df = spark.read.load("examples/src/main/resources/users.parquet")
df: org.apache.spark.sql.DataFrame = [name: string, favorite_color: string ... 1 more field]

scala> df.show
+------+--------------+----------------+
|  name|favorite_color|favorite_numbers|
+------+--------------+----------------+
|Alyssa|          null|  [3, 9, 15, 20]|
|   Ben|           red|              []|
+------+--------------+----------------+

2）保存数据

scala> var df = spark.read.json("/opt/module/data/input/people.json")
//保存为 parquet 格式
scala> df.write.mode("append").save("/opt/module/data/output")

3 JSON

        Spark SQL 能够自动推测 JSON 数据集的结构，并将它加载为一个Dataset[Row]. 可以通过 SparkSession.read.json()去加载 JSON 文件。

注意：Spark 读取的 JSON 文件不是传统的JSON 文件，每一行都应该是一个 JSON 串。

{"name":"Michael"}
{"name":"Andy"， "age":30}
[{"name":"Justin"， "age":19},{"name":"Justin"， "age":19}]

1）加载数据

df.write.json("/opt/module/spark-local/data/user2.json")

2）保存数据

df.write.json("/opt/module/spark-local/data/save2")

 

4 CSV

Spark SQL 可以配置 CSV 文件的列表信息，读取CSV 文件,CSV 文件的第一行设置为数据列

1）加载数据

// 读取 CSV 文件
val df = spark.read.csv("path/to/file.csv")

2）保存数据

// 创建 DataFrame
val data = Seq(("Alice", 25), ("Bob", 30), ("Charlie", 35))
val df = spark.createDataFrame(data).toDF("name", "age")

// 保存 DataFrame 为 CSV 文件
df.write.csv("path/to/output.csv")

5 MySQL

1）加载数据

// 读取数据
val df = spark.read
	.format("jdbc")
	.option("url", "jdbc:mysql://localhost:3306/databuild")
	.option("driver", "com.mysql.jdbc.Driver")
	.option("user", "root")
	.option("password", "tiger")
	.option("dbtable", "goods")
	.load()

df.show()

2）保存数据

// 保存数据
df.write
	.format("jdbc")
	.option("url", "jdbc:mysql://localhost:3306/databuild")
	.option("driver", "com.mysql.jdbc.Driver")
	.option("user", "root")
	.option("password", "tiger")
	.option("dbtable", "goods1")
	.mode(SaveMode.Append)
	.save()

6 Hive

        Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive  支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说，最好还是在编译 Spark SQL 时引入 Hive 支持，这样就可以使用这些特性了。如果你下载的是二进制版本的 Spark，它应该已经在编译时添加了 Hive 支持。

        若要把 Spark SQL 连接到一个部署好的 Hive  上，你必须把 hive-site.xml 复制到Spark 的配置文件目录中($SPARK_HOME/conf)。即使没有部署好 Hive，Spark SQL 也可以运行。 需要注意的是，如果你没有部署好 Hive，Spark SQL 会在当前的工作目录中创建出自己的 Hive 元数据仓库，叫作 metastore_db。此外，如果你尝试使用 HiveQL 中的CREATE TABLE (并非 CREATE EXTERNAL TABLE)语句来创建表，这些表会被放在你默认的文件系统中的 /user/hive/warehouse 目录中(如果你的 classpath 中有配好的hdfs-site.xml，默认的文件系统就是 HDFS，否则就是本地文件系统)。

spark-shell 默认是Hive 支持的；代码中是默认不支持的，需要手动指定（加一个参数即可）。

6.1 内置Hive

scala> spark.sql("create table userid(id int)")
23/04/06 15:17:22 WARN SessionState: METASTORE_FILTER_HOOK will be ignored, since hive.security.authorization.manager is set to instance of HiveAuthorizerFactory.
23/04/06 15:17:22 WARN HiveConf: HiveConf of name hive.internal.ss.authz.settings.applied.marker does not exist
23/04/06 15:17:22 WARN HiveConf: HiveConf of name hive.stats.jdbc.timeout does not exist
23/04/06 15:17:22 WARN HiveConf: HiveConf of name hive.stats.retries.wait does not exist
23/04/06 15:17:22 WARN HiveMetaStore: Location: file:/opt/module/spark-local/bin/spark-warehouse/userid specified for non-external table:userid
res6: org.apache.spark.sql.DataFrame = []

 生成Hive元数据

scala> spark.sql("show tables").show
+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| default|   userid|      false|
|        |     user|       true|
+--------+---------+-----------+

向表中加入数据

scala> spark.sql("load data local inpath '../data/id.txt' into table userid")
res7: org.apache.spark.sql.DataFrame = []

scala> spark.sql("show tables").show
+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| default|   userid|      false|
|        |     user|       true|
+--------+---------+-----------+


scala> spark.sql("select * from userid")
res9: org.apache.spark.sql.DataFrame = [id: int]

scala> spark.sql("select * from userid").show
+---+
| id|
+---+
|  1|
|  2|
|  3|
|  4|
|  5|
|  6|
+---+

在实际使用中, 几乎没有任何人会使用内置的 Hive 

6.2 外部Hive

如果想连接外部已经部署好的Hive，需要通过以下几个步骤：

• Spark 要接管 Hive 需要把hive-site.xml 拷贝到conf/目录下
• 把 Mysql 的驱动 copy 到 jars/目录下
• 如果访问不到 hdfs，则需要把 core-site.xml 和 hdfs-site.xml 拷贝到 conf/目录下
• 重启spark-shell

6.3 运行 Spark SQL CLI

Spark SQL CLI 可以很方便的在本地运行Hive 元数据服务以及从命令行执行查询任务。在

Spark 目录下执行如下命令启动 Spark SQL CLI，直接执行 SQL 语句，类似一Hive 窗口

bin/spark-sql

6.4 运行Spark beeline

Spark Thrift Server 是Spark 社区基于HiveServer2 实现的一个Thrift 服务。旨在无缝兼容HiveServer2。因为 Spark Thrift Server 的接口和协议都和HiveServer2 完全一致，因此我们部署好 Spark Thrift Server 后，可以直接使用hive 的 beeline 访问Spark Thrift Server 执行相关语句。Spark Thrift Server 的目的也只是取代HiveServer2，因此它依旧可以和 Hive Metastore 进行交互，获取到hive 的元数据。

如果想连接Thrift Server，需要通过以下几个步骤：

• Spark 要接管 Hive 需要把hive-site.xml 拷贝到conf/目录下
• 把 Mysql 的驱动 copy 到 jars/目录下
• 如果访问不到 hdfs，则需要把 core-site.xml 和 hdfs-site.xml 拷贝到 conf/目录下
• 启动Thrift Server

sbin/start-thriftserver.sh

• 使用 beeline 连接 Thrift Server

bin/beeline -u jdbc:hive2://linux1:10000 -n root

 6.5 代码操作Hive

1) 导入依赖

org.apache.spark
spark-hive_2.12
3.0.0



org.apache.hive
hive-exec
1.2.1


mysql
mysql-connector-java
5.1.27

2）将hive-site.xml 文件拷贝到项目的 resources 目录中，代码实现

//创建 SparkSession
val spark: SparkSession = SparkSession
.builder()
.enableHiveSupport()
.master("local[*]")
.appName("sql")
.getOrCreate()

注意：在开发工具中创建数据库默认是在本地仓库，通过参数修改数据库仓库的地址:

config("spark.sql.warehouse.dir", "hdfs://linux1:8020/user/hive/warehouse")

如果在执行操作时，出现如下错误：

可以代码最前面增加如下代码解决：

System.setProperty("HADOOP_USER_NAME", "root")                              

此处的 root 改为你们自己的 hadoop 用户名称