第4章 大数据Spark连接HBase数据读取与保存

上篇：第3章 键值对RDD数据分区器

---

数据读取与保存

Spark的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。
文件格式分为：Text文件、Json文件、Csv文件、Sequence文件以及Object文件；
文件系统分为：本地文件系统、HDFS、HBASE以及数据库

1、文件类数据读取与保存

Text文件

1）数据读取:textFile(String)

scala> val hdfsFile = sc.textFile("hdfs://hadoop105:9000/fruit.txt")

hdfsFile: org.apache.spark.rdd.RDD[String] = hdfs://hadoop102:9000/fruit.txt MapPartitionsRDD[21] at textFile at <console>:24

2）数据保存: saveAsTextFile(String)

scala> hdfsFile.saveAsTextFile("/fruitOut")

Json文件

如果JSON文件中每一行就是一个JSON记录，那么可以通过将JSON文件当做文本文件来读取，然后利用相关的JSON库对每一条数据进行JSON解析。
注意：使用RDD读取JSON文件处理很复杂，同时SparkSQL集成了很好的处理JSON文件的方式，所以应用中多是采用SparkSQL处理JSON文件。

准备文件数据：
（1）在in文件夹下创建user.json文件数据，编辑内容：

{
     "name":"123","age": 20}
{
     "name":"456","age": 20}
{
     "name":"789","age": 20}

方式一：

代码实现：

package com.study.bigdatabase

import org.apache.spark.rdd.RDD
import org.apache.spark.{
     SparkConf, SparkContext}
import org.mortbay.util.ajax.JSON
//检查点
object Spark06_RDD_Serializable {
     
  def main(args: Array[String]): Unit = {
     

    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")

    //创建Spark上下文对象
    val sc = new SparkContext(config)
   //读取文件
    val json = sc.textFile("in/user.json")

    //解析json数据
    val result  = json.map(JSON.parse)
    result.foreach(println)
    //释放资源
    sc.stop()
  }


}

启动程序，控制台打印：

方式二：

命令方式：

（1）导入解析json所需的包

scala> import scala.util.parsing.json.JSON

（2）上传json文件到HDFS

[root@hadoop105 spark]$ hadoop fs -put ./examples/src/main/resources/people.json /

（3）读取文件

scala> val json = sc.textFile("/people.json")
json: org.apache.spark.rdd.RDD[String] = /people.json MapPartitionsRDD[8] at textFile at <console>:24

（4）解析json数据

scala> val result  = json.map(JSON.parseFull)
result: org.apache.spark.rdd.RDD[Option[Any]] = MapPartitionsRDD[10] at map at <console>:27

（5）打印

scala> result.collect
res11: Array[Option[Any]] = Array(Some(Map(name -> Michael)), Some(Map(name -> Andy, age -> 30.0)), Some(Map(name -> Justin, age -> 19.0)))

---

3、 Sequence文件

SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。Spark 有专门用来读取 SequenceFile 的接口。在 SparkContext 中，可以调用 sequenceFile keyClass, valueClass。
注意：SequenceFile文件只针对PairRDD

（1）创建一个RDD

scala> val rdd = sc.parallelize(Array((1,2),(3,4),(5,6)))
rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollectionRDD[24] at parallelize at <console>:26

（2）将RDD保存为Sequence文件

scala> rdd.saveAsSequenceFile("file:///opt/module/spark/seqFile")

（3）查看该文件

[root@hadoop105 seqFile]$ pwd
/opt/module/spark/seqFile

[root@hadoop105 seqFile]$ ll
总用量 8
-rw-r--r-- 1 atguigu atguigu 108 10月  9 10:29 part-00000
-rw-r--r-- 1 atguigu atguigu 124 10月  9 10:29 part-00001
-rw-r--r-- 1 atguigu atguigu   0 10月  9 10:29 _SUCCESS

[root@hadoop105 seqFile]$ cat part-00000
SEQ org.apache.hadoop.io.IntWritable org.apache.hadoop.io.IntWritableط

（4）读取Sequence文件

scala> val seq = sc.sequenceFile[Int,Int]("file:///opt/module/spark/seqFile")
seq: org.apache.spark.rdd.RDD[(Int, Int)] = MapPartitionsRDD[18] at sequenceFile at <console>:24

（5）打印读取后的Sequence文件

scala> seq.collect
res14: Array[(Int, Int)] = Array((1,2), (3,4), (5,6))

---

4、 对象文件

对象文件是将对象序列化后保存的文件，采用Java的序列化机制。可以通过objectFile [k,v] (path) 函数接收一个路径，读取对象文件，返回对应的 RDD，也可以通过调用saveAsObjectFile() 实现对对象文件的输出。因为是序列化所以要指定类型。

（1）创建一个RDD

scala> val rdd = sc.parallelize(Array(1,2,3,4))
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[25] at parallelize at <console>:26

（2）将RDD保存为Object文件

scala> rdd.saveAsObjectFile("file:///opt/module/spark/objectFile")

（3）查看该文件

[root@hadoop105 objectFile]$ pwd
/opt/module/spark/objectFile

[root@hadoop105 objectFile]$ ll
总用量 8
-rw-r--r-- 1 atguigu atguigu 142 10月  9 10:37 part-00000
-rw-r--r-- 1 atguigu atguigu 142 10月  9 10:37 part-00001
-rw-r--r-- 1 atguigu atguigu   0 10月  9 10:37 _SUCCESS

[root@hadoop105 objectFile]$ cat part-00000 
SEQ!org.apache.hadoop.io.NullWritable"org.apache.hadoop.io.BytesWritableW@`l

（4）读取Object文件

scala> val objFile = sc.objectFile[Int]("file:///opt/module/spark/objectFile")

objFile: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[31] at objectFile at <console>:24

（5）打印读取后的Sequence文件

scala> objFile.collect
res19: Array[Int] = Array(1, 2, 3, 4)

---

5、文件系统类数据读取与保存

HDFS

Spark的整个生态系统与Hadoop是完全兼容的,所以对于Hadoop所支持的文件类型或者数据库类型,Spark也同样支持.另外,由于Hadoop的API有新旧两个版本,所以Spark为了能够兼容Hadoop所有的版本,也提供了两套创建操作接口.对于外部存储创建操作而言,hadoopRDD和newHadoopRDD是最为抽象的两个函数接口,主要包含以下四个参数.

1）输入格式(InputFormat):
制定数据输入的类型,如TextInputFormat等,新旧两个版本所引用的版本分别是org.apache.hadoop.mapred.InputFormat和org.apache.hadoop.mapreduce.InputFormat(NewInputFormat)

2）键类型: 指定[K,V]键值对中K的类型

3）值类型: 指定[K,V]键值对中V的类型

4）分区值:
指定由外部存储生成的RDD的partition数量的最小值,如果没有指定,系统会使用默认值defaultMinSplits
注意:其他创建操作的API接口都是为了方便最终的Spark程序开发者而设置的,是这两个接口的高效实现版本.例如,对于textFile而言,只有path这个指定文件路径的参数,其他参数在系统内部指定了默认值。

1.在Hadoop中以压缩形式存储的数据,不需要指定解压方式就能够进行读取,因为Hadoop本身有一个解压器会根据压缩文件的后缀推断解压算法进行解压.

2.如果用Spark从Hadoop中读取某种类型的数据不知道怎么读取的时候,上网查找一个使用map-reduce的时候是怎么读取这种这种数据的,然后再将对应的读取方式改写成上面的hadoopRDD和newAPIHadoopRDD两个类就行了

---

6、MySQL数据库连接

支持通过Java JDBC访问关系型数据库。需要通过JdbcRDD进行，示例如下:

数据库准备：

（1）添加依赖

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.27</version>
</dependency>

代码实现：

package com.study.bigdatabase

import org.apache.spark.rdd.JdbcRDD
import org.apache.spark.{
     SparkConf, SparkContext}

//检查点
object Spark07_RDD_MySql {
     
  def main(args: Array[String]): Unit = {
     

    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")

    //创建Spark上下文对象
    val sc = new SparkContext(config)

    val driver="com.mysql.jdbc.Driver"
    var url="jdbc:mysql://hadoop105:3306/RDD"
    val userName="root"
    val password="123456"

    //创建 JDBCRDD，方法数据库
    var sql ="select name,age from user where id >= ? and id <= ?"
    val jdbcRDD = new JdbcRDD(
      sc,
      () => {
     
        //获取数据库连接对象
        Class.forName(driver)
        java.sql.DriverManager.getConnection(url, userName, password)
      },
      sql,
      1,
      3,
      2,
      
      (rs)=>{
     
        println(rs.getString(1)+","+rs.getInt(2))
      }
    )
    jdbcRDD.collect()

    //释放资源
    sc.stop()
  }


}

启动程序，控制台打印信息：

若代码中sql这样编写，会出错：

 var sql ="select name,age from user"

运行程序，查看信息：

保存数据

准备user表：空数据
代码实现：

package com.study.bigdatabase

import java.sql.Connection

import org.apache.spark.rdd.{
     JdbcRDD, RDD}
import org.apache.spark.{
     SparkConf, SparkContext}

//检查点
object Spark07_RDD_MySql {
     
  def main(args: Array[String]): Unit = {
     

    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")

    //创建Spark上下文对象
    val sc = new SparkContext(config)

   val driver="com.mysql.jdbc.Driver"
    var url="jdbc:mysql://hadoop105:3306/RDD"
    val userName="root"
    val password="123456"

    //保存数据
    val dataRDD:RDD[(String,Int)] = sc.makeRDD(List(("zhangsan", 20), ("lisi", 30), ("wangwu", 40)))

    dataRDD.foreach{
     
      case ( name,age ) =>{
     
        Class.forName(driver)
        val connection:Connection = java.sql.DriverManager.getConnection(url, userName, password)

        val sql="insert into user (name, age) values (?,?)"
        val statement = connection.prepareStatement(sql)
        statement.setString(1,name)
        statement.setInt(2,age)
        statement.executeUpdate()
        statement.close()
        connection.close()
      }
    }
    //释放资源
    sc.stop()
  }
}

启动程序运行，控制台打印信息：

---

7、HBase数据库

由于 org.apache.hadoop.hbase.mapreduce.TableInputFormat
类的实现，Spark 可以通过Hadoop输入格式访问HBase。这个输入格式会返回键值对数据，其中键的类型为org. apache.hadoop.hbase.io.ImmutableBytesWritable，而值的类型为org.apache.hadoop.hbase.client.
Result。

（1）添加依赖

<dependency>
	<groupId>org.apache.hbase</groupId>
	<artifactId>hbase-server</artifactId>
	<version>1.3.1</version>
</dependency>

<dependency>
	<groupId>org.apache.hbase</groupId>
	<artifactId>hbase-client</artifactId>
	<version>1.3.1</version>
</dependency>

(2) 分析源码图与步骤



拷贝在项目工程resource文件下

在编写代码之前，我们在Linux环境的Hbase创建一张rddtable表：

hbase(main):001:0> create 'rddtable','info'
0 row(s) in 1.7850 seconds

=> Hbase::Table - rddtable

随后，在这张表中，插入数据：

hbase(main):001:0> put 'rddtable','1001','info:name',"zhanfsan"
0 row(s) in 0.5160 seconds

Spark与HBase连接，代码实现：

package com.study.bigdatabase


import org.apache.hadoop.hbase
import org.apache.hadoop.hbase.{
     Cell, CellUtil, HBaseConfiguration}
import org.apache.hadoop.hbase.client.Result
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.rdd.RDD
import org.apache.spark.{
     SparkConf, SparkContext}

//
object Spark08_RDD_HBase {
     
  def main(args: Array[String]): Unit = {
     

    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //创建Spark上下文对象
    val sc = new SparkContext(config)

    val conf = HBaseConfiguration.create()

    conf.set(TableInputFormat.INPUT_TABLE, "rddtable")

    val hbaseRDD:RDD[(ImmutableBytesWritable,Result)] = sc.newAPIHadoopRDD(
      conf,
      classOf[TableInputFormat],
      classOf[ImmutableBytesWritable],
      classOf[Result]
    )
    hbaseRDD.foreach{
     
      case (rowkey,result) => {
     
           //取数据
           val cells:Array[Cell] = result.rawCells()
        for (cell <- cells){
     
          println(Bytes.toString((CellUtil.cloneValue(cell))))
        }
    }
    }
    //释放资源
    sc.stop()

  }
}

启动程序，运行查看一下：

---

8、在HBase添加数据（插入数据）

代码实现：

package com.study.bigdatabase


import org.apache.hadoop.hbase.{
     Cell, CellUtil, HBaseConfiguration}
import org.apache.hadoop.hbase.client.{
     Put, Result}
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapred.TableOutputFormat
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.mapred.JobConf
import org.apache.spark.rdd.RDD
import org.apache.spark.{
     SparkConf, SparkContext}

//
object Spark08_RDD_HBase {
     
  def main(args: Array[String]): Unit = {
     

    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //创建Spark上下文对象
    val sc = new SparkContext(config)

    val conf = HBaseConfiguration.create()

    val dataRDD:RDD[(String,String)] = sc.makeRDD(List(("1002", "zhangsan"), ("1003", "lisi"),
      ("1004", "wangwu")))

    val putRDD:RDD[(ImmutableBytesWritable,Put)] = dataRDD.map{
     
      case (rowkey,name) =>{
     


        val put = new Put(Bytes.toBytes(rowkey))
        put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes(name))

        (new ImmutableBytesWritable(Bytes.toBytes(rowkey)),put)
      }
    }

    val jobConf = new JobConf(conf)
   jobConf.setOutputFormat(classOf[TableOutputFormat])
    jobConf.set(TableOutputFormat.OUTPUT_TABLE,"rddtable")

    putRDD.saveAsHadoopDataset(jobConf)

    //释放资源
    sc.stop()

  }
}

启动程序，运行查看一下：无报错

在HBase查看：
扫描rddtable表，有数据了：

hbase(main):003:0> scan 'rddtable'
ROW                                         COLUMN+CELL                                                                                                                    
 1001                                       column=info:name, timestamp=1581087691942, value=zhanfsan                                                                      
 1002                                       column=info:name, timestamp=1581112909827, value=zhangsan                                                                      
 1003                                       column=info:name, timestamp=1581112909815, value=lisi                                                                          
 1004                                       column=info:name, timestamp=1581112909792, value=wangwu                                                                        
4 row(s) in 4.5400 seconds