Spark连接HBase进行读写相关操作【CDH5.7.X】
文章内容:
1. 通过Spark读取HBase的表并通过转换RDD
2.Spark连接HBase进行表写入操作
版本:
CDH集群版本:CDH5.7.1
Spark版本:spark-1.6.0+cdh5.7.1+193 HBase版本:hbase-1.2.0+cdh5.7.1+142 |
准备工作:
1.集群环境准备
已经安装CDH5.7.X集群
集群安装Spark和HBase相关组件
2.开发环境准备
Maven工程需要添加Spark Core和HBase依赖
a.HBase的Maven依赖
注意其中必须去除掉servlet-api的依赖否则在SparkContext初始化的时候会出现servlet-api版本冲突异常
org.apache.hbase
hbase-annotations
${hbase.version}
org.apache.hbase
hbase-common
${hbase.version}
javax.servlet
servlet-api
org.mortbay.jetty
servlet-api
javax.servlet.jsp
jsp-api
org.mortbay.jetty
servlet-api-2.5
org.apache.hbase
hbase-client
${hbase.version}
org.apache.hbase
hbase-server
${hbase.version}
org.mortbay.jetty
servlet-api
org.mortbay.jetty
jsp-api-2.1
org.mortbay.jetty
servlet-api-2.5
org.apache.hbase
hbase-hadoop-compat
${hbase.version}
org.apache.hbase
hbase-prefix-tree
${hbase.version}
org.apache.hbase
hbase-protocol
${hbase.version}
org.apache.hbase
hbase-rest
${hbase.version}
javax.servlet
*
org.mortbay.jetty
servlet-api
org.mortbay.jetty
servlet-api-2.5
org.apache.hbase
hbase-thrift
${hbase.version}
javax.servlet
*
org.mortbay.jetty
servlet-api
org.mortbay.jetty
servlet-api-2.5
b.Spark Core的Maven依赖
org.apache.spark
spark-core_2.10
${spark.version}
javax.servlet
*
org.slf4j
slf4j-api
3. 数据准备
HBase表通过hbase shell的方式创建test表,put几条测试数据
create 'test','cf'
put 'test','row1','cf:name','zs'
put 'test','row1','cf:age','23'
put 'test','row2','cf:name','we'
put 'test','row2','cf:age','15'
put 'test','row3','cf:name','ls'
put 'test','row3','cf:age','42'
put 'test','row4','cf:name','zs'
put 'test','row4','cf:age','75'
4. Spark读取HBase表
第一步:创建HBaseConf
//导入相关包
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.TableNotFoundException
import org.apache.hadoop.hbase.client.{Put, Result}
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.{TableInputFormat, TableOutputFormat}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.mapreduce.Job
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
//创建HBaseConf
val conf = HBaseConfiguration.create();
第二步:HBaseConf设置输入表"test"
conf.set(TableInputFormat.INPUT_TABLE, "test")
第三步:创建SparkContext
//注意本地设置为Spark本地运行,如果集群模式运行把setMaster("local")去掉
val sparkConf = new SparkConf().setAppName("my app").setMaster("local")
//创建SparkContext
val sc = new SparkContext(sparkConf)
第四步:读取HBaseConf转换RDD
//通过newAPIHadoopRDD方法读取hbase表转换为RDD
val hbaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat],
classOf[ImmutableBytesWritable],
classOf[Result])
第五步:对hbaseRDD进行操作
//HBase 对test表进行统计
val testCount = hbaseRDD.count()
println("count :" + testCount) //4
//循环每一行HBase的数据
hBaseRDD.foreach{case (_,result) =>
//获取行键
val key = Bytes.toString(result.getRow)
//通过列族和列名获取列
val name = Bytes.toString(result.getValue("cf".getBytes,"name".getBytes))
val age = Bytes.toInt(result.getValue("cf".getBytes,"age".getBytes))
println("Row key:" + key + " ,name:" + name + ",age :" + age)
}
//Row key: row1,name:zs,age:23
//....
5. Spark对HBase表进行写入
第一步:创建HBaseConf
//导入相关包
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.TableNotFoundException
import org.apache.hadoop.hbase.client.{Put, Result}
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.{TableInputFormat, TableOutputFormat}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.mapreduce.Job
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
//创建HBaseConf
val conf = HBaseConfiguration.create();
第二步:HBaseConf设置输入表"test"
conf.set(TableInputFormat.INPUT_TABLE, "test")
第三步:创建SparkContext
//注意本地设置为Spark本地运行,如果集群模式运行把setMaster("local")去掉
val sparkConf = new SparkConf().setAppName("my app").setMaster("local")
//创建SparkContext
val sc = new SparkContext(conf)
第四步:创建Job,并获取Configuration
//创建Job
val job = new Job(sc.hadoopConfiguration)
//设置输出的KeyClass
job.setOutputKeyClass(classOf[ImmutableBytesWritable])
//设置输出ValueClass
job.setOutputValueClass(classOf[Result])
//设置OutputFormat
job.setOutputFormatClass(classOf[TableOutputFormat[ImmutableBytesWritable]])
val hbaseWriterConf = job.getConfiguration()
第五步:创建写入HBase表的数据的RDD
//通过Array数组创建3条数据的RDD
val inDataRDD = sc.makeRDD(Array("row5,Anm,15","row6,Lily,16","row7,Mak,29"))
//RDD转换成可以进行HBase表数据写入的格式的RDD
val hbaseWriterRdd = inDataRDD.map(_.split(',')).map{arr=>{
val put = new Put(Bytes.toBytes(arr(0)))
put.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("name"),Bytes.toBytes(arr(1)))
put.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("age"),Bytes.toBytes(arr(2).toInt))
(new ImmutableBytesWritable, put)
}}
第六步:数据写入HBase表
//调用saveAsNewAPIHadoopDataset写入HBase数据表
hbaseWriterRdd.saveAsNewAPIHadoopDataset(hbaseWriterConf)
第七步:关闭SparkContext
//自从写入HBase表操作完成,关闭SparkContest
sc.stop()
7. HBase写入数据检查
通过hbase shell的scan命令进行查看,如果出现下图情况,证明数据已经写入正常
scan 'test'