Spark连接HBase进行读写相关操作【CDH5.7.X】

Spark连接HBase进行读写相关操作【CDH5.7.X】

文章内容:

1. 通过Spark读取HBase的表并通过转换RDD

2.Spark连接HBase进行表写入操作


版本:

CDH集群版本:CDH5.7.1

Spark版本:spark-1.6.0+cdh5.7.1+193                                                                                                               
HBase版本:hbase-1.2.0+cdh5.7.1+142                                       

准备工作:

1.集群环境准备

已经安装CDH5.7.X集群

集群安装Spark和HBase相关组件

2.开发环境准备

Maven工程需要添加Spark Core和HBase依赖

a.HBase的Maven依赖

注意其中必须去除掉servlet-api的依赖否则在SparkContext初始化的时候会出现servlet-api版本冲突异常


    org.apache.hbase
    hbase-annotations
    ${hbase.version}


    org.apache.hbase
    hbase-common
    ${hbase.version}
    
        
            javax.servlet
            servlet-api
        
        
            org.mortbay.jetty
            servlet-api
        
        
            javax.servlet.jsp
            jsp-api
        
        
            org.mortbay.jetty
            servlet-api-2.5
        
    


    org.apache.hbase
    hbase-client
    ${hbase.version}


    org.apache.hbase
    hbase-server
    ${hbase.version}
    
        
            org.mortbay.jetty
            servlet-api
        
        
            org.mortbay.jetty
            jsp-api-2.1
        
        
            org.mortbay.jetty
            servlet-api-2.5
        
    


    org.apache.hbase
    hbase-hadoop-compat
    ${hbase.version}


    org.apache.hbase
    hbase-prefix-tree
    ${hbase.version}


    org.apache.hbase
    hbase-protocol
    ${hbase.version}


    org.apache.hbase
    hbase-rest
    ${hbase.version}
    
        
            javax.servlet
            *
        
        
            org.mortbay.jetty
            servlet-api
        
        
            org.mortbay.jetty
            servlet-api-2.5
        
    


    org.apache.hbase
    hbase-thrift
    ${hbase.version}
    
        
            javax.servlet
            *
        
        
            org.mortbay.jetty
            servlet-api
        
        
            org.mortbay.jetty
            servlet-api-2.5
        
    

b.Spark Core的Maven依赖


        
            org.apache.spark
            spark-core_2.10
            ${spark.version}
            
                
                    javax.servlet
                    *
                
                
                    org.slf4j
                    slf4j-api
                
            
        

3. 数据准备

HBase表通过hbase shell的方式创建test表,put几条测试数据
create 'test','cf'
put 'test','row1','cf:name','zs'
put 'test','row1','cf:age','23'
put 'test','row2','cf:name','we'
put 'test','row2','cf:age','15'
put 'test','row3','cf:name','ls'
put 'test','row3','cf:age','42'
put 'test','row4','cf:name','zs'
put 'test','row4','cf:age','75'

Spark连接HBase进行读写相关操作【CDH5.7.X】_第1张图片

4. Spark读取HBase表

第一步:创建HBaseConf
//导入相关包
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.TableNotFoundException
import org.apache.hadoop.hbase.client.{Put, Result}
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.{TableInputFormat, TableOutputFormat}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.mapreduce.Job
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

//创建HBaseConf
val conf = HBaseConfiguration.create();

第二步:HBaseConf设置输入表"test"

conf.set(TableInputFormat.INPUT_TABLE, "test")

第三步:创建SparkContext

//注意本地设置为Spark本地运行,如果集群模式运行把setMaster("local")去掉

val sparkConf = new SparkConf().setAppName("my app").setMaster("local")

//创建SparkContext

val sc = new SparkContext(sparkConf)


第四步:读取HBaseConf转换RDD

//通过newAPIHadoopRDD方法读取hbase表转换为RDD

val hbaseRDD =  sc.newAPIHadoopRDD(conf, classOf[TableInputFormat],
      classOf[ImmutableBytesWritable],
      classOf[Result])


第五步:对hbaseRDD进行操作

//HBase 对test表进行统计

val testCount = hbaseRDD.count()

println("count :" + testCount) //4

 //循环每一行HBase的数据
    hBaseRDD.foreach{case (_,result) =>
      //获取行键
      val key = Bytes.toString(result.getRow)
      //通过列族和列名获取列
      val name = Bytes.toString(result.getValue("cf".getBytes,"name".getBytes))
      val age = Bytes.toInt(result.getValue("cf".getBytes,"age".getBytes))
      println("Row key:" + key + " ,name:" + name + ",age :" + age)
    }

//Row key: row1,name:zs,age:23

//....


5. Spark对HBase表进行写入

第一步:创建HBaseConf
//导入相关包
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.TableNotFoundException
import org.apache.hadoop.hbase.client.{Put, Result}
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.{TableInputFormat, TableOutputFormat}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.mapreduce.Job
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

//创建HBaseConf
val conf = HBaseConfiguration.create();

第二步:HBaseConf设置输入表"test"

conf.set(TableInputFormat.INPUT_TABLE, "test")

第三步:创建SparkContext

//注意本地设置为Spark本地运行,如果集群模式运行把setMaster("local")去掉

val sparkConf = new SparkConf().setAppName("my app").setMaster("local")

//创建SparkContext

val sc = new SparkContext(conf)


第四步:创建Job,并获取Configuration
//创建Job
 val job = new Job(sc.hadoopConfiguration)
//设置输出的KeyClass
 job.setOutputKeyClass(classOf[ImmutableBytesWritable])
//设置输出ValueClass
 job.setOutputValueClass(classOf[Result])
//设置OutputFormat
 job.setOutputFormatClass(classOf[TableOutputFormat[ImmutableBytesWritable]])

val hbaseWriterConf = job.getConfiguration()

第五步:创建写入HBase表的数据的RDD
//通过Array数组创建3条数据的RDD
 val inDataRDD = sc.makeRDD(Array("row5,Anm,15","row6,Lily,16","row7,Mak,29"))

//RDD转换成可以进行HBase表数据写入的格式的RDD
    val hbaseWriterRdd = inDataRDD.map(_.split(',')).map{arr=>{
      val put = new Put(Bytes.toBytes(arr(0)))
      put.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("name"),Bytes.toBytes(arr(1)))
      put.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("age"),Bytes.toBytes(arr(2).toInt))
      (new ImmutableBytesWritable, put)
    }}

第六步:数据写入HBase表
//调用saveAsNewAPIHadoopDataset写入HBase数据表
hbaseWriterRdd.saveAsNewAPIHadoopDataset(hbaseWriterConf)

第七步:关闭SparkContext
//自从写入HBase表操作完成,关闭SparkContest
sc.stop()

7. HBase写入数据检查

通过hbase shell的scan命令进行查看,如果出现下图情况,证明数据已经写入正常

scan 'test'
Spark连接HBase进行读写相关操作【CDH5.7.X】_第2张图片


你可能感兴趣的:(spark,HBase)