sqoop增量导入hbase,索引同步更新(二)

在实际应用场景中可以适用sqoop将数据导入数据到hbase,为方便查询,使用phoenix映射hbase数据,如果表的数据量较小,不需要创建索引,如果数据量较大,需要在phoenix中创建索引以加速查询,问题来了,谁都不能保证数据不会增加,也许需要每天导入新增数据,sqoop直接导入hbase的增量数据不会引起phoenix索引的同步更新! ! !查询的时候走的是索引表,导致查询不到新增的数据.
两个解决办法:
1.使用协处理器,当habse数据插入的时候,同时向索引表添加数据
这种方式我简单的使用了一下,在写入较少数据的时候,正常,但是导入较多数据的时候总会出现各种各样的问题,暂时放弃,以后研究
2.将关系型数据库的数据导成hdfs文件,然后使用phoenix的CsvBulkLoadTool工具批量导入数据
缺点:
由于分成了两步,启动不同的mapreduce任务,数据导入速度降低
如果在表上存在较多的索引,需要维护索引表,存在写放大现象
优点:
导入数据的时候,同时更新了所有的索引表,同时可以保持数据库字段的数据类型,而不需要像直接导入hbase,然后phoenix建表映射那样需要将字段的类型都设置为VARCHAR,而且可以使用SALT_BUCKETS属性,对源表进行预分区,那么创建的global index表也是自动进行预分区的,分区数量和数据表分区数量相同.
说明步骤:
1.将数据导入到hdfs上

sqoop import  -Dmapred.child.java.opts='-Djava.security.egd=file:/dev/../dev/urandom' -Dmapred.job.name=$1 --connect $2 --username $3 --password $4 --query $5 --null-string ''  --null-non-string '' --target-dir $6 -m $7

说明:sqoop导出数据的时候，把空字符串和空其它类型数据都设置为'',--null-string '' --null-non-string '' ,这样phoenix碰到的时候就会自动处理为null
2.将hdfs数据导入到hbase中

    HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hbase/lib/hbase-protocol-1.2.0-cdh5.14.2.jar:/etc/hbase/conf hadoop jar /opt/cloudera/parcels/APACHE_PHOENIX/lib/phoenix/phoenix-4.14.0-cdh5.14.2-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool -g -i $1 -z $2 -t $3

说明: -g参数,忽略导入数据中的错误记录,当原本数据库字段存在\字符的时候,phoenix默认会进行转义处理,导致列数不够的问题,phoenix默认的转义字符为,也可以自定义,但是试了几个都不行,要求length=1,否则报错,无论选择什么好像都不能覆盖所有的情况,所以直接-g了,缺点是某些记录被忽略,少数据.