Sqoop新增批量导入HBase功能

Sqoop导入HBase的实现是直接调用HBase的HTable.put接口,在HBase集群有压力的情况下,这个导入方式是相当慢的。到底有多慢,可以参考一下我写的一篇文章:批量Load到HBase

 

因此,我在Sqoop 1.4.3的基础上,添加了一种调用LoadIncrementalHFiles.doBulkLoad的bulk load功能。已经把patch提供给社区, https://issues.apache.org/jira/browse/SQOOP-1032

你可能感兴趣的:(hbase)