Hbase导入数据

1、先把log.txt上传至hdsf。

2、在hbase中定义好表sys_log。

3、export HADOOP_CLASSPATH=/home/takchi/Bigdata/hbase-1.2.4/lib/*:$HADOOP_CLASSPATH

4、bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' sys_log hdfs://chan.takchi:9000/tmp/input/log.txt

4、(或者)./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar importtsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' sys_log /tmp/input/log.txt

 

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

 

以上导入ctbase的步骤是一步完成的,下面则是通过两步完成。

 

1、生成HFile
./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar importtsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' -Dimporttsv.bulk.output=/tmp/bulk sys_log /tmp/input/log.txt


2、借助completebulkload工具, 将生成的HFile文件导入hbase集群
./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar completebulkload /tmp/bulk sys_log

 

2、(或者)./hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles hdfs://chan.takchi:9000/tmp/bulk/ sys_log


HBase数据迁移(1)

HBase数据迁移(2)- 使用bulk load 工具从TSV文件中导入数据

HBase数据迁移(3)-自己编写MapReduce Job导入数据


你可能感兴趣的:(Hbase)