Hbase导入数据

1、先把log.txt上传至hdsf。

2、在hbase中定义好表sys_log。

3、export HADOOP_CLASSPATH=/home/takchi/Bigdata/hbase-1.2.4/lib/*:$HADOOP_CLASSPATH

4、bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' sys_log hdfs://chan.takchi:9000/tmp/input/log.txt

4、（或者）./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar importtsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' sys_log /tmp/input/log.txt

 

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

 

以上导入ctbase的步骤是一步完成的，下面则是通过两步完成。

 

1、生成HFile
./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar importtsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' -Dimporttsv.bulk.output=/tmp/bulk sys_log /tmp/input/log.txt

2、借助completebulkload工具, 将生成的HFile文件导入hbase集群
./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar completebulkload /tmp/bulk sys_log

 

2、（或者）./hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles hdfs://chan.takchi:9000/tmp/bulk/ sys_log

HBase数据迁移（1）

HBase数据迁移（2）- 使用bulk load 工具从TSV文件中导入数据

HBase数据迁移（3）-自己编写MapReduce Job导入数据