Sqoop部署和导数据

• 安装：

1. 1. tar –xzvf sqoop-1.4.1-cdh4.1.0.tar.gz
   2. add sqljdbc4.jar into /usr/lib/sqoop/lib
   3. 设置PATH

      1. export SQOOP_HOME=/usr/lib/sqoop

      2. export ANT_LIB=/home/op1/jasonliao/apache-ant-1.9.0/lib

      3. export PATH=$PATH:/home/op1/logging/tool/play-1.2.5:$JAVA_HOME/bin:$ANT_HOME/bin:$SQOOP_HOME/bin

• sqoop导入hbase：
  
  
  • 方式一：

                          sqoop import --connect 'jdbc:sqlserver://192.168.83.50;username=Uapp_system;password=12345wy_12345WY;database=MrtgTest' \

                           --table=a --columns a,b,c --where "b='f'" --hbase-table test_sqoop --column-family cf --hbase-row-key a -m 1

               这种column指定不是很灵活，不能指定多个column family。

• • 方式二：

1. 1. Sqoop导出到hdfs：
      
      1. sqoop import --connect 'jdbc:sqlserver://192.168.83.50;username=Uapp_system;password=12345wy_12345WY;database=MrtgTest' --table=a --columns a,b,c --where "b='f'" --target-dir /user/xgliao/output2 -m 1

   2. Importtsv转换成hfile文件：

      1. hadoop jar /usr/lib/hbase/hbase-0.94.2-cdh4.2.0-security.jar importtsv -Dimporttsv.bulk.output=/user/xgliao/hfile/test -Dimporttsv.separator=, -Dimporttsv.timestamp=20130322 -Dimporttsv.columns=HBASE_ROW_KEY,cf:x,cf:y test_sqoop /user/xgliao/output2
   3. Hfile文件导入hbase：
      1. hadoop jar /usr/lib/hbase/hbase-0.94.2-cdh4.2.0-security.jar completebulkload /user/xgliao/hfile/test test_sqoop (要注意生产hdfs文件跟hbase文件是同一目录下面的)

              这种方式步骤比较多，但是比较灵活，导入过程基本不占用hbase资源。