sqoop1.4.6实现Mysql与HDFS/Hbase的数据迁移

简介

        Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

http://sqoop.apache.org/

环境

    当调试过程出现IncompatibleClassChangeError一般都是版本兼容问题。

    为了保证hadoop和sqoop版本的兼容性，使用Cloudera，

    Cloudera简介：

        Cloudera为了让Hadoop的配置标准化，可以帮助企业安装，配置，运行hadoop以达到大规模企业数据的处理和分析。

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDHTarballs/3.25.2013/CDH4-Downloadable-Tarballs/CDH4-Downloadable-Tarballs.html

    下载安装sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz。

目的

        将mysql数据转换为hadoop文件，从而可以使用map/reduce进行大数据的分析，然后再将分析结果转换回mysql，供业务查询调用。

安装

    安装比较简单，直接解压即可

    唯一需要做的就是将mysql的jdbc适配包mysql-connector-java-5.0.7-bin.jar copy到$SQOOP_HOME/lib下。

    配置好环境变量：/etc/profile

    export SQOOP_HOME=/home/hadoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/

    export PATH=$SQOOP_HOME/bin:$PATH

    在sqoop-env.sh中添加如下代码：

 export HADOOP_COMMON_HOME=/home/hadoop/hadoop 
 export HADOOP_MAPRED_HOME=/home/hadoop/hadoop 
 export HBASE_HOME=/home/hadoop/hbase 
 export HIVE_HOME=/home/hadoop/hive 
 export ZOOCFGDIR=/home/hadoop/zookeeper

    (如果数据读取不设计hbase和hive，那么相关hbase和hive的配置可以不加，如果集群有独立的zookeeper集群，那么配置zookeeper，反之，不用配置)。

    hadoop的必要配置：

   在hadoop-2.6.0/etc/hadoop目录下配置mapred-site.xml

  mapreduce.framework.name
  yarn


  mapreduce.jobhistory.adress
  127.0.0.1:10020  //DataNode需要访问 MapReduce JobHistory Server,默认值：0.0.0.0:10020 

启动historyserver：
sbin/mr-jobhistory-daemon.sh start historyserver

MYSQL转HDFS-示例

./sqoop import --connect jdbc:mysql://10.8.210.166:3306/recsys --username root --password root --table shop -m 1 --target-dir /user/recsys/input/shop/$today

输出数据： ./hadoop fs -cat /user/recsys/input/shop/2013-05-07/* 生成的hdfs数据 287,516809,0,0,6,25,45.78692,126.65384 288,523944,0,0,29,6,120.26087,30.17264 -------------------------------------------------------

HDFS转MYSQ-示例

./sqoop export --connect jdbc:mysql://10.8.210.166:3306/recsys --username root --password root --table shopassoc --fields-terminated-by ',' --export-dir /user/recsys/output/shop/$today

输入数据： ./hadoop fs -cat /user/recsys/output/shop/2013-05-07/* Hdfs原始数据 null,857207,729974,947.0818,29,2013-05-08 10:22:29 null,857207,524022,1154.2603,29,2013-05-08 10:22:29 -------------------------------------------------------------------------- Mysql与Hbase互导数据 sqoop import --connect jdbc:mysql://mysqlserver_IP/databaseName --username --password password --table datatable --hbase-create-table --hbase-table hbase_tablename --column-family col_fam_name --hbase-row-key key_col_name 其中 ，databaseName 和datatable 是mysql的数据库和表名，hbase_tablename是要导成hbase的表名，key_col_name可以指定datatable中哪一列作为hbase新表的rowkey，col_fam_name是除rowkey之外的所有列的列族名 例如 ：可通过如下命令将Mysql中的students表导入到Hbase中： /home/grid/sqoop/bin/sqoop import --connect jdbc:mysql://192.168.66.96/sqoop --username sqoop --password liyang16 --table students --hbase-create-table --hbase-table students --column-family stuinfo --hbase-row-key id 成功执行后，可在hbase中用以下命令查看结果： hbase(main):011:0> scan 'students' ROW COLUMN+CELL 10001 column=stuinfo:age, timestamp=1356759994058, value=29 10001 column=stuinfo:name, timestamp=1356759994058, value=liyang 10002 column=stuinfo:age, timestamp=1356760044478, value=28 10002 column=stuinfo:name, timestamp=1356760044478, value=lion 10003 column=stuinfo:age, timestamp=1356760044478, value=26 10003 column=stuinfo:name, timestamp=1356760044478, value=leon 3 row(s) in 0.0900 seconds 使用--columns 指定的字段大小写要注意 得使用小写。 如果使用大写 导数据不会有异常 会成功的，hbase中表也会创建好，但是scan的时候 你会发现没有数据 这个蛋疼吧 --columns id,order_id,order_code 而且每个字段之间用逗号分隔，但是不能有空格，在sqoop中没有处理空格，如果在这个命令后的参数有空格的话

技巧

       导出导入的数据与字段的顺序进行匹配

      从HDFS转换回mysql 的时候，自动增长的主键字段处，可以留空

注：为了减少对HBase的负载，Sqoop可以做批量加载，而不是直接写入。要使用批量加载，使用启用--hbase-bulkload