sqoop安装配置

1. 下载  sqoop1(sqoop2 版本不稳定)

wget  http://mirrors.ustc.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz

2.修改 /etc/profile

      export JAVA_HOME=/usr/java/default

      export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

      export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$HOME/bin:$PATH

      export JAVA_TOOLS=$JAVA_HOME/lib/tools.jar

      export HIVE_HOME=/opt/hive/apache-hive

      export PATH=$PATH:$HIVE_HOME/bin

      export SQOOP_HOME=/opt/sqoop/sqoop-1.4.6

      export PATH=$PATH:$SQOOP_HOME/bin

 

     使配置生效   source /etc/profile

3. 修改 /opt/sqoop/sqoop-1.4.6/conf/sqoop-env.sh

 

   export HADOOP_COMMON_HOME=/opt/hadoop/hadoop-1.2.1

   export HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-1.2.1

   #export HBASE_HOME= hbase路径

   #export HIVE_HOME= 

检测是否安装成功

      在 $(sqoop_home)/bin    下执行   sqoop version

 

操作数据

1  导入导出数据库
   1)列出mysql数据库中的所有数据库命令
  #  sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456
   
   2)连接mysql并列出数据库中的表命令
# sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
   命令中的test为mysql数据库中的test数据库名称  username password分别为mysql数据库的用户密码
   
  3)将关系型数据的表结构复制到hive中
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test
其中 --table username为mysql中的数据库test中的表   --hive-table test 为hive中新建的表名称
   
   4)从关系数据库导入文件到hive中
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password mysql-password --table t1 --hive-import

   5)将hive中的表数据导入到mysql中

./sqoop export --connect jdbc:mysql://localhost:3306/hbase --username root --password zwc123 --table t1  --export-dir /usr/hive/warehouse/t1/part-m-00000 --input-fields-terminated-by '\001'

分割符合一般为 ：sqoop把mysql表导入hdfs或者hive，其中mysql有几列有\r,\n,\t这些字符

 

为  '\001'

 

 

6）上传数据到hadoop中

sqoop import --connect jdbc:mysql://10.2.136.24:3306/test --username root  --password root  --table aa -m 1