Sqoop 使用

Sqoop 概要

Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。链接各种DBMS到Hadoop的工具。
看图：

image.png

说白了Sqoop就两个主要功能：

• 导入（to hadoop）
• 导出（to dbms）

次要功能

• 任务Job 提交

其他工具类型：

• list-tables
• list-databases
• eval 查询用户自定义
• codegen 生成一个Dao

Sqoop的安装

• Java（省了）
• Hadoop的安装（Hdfs、Yarn?）（省了）
• sqoop（如下）

#sqoop
export SQOOP_HOME=/usr/lib/sqoop 
export PATH=$PATH:$SQOOP_HOME/bin
cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh
export HADOOP_COMMON_HOME=/usr/local/hadoop 
export HADOOP_MAPRED_HOME=/usr/local/hadoop

#依赖各种dbms的jdbc包（Oracle、Mysql.....）
tar -zxf mysql-connector-java-5.1.30.tar.gz
cd mysql-connector-java-5.1.30
mv mysql-connector-java-5.1.30-bin.jar /usr/lib/sqoop/lib

#验证sqoop
$ cd $SQOOP_HOME/bin
$ sqoop-version

Sqoop导入