Sqoop工具的使用和介绍

sqoop工具的介绍

Sqoop:将关系数据库（oracle、mysql、postgresql等）数据与hadoop数据进行转换的工具
版本：（两个版本完全不兼容，sqoop1使用最多）
sqoop1：1.4.x
sqoop2：1.99.x
同类产品
DataX：阿里顶级数据交换工具
作为一个简单的转换工具，了解以下其作用所在，如果想获取更详细的知识，还是推荐去官网学习，毕竟对以后的学习是大有脾益的
官网：http://sqoop.apache.org/

sqoop工具的架构

sqoop导入：从数据库导入到hdfs叫导入
sqoop导出：从hdfs导出到数据库叫导出

sqoop的安装

一、获取工具

这里用 1.4.6的版本举例，下面会放下载地址
sqoop：https://gitbox.apache.org/repos/asf?p=sqoop.git
mysql-connector：https://dev.mysql.com/downloads/connector/j/5.1.html
二、解压
tar -zxcf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar
解压完可以改名
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar sqoop（方便在配置环境变量中添加）
三、配置环境变量
export SQOOP_HOME=/XX/sqoop.xx
(记住需要在path_home中加入sqoop的bin目录)
source /etc/profile
四、添加数据库驱动包
cp mysql-connector-java-5.1.10.jar /sqoop/lib
放在sqoop的lib目录下即可
五、重命名配置文件
mv sqoop-env-template.sh sqoop-env.sh
这里不需要删除docs ，往往删除docs的都需要做分布式，这只是一个简单的小工具，在装有mysql和hbase上装一个即可。
六、修改配置文件
去掉未安装服务相关内容；例如（HBase、HCatalog、Accumulo）：
#if [ ! -d “${HBASE_HOME}” ]; then
#echo “Error: $HBASE_HOME does not exist!”
#echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
#exit 1
七、测试
sqoop version
sqoop list-databases -connect jdbc:mysql://node03:3306/ -username root -password 123
这是sqoop的使用的举例，接下来会说下使用方法。

sqoop的使用

由于sqoop使用工具非常多，功能也比较完善，鉴于自己是初学sqoop，不敢误人子弟，于是就把sqoop工具给搬过来了，后面自己会慢慢实践。（如需举例说明，官网还是不错滴）