Sqoop安装部署

一、概述

• Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供
• 核心的功能有两个：
  导入、迁入
  导出、迁出
  导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统
  导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论
• Sqoop工作机制：
  是将导入或导出命令翻译成mapreduce程序来实现；在翻译出的mapreduce中主要是对inputformat和outputformat进行定制
• Hadoop生态系统包括：HDFS、Hive、Hbase等
  RDBMS体系包括：Mysql、Oracle、DB2等
  Sqoop可以理解为：“SQL 到 Hadoop 和 Hadoop 到SQL”
  

二、Sqoop安装

1.上传Sqoop包和mysql驱动包

2.解压

tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C ../servers/

3.配置环境变量

vim /etc/profile/sqoop.sh

添加如下内容（记得source）

export SQOOP_HOME=/export/servers/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$PATH:$SQOOP_HOME/bin

4.进入sqoop的conf目录，配置sqoop-env.sh

1.cp sqoop-env-template.sh sqoop-env.sh
2.vim sqoop-env.sh
添加Hadoop和Hive

配置HADOOP_HOME 和 HIVE_HOME

5.加入mysql的jdbc驱动包

cp /hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME/lib/

6.验证安装是否成功

sqoop-version 或者 sqoop version