Sqoop的安装与配置

Sqoop安装准备

• 安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的 环境

安装步骤

• 上传安装包 sqoop-1.4.6-cdh5.14.2.tar.gz 到虚拟机中
• 解压 sqoop 安装包到指定目录：tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz -C [/解压路径]
• 配置环境变量：vi /etc/profile

export SQOOP_HOME=/sqoop路径 
export PATH=$SQOOP_HOME/bin:$PATH

• 生效配置文件：source /etc/profile

修改配置文件

• 修改sqoop/conf下的：sqoop-env.template.sh

export HADOOP_COMMON_HOME=/hadoop路径 
export HADOOP_MAPRED_HOME=/hadoop路径 
export HIVE_HOME=/hive路径 
export ZOOKEEPER_HOME=/zookeeper路径 
export ZOOCFGDIR=/zookeeper路径 
export HBASE_HOME=/hbase路径

拷贝 JDBC 驱动

• 拷贝 jdbc 驱动到 sqoop 的 lib 目录下：

//jdbc可以在hive/lib下找到
//复制到sqoop/lib下
cp mysql-connector-java-5.1.38.jar /opt/sqoop/lib

测试 Sqoop 是否能够成功连接数据库

//连接建议使用localhost
[hadoop@hadoop100 conf]$ sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username [用户名] --password [密码]

//出现如下输出： 
information_schema 
hive 
mysql
performance_schema