[Sqoop 安装配置]

目录

前言:

 下载地址:

首先需要有Java环境,确定是否安装Java和Hadoop

压缩包解压指令:

#重命名sqoop目录[root@hadoop01 local]#mv sqoop-1.4.7 sqoop  修改文件名称

配置环境变量: 

刷新生效文件 

配置Sqoop 

修改sqoop-env.sh配置文件中的参数：

在命令行中输入Sqoop命令进行测试，如：

 Sqoop命令进行测试

查看Sqoop作业状态

Sqoop相关经常使用到的指令:

---

前言:

   端午节要来了,以文化传递知识

 下载地址:

可以从Apache Sqoop的官方网站（http://sqoop.apache.org/）下载最新版本的Sqoop。

首先需要有Java环境,确定是否安装Java和Hadoop

java -version

hadoop version

压缩包解压指令:

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/

#重命名sqoop目录
[root@hadoop01 local]#mv sqoop-1.4.7 sqoop  修改文件名称

配置环境变量: 

将Sqoop的bin目录添加到系统的PATH环境变量中，以便在命令行中可以直接使用Sqoop命令。在/etc/profile文件中添加以下命令：

export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

刷新生效文件 

source /etc/profile

配置Sqoop 

#将用于连接mysql的JDBC驱动包添加到sqoop目录下的lib目录中,以下命令从hive中复制而来
[root@hadoop01 local]#cp hive/lib/mysql-connector-java-5.1.49-bin.jar sqoop/lib/

Sqoop的配置文件为conf/sqoop-env.sh，需要修改其中的相关参数，以便Sqoop能够正常连接到Hadoop集群和数据库。可以使用以下命令备份一份配置文件：

在 Sqoop 安装目录的 conf 子目录下，系统已经提供了一个环境变量文件模板sqoop-env-template.sh，使用 cp 操作复制一个副本，并改名为 sqoop-env.sh，修改sqoop-env.sh (可选，一般安装了Hadoop、HBase、Hive后可不配置此文件）

cp /usr/local/sqoop/conf/sqoop-env-template.sh /usr/local/sqoop/conf/sqoop-env.sh

修改sqoop-env.sh配置文件中的参数：

其中，HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME和HIVE_HOME需要设置为Hadoop和Hive的安装目录，以便Sqoop能够连接到它们。

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

 

在命令行中输入Sqoop命令进行测试，如：

• 启动的时候，有相关的警告信息，我们可以配置bin/configure-sqoop 文件，先注销对应的相关语句.
• 建议：使用notpad++进行编辑，使用其列模式：按住Alt键，垂直拖动鼠标即可以列模式编辑。
• 命令将查询连接到MySQL数据库，并列出其中的所有数据库。

#注释掉对应行号 75~107 行的内容
​
#注释掉对应行号 129~147 行的内容
​
#注释掉对应行号 227~228 行的内容
​
#注释掉对应行号 230~231 行的内容

 Sqoop命令进行测试

sqoop list-databases --connect jdbc:mysql://localhost/test --username root --password 123456

 命令将导入MySQL数据库中的users表到Hadoop中的/tmp/users目录中。

sqoop import --connect jdbc:mysql://localhost/test --username root --password 123456 --table users --target-dir /tmp/users

查看Sqoop作业状态

sqoop job --list

Sqoop相关经常使用到的指令:

• 下载并解压缩sqoop安装包：tar -xzvf sqoop-x.x.x.bin__hadoop-x.x.x.tar.gz
• 配置环境变量：export SQOOP_HOME=/path/to/sqoop
• 配置sqoop的配置文件：cp $SQOOP_HOME/conf/sqoop-env-template.sh $SQOOP_HOME/conf/sqoop-env.sh
• 修改sqoop-env.sh文件中的配置参数，如HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME、HIVE_HOME等
• 配置MySQL的JDBC驱动：将mysql-connector-java-x.x.x.jar复制到$SQOOP_HOME/lib目录下
• 启动sqoop服务：$SQOOP_HOME/bin/sqoop server start
• 停止sqoop服务：$SQOOP_HOME/bin/sqoop server stop
• 导入数据到HDFS：$SQOOP_HOME/bin/sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password password --table table_name --target-dir /path/to/hdfs/directory
• 导出数据到MySQL：$SQOOP_HOME/bin/sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password password --table table_name --export-dir /path/to/hdfs/directory