Sqoop安装与配置
Sqoop安装与配置
- 一、了解Sqoop
- 二、下载Sqoop安装包
- 三、安装Sqoop
- 四、配置Sqoop
- 五、Sqoop基本命令
- 六、示例
一、了解Sqoop
sqoop 是 Hadoop 和关系数据库服务器之间传送数据的工具。主要用于在hive和关系型数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
核心的功能有两个：
-
导入、迁入
-
导出、迁出
二、下载Sqoop安装包
下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/
三、安装Sqoop
首先将文件放进Linux，然后使用命令tar解压sqoop
[root@master dev]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
将sqoop-1.4.7.bin__hadoop-2.6.0改为sqoop
[root@master dev]# mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
在home目录下创建apps文件夹。
[root@master dev]# mkdir -p /home/apps
将sqoop文件夹放入apps中。
[root@master dev]# mv sqoop /home/apps
四、配置Sqoop
- 配置系统环境变量
使用vi命令修改系统环境变量文件
[root@master dev]# vi /etc/profile
添加以下环境变量
export SQOOP_HOME=/home/apps/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
使添加的环境变量立即生效
[root@master dev]# source /etc/profile
- 修改Sqoop配置文件
Sqoop的配置文件在conf文件夹里面
[root@master dev]# cd /home/apps/sqoop/conf
[root@master conf]# ll
total 28
-rw-rw-r--. 1 centos centos 3895 Dec 19 2017 oraoop-site-template.xml
-rw-rw-r--. 1 centos centos 1404 Dec 19 2017 sqoop-env-template.cmd
-rwxr-xr-x. 1 centos centos 1345 Dec 19 2017 sqoop-env-template.sh
-rw-rw-r--. 1 centos centos 6044 Dec 19 2017 sqoop-site-template.xml
-rw-rw-r--. 1 centos centos 6044 Dec 19 2017 sqoop-site.xml
使用mv将文件名改为sqoop-env.sh和vi命令写入文件
[root@master conf]# mv sqoop-env-template.sh sqoop-env.sh
[root@master conf]# vi sqoop-env.sh
修改你的已经安装了的Hadoop组件，如果没有安装的就注释。
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.9.2
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.9.2
#set the path to where bin/hbase is available
export HBASE_HOME=/home/apps/habase
#Set the path to where bin/hive is available
export HIVE_HOME=/home/apps/hive
#Set the path for where zookeper config dir is
export ZOOCFGDIR=/home/apps/zookeeper
为什么在sqoop-env.sh 文件中会要求分别进行 common和mapreduce的配置呢？？？
在apache的hadoop的安装中；四大组件都是安装在同一个hadoop_home中的
但是在CDH, HDP中， 这些组件都是可选的。
在安装hadoop的时候，可以选择性的只安装HDFS或者YARN，
CDH,HDP在安装hadoop的时候，会把HDFS和MapReduce有可能分别安装在不同的地方
- 下载MySQL驱动包
链接: https://pan.baidu.com/s/15n6ESMrHegujUs8fITjp8Q
提取码: fg7c
[root@master dev]# mv mysql-connector-java-5.1.48.jar /home/apps/sqoop/lib
注：如果启动失败可能是MySQL驱动包版本问题
验证sqoop安装是否成功
[root@master dev]# sqoop-version
五、Sqoop基本命令
首先我们可以使用sqoop help命令来查看sqoop支持哪些命令
[root@master dev]# sqoop help
21/01/15 18:53:02 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
usage: sqoop COMMAND [ARGS]
Available commands:
codegen Generate code to interact with database records
create-hive-table Import a table definition into Hive
eval Evaluate a SQL statement and display the results
export Export an HDFS directory to a database table
help List available commands
import Import a table from a database to HDFS
import-all-tables Import tables from a database to HDFS
import-mainframe Import datasets from a mainframe server to HDFS
job Work with saved jobs
list-databases List available databases on a server
list-tables List available tables in a database
merge Merge results of incremental imports
metastore Run a standalone Sqoop metastore
version Display version information
See 'sqoop help COMMAND' for information on a specific command.
[root@master dev]#
如果不知道使用方式，可以使用sqoop help import 的命令 来查看某条具体命令的使用方式，
[root@master dev]# sqoop help import
六、示例
查看MySQL中有哪些数据库
[root@master dev]# sqoop list-databases --connect jdbc:mysql://192.168.1.121:3306/ --username root --password 123456789
21/01/15 19:01:38 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
21/01/15 19:01:38 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
21/01/15 19:01:38 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
Fri Jan 15 19:01:38 CST 2021 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
information_schema
hive
mysql
performance_schema
sys
[root@master dev]#
结语：大数据Hadoop笔记sqoop安装与配置