Sqoop 入门基础

简介

Sqoop（SQL to Hadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。它提供了一种快速高效的方式，将数据从关系型数据库导入到Hadoop集群进行分析，并支持将Hadoop集群中的数据导出到关系型数据库中。本篇教程将详细介绍Sqoop的全部用法，包括基本概念、使用方法和实例代码。我们将创建一个示例数据表，并使用Sqoop来导入和导出数据。

一、准备工作

在开始之前，请确保您已经完成以下准备工作：

1.1 安装环境

安装并配置好Hadoop和Sqoop。

1.2 创建MySQL数据表

创建一个名为employees的MySQL数据库，并在其中创建一个名为employees的数据表。

可以使用以下sql语句创建表：

CREATE TABLE employees ( 
    id INT, 
    name VARCHAR(100), 
    age INT, 
    salary FLOAT 
);

1.3 创建Hive数据表

在Hive中创建一个名为employees_hive的数据表，与MySQL中的employees表结构相同。可以使用以下HiveQL语句创建表： 

CREATE TABLE employees_hive ( 
    id INT, 
    name STRING, 
    age INT, 
    salary FLOAT ) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;

二、数据导入

接下来，我们将使用Sqoop将MySQL中的数据导入到Hive表中。

打开终端并执行以下命令：

sqoop import 
--connect jdbc:mysql://localhost:3306/employees 
--username 你的用户名 
--password 你的密码 
--table employees 
--hive-import 
--hive-table employees_hive

上述命令中的参数解释如下：

--connect: 指定数据库连接字符串。

--username: 数据库用户名。

--password: 数据库密码。

--table: 指定要导入的MySQL表名。

--hive-import: 导入数据到Hive。

--hive-table: 指定要导入的Hive表名。

执行完毕后，Sqoop将从MySQL的employees表中抽取数据，并将其导入到Hive的employees_hive表中。 

三、数据导出

现在，让我们使用Sqoop将Hive表中的数据导出到MySQL中。

执行以下命令：

sqoop export 
--connect jdbc:mysql://localhost:3306/employees 
--username 你的用户名 
--password 你的密码 
--table employees_exported 
--export-dir /user/hive/warehouse/employees_hive 
--input-fields-terminated-by '\t'

上述命令中的参数解释如下：

--connect: 指定数据库连接字符串。

--username: 数据库用户名。

--password: 数据库密码。

--table: 指定要导出到的MySQL表名。

--export-dir: 指定要导出的Hive表的路径。

--input-fields-terminated-by: 指定输入字段的分隔符。

执行完毕后，Sqoop将从Hive的employees_hive表中抽取数据，并将其导出到MySQL的employees_exported表中。

四、Sqoop命令行参数

除了上述基本用法外，Sqoop还提供了许多其他的命令行参数，以满足不同的需求。以下是一些常用的Sqoop命令行参数：

1. --num-mappers：指定用于数据传输的MapReduce任务数。默认值为4。
2. --split-by：指定用于数据分割的列名。默认值为不进行分割。
3. --where：指定WHERE子句，用于筛选要导入或导出的数据。
4. --query：指定一个SQL查询语句，用于导入或导出数据。
5. --delete-target-dir：在导入数据之前删除目标目录。默认值为false。
6. --null-string：指定表示NULL值的字符串。默认值为\N。
7. --null-non-string：指定表示NULL值的非字符串类型。默认值为\N。
8. --fields-terminated-by：指定字段分隔符。默认值为'\t'。
9. --lines-terminated-by：指定行分隔符。默认值为'\n'。
10. --hive-drop-import-delims：删除Hive表的分隔符。默认值为false。

五、Sqoop与Hadoop集成

Sqoop可以与Hadoop生态系统中的其他工具无缝集成，例如Hive、Pig和MapReduce。以下是一些常见的Sqoop与Hadoop集成的示例：

5.1 Sqoop与Hive集成

可以使用Sqoop将数据从关系型数据库导入到Hive表中，然后使用HiveQL对数据进行分析和处理。

sqoop import 
--connect jdbc:mysql://localhost:3306/employees 
--username 你的用户名 
--password 你的密码 
--table employees 
--hive-import 
--hive-table employees_hive

5.2 Sqoop与Pig集成

可以使用Sqoop将数据从关系型数据库导入到HDFS中，然后使用Pig对数据进行分析和处理。 

sqoop import 
--connect jdbc:mysql://localhost:3306/employees
--username 你的用户名 
--password 你的密码 
--table employees 
--target-dir /user/hadoop/employees_data

5.3 Sqoop与MapReduce集成

可以使用Sqoop将数据从关系型数据库导入到HDFS中，然后使用MapReduce对数据进行分析和处理。 

sqoop import 
--connect jdbc:mysql://localhost:3306/employees
--username 你的用户名 
--password 你的密码
--table employees 
--target-dir /user/hadoop/employees_data

六、高级技巧

在掌握了Sqoop的基础用法之后，我们可以进一步探讨一些高级的导入导出技巧，这些技巧有助于处理更复杂的数据迁移和同步场景。

6.1 增量导入（Incremental Import）

Sqoop支持增量导入，允许你只导入自上次导入以来发生变化的数据。这对于大型数据库非常有用，因为全量导入会消耗大量的时间和资源。使用--check-column参数指定一个用于检查变化的列，通常是一个时间戳或序列号。

sqoop import -
-connect jdbc:mysql://localhost:3306/employees 
--username 你的用户名 
--password 你的密码 
--table employees 
--incremental lastmodified 
--check-column update_time 
--last-value '2023-01-01 00:00:00'

6.2 指定导入导出的列（Column Selection） 

如果你只需要表中的部分列，可以使用--columns参数来指定要导入或导出的列。

sqoop import 
--connect jdbc:mysql://localhost:3306/employees 
--username 你的用户名 
--password 你的密码 
--table employees 
--columns "id,name,age" 
--target-dir /user/hadoop/employees_data

6.3 使用查询导入（Import with Query）

Sqoop允许你使用SQL查询来导入数据，这可以让你有选择性地导入数据，而不是整个表。

sqoop import 
--connect jdbc:mysql://localhost:3306/employees 
--username 你的用户名 
--password 你的密码 
--query 'SELECT id, name, age FROM employees WHERE $CONDITIONS' 
--split-by id 
--target-dir /user/hadoop/employees_data

6.4 合并导入（Merge Import）

如果你想将新数据合并到已有的Hive表中，而不是完全替换它，可以使用--hive-import和--hive-table参数，并设置--hive-overwrite为false。

sqoop import 
--connect jdbc:mysql://localhost:3306/employees 
--username 你的用户名 
--password 你的密码 
--table employees 
--hive-import 
--hive-table employees_hive 
--hive-overwrite false

6.5 全量抽取

sqoop import
--connect jdbc:mysql://localhost:3306/employees
--username 你的用户名
--password 你的密码
--table employees
--hive-import
--hive-overwrite
--hive-table employees_hive