大数据之数据迁移sqoop的安装

1、sqoop的简介

        Sqoop是一种用于在Apache Hadoop和结构化数据存储（如关系型数据库）之间进行快速有效数据转移的工具。Sqoop具有命令行界面，可用于从关系型数据库中导入数据到Hadoop分布式文件系统（HDFS）中，或从HDFS导出数据到关系型数据库中。Sqoop支持各种关系型数据库，包括MySQL、Oracle、PostgreSQL等。Sqoop还支持并行导入和导出操作，以便更快地处理大量数据。Sqoop的主要目标是使Hadoop与关系型数据库集成变得更加容易，便于数据分析和处理。

简而言之，sqoop是一个大数据的数据迁移工具。

2、 sqoop的数据迁移的优缺点

Sqoop是一款开源的数据迁移工具，可以将关系型数据库中的数据快速地导入到Hadoop生态系统中，或者将Hadoop生态系统中的数据快速地导出到关系型数据库中。其优缺点如下：

优点：

1. 可靠性：Sqoop可以确保数据的一致性和完整性，并且在迁移过程中能够进行错误处理和重试。
2. 高效性：Sqoop通过并行处理和数据压缩技术来提高数据迁移的效率，能够快速地将大量数据导入到Hadoop生态系统中。
3. 灵活性：Sqoop支持多种数据源和目标，可以从各种关系型数据库（如MySQL、Oracle等）和Hadoop存储系统（如HDFS和HBase等）中导入和导出数据。
4. 易用性：Sqoop提供了简单易用的命令行工具和图形化界面，使得用户可以方便地进行数据迁移。

缺点：

1. 不支持实时数据迁移：Sqoop是一款离线的数据迁移工具，不支持实时数据迁移。
2. 配置复杂：Sqoop的配置比较复杂，需要设置许多参数和选项，可能需要一定的技术知识和经验。
3. 不支持复杂数据类型：Sqoop不支持复杂数据类型（如数组、嵌套结构等），在迁移这些类型的数据时需要特殊处理。
4. 不支持非关系型数据库：Sqoop只支持关系型数据库和Hadoop存储系统，不支持非关系型数据库（如MongoDB、Cassandra等）的数据迁移。

3、sqoop的安装

3.1、上传sqoop的安装包到/software，并下解压到/opt下

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/

 3.2、对sqoop解压文件进行重命名

mv  /opt/sqoop-1.4.7.bin__hadoop-2.6.0 /opt/sqoop

3.3、在环境变量最后面追加上sqoop的安装路径

export SQOOP_HOME=/opt/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

3.4、刷新环境变量并检验安装是否成功

source /etc/profile

sqoop version

3.5、添加本地hadoop和hive地址路径（在sqoop下的conf文件下）

cp sqoop-env-template.sh sqoop-env.sh

修改这个可执行脚本中的变量添加下面的路径

export HADOOP_COMMON_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive

export HCAT_HOME=/opt/hive/hcatalog

 3.6、如果需要连接mysql需要将对应的mysql连接jar放入sqoop的lib下

sqoop的软件包下载位置链接：https://pan.baidu.com/s/1v2mn-RMEsb7H7d6gYe6ISw?pwd=asdf 
提取码：asdf