Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}

Sqoop学习文档(1)

【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】
总内容：Sqoop基本概念、Sqoop的安装配置、Sqoop import、Sqoop export

此篇为Sqoop学习文档(1)，接Sqoop学习文档(2)

sqoop收集的是结构化数据，sqoop全量导入

一、Sqoop基本概念

1>Sqoop：SQL-to-Hadoop

2>连接传统关系型数据库和Hadoop的桥梁
把关系型数据库(Mysql)的数据导入到Hadoop系统，如HDFS/Hbase/Hive
把数据从Hadoop系统抽取并导出到关系型数据库里

3>利用MapReduce加快数据传输速度

4>批处理方式进行数据传输

二、Sqoop安装配置
安装Sqoop的前提是已经具备Java和Hadoop的环境。

(1)下载并解压
到官网 进行下载

(2)修改配置文件

(3)拷贝JDBC驱动
拷贝jdbc驱动到sqoop的lib目录下

cp mysql-connector-java-5.1.27-bin.jar /soft/sqoop/lib/

(4)验证Sqoop

bin/sqoop help

会出现一些命令，如下：

(5)测试Sqoop是否能够成功连接数据库

bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password root              # 下面出现你自己的mysql表名

【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】