玩儿数据 - Sqoop （RDBMS To Hadoop 操作纪实）

本文中的Sqoop使用v1.4.6版本
Sqoop官方档:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

Sqoop是一个数据同步工具，是apache基金会的顶级项目。
Sqoop可以实现数据在RDBMS和Hadoop的导入导出
Sqoop可以通过简单的配置实现同步功能，免去开发烦恼

本文参照Sqoop官方文档指导完成，由于Sqoop体量并不是很大并且配置相对比较简单，所以官方文档也是很好看懂的，建议大家看一下。感谢A大给我们提供的优秀开源组件 :)

Sqoop Logo

Sqoop

Sqoop基础用法 Doc

使用方法: sqoop COMMAND [ARGS]
  可用命令:
    codegen            生成Sqoop操作数据功能的代码，Sqoop根据用户指定的配置信息生成对应的Java代码，再使用脚本调用代码实现同步功能
    create-hive-table  导入表数据到Hive
    eval               评估测试SQL语句并显示执行结果，可以是RDBMS的Sql或Hql
    export             导出HDFS中的文件或目录到RDBMS
    help               显示可用命令帮助信息
    import             导入表或数据库到HDFS
    import-all-tables  导入指定数据库所有表到HDFS
    job                将配置保存为Sqoop任务，通过job命令可方便控制
    list-databases     列出某主机的所有可用数据库
    list-tables        列出某数据库的所有可用表
    version            显示版本信息

Sqoop导入Mysql数据到HDFS Doc

1. 在mysql中创建测试数据

DROP DATABASE IF EXISTS sqoop_import_test;
CREATE DATABASE sqoop_import_test DEFAULT CHARSET=utf8;
USE sqoop_import_test;
SET FOREIGN_KEY_CHECKS=0;
DROP TABLE IF EXISTS `emp_test`;
CREATE TABLE `emp_test` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `emp_name` varchar(255) DEFAULT NULL,
  `emp_age` int(3) DEFAULT NULL,
  `last_login_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=5 DEFAULT CHARSET=utf8;
INSERT INTO `emp_test` VALUES ('1', '', '1', '2017-06-09 14:36:54');
INSERT INTO `emp_test` VALUES ('2', '印象笔记', '2', '2017-06-09 14:37:14');
INSERT INTO `emp_test` VALUES ('3', 'OneNote', '3', '2017-06-09 14:37:31');
INSERT INTO `emp_test` VALUES ('4', '有道云笔记', '4', '2017-06-09 14:37:47');

2. 将Mysql JDBC使用的jar包添加到Sqoop库

• 准备对应版本的mysql连接JDBC jar如mysql-connector-java-5.1.38.jar
• 将该jar拷贝到${Sqoop_HOME}/lib目录下

3. 执行导入
   我们的目的是将Mysql中的sqoop_import_test.emp_test表导入HDFS，所以我们使用Sqoop的import命令:

sqoop import \
--append \
--connect jdbc:mysql://master:3306/sqoop_import_test \
--username root \
--password root \
--target-dir /rdbms_2_hdfs \
--num-mappers 1 \
--table emp_test \
--fields-terminated-by '&'

4. 查看结果
   若正常执行完成则会发现HDFS对应目录下会出现相应的文件，查看文件内容与数据库中的一致

HDFS结果查看

Sqoop导入Mysql数据到Hive Doc

准备测试数据的过程同上，不再赘述
执行导入到Hive命令：

sqoop import \
--hive-import \
--connect jdbc:mysql://master:3306/sqoop_import_test \
--username root \
--password root \
--hive-table rdmbs_2_hive \
--num-mappers 1 \
--table emp_test

成功执行后查看Hive中结果：

Hive查询结果

总结

文档中演示的导入操作只是Sqoop提供的最基础功能之一。Sqoop还有很多有趣的用法和有趣的导入配置项，请大家查看官方文档并进行尝试操作 :)