Sqoop

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(Mysql、Oracle...)间进行数据的传递，可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了Import和Export这两个工具。

Sqoop import原理：

从传统数据库获取元数据信息(schema、table、field、field type)，把导入功能转换为只有Map的MapReduce作业，在MapReduce中有很多Map，每个Map读一片数据，进而并行的完成数据的拷贝。

Sqoop export原理：

获取导出表的schema、meta信息，和Hadoop中的字段match；多个Map only作业同时运行，完成HDFS中数据导出到关系型数据库中。

——郑州新思齐科技有限公司

王亚辉