Sqoop

Sqoop概述

Sqoop是基于Hadoop之上的数据传输工具,主要用于Hadoop在关系型数据库,数据仓库,No SQL系统之间传递数据。通过Sqoop我们可以方便的将关系型数据库中的数据导入到Hadoop、Hive、HBase中,也可将HDFS中的数据导出到关系型数据库中。

Sqoop架构

Sqoop架构非常简单,它整合了Hive、Hbase等,通过map任务来传输数据,map负责数据的加载、转换然后存储到HDFS、Hive、Hbase之中。

1)从工作角度模式来看,Sqoop是基于客户端的,用户使用客户端模式,只需要在一台机器上即可完成。

2)从MapReduce角度来看,Sqoop只提交一个map任务,数据传输和转化都是使用Mapper来完成的,而且该MapReduce作业只有mapper而不需要reducer

3)从安全角度来看,安全性不是很高,需要在执行时将用户名或者密码显性指定,也可以在配置文件中配置。

Sqoop导入和导出的过程

Sqoop_第1张图片

 Sqoop_第2张图片

你可能感兴趣的:(sqoop)