Sqoop理论知识:介绍-产生背景-架构-数据导入导出流程

文章目录

  • 一、简介
  • 二、产生背景
  • 三、架构
  • 四、数据导入过程
  • 五、数据导出过程

一、简介

Sqoop是一个数据迁移工具。是一个MapReduce的代码框架。
可以实现 数据在 关系型数据库 和 Hadoop 之间的相互 导入和导出。 

二、产生背景

对于 关系型数据库 和 Hadoop(HDFS/Hive/HBase) 之间的数据传递,
我们通常的解决方案是: 根据不同的需求来编写MapReduce来完成。
但是这种方案存在明显的局限性:我们每次都需要编写MR,学习成本高,使用也不方便。
于是诞生了一种MR的代码框架,即Sqoop。有了它以后,我们无需再编写MapReduce代码,只需要简单地配置脚本即可。

三、架构

Sqoop理论知识:介绍-产生背景-架构-数据导入导出流程_第1张图片
架构特点:
工作模式角度:基于客户端,仅需一台机器就能完成。
MR角度:Sqoop只需要提交一个Map任务,数据的传输和转换依靠Mapper,不需要Reduce;执行过程可以通过Yarn来监控。
安全角度:执行时需要显示指定用户名和密码;也可以通过配置文件来指定。安全性不高。

四、数据导入过程

Sqoop理论知识:介绍-产生背景-架构-数据导入导出流程_第2张图片

五、数据导出过程

Sqoop理论知识:介绍-产生背景-架构-数据导入导出流程_第3张图片

你可能感兴趣的:(Sqoop,sqoop,大数据)