大数据工具Hadoop快速入门8-SQOOP

什么是Hadoop中的SQOOP?

Apache Sqoop(SQL-to-Hadoop)旨在支持从结构化数据存储(如关系数据库,企业数据仓库和NoSQL)系统批量导入数据到HDFS。 Sqoop基于连接器架构,支持插件以提供与新外部系统的连接。

Sqoop的一个示例用例是运行夜间Sqoop导入的企业,将当天的数据从生产事务RDBMS加载到Hive数据仓库中以进行进一步分析。

Sqoop架构

大数据工具Hadoop快速入门8-SQOOP_第1张图片
image.png

所有现有的数据库管理系统都考虑到了SQL标准。但是,每个DBMS实现并不完全一样。因此,当涉及跨系统的数据传输时,这种差异带来了挑战。 Sqoop连接器是帮助克服这些挑战的组件。

在Sqoop的连接器的帮助下,Sqoop和外部存储系统之间的数据传输成为可能。

Sqoop具有用于处理各种流行关系数据库的连接器,包括MySQL,PostgreSQL,Oracle,SQLServer和DB2。这些连接器中的每一个都知道如何与其关联的DBMS进行交互。还有一个通用的JDBC连接器,用于连接任何支持Java JDBC协议的数据库。此外,Sqoop还提供优化的MySQL和PostgreSQL连接器,这些连接器使用特定于数据库的API来有效地执行批量传输。

除此之外,Sqoop还有各种用于数据存储的第三方连接器,从企业数据仓库(包括Netezza,Teradata和Oracle)到NoSQL商店(如Couchbase)。但是,这些连接器没有附带Sqoop捆绑;这些需要单独下载,并且可以轻松添加到现有的Sqoop安装中。

为什么我们需要Sqoop?

使用Hadoop进行分析处理需要将来自不同来源的大量数据加载到Hadoop集群中。这个批量数据从异构数据源加载到Hadoop然后处理它的过程带来了一系列挑战。在选择正确的数据加载方法之前,需要考虑维护和确保数据一致性并确保资源的有效利用。

其他方法:

1.使用脚本加载数据

使用脚本加载数据的传统方法不适合将大量数据加载到Hadoop中;这种方法效率低下且非常耗时。

2.通过Map-Reduce应用程序直接访问外部数据

这会复杂化map-reduce应用程序使这些应用程序。

3.除了能够处理大量数据外,Hadoop还可以处理多种不同形式的数据。因此,要将这些异构数据加载到Hadoop中,已经开发了不同的工具。
Sqoop和Flume是两种这样的数据加载工具。

参考资料

  • python测试开发项目实战-目录
  • python工具书籍下载-持续更新
  • python 3.7极速入门教程 - 目录
  • 讨论qq群630011153 144081101
  • 原文地址
  • 本文涉及的python测试开发库 谢谢点赞!
  • [本文相关海量书籍下载](https://github.com/china-testing/python-api-tesing/blob/master/books.md

Sqoop vs Flume vs Hadoop中的HDFS

Sqoop Flume HDFS
Sqoop用于从结构化数据源(如RDBMS)导入数据。 Flume用于将批量流数据移动到HDFS中。 HDFS是Hadoop生态系统用于存储数据的分布式文件系统。
Sqoop具有基于连接器的架构。连接器知道如何连接到相应的数据源并获取数据。 Flume拥有基于代理的架构。这里,编写了一个代码(称为“代理”),负责获取数据。 HDFS具有分布式架构,其中数据分布在多个数据节点上。
HDFS是使用Sqoop进行数据导入的目的地。 数据通过零个或多个通道流向HDFS。 HDFS是数据存储的终极目标。
Sqoop数据加载不是事件驱动的。 Flume数据加载可以由事件驱动。 HDFS只是存储通过任何方式提供给它的数据。
为了从结构化数据源导入数据,必须只使用Sqoop,因为它的连接器知道如何与结构化数据源交互并从中获取数据。 为了加载流媒体数据,例如在Twitter上生成的推文或Web服务器的日志文件,应该使用Flume。 Flume代理构建用于获取流数据。 HDFS有自己的内置shell命令来将数据存储到其中。 HDFS无法导入流数据

你可能感兴趣的:(大数据工具Hadoop快速入门8-SQOOP)