Hadoop体系-2数据采集体系

image.png

HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

Sqoop

Sqoop ： SQL-to-Had oop,用于在关系型数据库（RDBMS）和HDFS之间互相传输数据。

Sqoop 启用了一个MapReduce任务来执行数据采集任务，传输大量结构化或半结构化数据的过程是完全自动化的。其主要通过JDBC和关系数据库进行交互，理论上支持JDBC的Database都可以使用Sqoop和HDFS进行数据交互。

主要是用于采集一般的关系型数据库。

Flume

Apache Flume是一个分布式、可靠、高可用的日志收集系统，支持各种各样的数据来源，如http，log文件，监听端口数据等等，将这些数据源的海量日志数据进行高效收集、聚合、移动，最后存储到指定存储系统中(可扩展)，如kafka、HDFS分布式文件系统、Solr，HBase等。

Flume基于流式数据，适用于日志和事件类型的数据收集，重构后的Flume-NG版本中一个agent（数据传输流程）中的source（源）和sink（目标）之间通过channel进行链接，同一个源可以配置多个channel。多个agent还可以进行链接组合共同完成数据收集任务，使用起来非常灵活。

DataX

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

被阿里开源之后的DataX社区并不活跃，但是好在程序的架构设计的好，大部分用户都会选择fork之后基于其进行二次开发。DataX本身由阿里开发对于阿里自身的数据库比如ODPS、ADS等支持更好。

Kettle

Kettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

Kettle 中文名称叫水壶，寓意就是希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle是CS架构，拥有自己的管理控制台，同样也可以通过Java代码与我们的工程进行集成，在程序中完成kettle的转换、执行等操作。

Gobblin

Gobblin与类似框架的核心区别在以下三个方面：通用性、可扩展性和可操作性。Gobblin支持开箱即用的数据源，并且可以轻松扩展以获得更多数据源支持。

Gobblin是用来整合各种数据源的通用型ETL框架，在某种意义上，各种数据都可以在这里“一站式”的解决ETL整个过程，专为大数据采集而生。

实际工作中Flume主要用于采集日志等文件类的数据，Sqoop主要用于采集关系型数据库的数据。
阿里开源的DataX很好用。
Gobblin是一个新的整合型的工具，可以简单的进行ETL。