了解flume sqoop

Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统

1、可以高速采集数据，采集的数据能够以想要的文件格式及压缩方式存储在hdfs上；

2、事务功能保证了数据在采集的过程中数据不丢失；

3、部分Source保证了Flume挂了以后重启依旧能够继续在上一次采集点采集数据，真正做到数据零丢失。

Agent 是 Flume 中最小的独立运行单位，一个 agent 就是一个 JVM 含有三个核心组件，分别是 source、channel 和 sink

 Sqoop 是一个在结构化数据和 Hadoop 之间进行批量数据迁移的工具 结构化数据可以是MySQL、Oracle等关系型数据库 把关系型数据库的数据导入到 Hadoop 与其相关的系统 把数据从 Hadoop 系统里抽取并导出到关系型数据库里 底层用 MapReduce 实现数据迁移