Flume 事务处理过程详解

Flume 事务过程详解

主要事务处理过程:
Flume 事务处理过程详解_第1张图片
1、Web Server :读数据,通过端口,本地文件读入数据。读取文件时有单个上传、批量上传以及断点续传模式。

2、Source :读数据,并将数据封装成事件。Source 将事务主动推入 Channel 中,而 Sink 是拉取事务。

3、Put 事务流程

  • doPut : 将批数据先写入临时缓冲区 putList
  • doCommit : 检查 channel 内存队列是否足够合并
  • doRollBack : channel 内存队列空间不足,回滚数据

4、Take 事务

  • doTake : 将数据取到临时缓冲区 takeList,并将数据发送到 HDFS
  • doCommit : 如果数据全部发送成功,则清除临时缓冲区 takeList
  • doRollback : 数据发送过程中如果出现异常,rollback 将临时缓冲区 takeList 中的数据归还给 channel 内存队列。

下一篇:Flume Agent 内部原理详解

加入小猿QQ群:947117563,一起玩转大数据!!写作不易,记得一键三连哦 0_0 !!

你可能感兴趣的:(Flume,flume,大数据,hadoop)