Fulme

深入理解海量日志收集利器 Flume

二、Fulme有什么特点Fulme特点如下：1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数
ywendeng·2020-06-26 22:43

Flume实战 监控一个文件实时采集新增的数据

Fulme的关键是写配置文件首先要确定Agent的选型，execsource+memorychannel+loggersink配置：#Namethecomponentsonthisagenta1.sources
fengfengchen95·2020-06-23 07:45

自定义fulme---sink至mysql

实现功能：采集nchadoop0144444的数据，将nc的数据保存至mysql数据库（主要实现自定义sink至mysql,hadoop01为机器名）若nc没安装，请先安装netcat1.代码如下：packagecom.bigdata.flume;importcom.google.common.base.Preconditions;importcom.google.common.base.Thro
卡奥斯道·2017-10-07 17:50

深入理解海量日志收集利器 Flume

二、Fulme有什么特点Fulme特点如下：1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数
u010330043·2016-05-04 21:00

【Java】【Fulme】Flume-NG源代码阅读之SpoolDirectorySource

        org.apache.flume.source.SpoolDirectorySource是flume的一个经常使用的source，这个源支持从磁盘中某目录获取文件数据。不同于其它异步源，这个源可以避免重新启动或者发送失败后数据丢失。flume可以监控目录，当出现新文件时会读取该文件并获取数据。当一个给定的文件被所有读入到通道中时，该文件会被
·2015-11-12 17:30

【Java】【Fulme】Flume-NG源码阅读之SpoolDirectorySource

    org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source，这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源，这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹，当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时，该文件会被重命名以标志已经完成。同时，该源需要一个清理进程来定期
szwangdf·2014-06-24 13:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他