flume-ng配置文件详解(四)

1  高可用

对于一个系统而言,高可用指在一个固定时间内,系统无故障运行的时间。


1.1  Source高可用

Agent实例用来作为Source源收集数据的时候,当Agent进程死掉时候,这时候会降低系统的高可用。

Agent在supervise下启动,如果Agent进程死掉,会自动启动。

对Agent进程进行监控,死掉之后进行报警。


1.2 Sink高可用

Agent实例用来作为Sink存储数据的时候

当Agent进程死掉时候,这时候可以利用Flume提供的FailOver或者Loadbalance实现sink的高可用。


2  高可靠


可靠性就是flume中event事件流确保传入下一个Agent或者存储到存储介质中

flume为了确保高可靠,当Agent的channel中数据传入到下一个Agent或者最终存储介质中,才会删除channel中数据


3 高可扩展


Source理论上可以无限水平扩展

Source到Sink采取LoadBalance,Sink层也可以无限扩展

你可能感兴趣的:(flume-ng配置文件详解(四))