第4.1.2章 flume的拓扑结构

1 多个应用通过连接同一个Flume Agent
参考logback与flume集成章节的描述,很容想到各个系统使用同一个logback和flume的配置文件,轻松的实现了将日志数据写入HDFS中的效果。
第4.1.2章 flume的拓扑结构_第1张图片
这种设计的问题也很凸显,单点故障。
2 Flume Agent集群
很容易就想到了,使用haproxy做代理
第4.1.2章 flume的拓扑结构_第2张图片
haproxy配置也较为简单

frontend flume_hdfs_front
		bind *:9095
		mode tcp
    log global
    option tcplog
    timeout client 3600s
    backlog 4096
    maxconn 1000000
    default_backend flume_hdfs_back

backend flume_hdfs_back
		mode tcp
		option log-health-checks
   	option redispatch
   	option tcplog
   	balance roundrobin
   	timeout connect 1s
   	timeout queue 5s
   	timeout server 3600s
		balance roundrobin
		serv

你可能感兴趣的:(flume,大数据杂烩)