fluentd out_forward翻译

td-agent server配置
官网:http://docs.fluentd.org/articles/out_forward
翻译:
out_forward缓冲输出插件将事件转发到其他fluentd节点。 此插件支持负载平衡和自动故障转移(又名主动 - 主动备份)。 对于复制,请使用out_copy插件。

out_forward插件使用“φaccrual failure detector”算法检测服务器故障。 您可以自定义算法的参数。 当服务器故障恢复时,插件使服务器在几秒钟后自动可用。

out_forward插件支持最多一次和至少一次语义。 默认值为最多一次。
{请勿在没有安全连接的情况下使用此插件进行DC或公共互联网数据传输。 所有数据未加密,并且此插件不是为高延迟网络环境设计的。 如果需要节点之间的安全连接,请考虑使用in_secure_forward。}

Example Configuration:
out_forward包含在Fluentd的核心中。 无需额外的安装过程。

@type forward
send_timeout 60s
recover_wait 10s
heartbeat_interval 1s
phi_threshold 16
hard_timeout 60s


name myserver1
host 192.168.1.3
port 24224
weight 60


name myserver2
host 192.168.1.4
port 24224
weight 60

...


@type file
path /var/log/fluent/forward-failed

Parameters
类型(必需)

该值必须为forward。

(至少需要一个)

目标服务器。 每个服务器必须具有以下信息。

name:服务器的名称。 此参数用于错误消息。
host(必需):服务器的IP地址或主机名。
port:主机的端口号。 默认值为24224.请注意,TCP数据包(事件流)和UDP数据包(心跳消息)都会发送到此端口。
重量:负载平衡重量。 如果一个服务器的权重为20,另一个服务器的权重为30,则事件以2:3的比率发送。 默认权重为60。
require_ack_response

将协议更改为至少一次。 插件等待来自目标的in_forward插件的ack。

ack_response_timeout

当require_ack_response为true时,使用此选项。 默认值为190.此默认值基于常用的tcp_syn_retries。

如果设置为0,这个插件不等待ack响应。
(可选)

所有服务器不可用时使用的备份目标。
send_timeout

发送事件日志的超时时间。 默认值为60秒。

recover_wait

接受服务器故障恢复之前的等待时间。 默认值为10秒。

心跳类型

用于心跳的传输协议。 默认值为“udp”,但您也可以选择“tcp”。 设置“none”以禁用心跳。

heartbeat_interval

心跳包装器的间隔。 默认值为1秒。

phi_failure_detector

使用“Phi应计故障检测器”检测服务器故障。 默认值为true。

phi_threshold

用于检测服务器故障的阈值参数。 默认值为16。

hard_timeout

用于检测服务器故障的硬超时。 默认值等于send_timeout参数。

standby
将节点标记为Fluentd节点之间的活动 - 备用模型的备用节点。 当活动节点关闭时,备用节点将升级到活动节点。 在此之前,out_forward插件不使用备用节点。


@type forward
...


name myserver1
host 192.168.1.3
weight 60

# forward doesn't use myserver2 until myserver1 goes down
name myserver2
host 192.168.1.4
weight 60
standby

...

expire_dns_cache

设置TTL以秒为单位过期DNS缓存。 设置为0不使用DNS缓存。 默认值为nil(表示持久性缓存)。

dns_round_robin

启用客户端DNS轮循。 统一随机选择IP地址以在主机名具有服务器IP地址时发送数据。

Buffered Output Parameters
对于高级用途,您可以使用这些参数调整Fluentd的内部缓冲机制。

buffer_type

默认情况下,缓冲区类型是内存(buf_memory)。也可以选择文件(buf_file)缓冲区类型。如果使用文件缓冲区类型,则需要使用buffer_path参数。

buffer_queue_limit,buffer_chunk_limit

块队列的长度和每个块的大小。请参阅缓冲区插件概述文章了解基本缓冲区结构。默认值分别为64和8m。后缀“k”(KB),“m”(MB)和“g”(GB)可以用于buffer_chunk_limit。

flush_interval

数据刷新之间的间隔。默认值为60s。可以使用后缀“s”(秒),“m”(分钟)和“h”(小时)。

flush_at_shutdown

如果设置为true,Fluentd会在关闭时等待缓冲区刷新。默认情况下,它对于内存缓冲区设置为true,对于文件缓冲区设置为false。

retry_wait,max_retry_wait

写重试之间的初始和最大间隔。默认值为1.0秒,未设置(无限制)。间隔加倍(+/- 12.5%随机性),每次重试,直到达到max_retry_wait。在默认配置中,最后一次重试等待大约131072秒,大约36小时。

retry_limit,disable_retry_limit

缓冲数据之前的重试次数的限制被丢弃,并且有一个选项禁用该限制(如果为true,则忽略retry_limit的值,没有限制)。默认值为17和false(不禁用)。如果达到限制,则丢弃缓冲数据,并将重试间隔重置为其初始值(retry_wait)。

num_threads

刷新缓冲区的线程数。此选项可用于将写入并行到输出插件指定的输出中。增加线程数可提高刷新吞吐量,以隐藏写入/网络延迟。默认值为1。

slow_flush_log_threshold

用于检查块冲洗性能的阈值。默认值为20.0秒。注意,参数类型是float,而不是时间。

如果chunk flush需要比这个阈值更长的时间,fluentd日志警告消息如下:

2016-12-19 12:00:00 +0000 [warn]:缓冲区刷新花费的时间比slow_flush_log_threshold更长:elapsed_time = 15.0031226690043695 slow_flush_log_threshold = 10.0 plugin_id =“foo”
log_level选项

log_level选项允许用户为每个插件设置不同级别的日志记录。支持的日志级别是:致命,错误,警告,信息,调试和跟踪。

故障排除
“没有节点可用”

请确保您可以使用不仅TCP,而且UDP与端口24224通信。 这些命令将有助于检查网络配置。

有关更多详细信息,请参阅日志记录文章。
$ telnet host 24224
$ nmap -p 24224 -sU主机
请注意,有一个已知的问题,VMware会偶尔丢失用于心跳的小UDP数据包。 td-agent server配置
官网:http://docs.fluentd.org/articles/out_forward
翻译:
out_forward缓冲输出插件将事件转发到其他fluentd节点。 此插件支持负载平衡和自动故障转移(又名主动 - 主动备份)。 对于复制,请使用out_copy插件。

out_forward插件使用“φaccrual failure detector”算法检测服务器故障。 您可以自定义算法的参数。 当服务器故障恢复时,插件使服务器在几秒钟后自动可用。

out_forward插件支持最多一次和至少一次语义。 默认值为最多一次。
{请勿在没有安全连接的情况下使用此插件进行DC或公共互联网数据传输。 所有数据未加密,并且此插件不是为高延迟网络环境设计的。 如果需要节点之间的安全连接,请考虑使用in_secure_forward。}

Example Configuration:
out_forward包含在Fluentd的核心中。 无需额外的安装过程。

@type forward
send_timeout 60s
recover_wait 10s
heartbeat_interval 1s
phi_threshold 16
hard_timeout 60s


name myserver1
host 192.168.1.3
port 24224
weight 60


name myserver2
host 192.168.1.4
port 24224
weight 60

...


@type file
path /var/log/fluent/forward-failed

Parameters
类型(必需)

该值必须为forward。

(至少需要一个)

目标服务器。 每个服务器必须具有以下信息。

name:服务器的名称。 此参数用于错误消息。
host(必需):服务器的IP地址或主机名。
port:主机的端口号。 默认值为24224.请注意,TCP数据包(事件流)和UDP数据包(心跳消息)都会发送到此端口。
重量:负载平衡重量。 如果一个服务器的权重为20,另一个服务器的权重为30,则事件以2:3的比率发送。 默认权重为60。
require_ack_response

将协议更改为至少一次。 插件等待来自目标的in_forward插件的ack。

ack_response_timeout

当require_ack_response为true时,使用此选项。 默认值为190.此默认值基于常用的tcp_syn_retries。

如果设置为0,这个插件不等待ack响应。
(可选)

所有服务器不可用时使用的备份目标。
send_timeout

发送事件日志的超时时间。 默认值为60秒。

recover_wait

接受服务器故障恢复之前的等待时间。 默认值为10秒。

心跳类型

用于心跳的传输协议。 默认值为“udp”,但您也可以选择“tcp”。 设置“none”以禁用心跳。

heartbeat_interval

心跳包装器的间隔。 默认值为1秒。

phi_failure_detector

使用“Phi应计故障检测器”检测服务器故障。 默认值为true。

phi_threshold

用于检测服务器故障的阈值参数。 默认值为16。

hard_timeout

用于检测服务器故障的硬超时。 默认值等于send_timeout参数。

standby
将节点标记为Fluentd节点之间的活动 - 备用模型的备用节点。 当活动节点关闭时,备用节点将升级到活动节点。 在此之前,out_forward插件不使用备用节点。


@type forward
...


name myserver1
host 192.168.1.3
weight 60

# forward doesn't use myserver2 until myserver1 goes down
name myserver2
host 192.168.1.4
weight 60
standby

...

expire_dns_cache

设置TTL以秒为单位过期DNS缓存。 设置为0不使用DNS缓存。 默认值为nil(表示持久性缓存)。

dns_round_robin

启用客户端DNS轮循。 统一随机选择IP地址以在主机名具有服务器IP地址时发送数据。

Buffered Output Parameters
对于高级用途,您可以使用这些参数调整Fluentd的内部缓冲机制。

buffer_type

默认情况下,缓冲区类型是内存(buf_memory)。也可以选择文件(buf_file)缓冲区类型。如果使用文件缓冲区类型,则需要使用buffer_path参数。

buffer_queue_limit,buffer_chunk_limit

块队列的长度和每个块的大小。请参阅缓冲区插件概述文章了解基本缓冲区结构。默认值分别为64和8m。后缀“k”(KB),“m”(MB)和“g”(GB)可以用于buffer_chunk_limit。

flush_interval

数据刷新之间的间隔。默认值为60s。可以使用后缀“s”(秒),“m”(分钟)和“h”(小时)。

flush_at_shutdown

如果设置为true,Fluentd会在关闭时等待缓冲区刷新。默认情况下,它对于内存缓冲区设置为true,对于文件缓冲区设置为false。

retry_wait,max_retry_wait

写重试之间的初始和最大间隔。默认值为1.0秒,未设置(无限制)。间隔加倍(+/- 12.5%随机性),每次重试,直到达到max_retry_wait。在默认配置中,最后一次重试等待大约131072秒,大约36小时。

retry_limit,disable_retry_limit

缓冲数据之前的重试次数的限制被丢弃,并且有一个选项禁用该限制(如果为true,则忽略retry_limit的值,没有限制)。默认值为17和false(不禁用)。如果达到限制,则丢弃缓冲数据,并将重试间隔重置为其初始值(retry_wait)。

num_threads

刷新缓冲区的线程数。此选项可用于将写入并行到输出插件指定的输出中。增加线程数可提高刷新吞吐量,以隐藏写入/网络延迟。默认值为1。

slow_flush_log_threshold

用于检查块冲洗性能的阈值。默认值为20.0秒。注意,参数类型是float,而不是时间。

如果chunk flush需要比这个阈值更长的时间,fluentd日志警告消息如下:

2016-12-19 12:00:00 +0000 [warn]:缓冲区刷新花费的时间比slow_flush_log_threshold更长:elapsed_time = 15.0031226690043695 slow_flush_log_threshold = 10.0 plugin_id =“foo”
log_level选项

log_level选项允许用户为每个插件设置不同级别的日志记录。支持的日志级别是:致命,错误,警告,信息,调试和跟踪。

故障排除
“没有节点可用”

请确保您可以使用不仅TCP,而且UDP与端口24224通信。 这些命令将有助于检查网络配置。

有关更多详细信息,请参阅日志记录文章。
$ telnet host 24224
$ nmap -p 24224 -sU主机
请注意,有一个已知的问题,VMware会偶尔丢失用于心跳的小UDP数据包。

你可能感兴趣的:(fluentd out_forward翻译)