原文:http://blog.csdn.net/zdq0394123/article/details/14517161
原文:http://www.blogjava.net/qbna350816/archive/2016/08/02/431415.aspx
RabbitMQ的配置可以由三种方式进行定制。
环境变量
配置文件
运行时参数和策略
(1)环境变量:
定义端口、配置文件的位置(rabbitmq.config)和名值对(可以通过shell,也可以通过rabbitmq-env.conf)
rabbitmq-env.conf文件的位置是固定的${RabbitMQ-PREFIX}/etc/rabbitmq/rabbitmq-env.conf,不可改变。
rabbitmq-env.conf定义的变量会覆盖rabbitmq启动脚本的内置参数。
环境变量中的rabbitmq参数和rabbitmq-env.conf是一致的。(环境变量中的参数都有RABBITMQ_前缀)
Name | Default | Description |
---|---|---|
RABBITMQ_NODE_IP_ADDRESS | the empty string - meaning bind to all network interfaces. | Change this if you only want to bind to one network interface. |
RABBITMQ_NODE_PORT | 5672 | |
RABBITMQ_NODENAME |
|
The node name should be unique per erlang-node-and-machine combination. To run multiple nodes, see theclustering guide. |
RABBITMQ_SERVICENAME | Windows Service: RabbitMQ | The name of the installed service. This will appear in services.msc. |
RABBITMQ_CONSOLE_LOG | Windows Service: | Set this variable to new or reuse to redirect console output from the server to a file named%RABBITMQ_SERVICENAME%.debug in the default RABBITMQ_BASE directory.
|
RABBITMQ_CTL_ERL_ARGS | None | Parameters for the erl command used when invoking rabbitmqctl. This should be overridden for debugging purposes only. |
RABBITMQ_SERVER_ERL_ARGS |
|
Standard parameters for the erlcommand used when invoking the RabbitMQ Server. This should be overridden for debugging purposes only. |
RABBITMQ_SERVER_START_ARGS | None | Extra parameters for the erl command used when invoking the RabbitMQ Server. This will not overrideRABBITMQ_SERVER_ERL_ARGS. |
RabbitMQ 环境变量有一个RABBITMQ_前辍. 典型的环境变量RABBITMQ_var_name是按下面进行设置的:
这样,shell环境中的变量定义比rabbitmq-env.conf中的相同变量定义有更高的优先级, 而RabbitMQ中的系统默认值具有最低优先级.
此外,还有几个环境变量可用来告知RabbitMQ其数据库,日志文件,插件,配置文件的位置.
RabbitMQ依赖的变量有:
HOSTNAME
COMPUTERNAME
当前机器的名称
ERLANG_SERVICE_MANAGER_PATH
缺省
Windows Service:%ERLANG_HOME%\erts-x.x.x\bin
描述
erlsrv.exe位置路径,Erlang服务的封装脚本
rabbitmq.config配置文件允许配置RabbitMQ 核心程序, Erlang 服务和RabbitMQ 插件. 它是标准的Erlang 配置文件, 文档位于Erlang Config Man Page.
最小化的样例配置文件如下:
[ {rabbit, [{tcp_listeners, [5673]}]} ].
这个例子中将会修改RabbitMQ监听AMQP 0-9-1 客户端连接端口,5672修改为5673.
配置文件不同于环境配置文件rabbitmq-env.conf,(它可在非Window系统上设置环境变量).
这些文件的位置分布特定的. 默认情况下,这些文件是没有创建的,但每个平台上期望的位置如下:
如果rabbitmq-env.conf不存在, 可在默认位置中手动创建. 它不能用于Windows系统.
如果rabbitmq.config不存在,可以手动创建它. 如果你修改了位置,可设置RABBITMQ_CONFIG_FILE 环境变量来指定. Erlang 运行时会自动在此变量值后添加.config扩展名,重启服务器后生效.
Windows 服务用户在删除配置文件后,需要重新安装服务.
RabbitMQ server 源码仓库包含 一个示例配置文件 名为rabbitmq.config.example.这个示例文件中包含了你想要设置的大多数配置项(有一些省略)与其说明. 示例中的所有配置项都注释了的,如果你有需要,你可以取消注解. 注意,示例文件仅仅只是示例,不应该将其视为通用的推荐.
在大多数发行版中,我们将此示例文件放在真实文件的位置.然而再 Debian 和RPM 发行策略禁止这样做, 你可以在/usr/share/doc/rabbitmq-server/或 /usr/share/doc/rabbitmq-server-3.6.1/ respectively中找到.
大部分的RabbitMQ用户都会不会修改这些值,有些是相当模糊的.然而,为了完整性,他们都在这里列出。
Key | Documentation |
---|---|
tcp_listeners | 用于监听 AMQP连接的端口列表(无SSL). 可以包含整数 (即"监听所有接口")或者元组如 {"127.0.0.1", 5672} 用于监听一个或多个接口. Default: [5672] |
num_tcp_acceptors |
接受TCP侦听器连接的Erlang进程数。
Default: 10 |
handshake_timeout | AMQP 0-8/0-9/0-9-1 handshake (在 socket 连接和SSL 握手之后)的最大时间, 毫秒为单位. Default: 10000 |
ssl_listeners |
如上所述,用于SSL连接。
Default: [] |
num_ssl_acceptors | 接受SSL侦听器连接的Erlang进程数。 Default: 1 |
ssl_options | SSL配置.参考SSL documentation. Default: [] |
ssl_handshake_timeout | SSL handshake超时时间,毫秒为单位. Default: 5000 |
vm_memory_high_watermark | 流程控制触发的内存阀值.相看memory-based flow control 文档. Default: 0.4 |
vm_memory_high_watermark_paging_ratio | 高水位限制的分数,当达到阀值时,队列中消息消息会转移到磁盘上以释放内存. 参考memory-based flow control 文档. Default: 0.5 |
disk_free_limit | RabbitMQ存储数据分区的可用磁盘空间限制.当可用空间值低于阀值时,流程控制将被触发. 此值可根据RAM的总大小来相对设置 (如.{mem_relative, 1.0}). 此值也可以设为整数(单位为bytes)或者使用数字单位(如."50MB"). 默认情况下,可用磁盘空间必须超过50MB. 参考 Disk Alarms 文档. Default: 50000000 |
log_levels | 控制日志的粒度.其值是日志事件类别(category)和日志级别(level)成对的列表. level 可以是 'none' (不记录日志事件), 'error' (只记录错误), 'warning' (只记录错误和警告), 'info' (记录错误,警告和信息), or 'debug' (记录错误,警告,信息以及调试信息). 目前定义了4种日志类别. 它们是:
Default: [{connection, info}] |
frame_max | 与客户端协商的允许最大frame大小. 设置为0表示无限制,但在某些QPid客户端会引发bug. 设置较大的值可以提高吞吐量;设置一个较小的值可能会提高延迟. Default: 131072 |
channel_max | 与客户端协商的允许最大chanel大小. 设置为0表示无限制.该数值越大,则broker使用的内存就越高. Default: 0 |
channel_operation_timeout | Channel 操作超时时间(毫秒为单位) (内部使用,因为消息协议的区别和限制,不暴露给客户端). Default: 5000 |
heartbeat | 表示心跳延迟(单位为秒) ,服务器将在connection.tune frame中发送.如果设置为 0, 心跳将被禁用. 客户端可以不用遵循服务器的建议, 查看 AMQP reference 来了解详情. 禁用心跳可以在有大量连接的场景中提高性能,但可能会造成关闭了非活动连接的网络设备上的连接落下. Default: 60 (3.5.5之前的版本是580) |
default_vhost | 当RabbitMQ从头开始创建数据库时创建的虚拟主机. amq.rabbitmq.log交换器会存在于这个虚拟主机中. Default: <<"/">> |
default_user | RabbitMQ从头开始创建数据库时,创建的用户名. Default: <<"guest">> |
default_pass | 默认用户的密码. Default: <<"guest">> |
default_user_tags | 默认用户的Tags. Default: [administrator] |
default_permissions | 创建用户时分配给它的默认Permissions . Default: [<<".*">>, <<".*">>, <<".*">>] |
loopback_users | 只能通过环回接口(即localhost)连接broker的用户列表 如果你希望默认的guest用户能远程连接,你必须将其修改为[]. Default: [<<"guest">>] |
cluster_nodes | 当节点第一次启动的时候,设置此选项会导致集群动作自动发生. 元组的第一个元素是其它节点想与其建立集群的节点. 第二个元素是节点的类型,要么是disc,要么是ram Default: {[], disc} |
server_properties | 连接时向客户端声明的键值对列表 Default: [] |
collect_statistics |
统计收集模式。主要与管理插件相关。选项:
Default: none |
collect_statistics_interval | 统计收集时间间隔(毫秒为单位). 主要针对于 management plugin. Default: 5000 |
auth_mechanisms | 提供给客户端的SASL authentication mechanisms. Default: ['PLAIN', 'AMQPLAIN'] |
auth_backends | 用于 authentication / authorisation backends 的列表. 此列表可包含模块的名称(在模块相同的情况下,将同时用于认证来授权)或像{ModN, ModZ}这样的元组,在这里ModN将用于认证,ModZ将用于授权. 在2元组的情况中, ModZ可由列表代替,列表中的所有元素必须通过每个授权的确认,如{ModN, [ModZ1, ModZ2]}. 这就允许授权插件进行组合提供额外的安全约束. 除rabbit_auth_backend_internal外,其它数据库可以通常 plugins来使用. Default: [rabbit_auth_backend_internal] |
reverse_dns_lookups | 设置为true,可让客户端在连接时让RabbitMQ 执行一个反向DNS查找, 然后通过 rabbitmqctl 和 管理插件来展现信息. Default: false |
delegate_count | 内部集群通信中,委派进程的数目. 在一个有非常多核的机器(集群的一部分)上,你可以增加此值. Default: 16 |
trace_vhosts | tracer内部使用. 你不应该修改. Default: [] |
tcp_listen_options | 默认socket选项. 你可能不想修改这个选项. Default: [{backlog, 128}, {nodelay, true}, {exit_on_close, false}] |
hipe_compile | 将此选项设置为true,将会使用HiPE预编译部分RabbitMQ,Erlang的即时编译器. 这可以增加服务器吞吐量,但会增加服务器的启动时间. 你可以看到花费几分钟延迟启动的成本,就可以带来20-50% 更好性能.这些数字与高度依赖于工作负载和硬件. HiPE 支持可能没有编译进你的Erlang安装中.如果没有的话,启用这个选项,并启动RabbitMQ时,会看到警告消息. 例如, Debian / Ubuntu 用户需要安装erlang-base-hipe 包. HiPE并非在所有平台上都可用, 尤其是Windows. 在 Erlang/OTP 17.5版本之前,HiPE有明显的问题 . 对于HiPE,使用最新的OTP版本是高度推荐的. Default: false |
cluster_partition_handling | 如何处理网络分区.可用模式有:
Default: ignore |
cluster_keepalive_interval | 节点向其它节点发送存活消息和频率(毫秒). 注意,这与 net_ticktime是不同的; 丢失存活消息不会引起节点掉线 Default: 10000 |
queue_index_embed_msgs_below | 消息大小在此之下的会直接内嵌在队列索引中. 在修改此值时,建议你先阅读 persister tuning 文档. Default: 4096 |
msg_store_index_module | 队列索引的实现模块. 在修改此值时,建议你先阅读 persister tuning 文档. Default: rabbit_msg_store_ets_index |
backing_queue_module | 队列内容的实现模块. 你可能不想修改此值. Default: rabbit_variable_queue |
msg_store_file_size_limit | Tunable value for the persister. 你几乎肯定不应该改变此值。 Default: 16777216 |
mnesia_table_loading_timeout |
在集群中等待使用Mnesia表可用的超时时间。
Default: 30000 |
queue_index_max_ journal_entries | Tunable value for the persister. 你几乎肯定不应该改变此值。 Default: 65536 |
queue_master_locator | Queue master 位置策略. 可用策略有:
Default: <<"client-local">> |
此外,许多插件也可以在配置文件中配置, 其名称是rabbitmq_plugin的形式. 我们的维护的插件被记录在以下位置:
你可以设置下面的环境变量来指定相关文件的位置,但大部分人都不必这样做:
名称 | 描述 |
---|---|
RABBITMQ_BASE | 此基础目录包含了RabbitMQ server的数据库,日志文件的子目录. 另外,也可以独立设置RABBITMQ_MNESIA_BASE 和 RABBITMQ_LOG_BASE 目录. |
RABBITMQ_CONFIG_FILE | 用于配置文件的路径,无.config扩展名. 如果 configuration file 存在,服务器将使用它来配置RabbitMQ组件. 参考 Configuration guide 来了解更多信息. |
RABBITMQ_MNESIA_BASE | 包含RabbitMQ 服务器Mnesia数据库文件子目录的基本目录,除非明确设置了RABBITMQ_MNESIA_DIR目录,否则每个节点都应该配置一个. (除了Mnesia文件,这个位置还包含消息存储和索引文件以及模式和集群的细节.) |
RABBITMQ_MNESIA_DIR | RabbitMQ节点Mnesia数据库文件安放的目录. (除了Mnesia文件,这个位置还包含消息存储和索引文件以及模式和集群的细节.) |
RABBITMQ_LOG_BASE | 用于包含RabbitMQ 服务器日志文件的基本目录, 除非明确设置了RABBITMQ_LOGS 或 RABBITMQ_SASL_LOGS. |
RABBITMQ_LOGS | RabbitMQ 服务器的Erlang日志文件路径.在Window上不能覆盖此变量. |
RABBITMQ_SASL_LOGS | RabbitMQ服务器的Erlang SASL (System Application Support Libraries)日志文件路径. 在Window上不能覆盖此变量. |
RABBITMQ_PLUGINS_DIR | 用于查找插件的目录 . |
RABBITMQ_PLUGINS_EXPAND_DIR |
用于在启动服务器时扩展启用插件的工作目录。
|
RABBITMQ_ENABLED_PLUGINS_FILE |
此文件记录了显式启用的插件。
|
RABBITMQ_PID_FILE | 此文件中包含了rabbitmqctl所等待进程ID的信息. |
在下面的表格中,${install_prefix}表示某个路径. Homebrew 安装时使用installation-prefix (Homebrew Cellar) . 默认是/usr/local.
Deb / RPM 包安装使用空${install_prefix}.
Name | Location |
---|---|
RABBITMQ_BASE | (Not used) |
RABBITMQ_CONFIG_FILE | ${install_prefix}/etc/rabbitmq/rabbitmq |
RABBITMQ_MNESIA_BASE | ${install_prefix}/var/lib/rabbitmq/mnesia |
RABBITMQ_MNESIA_DIR | $RABBITMQ_MNESIA_BASE/$RABBITMQ_NODENAME |
RABBITMQ_LOG_BASE | ${install_prefix}/var/log/rabbitmq |
RABBITMQ_LOGS | $RABBITMQ_LOG_BASE/$RABBITMQ_NODENAME.log |
RABBITMQ_SASL_LOGS | $RABBITMQ_LOG_BASE/$RABBITMQ_NODENAME-sasl.log |
RABBITMQ_PLUGINS_DIR | $RABBITMQ_HOME/plugins |
RABBITMQ_PLUGINS_EXPAND_DIR | $RABBITMQ_MNESIA_BASE/$RABBITMQ_NODENAME-plugins-expand |
RABBITMQ_ENABLED_PLUGINS_FILE | ${install_prefix}/etc/rabbitmq/enabled_plugins |
RABBITMQ_PID_FILE | $RABBITMQ_MNESIA_DIR.pid |
Name | Location |
---|---|
RABBITMQ_BASE | %APPDATA%\RabbitMQ |
RABBITMQ_CONFIG_FILE | %RABBITMQ_BASE%\rabbitmq |
RABBITMQ_MNESIA_BASE | %RABBITMQ_BASE%\db |
RABBITMQ_MNESIA_DIR | %RABBITMQ_MNESIA_BASE%\%RABBITMQ_NODENAME% |
RABBITMQ_LOG_BASE | %RABBITMQ_BASE%\log |
RABBITMQ_LOGS | %RABBITMQ_LOG_BASE%\%RABBITMQ_NODENAME%.log |
RABBITMQ_SASL_LOGS | %RABBITMQ_LOG_BASE%\%RABBITMQ_NODENAME%-sasl.log |
RABBITMQ_PLUGINS_DIR | Installation-directory/plugins |
RABBITMQ_PLUGINS_EXPAND_DIR | %RABBITMQ_MNESIA_BASE%\%RABBITMQ_NODENAME%-plugins-expand |
RABBITMQ_ENABLED_PLUGINS_FILE | %RABBITMQ_BASE%\enabled_plugins |
RABBITMQ_PID_FILE | (Not currently supported) |
当解压Generic Unix tar文件并运行时,由于默认获得到位置,不需要进行. 在下面的表格中,$RABBITMQ_HOME指的是rabbitmq_server-3.6.1 解压后的目录.
Name | Location |
---|---|
RABBITMQ_BASE | (Not used) |
RABBITMQ_CONFIG_FILE | $RABBITMQ_HOME/etc/rabbitmq/rabbitmq |
RABBITMQ_MNESIA_BASE | $RABBITMQ_HOME/var/lib/rabbitmq/mnesia |
RABBITMQ_MNESIA_DIR | $RABBITMQ_MNESIA_BASE/$RABBITMQ_NODENAME |
RABBITMQ_LOG_BASE | $RABBITMQ_HOME/var/log/rabbitmq |
RABBITMQ_LOGS | $RABBITMQ_LOG_BASE/$RABBITMQ_NODENAME.log |
RABBITMQ_SASL_LOGS | $RABBITMQ_LOG_BASE/$RABBITMQ_NODENAME-sasl.log |
RABBITMQ_PLUGINS_DIR | $RABBITMQ_HOME/plugins |
RABBITMQ_PLUGINS_EXPAND_DIR | $RABBITMQ_MNESIA_BASE/$RABBITMQ_NODENAME-plugins-expand |
RABBITMQ_ENABLED_PLUGINS_FILE | $RABBITMQ_HOME/etc/rabbitmq/enabled_plugins |
RABBITMQ_PID_FILE | $RABBITMQ_MNESIA_DIR.pid |
首先,先讲一下背景: 持久化和短暂消息都可以写入磁盘.持久化消息一旦到达队列,就会写入磁盘,而短暂消息只在内存压力较大被赶出内存时才会写入磁盘.持久化消息在内存紧张释放内存时,依然也会存在内存中. 持久层指的是存储这两种类型消息到磁盘的机制.
在本页中,我们说的队列是指无镜像队列或master队列或slave队列. 队列镜像会发生以上的持久化.
持久层有两个组件: 队列索引和消息存储.队列索引负责维护消息在队列的位置,以及是否被投递,是否应答的信息. 因此,每个队列都有一个队列索引。
消息存储是消息的key-value存储, 由服务器中的所有队列共享.消息(消息体, 消息属性或消息头)可直接存储于队列索引,也可以写到消息存储中.在技术上有两个消息存储(一个暂时的和一个持久的消息),但他们通常一起被被认为是“消息存储”。
将消息写入队列索引有优点也有缺点.
优点:
缺点:
将小消息存储在队列索引中目的是优化,所有其它消息将会写入消息存储.这可以配置项queue_index_embed_msgs_below来配置.默认情况下,序列后大小小于4096字节 (包括属性和头)会存储在队列索引中.
当从磁盘中读取消息时,每个队列索引至少需要在内存中保留一个段文件(segment file). 段文件中包含了16,384个消息. 因此要谨慎如果增加queue_index_embed_msgs_below;小的增加会导致大量的内存使用。
持久化有可能表现不佳,因为持久化受限于文件句柄的数目或与它工作的异步线程.在这两种情况下,当您有大量需要同时访问磁盘的队列时,会发生这样的情况。.
RabbitMQ 服务器通常受限于它能打开的文件句柄数量(在Unix上,无论如何). 每个运行的网络连接都需要一个文件句柄, 其余的可用于队列使用。如果磁盘访问队列比考虑到网络连接后文件句柄更多,那么磁盘访问队列将与文件句柄一起共享; 每个都会在它返回交给另一个队列之前,都会使用文件句柄一段时间.
当有太多磁盘访问队列时,这可以防止服务器崩溃,但代价是昂贵的. 管理插件可以显示集群中每个节点的统计I/O统计信息,如读,写,查找的速率.同时它也会显示重新开始(reopens)的速率- 文件句柄通过这种方式来回收利用. 一个有太少文件句柄繁忙的服务器每秒可能会做几百次reopens - 在这种情况下,如果增加文件句柄,就有可能提高性能.
Erlang 虚拟机创建异步线程池来处理长时间运行的文件I/O操作. 这些线程池是所有队列所共享的.每个活跃的文件I/O操作都会使用一个异步线程. 太少的异步线程可以因此伤害性能。
注意,异步线程的情况并不完全类似与文件句柄的情况. 如果一个队列按顺序来执行一定数量的I/O操作,假设它持有一个文件句柄来所理所有操作,其性能是最好的,否则,我们会占用CPU来做更多的刷新,查找 操作. 然而,队列不能从持有一个异步线程执行一系列的操作中获益(事实上也做不到).
因此理论上应该要有足够的文件句柄来处理所有队列上的I/O流操作, 并且要有足够的线程来处理并发的 (simultaneous )的I/O操作.
由异步线程缺乏造成的性能问题,不是太明显. (一般情况下都不太可能,可首先检查其它地方!) .
太少异步线程的典型症状是,当服务器忙于持久化时,在很短的时间内,每秒 I/O操作的数目将会下降到0(管理插件可报告) ,报告的每个 I/O操作的时间将会增加.
Erlang虚拟主机的异步线程数目可通过+A 参数进行配置,这里有描述, 通常情况下,也可以通过环境变量RABBITMQ_SERVER_ERL_ARGS来配置. 默认值是 +A 30. 在修改之前,多进行几次尝试总是好主意.
网络是Clients与RabbitMQ通信的媒介.broker支持的所有协议都是基于TCP的. RabbitMQ 和操作系统都提供了许多可调整的旋钮.其中,有些是直接与TCP和IP操作相关的,其它则是与应用程序级协议如TLS相关的. 本指南涵盖了RabbitMQ中与网络相关的多个主题. 本指南并不是一广泛的指南,而只是一个概述. 某些调整参数是与特定操作系统相关的.当有与特定操作系统相关的主题时, 本指南只关注Linux,因为它是部署RabbitMQ的最常见平台.
RabbitMQ用于接受客户端连接,它需要绑定一个或多个网络接口,并监听特定的端口. 网络接口使用rabbit.tcp_listeners选项来配置.默认情况下,RabbitMQ会在所有可用网络接口上监听5672端口.
TCP listeners 可配置网络接口和端口. 下面的示例演示了如何在一个特定网络接口和端口上进行监听:
[ {rabbit, [ {tcp_listeners, [{"192.168.1.99", 5672}]} ]} ].
下面的例子演示了如何在IPv4 and IPv6上进行监听:
[ {rabbit, [ {tcp_listeners, [{"127.0.0.1", 5672}, {"::1", 5672}]} ]} ].
现代Linux kernels 以及Vista后的Windows版本,当在所有IPv6地址上配置端口时,IPv4是没有明确禁用的,IPv4地址依然可用,因此
[ {rabbit, [ {tcp_listeners, [{"::", 5672}]} ]} ].等价于
[ {rabbit, [ {tcp_listeners, [{"0.0.0.0", 5672}, {"::", 5672}]} ]} ].
在这个例子中,RabbitMQ只会监听IPv4接口:
[ {rabbit, [ {tcp_listeners, [{"192.168.1.99", 5672}]} ]} ].
此外,如果只希望有单个stack设置, 可使用RABBITMQ_NODE_IP环境变量来配置. 参考 Configuration guide 来了解细节.
在这个例子中,RabbitMQ会只监听IPv6接口:
[ {rabbit, [ {tcp_listeners, [{"fe80::2acf:e9ff:fe17:f97b", 5672}]} ]} ].
此外,如果只希望有单个stack设置, 可使用RABBITMQ_NODE_IP环境变量来配置. 参考 Configuration guide 来了解细节.
SELinux 以及相似的机制可能会阻止RabbitMQ绑定到某个端口. 当这样的情况发生时,RabbitMQ启动会失败.必须保证可打开下面的端口:
在RabbitMQ中可使用TLS来加密. 使用对等证书的身份验证也是可能的。请参阅TLS / SSL的更多信息指南。
优化吞吐量是一个共同的目录. 可通过下面的来实现
这是关键的调整参数. 每个TCP连接都分配了缓冲区. 一般来说,缓冲区用得越大,每个连接上RAM就用得越多,就有更好的吞吐率.在Linux,操作系统默认会自动调整TCP缓冲区的大小,通常会设置为80到120 KB之间.要获取最大吞吐量,可使用rabbit.tcp_listen_options来加大配置.
下面的例子将TCP缓冲区设置为192 KiB:
[ {rabbit, [ {tcp_listen_options, [ {backlog, 128}, {nodelay, true}, {sndbuf, 196608}, {recbuf, 196608} ]} ]} ].注意,将发发送缓冲区和接收缓冲区设置不同的值是很危险的,且是不推荐的.
Erlang 运行时使用线程池来异步执行I/O操作. 池的大小可通过+A VM命令行标志来配置,如+A 128. 我们强烈建议使用`RABBITMQ_SERVER_ADDITIONAL_ERL_ARGS`环境变量来覆盖此选项:
RABBITMQ_SERVER_ADDITIONAL_ERL_ARGS="+A 128"默认值为30. 8个或8个以上的节点建议使用高于96的值,即: 每核上可以运行12或12以上的I/O线程. 注意:值越高不意味着有更好的吞吐量或 由于等待的I / O 而造成 较低的处理器烧伤 .
有多个因素可以限制单个节点上支持的并发连接数:
大部分操作系统都限制了同一时间可以打开的文件句柄数目. 限制是如何配置的 每个操作系统上都不同.
当在优化并发连接数的时候,须确保你的系统有足够的文件描述符来支持你的client和节点的使用.
要粗略地计算限制,可以用每个节点上连接的数目乘以1.5. 例如,要支持100,000个连接,需要设置限制文件描述符为150,000.稍为增加限制可增加闲置机器内存的使用量,但这是一个合理的权衡。
见上文的部分概述. 可使用rabbit.tcp_listen_options选项来减小缓冲区大小,这样就可以减小每个连接上使用的RAM使用量. 在每个节点上的并发量比吞吐量重要的环境中,这通常是必须的.
下面的例子将TCP缓冲区设置为32 KiB:
[ {rabbit, [ {tcp_listen_options, [ {backlog, 128}, {nodelay, true}, {sndbuf, 32768}, {recbuf, 32768} ]} ]} ].注意,越小的TCP缓冲区会导致明显的吞吐量下降, 所以最优的值可在吞吐量和每连接使用的RAM值中找到 ,即在它们之间作一个权衡.将发送缓冲区和接收缓冲区的值设为不同,这是非常危险的且是不推荐的.低于8 KiB的值是不推荐的.
[ {kernel, [ {inet_default_connect_options, [{nodelay, true}]}, {inet_default_listen_options, [{nodelay, true}]} ]}, {rabbit, [ {tcp_listen_options, [ {backlog, 4096}, {nodelay, true} ]} ]} ].
当只有较少数量的客户端时,新连接的分布是非常不均匀的,但因为足够小,所以没有太大的差异. 当数量达到数万或更多时,重要的是要确保服务器可以接受入站连接.未接受的TCP连接会放在带有限制长度的队列中. 此长度必须能应对负载较小和较高时的情况,例如,当许多客户端因为网络中断或重连时,必须能应对.
这可以通过rabbit.tcp_listen_options.backlog选项来配置:
[ {rabbit, [ {tcp_listen_options, [ {backlog, 4096}, {nodelay, true} ]} ]} ].默认值是128. 当挂起的连接队列长度超出此值时,连接将被操作系统拒绝。也可参见优化内核部分的net.core.somaxconn。
操作系统设置可影响RabbitMQ的操作.有些是直接与网络相关的(如. TCP设置),其它影响是TCP sockets以及其它东西(如打开文件句柄的限制).理解这些限制是很重要的,因为随着工作量不同而改变.
几个重要的可配置内核选项包括 (针对IPv4):
内核参数调整在不同操作系统之间是不同的.这篇指南针对的是Linux. 配置内核参数交互,使用sysctl -w (需要超级权限),例如:
sysctl -w fs.file-max 200000要使修改永久生效,需要将它产加到 /etc/sysctl.conf. 参考 sysctl(8) 和 sysctl.conf(5) 来了解细节.
下面是RabbitMQ使用的默认TCP socket选项:
[ {rabbit, [ {tcp_listen_options, [{backlog, 128}, {nodelay, true}, {linger, {true, 0}}]} ]} ].
RabbitMQ支持某些协议, 包括AMQP 0-9-1, 支持心跳,一种更多快速探测死亡 TCP对等端的方法. 请参考 Heartbeats guide 来了解更多信息.
Heartbeats 用于探测客户端与RabbitMQ之间的对等端或连接故障 .net_ticktime 也有同样的目的,但它针对的是集群节点通信. 低于5(秒)的值可能会导致负面影响,不建议使用。
RabbitMQ有连接握手超时时间,默认为10秒钟. 当客户端在严重受限的环境中运行时,可能需要增加超时时间。这可以通过rabbit.handshake_timeout(毫秒)来完成:
[ {rabbit, [ %% 20 seconds {handshake_timeout, 20000} ]} ].
如果启用了TLS/SSL,也有必要增大TLS/SSL握手超时时间. 这可以通过rabbit.ssl_handshake_timeout (毫秒)来完成:
[ {rabbit, [ %% 10 seconds {ssl_handshake_timeout, 10000} ]} ].
如果client library配置成用主机名进行连接,它会执行主机名解析.依赖于 DNS 和本地解析器(类似于/etc/hosts)配置,这可能会花点时间.错误配置可能会导致解析超时,如,当试图通过DNS解析本地主机名如my-dev-machine. 其结果是,客户端连接会花很长的时候(几十秒到几分钟).
RabbitMQ 依赖于Erlang运行时来进行节点间通信. Erlang节点包括主机名,要么是短的 (rmq1) 要么是全限定的(rmq1.dev.megacorp.local). 混合使用简短的和全限定的节点名称,是运行时不允许的 .集群中的每个节点必须能够解析其它节点的主机名, 简短的和全限定的. 默认情况下,RabbitMQ 会使用简短主机名. 设置RABBITMQ_USE_LONGNAME 环境变量可以开启使用全限定节点名称如.rmq1.dev.megacorp.local.
如果rabbit.reverse_dns_lookups 配置选项设为了true, RabbitMQ会为客户端IP地址执行反向DNS查找,并在connection中列出主机名称 (如,在Management UI).
跃然RabbitMQ大部分配置都生活在configuration file, 有些东西却不能在配置文件中配置:
RabbitMQ 称这些项为参数. 参数可通过调用rabbitmqctl 或通过the management plugin 的HTTP API来设置. 参数的scope是基于虚拟主机(vhost)的.
参数特殊的使用情况是策略( policies),它用于为成组的队列和交换器,以及插件(如Federation 和 Shovel)指定可选参数.
参数可以被设置,清除,和列举:
rabbitmqctl | rabbitmqctl set_parameter {-p vhost} component_name name value rabbitmqctl clear_parameter {-p vhost} component_name name rabbitmqctl list_parameters {-p vhost} |
---|---|
HTTP API | PUT /api/parameters/component_name/vhost/name DELETE /api/parameters/component_name/vhost/name GET /api/parameters |
由于参数值是一个JSON文档, 当在使用rabbitmqctl命令行创建时,你通常需要引用它. 在Unix上,很容易使用单引号来引用整个文档,在其中可以使用双引号.在Windows上,你必须转义所有双引号.基于此理由,我们为Unix和Windows分别给出了例子.
RabbitMQ使用数据库中的参数来定义虚拟主机,交换器,队列,绑定,用户和权限. 参数是通过管理插件的导出功能以及对象定义中导出的.
federation 和 shovel 插件会使用参数.
策略会自动匹配交换器和队列,并帮助确定他们的行为. 每个交换器和队列至少有一个策略匹配,并且每个策略都会在交换器或队列上映射一系列的key-value对.
策略的行为有点像exchange.declare和queue.declare的参数, 除了它们会自动应用(不需要客户端程序的干预),并且它们可在任何时候进行修改.请注意,策略控制的功能集合与参数控制的功能集合是不同的.
策略会在每次交换器或队列创建的时候进行匹配,而不仅仅是在创建策略时。
策略可用来配置 federation plugin, mirrored queues, alternate exchanges, dead lettering, per-queue TTLs, 以及maximum queue length.
策略定义如下:
rabbitmqctl
rabbitmqctl set_policy federate-me "^amq\." '{"federation-upstream-set":"all"}' --priority 1 --apply-to exchanges
rabbitmqctl (Windows)
rabbitmqctl set_policy federate-me "^amq\." "{""federation-upstream-set"":""all""}" --priority 1 --apply-to exchanges
HTTP API
PUT /api/policies/%2f/federate-me {"pattern": "^amq\.", "definition": {"federation-upstream-set":"all"}, "priority": 1, "apply-to": "exchanges"}Web UI
键"federation-upstream-set"的值为"all",这将匹配虚拟主机"/"中的所有名称以"amq."开头的交换器.
"pattern" 参数是一个用来匹配交换器或队列名称的正则表达式.
当有多个策略匹配交换器或队列时,则会应用优先级最高的策略.
"apply-to" 参数值可以是"exchanges", "queues" 或"all". "apply-to" 和 "priority"设置是可选的, 在这种情况下,其默认值是"all"和"0".
在某些情况下,我们想要在资源上应用多个策略.例如,我们想让一个队列能同时联合和镜像. 任何时候,在资源上最多只能应用一个策略,但我们可在那个策略中应用多个定义.
联合(federation)策略定义需要指定一个upstream 集合,因此在我们的定义中,我们需要federation-upstream-set 键.另一方面,要镜像队列,我们需要在策略中定义ha-mode键.由于策略定义只是一个JSON对象,在同一个策略中我们可以定义这两个键.
这里是例子:
rabbitmqctl
rabbitmqctl set_policy ha-fed "^hf\." '{"federation-upstream-set":"all","ha-mode":"all"}' \ --priority 1 --apply-to queuesrabbitmqctl (Windows)
rabbitmqctl set_policy ha-fed "^hf\." "{""federation-upstream-set"":""all"", ""ha-mode"":""all""}" ^ --priority 1 --apply-to queuesHTTP API
PUT /api/policies/%2f/ha-fed {"pattern": "^hf\.", "definition": {"federation-upstream-set":"all", "ha-mode": "all"}, "priority": 1, "apply-to": "queues"}Web UI
这样,所有匹配"^hf\."的队列都会应用"federation-upstream-set"和"ha-mode" 定义.