ubuntu高并发内核参数调优 - （压测客户端调优）

业务上要求集群提供10w+并发，10w+并发听上去不是很难，但10w并发持续1小时呢
在业务上线之前还需要我们自己对业务进行压测，俗称benchmark。
压测的服务器也是需要进行性能调优的，以下列出调优前后的参数对比，更直观的分析和感受参数对程序的影响

压测前内核参数自检

#!/bin/bash
# 脚本名称: check_benchmark_server_kernel_params.sh
# 描述: 查询压测服务武相关的Linux内核参数的当前值

# 输出格式化函数
print_header() {
  echo -e "\n\033[1;34m$1\033[0m"
  echo "--------------------------------"
}

# 文件描述符和端口范围
print_header "文件描述符和端口范围"
sysctl fs.file-max
sysctl fs.nr_open
sysctl net.ipv4.ip_local_port_range

# TCP连接建立和释放
print_header "TCP连接建立和释放"
sysctl net.ipv4.tcp_max_syn_backlog
sysctl net.core.somaxconn
sysctl net.ipv4.tcp_fin_timeout
sysctl net.ipv4.tcp_syncookies
sysctl net.ipv4.tcp_fastopen 2>/dev/null || echo "net.ipv4.tcp_fastopen: [不支持]"
sysctl net.ipv4.tcp_synack_retries
sysctl net.ipv4.tcp_syn_retries
sysctl net.ipv4.tcp_tw_reuse

# TCP连接保持和超时
print_header "TCP连接保持和超时"
sysctl net.ipv4.tcp_keepalive_time
sysctl net.ipv4.tcp_keepalive_intvl
sysctl net.ipv4.tcp_keepalive_probes
sysctl net.ipv4.tcp_max_tw_buckets

# 内存和缓冲区设置
print_header "内存和缓冲区设置"
sysctl net.core.wmem_max
sysctl net.core.rmem_max
sysctl net.ipv4.tcp_rmem
sysctl net.ipv4.tcp_wmem
sysctl net.core.optmem_max 2>/dev/null || echo "net.core.optmem_max: [不支持]"

# 网络性能和拥塞控制
print_header "网络性能和拥塞控制"
sysctl net.core.netdev_max_backlog
sysctl net.ipv4.tcp_slow_start_after_idle 2>/dev/null || echo "net.ipv4.tcp_slow_start_after_idle: [不支持]"
sysctl net.ipv4.tcp_mtu_probing
sysctl net.ipv4.tcp_sack
sysctl net.ipv4.tcp_window_scaling
sysctl net.ipv4.tcp_adv_win_scale 2>/dev/null || echo "net.ipv4.tcp_adv_win_scale: [不支持]"
sysctl net.ipv4.tcp_rfc1337 2>/dev/null || echo "net.ipv4.tcp_rfc1337: [不支持]"
sysctl net.ipv4.tcp_congestion_control

# 连接跟踪相关
print_header "连接跟踪相关"
sysctl net.netfilter.nf_conntrack_max 2>/dev/null || echo "net.netfilter.nf_conntrack_max: [未加载conntrack模块]"
sysctl net.netfilter.nf_conntrack_tcp_timeout_established 2>/dev/null || echo "net.netfilter.nf_conntrack_tcp_timeout_established: [未加载conntrack模块]"
sysctl net.netfilter.nf_conntrack_tcp_timeout_time_wait 2>/dev/null || echo "net.netfilter.nf_conntrack_tcp_timeout_time_wait: [未加载conntrack模块]"
sysctl net.ipv4.conf.all.rp_filter

# 其他系统限制
print_header "其他系统限制"
sysctl vm.swappiness
sysctl vm.max_map_count
sysctl kernel.panic 2>/dev/null || echo "kernel.panic: [不支持]"

echo -e "\n脚本执行完毕。请将输出结果保存以便与优化参数进行对比。"

参数修改前后对比表格

压测客户端内核参数与默认值对比表

此表格展示了Linux系统默认内核参数值与已优化的压测客户端参数值的对比。

文件描述符和端口范围

参数	默认值	优化值	变化比例	影响
fs.file-max	~65536	2000000	30.5倍	大幅提高系统可打开的文件描述符总数
fs.nr_open	1048576	2000000	1.9倍	提高单个进程可打开的文件描述符数量

TCP连接建立和释放

参数	默认值	优化值	变化比例	影响
net.ipv4.tcp_synack_retries	5	1	80%减少	减少服务端响应SYN+ACK的重试次数
net.ipv4.tcp_max_syn_backlog	1024	65536	64倍	极大提高SYN半连接队列容量
net.core.somaxconn	128	1048576	8192倍	极大提高已完成连接队列容量
net.ipv4.tcp_fin_timeout	60	15	75%减少	大幅加速FIN_WAIT连接的释放

TCP连接保持和超时

参数	默认值	优化值	变化比例	影响
net.ipv4.tcp_keepalive_time	7200	60	99%减少	极大减少检测失效连接的等待时间
net.ipv4.tcp_keepalive_intvl	75	30	60%减少	加速keepalive探测间隔
net.ipv4.tcp_keepalive_probes	9	3	67%减少	减少确认连接失效前的探测次数

内存和缓冲区设置

参数	默认值	优化值	变化比例	影响
net.core.wmem_max	212992	12582912	59倍	极大提高写缓冲区上限
net.core.rmem_max	212992	12582912	59倍	极大提高读缓冲区上限
net.ipv4.tcp_rmem	4096 87380 6291456	10240 87380 12582912	最大值增加2倍	提高TCP读缓冲区最大值
net.ipv4.tcp_wmem	4096 16384 4194304	10240 87380 12582912	最大值增加3倍	提高TCP写缓冲区最大值
kernel.msgmnb	65536	131072	2倍	提高消息队列的最大字节数
kernel.msgmax	65536	131072	2倍	提高单个消息的最大字节数

网络性能和拥塞控制

参数	默认值	优化值	变化比例	影响
net.core.netdev_max_backlog	1000	65536	65.5倍	极大提高网络设备接收队列容量
net.ipv4.tcp_max_tw_buckets	180000	1440000	8倍	大幅提高TIME_WAIT状态连接的容量
net.ipv4.tcp_slow_start_after_idle	1	0	禁用	防止空闲连接重启时的性能下降
net.ipv4.tcp_mtu_probing	0	1	启用	提高网络路径MTU探测能力

其他系统限制

参数	默认值	优化值	变化比例	影响
vm.swappiness	60	10	83%减少	大幅减少内存交换倾向
vm.max_map_count	65530	262144	4倍	提高内存映射区域数量上限

参数应用

应用方法
将需要修改的参数添加到 /etc/sysctl.conf 文件或 /etc/sysctl.d/ 目录下的配置文件中，例如创建 /etc/sysctl.d/99-performance.conf，然后执行以下命令使其生效：
sudo sysctl -p /etc/sysctl.d/99-performance.conf
配置文件示例
以下是一个配置文件示例，只包含需要修改的参数：

# 文件描述符和端口范围
fs.file-max = 2000000
fs.nr_open = 2000000
net.ipv4.ip_local_port_range = 1024 65535

# TCP连接建立和释放
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_max_syn_backlog = 65536
net.core.somaxconn = 1048576
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_syncookies = 1

# TCP连接保持和超时
net.ipv4.tcp_keepalive_time = 60
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

# 内存和缓冲区设置
net.core.wmem_max = 16777216
net.core.rmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 87380 16777216
kernel.msgmnb = 131072
kernel.msgmax = 131072
net.ipv4.tcp_mem = 786432 1048576 1572864

# 网络性能和拥塞控制
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_max_tw_buckets = 1440000
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_mtu_probing = 1
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_notsent_lowat = 16384

# 其他系统限制
vm.swappiness = 10
vm.max_map_count = 262144

ulimit调整

还需要调优ulimit数量，一般情况下都设置为65535，这里我的服务器基础性能高，所以给更大

vim /etc/security/limits.conf
# End of file
*               soft    nofile          1000000
*               hard    nofile          1000000
root            soft    nofile          1000000
root            hard    nofile          1000000