性能测试：通过设置注册表提高 P2P/IIS 并发数

写在前面

• 在执行性能测试（如用 JMeter 直接压接口）的时候，有的时候并发数上不去、本机大面积出现 TCP 状态为 TIME_WAIT，除了放开 TCP 端口数和调整默认 TCP 释放时间外，另外几个注册表项同样重要且需要调整。
• 以下设置项针对的是本机和远端机。
• 设置完成后，重启下电脑使生效。

增加TCP 连接数：TcpNumConnections

    [HKLM\System\CurrentControlSet\Services\Tcpip\Parameters]
    TcpNumConnections = 16777214  # DWORD 值，默认值 16777214

增加动态端口数量

• 当客户端与服务器连接时，客户端将 socket 连接绑定到本地动态端口号（匿名，短暂）。
• Windows中动态端口的默认范围是 1025 到 5000，因此为每个IP地址提供 3976 个出站并发连接。

    [HKLM\System\CurrentControlSet\Services\Tcpip\Parameters]
    MaxUserPort = 65534 # DWORD值，设置成 65534 即可。

• P.S.：
  • vista和 server 2008 保留端口的动态端口号莫默认范围已经改为 49152-65535。
  • 在基于 server 2008 的 Microsoft Exchange Server 2007，默认端口范围为 1025-60000
• 查看、设置 TCP / UDP 命令

# 查看 TCP / UDP 数量命令
netsh int ipv4 show dynamicport tcp
netsh int ipv4 show dynamicport udp
netsh int ipv6 show dynamicport tcp
netsh int ipv6 show dynamicport udp

# 设置
netsh int ipv4 set dynamicport tcp start=10000 num=1000
netsh int ipv4 set dynamicport udp start=10000 num=1000
netsh int ipv6 set dynamicport tcp start=10000 num=1000
netsh int ipv6 set dynamicport udp start=10000 num=1000
# 说明
# 最小设置端口范围位 255
# 最小起始端口号：1025
# 最大结束端口号：65534

调整 TCB 控制块

• TCB：TCP Control Block：TCP 控制块：一个拥有 0.5Kb 分页池 和 0.5Kb 非分页池吃的数据结构【这个是个什么东西？】
• 每个 TCP连接 都会维护一个 TCB。
• TCB 会被预分配并存储在表中，以避免 每次创建/关闭连接 时在 分配/取消分配 TCB 上花费时间。
• TCB 表支持 重用、缓存并改善内存管理（但注册表项配置的值限制了TCP能够支持的连接数（ACTIVE 和 TIME_WAIT 状态的连接），故这里也需要调整下）

更改 TCB 表的大小

[HKLM\System\CurrentControlSet\Services\Tcpip\Parameters]
MaxFreeTcbs = 2000 # DWORD值，默认值依赖于内存，一般设置成 2000 即可

TCB 哈希表

• 为了加快在 TCB表 中的搜索，系统会创建一张 哈希表，用于优化索引。
• 如果该 hash 表小于总的有效连接数，那么会占用 CPU 去搜索，为此需要配置下该 hash 表的大小

# 多核下，该值不应大于最大并发连接数（不应大于TCP表设置的值：MaxFreeTcbs）
[HKLM\System\CurrentControlSet\Services\Tcpip\Parameters]
MaxHashTableSize = 2000 # DWORD值，默认512，可选范围：64-65536，一般跟 MaxFreeTcbs 保持一致即可

NumTcbTablePartitions

• 多核情况下，该键值也需要设置下，一般 "CPU数量*4"

[HKLM\System\CurrentControlSet\Services\Tcpip\Parameters]
NumTcbTablePartitions = 16 # DWORD值，按实际 CPU核心数*4 设置

设置 TcpTimedWaitDelay

• 该键值表示一个 connection 在被释放重用前，可以处于 TIME_WAIT 状态多长时间。
• TIME_WAIT：一个 connection 关闭后会进入 TIME_WAIT 状态，并且在实际释放之前继续占用该端口号 240s。
  • TIME_WAIT 表示的是 "本地" 主动关闭连接，表示的是当前主机，而非远端主机。

[HKLM\System\CurrentControlSet\Services\Tcpip\Parameters]
TcpTimedWaitDelay = 30 # DWORD值，默认值 240s，可选范围：30-300 

设置 KeepAliveTime

• 如果应用程序没有实现超时检查，如 HttpClient，则超时检查会依赖于 TcpIp 所设置的 KeepAliveTime 项
• TcpIp 超时检查默认情况下每 2 小时会执行一次------发送保持活动的数据包。

[HKLM\System\CurrentControlSet\Services\Tcpip\Parameters]
KeepAliveTime = 1800000 (Default = 7,200,000 milisecs)

其他：

• MaxBufferredReceiveBytes 和 RWIN（这块我未做处理，你可以试试）
  • 发送和接受数据的时候，会在 非分页池内存 中进行缓冲，如果传输数据量大的话，会消耗 非分页池内存。
  • 每一个 connection 所预分配的 非分页池 缓冲大小由 MaxBufferredReceiveBytes 和 RWIN 进行决定，取两者较小的数值。
• NAT路由器/防火墙有可能会影响并发数，需差看下这些设备是否能抗住这么多的并发量，先排查瓶颈是否在这些设备上。。

参考：

• 关于性能监视器的使用，请参见：https://blog.zhuliang.ltd/2019/08/Performance/test-with-perfmon.html
• https://support.microsoft.com/en-us/help/929851/the-default-dynamic-port-range-for-tcp-ip-has-changed-in-windows-vista
• http://smallvoid.com/article/winnt-tcpip-max-limit.html
• http://smallvoid.com/article/tcpip-rwin-size.html
• http://smallvoid.com/article/winnt-kernel-memory.html
• https://bridge360blog.com/2017/01/02/tuning-a-windows-server-for-high-performance-applications/