Redis4 - 生产环境部署

• linux 部署
• 安全
• 配置客户端连接
• 内存管理
• 基准测试

linux 部署

    1. 设置内存相关的参数
       sudo sysctl -w vm.overcommit_memory=1
       sudo sysctl -w vm.swappiness=0

       可以使用
       echo vm.overcommit_memory=1 >> /etc/sysctl.conf
       echo vm.swappiness=0 >> /etc/sysctl.conf
       持久化到系统配置

       Redis使用的是写时复制、并不需要使用与数据集大小相同的内存才能复制、但是linux会默认检测是否有足够空闲内存来复制父进程的所有内存页、
       这可能会导致进程由于OOM而崩溃、日志如下：
       Can't save in background: fork: Cann't allocate memory
       通过设置 vm.overcommit_memory=1 让系统在调用alloc时即使没有足够的内存也能执行成功
       
       vm.swappiness则定义了linux内核中将内存中的内容copy到交换分区的大小
       启用虚拟内存后、redis会尝试访问位于磁盘中的内存页、这将导致redis进程被磁盘IO阻塞、
       所以、为了避免这种情况、总是将其置为0

    2. 禁用透明大页功能
       echo never > /sys/kernel/mm/transparent_hugepage/enabled
       echo never > /sys/kernel/mm/transparent_hugepage/defrag

       cat >> /etc/rc.local << EOF
       echo never > /sys/kernel/mm/transparent_hugepage/enabled
       echo never > /sys/kernel/mm/transparent_hugepage/defrag
       EOF

       开启透明大分页、可能会导致持久化时的子进程创建缓慢、所以建议关闭

    3. 网络优化
       sudo sysctl -w net.core.somaxconn=65535
       sudo sysctl -w net.ipv4.tcp_max_sync_backlog=65535
       backlog队列是存放挂起tcp连接、

       持久化：
       echo "net.core.somaxconn=65535" >> /etc/sysctl.conf
       echo "net.ipv4.tcp_max_sync_backlog=65535" >> /etc/sysctl.conf

    4. 将进程可以打开的文件数设为更高的值
       ulimit -n 288000

       注意: 必须将nofile 设置的小于 /proc/sys/fs/file-max 的值
       可以使用cat检测目前的设置

       redis soft nofile 288000
       redis hard nofile 288000
       进行持久化存储

       ulimit -Hn -Sn 检测是否存储成功

       此处是设置 一个进程打开的最大文件数量、要确保大于配置中 maxclients 选项的值

安全

    1. 绑定服务器ip
       eg. bind 127.0.0.1 192.168.1.1

    2. 不进行端口监听、只进行unix套接字通信
       port 0
       unixsocket /var/run/redis/redis.sock
       unixsocketperm 766

    3. 使用密码认证
       requirepass {{pass}}
       若开启了主从复制、需要将主实例的密码添加到所有从实例的配置文件中
       masterauth {{pass}}

    4. 启用保护模式 protected mode
       若redis启用了保护模式、且监听所有端口、同时禁用了密码验证、则redis只响应本地回环接口和unix套接字的查询

配置客户端连接

    1. 配置网络参数
       timeout 0
       tcp-backlog 511

    2. maxclients 最大客户端连接数
       maxclients 5000
       tcp-keepalive 300 按tcp-keepalive指定的时间间隔发送tcp ack通知此客户端依然活跃
       若一个客户端没有响应tcp活跃的状态、该客户端会被视为下线

       eg. 在有防火墙时、在客户端和防火墙之间的空闲连接超过1800s时、会中断连接、而client和server
       都不会收到连接已断开的通知、从server来看、连接依然是活跃的、服务器就不会释放连接
       从client的角度来看、一旦发现连接断开就会进行重连、这样会导致redis连接数持续增加
       为了避免这种问题、最后将tcp-keepalive的值设为合适的时间、长时间无联系、就释放连接

    3. 配置客户端的缓冲区参数
       client-output-buffer-limit    

       redis不会直接将命令的输出发送给client、而是先将结果填充到每个连接的缓冲区、
       然后将内容一次性的发送出去、不同类型的输出缓冲区大小是不同的
       client-output-buffer-limit normal 0 0 0
       client-output-buffer-limit slave 256mb 64mb 60
       client-output-buffer-limit pubsub 32mb 8mb 60
       0代表不限制/最好作出限制、防止误用keys等命令占用过大内存

内存管理

    使用info memory来查看redis内存使用情况

    重点关注：
    1. used_memory 已使用的内存
    2. maxmemory 可分批的最大内存 0表示无限制
    3. maxmemory_policy 是表示达到内存限制后的key淘汰策略
       默认 noeviction 不淘汰、在写入时提示错误

       还应该注意避免键的频繁淘汰、它会影响server的性能

基准测试

    redis-benchmark 工具
    redis-benchmark --help 查看帮助

    redis-benchmark -t set -c 100 -n 10000 -r 1000000 -d 256
    对单个API进行性能测试

    redis-benchmark -t set -c 100 -n 10000 -r 1000000 -d 256 -P 10000
    使用 -P选项查看pipline带来的性能提升

    测试lua脚本
    redis-benchmark -n 10000 script load "redis.call('set', 'foo', 'bar')"