带宽超限

1、现象

监控报警网络带宽超限

2、找原因

nethogs

nethogs可以按进程ID看实时带宽收发流量

安装&脚本

yum install nethogs -y
如果提示<没有可用软件包>,执行下面指令后继续安装即可
yum install epel-release -y

保存如下脚本到net.sh文件
-d 2:间隔2秒刷新一次
-c 5:共刷新5次

#!/bin/bash

while :
do  
    echo `date "+%Y-%m-%d %H:%M:%S"` >> nethogs.log
    /usr/sbin/nethogs -t -d 2 -c 5 >> nethogs.log
    sleep 20
done

给可执行权限
chmod +x net.sh

执行脚本,等待监控报警
nohup ./net.sh &

结束进程
ps -ef | grep net.sh | grep -v grep | awk '{print $2}' | xargs -r kill -9

结合报警事件，查看nethogs.log日志，发现nginx占用流量较大。

Refreshing:
nginx: worker process/22492/0 135.7121 2.26484
进程名字：nginx: worker process
进程PID：22492
用户组：0
发流量：135.7121kb
收流量： 2.26484kb

3、解决办法

反向代理，数据的出入都需要nginx来转发，所以会占用nginx所在主机的带宽。

负载均衡

简单点的做法，
域名多配置几个IP，优点是配置简单免费，缺点是暴露IP。
如下多添加一个api的A记录值，用新IP即可。

api A 1.1.2.1
api A 1.1.2.2

在cmd下查看，如果返回配置的IP代表OK
nslookup baidu.com

服务器: UnKnown
Address: 192.168.1.1

非权威应答:
名称: baidu.com
Addresses: 220.** . ** .148
220. **. ** .251

复杂的做法，
dns轮询 -> lvs -> nginx，网上很多资料，这里不赘述。

限制nginx下载速度

优点是简单快捷粗暴的立刻解决问题，并且不用改架构。缺点是浪费其他服务器的流量资源，请求速度还变慢了。
限制下载速度为80klimit_rate 80k;

stream {
    upstream site {
        server your.upload-api.domain1:8080;
        server your.upload-api.domain1:8080;
    }

    server {
        listen    12345;
        proxy_pass site;

        # 19 MiB/min = ~332k/s,限制上行和下行的速率均为19MiB/min
        proxy_upload_rate 332k;
        proxy_download_rate 332k;
    }
}

http {

  server {
    location = /upload {
        
        # 关闭请求缓存，请求直接代理至后端
        proxy_request_buffering off;    
        
        # It will pass to the stream
        # Then the stream passes to your.api.domain1:8080/upload?$args
        proxy_pass http://127.0.0.1:12345/upload?$args;
   
    }

    location /download {
        # 下载大文件，需要调整超时时间/keepalive至较大数值
        keepalive_timeout  28800s;
        proxy_read_timeout 28800s;  
        proxy_buffering on;

        # 75MiB/min = ~1300kilobytes/s
        # 限制Nginx读取后端响应速率（需要开启代理缓存才能生效）
        # proxy_limit_rate 1300k; 
        
        # 下载500k之后，进行限速（适用于小文件下载）
        limit_rate_after 500k;
        # 限制下载速度为50k/每秒
        limit_rate       50k;

        proxy_pass your.api.domain1:8080;
    }
  }
}

nginx用gzip压缩传输

压缩级别建议开4，经实际测试，开到最大值9的效果不明显。

gzip        on;
gzip_min_length     1k;
gzip_buffers        16 64k;
gzip_comp_level     4;
gzip_types  application/json text/plain application/javascript application/x-javascript text/css application/xml text/javascript image/jpeg image/gif image/png image/jpg;
gzip_vary       on;

用curl请求接口查看是否压缩，请求完的数据写入resp文件
curl http://**.domain.com/api -v -H "Accept-Encoding:gzip" -H "Content-type:application/json;" -X POST -d '{"keytype":"PK","payload":"UQ/JLVDTlsokBv6bqj9axQ6cR6S7+DM4v88hpZRKjwsAlO1DQ/IeerrYRUH6iVns7yuAi+EKuAWT6RihKQGjXRt/qCIMjj7WHrcGCcVR9QYbxTfJVMJYEIIFjoSSOrhM9FFi+KoIVEz9+LSE/wlfVw==","uuid":"54011b09c4e8","cmd":102,"serial":1644828741}' > ./resp

要求客户端必须添加请求头，Accept-Encoding:gzip,一般Android和ios及浏览器都是支持gizp功能的