【netstub】(一）基于nginx反向代理实现客户端mock

info

项目地址： https://github.com/Be5yond/netstubhttps://github.com/Be5yond/netstub

相关文章：

【netstub】(一）基于nginx反向代理实现客户端mock

【netstub】(二）使用流量桩实现服务端数据回放和mock

【netstub】(三）使用流量桩实现多虚拟环境复用服务

【netstub】用户手册https://blog.csdn.net/be5yond/article/details/121791901

【netstub】管理员手册 https://blog.csdn.net/be5yond/article/details/121809109

1. 背景

目前app前端测试，需要抓包查看接口数据，采用charles进行代理，进行数据抓包。 需要mock数据的话，使用charles的 Map Local功能。

问题

①  mock数据共享比较麻烦，同一接口只能mock 1个返回。

② 数据中有加密字段，需要手动粘贴出来进行处理，才能查看数据

③ https 安装证书步骤繁琐，部分机型需要特殊处理

2.目标

期望开发一个mock工具，可以支持https抓包，同API可配置返回不同的数据，抓包数据支持预处理，如可以解密数据字段。

3.解决思路

采用Nginx作为一个网关作为原服务的反向代理，这样对与客户端来说，没有任何感知，在网关层可以获取到请求和返回的数据信息，完成处理后写入日志，和mock逻辑的实现。

架构图：

3.1 请求数据的记录

nginx可以配置日志格式，结合处理日志数据的神器Loki，日志被promtail采集后，将数据汇总到一起并放到grafana中展示。

------细节-----

实现方式：

修改nginx配置文件nginx.conf , 增加access_log路径和log格式。

    ...
    access_log  /var/log/nginx/access.log  main;
    log_format main escape=json  '{'
                                 '"host": "$host",'
                                 '"remote_addr": "$remote_addr",'
                                 '"remote_user": "$remote_user",'
                                 '"time_local": "$time_local", '
                                 '"status": "$status", '
                                 '"http_user_agent": "$http_user_agent",'
                                 '"request_time": "$request_time", '
                                 '"request": "$request",'
                                 '"request_body": "$request_body", '
                                 '"request_header": "$request_header", '
                                 '"response_body": "$response_body"'
                                 '}' ;
    ...

其中request_body和request_header,response_body 三行数据默认是没有，需要配置default.conf给对应变量赋值

default.conf文件：

    ...
    lua_need_request_body   on;
    set $request_header     "";
    header_filter_by_lua_block     {
        json = require "cjson"
        ngx.var.request_header = json.encode(ngx.req.get_headers())
    }

    set $response_body      "";
    body_filter_by_lua_block     {
        local response_body = string.sub(ngx.arg[1],1,10000)
        ngx.ctx.buffered =  (ngx.ctx.buffered or "")   .. response_body  
        if ngx.arg[2] then
            ngx.var.response_body = ngx.ctx.buffered
        end
    }
    ...

-----细节-----

3.2 mock数据的返回

利用openresty结合lua 将nginx变成一个Web 应用平台的特性，在Nginx 的access_by_lua 阶段对请求进行判断，如果命中mock逻辑，则不转发请求，直接返回。

default.conf 文件中配置如下：

    location / {
        access_by_lua_file /etc/nginx/conf.d/md.lua; 
        proxy_pass http://$host;
    }

mock数据保存在redis中

3.3 服务端地址的转换

将原服务端的ip改为Openresty网关的ip， 实现方式见另一篇博客：使用coredns搭建私有DNS服务

4. 使用方法

见文章【netstub】用户手册https://blog.csdn.net/be5yond/article/details/121791901?spm=1001.2014.3001.5501https://blog.csdn.net/be5yond/article/details/121791901?spm=1001.2014.3001.5501

性能：

相较于基于其他网络服务器实现的mock server。openresty可以支持大量数据并发，并且可以有非常好的性能。

如下图所示，一次命中mock的请求，响应时间仅需6ms