凯尔后端项目结构

项目地址

凯尔后端:https://github.com/Mrshenxh/Kayle

项目技术选型

项目后端技术选型为python Flask框架,主要特点小而轻,原生组件几乎为0,契合项目限制为企业内部使用的初衷。

优点如下:

简单,Flask的路由以及路由函数由修饰器设定,开发人员不需要借助其他文件匹配;

配置灵活,有多种方法配置,不同环境的配置也非常方便;环境部署简单,Flask运行不需要借助其他任何软件,只需要安装了Python的IDE,在命令行运行即可。只需要在Python中导入相应包即可满足所有需求;

入门简单,通过官方指南便可以清楚的了解Flask的运行流程;

低耦合,Flask可以兼容多种数据库、模板。

项目结构


app/config:项目配置文件夹,包含以下重要内容:

1、mysql相关信息(地址,端口,用户名和密码)

2、DB(集成flask_sqlalchemy和mysql更方便的交互)

3、celery配置信息(URL,BACKEND)

4、SECRET_KEY(加密使用)

5、user_socket_dict(自定义一个全局socket dict,存储用户和mitmproxy上传socket)

app/logs:项目log文件位置,包括celery日志,gunicorn日志,后续接入logging

app/models:应用model层,包括用户,计划,核心接口等model

app/statics:静态文件存储地址

app/templates:html模版存储地址,因为项目为前后端分离,所以暂时没用到

app/utils:公共方法存储地,后续优化扩展

app/views:应用view层,基于蓝图实现route引入

app/__init__.py:应用初始化文件,初始化重要组件,如app,MCelery,flask_login回调函数等

venv:python虚拟环境,进入虚拟环境命令:source venv/bin/active

gunicorn.conf.py:gunicorn配置文件,关于gunicorn请参考项目部署

qa_tools_be.py:基于geventwebsocket的执行启动文件

requirement.txt:python资源文件。通过 pip install -r requirements.txt 拉取项目依赖的python第三方;通过 pip freeze > requirements.txt生成项目本地资源列表文件。

业务结构

根据上面的项目结构可以了解到,项目的主要业务模块主要在model层以及view层。下面针对这两个模块的对应业务表和接口再做具体介绍。

model层:

history_plan_model:

历史计划模型,对应history_plan_list 数据库表。可根据ID查找相关数据。

temp_interface_model:

CoreInterface:核心接口模型,对应core_interface_list 数据库表。可根据 interface_id 查找相关数据。

TempUserPort:临时端口模型,对应 temp_mitmproxy_list 数据库表。可根据user_id,port和mitm_id查找相关数据

user_model:

用户模型,对应user_list 数据库表。可根据user_id查找相关数据。

view层:

user:

user/login:登录

user/register: 注册

user/message: 查询用户详细信息

user/checklogin: 校验是否处于登录状态

user/logout: 退出登录

tempinter:

tempinter/queryportmsg: 根据port查询 temp_mitmproxy_list数据库表内对应的数据(不校验登录状态)

tempinter/queryusersocket: 查询当前用户是否有已经使用的mitmproxy代理

tempinter/uploadcoreinter: 核心接口上传

tempinter/createmitm: 创建mitmproxy代理

tempinter/stopmitm: 关闭mitmproxy代理

tempinter/tempsocket/flow/: websocket数据流传输

tempinter/getcoreinter: 分页下发核心接口

tempinter/searchcore: 根据interface_id查询接口详细信息

tempinter/deletecore: 根据interface_id删除核心接口

tempinter/editcore: 二次编辑核心接口

plan:

plan/createplan: 计划创建

plan/stopplan: 关闭计划

plan/queryplan: 计划创建成功后,查询计划

plan/queryplancore: 计划创建成功后,查询计划模块对应的核心接口

plan/historyplan: 历史计划列表

plan/deletehistoryplan: 删除某个历史计划

plan/historyplan/: 查看某个历史计划的详细数据

operator:

operator/scanplan: 触发扫描计划是否结束场景

operator/scanmitm: 触发扫描mitmproxy代理

其他

项目环境基于python3;

创建计划,会将task推送到celery任务队列中。可以通过plan/queryplan 查看task执行情况,也可以在redis上根据键值对查询;

进行中计划的数据,存储在redis中。对应hash为“plan_core”,具体逻辑可参考app/utils/redis_operat.py 文件;

关于mitmproxy

mitmproxy是一款类似于Charles的代理工具,官网参考:https://www.mitmproxy.org/。

启动mitmproxy,用mitmproxy、mitmdump、mitmweb都可以,区别如下:

mitmproxy 命令启动后,会提供一个命令行界面,用户可以实时看到发生的请求,并通过命令过滤请求,查看请求数据;

mitmweb 命令启动后,会提供一个 web 界面,用户可以实时看到发生的请求,并通过 GUI 交互来过滤请求,查看请求数据;

mitmdump 命令启动后,没有界面,程序默默运行,所以 mitmdump 无法提供过滤请求、查看数据的功能,只能结合自定义脚本,默默工作;

这里我们操作mitmdump进行代理创建,执行命令为:mitmdump -s kayle_be/app/utils/get_mitm_request.py -p {端口号}

服务器mitmproxy证书安装:

在服务器上,我们也要安装mitmproxy对应证书:

cd ~/.mitmproxy

# 证书格式转换

openssl x509 -in mitmproxy-ca-cert.pem -inform PEM -out mitmproxy-ca-cert.crt

sudo mkdir /usr/share/ca-certificates/extrasudo cpmitmproxy-ca-cert.crt/usr/share/ca-certificates/extra/mitmproxy-ca-cert.crt

# 无交互模式

sudo update-ca-certificates

脚本执行原理:

在执行命令中,我们指定了端口和脚本,那么每次有接口数据流转过来时,都会执行一遍get_mitm_request.py脚本,在脚本中,我们收集了接口请求和返回的数据,并把这些数据打给websocket接口,由websocket接口传递给current_user前端


你可能感兴趣的:(凯尔后端项目结构)