开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（四）

一、前言

    经过前面三篇的实施，相信你已经顺利完成了AI服务的功能性需求。现在，我们进入了考虑非功能性需求的阶段。作为一个公共服务，安全性是至关重要的。通过对安全性进行设计，我们可以提升软件对潜在威胁和安全漏洞的防护能力，确保用户数据和系统的安全。

---

二、术语

2.1、限流

        是一种用于控制系统访问速率的技术手段。在计算机网络中，限流用于限制对某个资源或服务的并发访问数量，以防止系统被过多的请求压垮或拖慢响应速度。限流可以帮助维持系统的稳定性、可用性和安全性。

限流的目的是防止系统过载，确保系统能够处理请求并提供可接受的性能。如果系统没有限制并发访问的数量，可能会导致资源耗尽、响应时间延长、系统崩溃或服务不可用的情况。

2.2、鉴权（Authentication）

        是指确认用户身份的过程，以确保用户具有访问系统或资源的权限。在计算机领域，鉴权是一种安全机制，用于验证用户的身份，并授予其相应的权限和访问权限。

2.3、SHA-256（Secure Hash Algorithm 256-bit）

        是一种加密散列函数，它属于SHA-2（Secure Hash Algorithm 2）系列的一部分。SHA-256接受任意长度的输入，将其转换为固定长度的256位（32字节）哈希值。SHA-256是一种单向哈希函数，意味着无法从哈希值还原出原始输入数据。

2.4、Flask-Limiter

        是一个用于Flask框架的Python扩展，提供了请求限流的功能。它基于令牌桶算法实现了各种类型的限流策略，可以帮助开发人员控制和管理Flask应用程序中的请求频率。可以用于限制对API端点或视图函数的并发请求数量、请求速率或请求总量。它提供了一组装饰器和配置选项，可以灵活地定义针对不同端点或视图函数的限流规则。

2.5、@app.before_request

         是Flask框架中的一个装饰器（Decorator），用于定义在每个请求处理之前执行的函数。

当使用 @app.before_request 装饰一个函数时，该函