开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（三）

一、前言

    可靠性是保证软件和系统正常运行、数据完整性、用户信任和满意度的关键要素。通过提高可靠性，可以降低业务中断的风险，增强用户信心，并减少故障排除和维护的成本，从而对组织的成功和效益产生积极影响。

    Supervisor是一种可以帮助管理和监控后台进程的工具，它可以自动重启崩溃的进程，并且可以在进程停止后自动启动它们。

---

二、前置知识

    2.1. 了解如何启动vllm服务

         python -m vllm.entrypoints.api_server  --model  /data/model/qwen-7b-chat  --swap-space 24 --disable-log-requests --trust-remote-code --max-num-seqs 256 --host 0.0.0.0 --port 9000  --dtype float16 --max-parallel-loading-workers 1  --enforce-eager

        需要注意

1.   显存不够的情况，max-parallel-loading-workers设置为1，同时根据显卡支持的类型，按实际情况设置dtype，当前显卡是Tesla V100-SXM2-32GB，加载qwen-7b-chat，需要约27G的显存
2.  内存不够的情况，需要根据实际情况设置swap-space
    

    2.2. 了解如何启动gunicorn服务

        gunicorn --worker-class=gthread --workers 1