使用SGLang部署Qwen3大模型的完整指南

一、前言

随着大语言模型的持续发展，如何高效部署和调用大模型成为开发者关注的焦点。本文将详细介绍如何通过ModelScope下载Qwen3-32B模型，并使用SGLang框架实现高性能服务部署。该方案支持多GPU加速、模型推理优化和API接口调用，适用于需要处理长文本和复杂推理任务的场景。

二、环境准备

1. 安装ModelScope库

pip install modelscope

ModelScope是阿里云提供的模型开放平台，支持多种大模型的下载和部署。

2. 创建Python虚拟环境

conda create -n sglang python=3.11 -y
conda activate sglang

建议使用conda管理环境，确保Python版本与SGLang框架的兼容性（当前推荐3.11版本）。

三、依赖安装

1. 安装SGLang框架

pip install "sglang[all]>=0.4.6.post1"

2. 更新Transformers库

pip install git+https://github.com/huggingface/transformers -U

HuggingFace Transformers库提供完整的模型处理接口，确保与Qwen3-32B的兼容性。

四、模型部署

1. 下载Qwen3-32B模型

modelscope download --model Qwen/Qwen3-32B --local_dir ./Qwen3-32B

该命令会将模型文件下载到当前目录的./Qwen3-32B文件夹中。注意：

• 模型文件体积较大（约62GB）
• 建议使用SSD硬盘存储
• 需要保证网络连接稳定

2. 启动SGLang服务

PYTORCH_NVML_BASED_CUDA_CHECK=1 \
CUDA_HOME=/usr/local/cuda-12.6 \
CUDA_VISIBLE_DEVICES=3,1,0,2 \
TRANSFORMERS_OFFLINE=1 \
HF_DATASETS_OFFLINE=1 \
python -m sglang.launch_server \
--model-path /root/HuggingFaceCache/Qwen3-32B \
--trust-remote-code --served-model-name gpt-4o \
--tensor-parallel-size 4 \
--mem-fraction-static 0.90 \
--api-key sk-123456 \
--host 0.0.0.0 --port 8000 \
--tool-call-parser qwen25 \
--reasoning-parser qwen3 \
--context-length 131072 \
--json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

重要参数详解：

• 解析思考内容 - SGLang 支持将模型生成的思考内容解析为结构化消息

  python -m sglang.launch_server --model-path Qwen/Qwen3-32B --reasoning-parser qwen3
  

  响应消息除了 content 字段外，还会包含一个名为 reasoning_content 的字段，其中包含模型生成的思考内容。

注意：请注意，此功能与 OpenAI API 不兼容。
重要：enable_thinking=False 可能与此功能不兼容。如果需要向 API 传递 enable_thinking=False，请考虑禁用思考内容解析。

• 解析工具调用 - SGLang 支持将模型生成的工具调用内容解析为结构化消息

  python -m sglang.launch_server --model-path Qwen/Qwen3-32B --tool-call-parser qwen25
  

• 上下文长度
  Qwen3 模型在预训练中的上下文长度可达 32,768 个 token。要处理远超 32,768 token 的上下文长度，应应用 RoPE 缩放技术。我们已验证了 YaRN（一种增强模型长度外推的技术）的性能，确保其在长文本处理中的最佳表现。
  SGLang 支持 YaRN，可通过以下方式配置：

  python -m sglang.launch_server --model-path Qwen3/Qwen3-32B --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'
  

  SGLang 实现了静态 YaRN，这意味着缩放因子在输入长度变化时保持不变，可能会对短文本的性能产生影响。我们建议仅在需要处理长上下文时添加 rope_scaling 配置。同时，建议根据需要调整 factor 参数。例如，如果你的应用场景中典型的上下文长度为 65,536 token，最好将 factor 设置为 2.0。

  注意：config.json 中的默认 max_position_embeddings 设置为 40,960，这是 SGLang 使用的。该分配包括为输出保留 32,768 token 和为典型提示保留 8,192 token，这对于大多数短文本处理场景已经足够，并为模型思考留出了充足空间。如果平均上下文长度不超过 32,768 token，我们不建议在此场景下启用 YaRN，因为它可能会降低模型性能。

五、验证服务

基础用法

然后，你可以使用 create chat 接口与 Qwen 进行交互：

curl -X POST "http://localhost:8000/v1/chat/completions" \
  -H "Authorization: Bearer sk-123456" \
  -H "Content-Type: application/json" \
  -d '{"model": "gpt-4", "messages": [{"role": "user", "content": "Hello, world!"}]}' | jq

示例输出，

{
  "id": "6b31a76215be42e9aacb03b49295026b",
  "object": "chat.completion",
  "created": 1745970357,
  "model": "gpt-4",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Hello!  How can I assist you today?",
        "reasoning_content": "Okay, the user just said \"Hello, world!\" I need to respond. Hmm, that's a classic first message. Maybe they're testing the waters or just starting a conversation. Let me think about a good reply.\n\nFirst, I should acknowledge their greeting. A simple \"Hello!\" is appropriate. Then, maybe add a friendly offer to help. They might need assistance with something, so I'll ask how I can assist them today. Keep it open-ended but welcoming. \n\nWait, should I add an emoji to make it more personable? Like a smiley face. Yeah, that could work. Let me check the tone. It needs to be positive and approachable. Also, make sure the response is concise. No need for a long message unless they ask for more. \n\nIs there any other information they might want? Maybe not. They just said Hello, so the best course is to be polite and invite them to ask for help. Alright, I'll go with that.\n",
        "tool_calls": null
      },
      "logprobs": null,
      "finish_reason": "stop",
      "matched_stop": 151645
    }
  ],
  "usage": {
    "prompt_tokens": 12,
    "total_tokens": 229,
    "completion_tokens": 217,
    "prompt_tokens_details": null
  }
}

思考模式与非思考模式

Qwen3 模型在响应前会进行思考。这种行为可以通过硬开关或软开关来控制。硬开关可以完全禁用思考，而软开关则遵循用户指令决定是否进行思考。

SGLang 通过以下 API 调用配置支持硬开关。要禁用思考模式，请使用：

curl -X POST "http://localhost:8000/v1/chat/completions" \
  -H "Authorization: Bearer sk-123456" \
  -H "Content-Type: application/json" \
  -d '{"model": "gpt-4", "messages": [{"role": "user", "content": "Hello, world!"}], "chat_template_kwargs": {"enable_thinking": false}}' | jq

示例输出，

{
  "id": "94dde03b0d6d4a13b1292ab712448050",
  "object": "chat.completion",
  "created": 1745970460,
  "model": "gpt-4",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Hello! How can I assist you today? ",
        "reasoning_content": null,
        "tool_calls": null
      },
      "logprobs": null,
      "finish_reason": "stop",
      "matched_stop": 151645
    }
  ],
  "usage": {
    "prompt_tokens": 16,
    "total_tokens": 28,
    "completion_tokens": 12,
    "prompt_tokens_details": null
  }
}

要完全禁用思考模式，启动模型时可以使用自定义聊天模板：

python -m sglang.launch_server --model-path Qwen/Qwen3-32B --chat-template ./qwen3_nonthinking.jinja

提示：建议为思考模式和非思考模式设置不同的采样参数。

完结！

---

参考资料：https://qwen.readthedocs.io/en/latest/deployment/sglang.html