qwen在vLLM下的长度外推简易方法

目的

在当前的版本vLLM中实现qwen的长度外推。

解决方法

在qwen的config.json中,增加如下内容:


{
  "rope_scaling": { 
    "type": "dynamic", 
    "factor": 4.0
  }
}

dynamic:动态NTK
factor:缩放因子,外推长度=原始长度*缩放因子

你可能感兴趣的:(大语言模型,qwen,长度外推,大模型)