text-generation-inference（TGI）项目加速推理的量化实现与使用GPTQ量化实现的对比

0背景

实验的机器是4张T4的显卡，推理时使用参数--gpus all用4张卡同时计算；

加载的模型是vicuna-7b-v1.5-16k；

工程的地址在https://github.com/huggingface/text-generation-inference

下面的计算速度默认是四张卡同时工作的速度；

1 不量化

docker run --gpus all --shm-size 1g -p 8080:80 -v ./models:/data ghcr.io/huggingface/text-generation-inference:1.0.1 --model-id lmsys/vicuna-7b-v1.5-16k --num-shard=4 --max-input-length=15000 --max-total-tokens=16000 --max-batch-total-tokens=16000 --max-batch-prefill-tokens=16000 --rope-scaling=linear --rope-factor=4.0

计算占用显存：14.9G

计算速度：单卡每秒约50tokens

2 TGI自带量化

4位量化，增加参数--quantize bitsandbytes-nf4（在命令最后）

​
docker run --gpus all --shm-size 1g -p 8080:80 -v ./models:/data ghcr.io/huggingface/text-generation-inference:1.0.1 --model-id lmsys/vicuna-7b-v1.5-16k --num-shard=4 --max-input-length=15000 --max-total-tokens=16000 --max-batch-total-tokens=16000 --max-batch-prefill-tokens=16000 --rope-scaling=linear --rope-factor=4.0 --quantize bitsandbytes-nf4
​

计算占用显存：11.7G

计算速度：每秒约30tokens

3 GPTQ量化

GPTQ专门针对 LLaMa 提供 GPTQ 量化方案的仓库，如果考虑 GPU 部署 LLaMa 模型的话，GPTQ-for-LLaMa 是十分指的参考的一个工具。像 http://huggingface.co 上的 Thebloke 很大部分模型都是采用 GPTQ-for-LLaMa 进行量化的。

添加环境变量：

export GPTQ_BITS=4

export GPTQ_GROUPSIZE=128

export REVISION=gptq-4bit-128g-actorder_True

计算占用显存：9.8G

计算速度：每秒约50tokens