ubuntu下llama2的api远程调用

conda activate llamachinese

cd /home/cys/Llama2-Chinese/scripts/api

python accelerate_server.py --model_path /media/cys/c4e58bbe-a73a-4b02-ae9e-2b310ee884fb/chinese-llama-2-13b --gpus "0" --infer_dtype "int8" --model_source "llama2_chinese"

ubuntu下llama2的api远程调用_第1张图片

 ubuntu下llama2的api远程调用_第2张图片

 运行结果:ubuntu下llama2的api远程调用_第3张图片

你可能感兴趣的:(服务器,数据库,运维)