合并多个大语言模型文件的方法

合并多个大语言模型文件的方法

  • 1. 合并多个大语言模型文件的方法

1. 合并多个大语言模型文件的方法

运行下面命令,

(示例)Linux and macOS:

cat swallow-70b-instruct.Q6_K.gguf-split-* > swallow-70b-instruct.Q6_K.gguf && rm swallow-70b-instruct.Q6_K.gguf-split-*
cat swallow-70b-instruct.Q8_0.gguf-split-* > swallow-70b-instruct.Q8_0.gguf && rm swallow-70b-instruct.Q8_0.gguf-split-*

(示例)Windows command line:

COPY /B swallow-70b-instruct.Q6_K.gguf-split-a + swallow-70b-instruct.Q6_K.gguf-split-b swallow-70b-instruct.Q6_K.gguf
del swallow-70b-instruct.Q6_K.gguf-split-a swallow-70b-instruct.Q6_K.gguf-split-b

COPY /B swallow-70b-instruct.Q8_0.gguf-split-a + swallow-70b-instruct.Q8_0.gguf-split-b swallow-70b-instruct.Q8_0.gguf
del swallow-70b-instruct.Q8_0.gguf-split-a swallow-70b-instruct.Q8_0.gguf-split-b

refer: https://huggingface.co/TheBloke/Swallow-70B-instruct-GGUF

完结!

你可能感兴趣的:(LINUX,语言模型,人工智能,自然语言处理)