llama.cpp

第十一篇-Tesla P40+Text-Generation-Webui

CentOS-7CPU:14C28T显卡：TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26介绍简单好用(当然速度不是最快的)，支持多种方式加载模型，transformers,llama.cpp
木卫二号Coding·2023-08-23 08:19

oobabooga-text-generation-webui可能是最好的语言模型启动器（包含手把手安装教程）

oobabooga-text-generation-webui是一个用于运行类似Chatglm、RWKV-Raven、Vicuna、MOSS、LLaMA、llama.cpp、GPT-J、Pythia、OPT
javastart·2023-08-14 12:03

构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型

写在前面GGML是前几个月llama.cpp和whisper.cpp项目背后的关键支撑技术，使用C语言编写，没有任何三方依赖的高性能计算库。
soulteary·2023-07-25 08:59

【AI实战】llama.cpp 量化部署 llama-33B

【AI实战】llama.cpp量化部署llama-33Bllama.cpp量化介绍环境配置安装llama.cpp拉取llama.cpp仓库代码编译llama.cpp生成量化版本模型模型准备将上述.pth
szZack·2023-07-24 14:16

llama.cpp试用

显存占用是真的低，13Bvicunaint4量化，example/chat-13B.sh正常问答交流，不到2G的占用。相比之下，vicuna7B原版int8量化，8G显卡下，cuda会OOM(原版不支持int4量化)。chatglm6Bint4量化，显存占用仍然需要6G。
菜鸡学AI·2023-07-14 19:12

llama.cpp一种在本地CPU上部署的量化模型（超低配推理llama）

然而那些手头没有顶级显卡的朋友们，就只能看看而已了但是GeorgiGerganov开源了一个项目llama.cppggerganov/llama.cpp:PortofFacebook’sLLaMAmodelinC
god_Zeo·2023-06-24 00:26

llama.cpp LLM模型 windows cpu安装部署

参考：https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/https://blog.csdn.net/qq_38238956/article/details/130113599cmakewindows安装参考：https://blog.csdn.net/weixin_42357472/article/details/131
loong_XL·2023-06-23 23:23

在低配Windows上部署原版llama.cpp

现在大语言模型的部署，通常都需要大的GPU才能实现，如果是仅仅想研究一下，大语言模型的算法，我们是很想能够直接在我们的工作电脑上就能直接运行的，llama.cpp就是很好的实现。
go2coding·2023-06-23 13:46

scratch lenet(1): 读写 pgm 图像文件

2.1概要2.2meta信息2.3像素内容3.创建.pgm文件4.使用C语言读取.pgm灰度图文件4.1实现4.2解释5.使用C语言保存.pgm灰度图文件1.目的最近在github上关注了LLM的流行库llama.cpp
baiyu33·2023-06-17 19:37

Chinese-LLaMA-Alpaca代码实战

文章目录微调chinese-alpaca部署llama.cpp将FP16模型量化为4-bit项目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca微调chinese-alpaca
dzysunshine·2023-06-09 18:44

笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型（CPU+内存运行）

（我的电脑是ThinkpadT14gen2，内存32G，系统是Windows10）2、下载llama.cpp。llama.
T畅N·2023-06-08 11:44
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他