ggml

开源大预言模型中的GGUF和GGML格式分别是什么意思

GGUF和GGML是用于存储推断模型的文件格式，特别是在语言模型如GPT（生成式预训练变换器）的背景下。让我们探讨一下它们之间的关键区别，以及各自的优缺点。

soragui·2024-02-06 12:14

基于ChatGLM.cpp实现低成本对ChatGLM3-6B的量化加速

文章目录1.参考2.ChatGLM3介绍3.本地运行3.1硬件配置3.2下载ChatGLM3代码3.3量化模型3.4编译和运行3.4.1编译3.4.12运行4.python绑定4.1安装4.2使用预先转换的GGML

最美dee时光·2024-02-06 07:22

webassembly003 ggml.js试用(暂记)

gitclonehttps://github.com/rahuldshetty/ggml.js-examples.gitpython-mhttp.sever启动服务器虽然推理运行了一会，但是风扇没有任何响声

FakeOccupational·2024-02-04 07:51

20240202在Ubuntu20.04.6下使用whisper.cpp的CPU模式

/main-lzh-osrt-mmodels/ggml-medium.binchs.wav在纯CPU模式下，使用medium中等模型，7分钟的中文视频需要851829.69ms，也就是852s，大概14

南棱笑笑生·2024-02-03 06:55

webassembly003 MINISIT mnist/convert-h5-to-ggml.py

数据结构#ConvertMNISh5transformermodeltoggmlformat##Loadthe(state_dict)savedmodelusingPyTorch#Iterateoverallvariablesandwritethemtoabinaryfile.##Foreachvariable,writethefollowing:#-Numberofdimensions(int)

FakeOccupational·2024-02-02 06:38

5.llama.cpp编译及使用

llama.cpp的编译及使用下载源码llama.cpphttps://github.com/ggerganov/llama.cppggml向量库https://github.com/ggerganov/ggml

行循自然-kimi·2024-01-31 09:44

webassembly003 whisper.cpp的main项目-3 whispercpp_simple

├──CMakeLists.txt├──README.md├──src│└──main.cpp└──third_party├──common.cpp├──common-ggml.cpp├──common-ggml.h

FakeOccupational·2024-01-29 05:24

构建自己的私人GPT-支持中文

它是GGML的替代品，llama.cpp不再支持GGML。本文主要采用国产YI-34B-CHAT模型。1.模型下载yi模型下载：TheBloke/Yi-34B-Chat-G

崎山小鹿·2024-01-11 01:54

用通俗易懂的方式讲解大模型：在 CPU 服务器上部署 ChatGLM3-6B 模型

本文将介绍如何量化ChatGLM3-6B模型的GGML版本，并介绍如何在Colab的CPU服务器上部署量化后的模型，让大家在了解如何量化模型的同时也熟悉Colab的操作。

Python算法实战·2024-01-04 04:59

2023-12-29 低配大模型gpt-2本地部署

点击快速C语言入门低配大模型gpt-2本地部署前言一、`ggml.cpp`编译二、阿里福音书总结前言要解决问题:想本地部署个大模型,发现,能比较正常下载的只有gpt-2了,出于某种未可说原因,meta的

不停感叹的老林_·2023-12-31 04:41

用 C 写一个卷积神经网络

所以我换了一个思路，从开源的项目入手，当时我研究了一段时间ggml项目代码(https://github.co

zerok775·2023-12-14 21:37

文字转语音、语音转文字！ AI视频生成神器！

，感兴趣的同学可以试试~可以用Al生成视频，Whisper语音转文字Whisper开源项目：https://github.com/Const-me/Whisper/releases/tag/1.8.1ggml-medium

希尔贝壳AISHELL·2023-12-04 16:39

LLM大模型4位量化实战【GPTQ】

这要归功于性能下降最小的新型4位量化技术，例如GPTQ、GGML和NF4。在上一篇文章中，我们介绍了简单的8位量化技术和出色的LLM.int8()。

新缸中之脑·2023-11-20 02:52

【chatglm2】使用Python在CPU环境中运行 chatglm.cpp 可以实现本地使用CPU运行chatglm2模型，速度也特别的快可以本地部署，把现有项目进行AI的改造。

项目使用了ggml这个核心模块，去运行的。可以支持在cpu上面跑模型。

fly-iot·2023-10-28 03:31

5行命令教你在MAC上撸个AI问答系统

curl-sSfhttps://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh|bash-s----pluginwasi_nn-ggml

JiuShi猪·2023-10-13 16:38

解决 ChatGLM.CPP+clBlast 编译错误（也适用于SD.CPP）

vcpkginstallopenclclblast下载GitHub上的源码：gitclone--recurse-submoduleshttps://github.com/li-plus/chatglm.cppcdchatglm.cpp这个项目GGML

绝不原创的飞龙·2023-09-18 19:29

搭建本地人工智能框架LocalAI

它允许您在本地使用消费级硬件运行LLM（不仅如此），支持与ggml格式兼容的多个模型系列。不需要GPU。

杨浦老苏·2023-09-18 12:15

将 Llama2 中文模型接入 FastGPT，再将 FastGPT 接入任意 GPT 套壳应用，真刺激！

Llama2是Facebook母公司Meta发布的开源可商用大模型，国内的开源社区以及个人和机构也纷纷着手基于Llama2构建了中文版，并且还利用GGML机器学习张量库构建了可以在CPU上运行的Llama2

米开朗基杨·2023-08-31 11:32

webassembly003 GGML Tensor Library part-1

GGMLggml的函数可以看到官方示例项目仅依赖于#include"ggml/ggml.h"，#include"common.h"，可以阅读ggml.h获取ggml的使用帮助函数解释注释ggml_tensor

FakeOccupational·2023-08-28 15:50

webassembly003 ggml ADAM (暂记)

Adam优化器的工作方式是通过不断更新一阶矩估计和二阶矩估计来自适应地调整学习率，并利用动量法来加速训练过程。这种方式可以在不同的参数更新方向和尺度上进行自适应调整，从而更有效地优化模型。https://arxiv.org/pdf/1412.6980.pdf参数这些参数在Adam优化器中用于计算参数的更新值，并最终更新模型的参数。具体的计算公式可以查阅Adam优化器的算法原理。x：参数（权重和偏置

FakeOccupational·2023-08-28 15:03

webassembly010 ggml的其他封装:Python,Rust ,javascript

://github.com/candrewlee14/zgmlBleedingedgelowlevelRustbindingforGGMLhttps://github.com/KerfuffleV2/ggml-sys-bleedingedgeYourcustomizedAIcharacte

FakeOccupational·2023-08-28 15:02

webassembly003 ggml GGML Tensor Library part-4 实现在浏览器端训练神经网络

code#include"ggml.h"#include#include#include#include#include#include"ggml.h"#include#include#include#

FakeOccupational·2023-08-28 07:41

【AI实战】快速搭建中文 Alpaca 33B 大模型 Chinese-Alpaca-33B

Chinese-Alpaca-33B中文33B大模型Chinese-Alpaca-33B环境配置搭建过程1.拉取chinese-alpaca-lora-33b2.合并lora权重3.llaa.cpp量化模型准备模型权重转换为ggml

szZack·2023-08-27 07:23

macbook 加载模型报错：failed to load model

环境：macbookm1+conda+python3.9加载模型链接为：ggml-model-q4_0.bin加载方式：fromlangchain.embeddingsimportLlamaCppEmbeddingsembeddings

yingchenwy·2023-08-26 09:39

基于Llama2和LangChain构建本地化定制化知识库AI聊天机器人

参考：本项目https://github.com/PromtEngineer/localGPT模型https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML

Entropy-Go·2023-08-25 10:09

whisper.cpp安装配置

/download-ggml-model.shsmall编译，项目根目录执行make指令，得到main.exe可执行文件，然后就可以实现录音转文字了。录音转文字录音文件只支持16khz的.wav文

xz23333·2023-08-11 10:42

6G内存运行Llama2-Chinese-7B-chat模型

6G内存运行Llama2-Chinese-7B-chat模型Llama2-Chinese中文社区第一步：从huggingface下载Llama2-Chinese-7b-Chat-GGML模型放到本地的某一目录

蓝鲸123·2023-07-30 12:31

构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型

本篇文章聊聊如何使用GGML机器学习张量库，构建让我们能够使用CPU来运行Meta新推出的LLaMA2大模型。

soulteary·2023-07-25 08:59

【AI实战】llama.cpp 量化部署 llama-33B

llama.cpp量化部署llama-33Bllama.cpp量化介绍环境配置安装llama.cpp拉取llama.cpp仓库代码编译llama.cpp生成量化版本模型模型准备将上述.pth模型权重转换为ggml

szZack·2023-07-24 14:16

使用GGML和LangChain在CPU上运行量化的llama2

deephub·2023-07-24 14:42

推荐频道