LLaMa 第9页

开源大模型框架llama.cpp使用C++ api开发入门

llama.cpp是一个C++编写的轻量级开源类AIGC大模型框架，可以支持在消费级普通设备上本地部署运行大模型，以及作为依赖库集成的到应用程序中提供类GPT的功能。

踏莎行hyx·2023-11-26 05:56

微调 Llama 2 以替代 GPT-3.5/4 已然可行！

智慧地球（AI·Earth）·2023-11-25 06:45

FinGPT：金融垂类大模型架构

Overview动机架构底座模型：Llama2Chatglm2Lora训练技术路径自动收集数据并整理指令微调舆情分析搜新闻然后相似搜索检索增强架构智能投顾Huggingface地址学术成果及未来方向参考资料

uncle_ll·2023-11-25 01:30

全新Self-RAG框架亮相，自适应检索增强助力超越ChatGPT与Llama2，提升事实性与引用准确性

全新Self-RAG框架亮相，自适应检索增强助力超越ChatGPT与Llama2，提升事实性与引用准确性1.基本思想大型语言模型（LLMs）具有出色的能力，但由于完全依赖其内部的参数化知识，它们经常产生包含事实错误的回答

汀、人工智能·2023-11-24 10:18

Devchat 的环境配置和使用

Devchat注册、获取和设置AccessKey选择不同模型使用简介DevChat是一款国内可用的基于大语言模型的开源VSCode编程插件，集成了GPT3.5、GPT4.0、XINGHUO-2、CLAUDE-2、LLAMA

有请小发菜·2023-11-24 09:36

基于V100下Llama2-Atom大模型微调

文章目录大规模的中文数据预训练模型部署模型微调Step1:环境准备Step2:数据准备Step3:微调脚本Step4:加载微调模型一些BUG大规模的中文数据预训练原子大模型Atom在Llama2的基础上

玖玖玖柒染·2023-11-24 07:09

Mistral 7B 比Llama 2更好的开源大模型（四）

Mistral7B在平衡高性能和保持大型语言模型高效的目标方面迈出了重要的一步。通过我们的工作，我们的目标是帮助社区创建更实惠、更高效、更高性能的语言模型，这些模型可以在广泛的现实世界应用程序中使用。Mistral7B在实践中，对于16K和W=4096的序列长度，对FlashAttention[11]和xFormers[18]进行了更改，比普通注意力基线的速度提高了2倍。本文学习论文FlashAt

段智华·2023-11-24 02:56

大模型增量预训练参数说明

欢迎关注公众号模型参数model_type模型类型，例如bloom,llama，baichuan，qwen等。model_name_or_path模型名称或者路径。

hj_caas·2023-11-24 02:32

开源语言大模型演进史：向LLaMA 2看齐

本文将介绍如何通过微调/对齐那些更出色的LLaMA-2等开源模型来提升它们的效果，并缩小开源和私有LLM之间的差距。（本文作者为Rebuy公司

OneFlow深度学习框架·2023-11-23 20:45

[nlp] RuntimeError: Llama is supposed to be a BPE model!报错解决

#tokenizer=AutoTokenizer.from_pretrained(BASE_MODEL)改成这个legacy=False,use_fast=False：tokenizer=AutoTokenizer.from_pretrained(BASE_MODEL,legacy=False,use_fast=False)

心心喵·2023-11-23 19:44

pytorch打印变量

importtorch#state_dict=torch.load("/home/llama-33B_epoch_0000_step_0004.pt/llama.bin")#state_dict=torch.load

upwind_fly·2023-11-23 06:36

StarCoder LLM for code

与LLaMA类似，我们为1万亿个代币训练了一个约15B的参数模型。我们针对35BPython令牌微调了StarCoderBase模型，产生了一个我们称之为StarCoder的

量化交易曾小健(金融号)·2023-11-23 05:13

LLM：prompt指令数据制作

https://github.com/ymcui/Chinese-LLaMA-Alpacaimportopenaiimportjsonimportsysimportrandomopenai.api_key

u013250861·2023-11-22 21:00

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。

hj_caas·2023-11-21 12:53

揭秘：仅用一块3090，轻松高效部署InternLM-20B大模型！

它具备优异的综合性能，以不足三分之一的参数量，测评成绩达到了Llama2-70B的水平。200亿参数，大约占40G显存。

风度78·2023-11-21 10:56

超详细！大模型面经指南（附答案）

[x]大模型（LLMs）进阶面[x]1.llama输入句子长度理论上可以无限长吗？

人工智能与算法学习·2023-11-20 12:01

LLM大模型4位量化实战【GPTQ】

新缸中之脑·2023-11-20 02:52

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。

hj_caas·2023-11-20 01:22

通过制作llama_cpp的docker镜像在内网离线部署运行大模型

对于机器在内网，无法连接互联网的服务器来说，想要部署体验开源的大模型，需要拷贝各种依赖文件进行环境搭建难度较大，本文介绍如何通过制作docker镜像的方式，通过llama.cpp实现量化大模型的快速内网部署体验

springlustre·2023-11-17 00:06

Mistral 7B 比Llama 2更好的开源大模型（三）

Mistral7B比Llama2更好的开源大模型Mistral7B是一个70亿参数的语言模型，旨在获得卓越的性能和效率。

段智华·2023-11-16 21:40

零一万物回应「抄袭 LLaMA」；京东原副总裁试用可穿戴人工喉丨 RTE 开发者日报 Vol.85

本期编辑：@Asui，@CY01有话题的新闻1、零一万物回应「抄袭LLaMA」：尊重开源社区反馈，

声网·2023-11-16 18:32

错误：CUDA error: device-side assert triggered CUDA kernel errors

对llama扩充中文词表后直接增量预训练，忘记设置--modules_to_saveembed_tokens,lm_head,所以导致向量维度不一致，出现下面的错误。

hj_caas·2023-11-16 17:02

win10部署 Mistral-7B 文本生成模型

16日人工智能创业公司MistralAI以Apache2.0授权开源Mistral7B语言模型，Mistral7B的特别之处在于其规模较小仅有73亿，但是在所有基准测试上，其表现都优于规模更大的语言模型Llama213B

绀目澄清·2023-11-16 17:31

NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】

目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom

u013250861·2023-11-16 17:00

llama模型研究系列1

一、llama模型的结构是怎么样的？

Takoony·2023-11-16 17:28

打败700亿LLaMA2，苹果电脑就能跑｜开源免费

西风发自凹非寺量子位|公众号QbitAI花500刀“调教”的70亿参数模型，打败700亿参数的Llama2！且笔记本就能轻松跑，效果媲美ChatGPT。重点：免费、不要钱。

QbitAl·2023-11-16 17:57

LLM大模型之基于SentencePiece扩充LLaMa中文词表实践

LLM大模型之基于SentencePiece扩充LLaMa中文词表实践目前大模型的词表和分词器都是基于SentencePiece工具实现的，比如LLaMa，BLOOM，ChatGLM，Baichuan等

Glan格蓝·2023-11-16 17:56

LLaMA模型之中文词表的蜕变

在目前的开源模型中，LLaMA模型无疑是一颗闪亮的⭐️，但是相对于ChatGLM、BaiChuan等国产大模型，其对于中文的支持能力不是很理想。

hj_caas·2023-11-16 17:25

LLM（四）| Chinese-LLaMA-Alpaca：包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型

EFFICIENTANDEFFECTIVETEXTENCODINGFORCHINESELLAMAANDALPACA》论文地址：https://arxiv.org/pdf/2304.08177v1.pdfGithub地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca

wshzd·2023-11-16 17:25

北大联合智源提出训练框架LLaMA-Rider

北京大学和北京智源人工智能研究院的团队针对这个问题提出了LLaMA-Rider，该方法赋予了大模型在开放世界中探索任务、收集数据、学习策略的能力，助力智能体在《我的世界》（Minecraft）中自主探索获

richerg85·2023-11-16 17:55

Mistral 7B 比Llama 2更好的开源大模型（二）

Mistral7B论文学习Mistral7B论文链接https://arxiv.org/abs/2310.06825代码:https://github.com/mistralai/mistral-src网站:https://mistral.ai/news/announcing-mistral-7b/论文摘要Mistral7B是一个70亿参数的语言模型，旨在获得卓越的性能和效率。Mistral7B在

段智华·2023-11-16 17:24

完整时间线！李开复Yi大模型套壳争议；第二届AI故事大赛；AI算命GPTs；LLM应用全栈开发笔记；GPT-5提上日程 | ShowMeAI日报

/huggingface.co/01-ai/Yi-34B/discussions/11#6553145873a5a6f938658491最近两天，李开复麾下「零一万物」最新推出的Yi大模型陷入了「套壳LLaMA2

ShowMeAI·2023-11-16 15:33

141 GB 超大显存，Llama2推理性能翻倍，老黄赢麻了！

原创作者|王二狗英伟达又一次打了所有人措手不及！就在昨晚，老黄发布了新一代史上最强AI芯片NVIDIAHGX™H200。141GB超大显存！带宽增加2.4倍H200拥有141GB显存！相比之前的H100和A100，容量几乎翻倍！NVIDIAH200是首款提供HBM3e的GPU，借助HBM3e，NVIDIAH200以每秒4.8TB的速度提供141GB显存，带宽增加2.4倍。H200可以轻松加速生成式

夕小瑶·2023-11-16 11:07

APUS与深圳大学大数据国家工程实验室联合训练开源中文大模型

双方集成各自优势联合开发、开源高性能中文多模态大模型Linly-Chinese-LLaMA-2-70B。

商业资讯汇·2023-11-15 22:03

多个APP未收到苹果叫停摇一摇通知；OpenAI重金挖角谷歌，年薪可达1000万美元；FFmpeg 6.1发布｜极客头条

基于LLaMA却改张量名，零一万物官方回应华为对平板电脑提价或因存储价格上涨，系余承东主导决策阿里智能信息事业群宣布发布自研大模型，夸克App将全面升级多个APP未收到苹果叫停摇一摇通知京东原副总裁、渐冻人蔡磊全球首次试用可穿戴人工喉

极客日报·2023-11-15 10:26

【NLP】理解 Llama2：KV 缓存、分组查询注意力、旋转嵌入等

LLaMA2.0是MetaAI的开创性作品，作为首批高性能开源预训练语言模型之一闯入了AI场景。值得注意的是，LLaMA-13B的性能优于巨大的GPT-3(175B)，尽管其尺寸只是其一小部分。

Sonhhxg_柒·2023-11-13 18:19

Mistral 7B 比Llama 2更好的开源大模型（一）

Mistral7B简介Mistral7BMistral7B是一个7.3B参数模型：在所有基准测试中优于Llama213B在许多基准测试中优于Llama134B接近CodeLlama7B的代码性能，同时保持擅长英语任务使用分组查询注意力

段智华·2023-11-13 15:25

LLAMA v1 模型的下载与转换

prinTao·2023-11-12 17:07

Git 服务器上的 LFS 下载

以llama为例：https://huggingface.co/meta-llama/Llama-2-7b-hfGithub#1.安装完成后，首先先初始化；如果有反馈，一般表示初始化成功gitlfsinstall

prinTao·2023-11-12 16:34

llama.cpp 源码解析

原文出自这里：CodeLearner0前言1代码结构&调用流程1.1代码结构1.2调用流程2逐算子解析2.1AttentionBlock2.1.1rms\_norm\_f322.1.2LinearLinear\*dequantizeLinear*quantizeLinear2.1.3rope_f322.1.4Copy_kernel2.1.5Multi-Head-Attention2.1.6add_

mingqian_chu·2023-11-12 16:48

【AI实战】llama.cpp量化cuBLAS编译；nvcc fatal:Value ‘native‘ is not defined for option ‘gpu-architecture‘

【AI实战】llama.cpp量化cuBLAS编译；nvccfatal:Value'native'isnotdefinedforoption'gpu-architecture'llama.cpp量化介绍

szZack·2023-11-12 08:29

大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B

llama.cpp是近期非常流行的一款专注于Llama/Llama-2部署的C/C++工具。

SmileyFaceApp·2023-11-12 08:58

llama.cpp部署在windows

本想部署LLAMA模型，但是基于显卡和多卡的要求，很难部署在个人笔记本上，因此搜索发现有一个量化版本的LLAMA.cpp，部署过程和踩过的坑如下：1.配置环境（1）在GitHub-ggerganov/llama.cpp

road_of_god·2023-11-12 08:56

llama.cpp 部署 llama-2-7b 测试 Llama 2

首先进入这里https://github.com/facebookresearch/llama点击下载填写注册信息接受后继续上面的按钮点击后，应该邮箱就收到链接了，几乎是很快的把下面的链接复制后备用，注意

bit_lang·2023-11-12 08:54

Llama2通过llama.cpp模型量化 Windows&Linux本地部署

Llama2通过llama.cpp模型量化Windows&Linux本地部署什么是LLaMA1and2LLaMA，它是一组基础语言模型，参数范围从7B到65B。

早安不安·2023-11-12 07:53

【NLP】DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 为LLM生成高通量文本

一、简介GPT-4和LLaMA等大型语言模型(LLM)已成为服务于各个级别的人工智能应用程序的主要工作负载。

Sonhhxg_柒·2023-11-11 06:42

使用LLama和ChatGPT为多聊天后端构建微服务

微服务架构便于创建边界明确定义的灵活独立服务。这种可扩展的方法使开发人员能够在不影响整个应用程序的情况下单独维护和完善服务。然而，若要充分发挥微服务架构的潜力、特别是针对基于人工智能的聊天应用程序，需要与最新的大语言模型（LLM，比如MetaLLamaV2和OpenAI的ChatGPT）以及基于各种应用程序用例发布的其他经过微调的LLM进行强大的集成，从而为多样化的解决方案提供多模型方法。LLM是

这我可不懂·2023-11-11 03:01

通义千问, 文心一言, ChatGLM, GPT-4, Llama2, DevOps 能力评测

引言“克隆dev环境到test环境，等所有服务运行正常之后，把访问地址告诉我”，“检查所有项目，告诉我有哪些服务不正常，给出异常原因和修复建议”，在过去的工程师生涯中，也曾幻想过能够通过这样的自然语言指令来完成运维任务，如今AI助手Appilot利用LLM蕴藏的神奇力量，将这一切变成了现实。今年9月，数澈软件Seal（以下简称“Seal”）开源了一款面向DevOps场景的AI助手Appilot（g

Seal软件·2023-11-10 16:27

推荐频道

LLaMa

开源大模型框架llama.cpp使用C++ api开发入门

微调 Llama 2 以替代 GPT-3.5/4 已然可行！

FinGPT：金融垂类大模型架构

全新Self-RAG框架亮相，自适应检索增强助力超越ChatGPT与Llama2，提升事实性与引用准确性

Devchat 的环境配置和使用

基于V100下Llama2-Atom大模型微调

Mistral 7B 比Llama 2更好的开源大模型 （四）

大模型增量预训练参数说明

开源语言大模型演进史：向LLaMA 2看齐

[nlp] RuntimeError: Llama is supposed to be a BPE model!报错解决

pytorch打印变量

StarCoder LLM for code

LLM：prompt指令数据制作

大语言模型的三阶段训练

揭秘：仅用一块3090，轻松高效部署InternLM-20B大模型！

超详细！大模型面经指南（附答案）

LLM大模型4位量化实战【GPTQ】

大语言模型的三阶段训练

通过制作llama_cpp的docker镜像在内网离线部署运行大模型

Mistral 7B 比Llama 2更好的开源大模型 （三）

零一万物回应「抄袭 LLaMA」；京东原副总裁试用可穿戴人工喉丨 RTE 开发者日报 Vol.85

错误：CUDA error: device-side assert triggered CUDA kernel errors

win10部署 Mistral-7B 文本生成模型

NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】

llama模型研究系列1

打败700亿LLaMA2，苹果电脑就能跑｜开源免费

LLM大模型之基于SentencePiece扩充LLaMa中文词表实践

LLaMA模型之中文词表的蜕变

LLM（四）| Chinese-LLaMA-Alpaca：包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型

北大联合智源提出训练框架LLaMA-Rider

Mistral 7B 比Llama 2更好的开源大模型 （二）

完整时间线！李开复Yi大模型套壳争议；第二届AI故事大赛；AI算命GPTs；LLM应用全栈开发笔记；GPT-5提上日程 | ShowMeAI日报

最新类ChatPDF及AutoGPT开源18大功能平台——闻达手把手超详细环境部署与安装——如何在低显存单显卡上面安装私有ChatGPT GPT-4大语言模型LLM调用平台

141 GB 超大显存，Llama2推理性能翻倍，老黄赢麻了！

APUS与深圳大学大数据国家工程实验室联合训练开源中文大模型

多个APP未收到苹果叫停摇一摇通知；OpenAI重金挖角谷歌，年薪可达1000万美元；FFmpeg 6.1发布｜极客头条

推荐收藏！大模型算法工程师面试题来了（附答案）

【NLP】理解 Llama2：KV 缓存、分组查询注意力、旋转嵌入等

Mistral 7B 比Llama 2更好的开源大模型 （一）

LLAMA v1 模型的下载与转换

Git 服务器上的 LFS 下载

llama.cpp 源码解析

【AI实战】llama.cpp量化cuBLAS编译；nvcc fatal:Value ‘native‘ is not defined for option ‘gpu-architecture‘

大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B

llama.cpp部署在windows

llama.cpp 部署 llama-2-7b 测试 Llama 2

Llama2通过llama.cpp模型量化 Windows&Linux本地部署

【NLP】DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 为LLM生成高通量文本

使用LLama和ChatGPT为多聊天后端构建微服务

通义千问, 文心一言, ChatGLM, GPT-4, Llama2, DevOps 能力评测

Mistral 7B 比Llama 2更好的开源大模型（四）

Mistral 7B 比Llama 2更好的开源大模型（三）

Mistral 7B 比Llama 2更好的开源大模型（二）

Mistral 7B 比Llama 2更好的开源大模型（一）