llama 第10页

大模型增量预训练参数说明

欢迎关注公众号模型参数model_type模型类型，例如bloom,llama，baichuan，qwen等。model_name_or_path模型名称或者路径。

hj_caas·2023-11-24 02:32

开源语言大模型演进史：向LLaMA 2看齐

本文将介绍如何通过微调/对齐那些更出色的LLaMA-2等开源模型来提升它们的效果，并缩小开源和私有LLM之间的差距。（本文作者为Rebuy公司

OneFlow深度学习框架·2023-11-23 20:45

[nlp] RuntimeError: Llama is supposed to be a BPE model!报错解决

#tokenizer=AutoTokenizer.from_pretrained(BASE_MODEL)改成这个legacy=False,use_fast=False：tokenizer=AutoTokenizer.from_pretrained(BASE_MODEL,legacy=False,use_fast=False)

心心喵·2023-11-23 19:44

pytorch打印变量

importtorch#state_dict=torch.load("/home/llama-33B_epoch_0000_step_0004.pt/llama.bin")#state_dict=torch.load

upwind_fly·2023-11-23 06:36

StarCoder LLM for code

与LLaMA类似，我们为1万亿个代币训练了一个约15B的参数模型。我们针对35BPython令牌微调了StarCoderBase模型，产生了一个我们称之为StarCoder的

量化交易曾小健(金融号)·2023-11-23 05:13

LLM：prompt指令数据制作

https://github.com/ymcui/Chinese-LLaMA-Alpacaimportopenaiimportjsonimportsysimportrandomopenai.api_key

u013250861·2023-11-22 21:00

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。

hj_caas·2023-11-21 12:53

揭秘：仅用一块3090，轻松高效部署InternLM-20B大模型！

它具备优异的综合性能，以不足三分之一的参数量，测评成绩达到了Llama2-70B的水平。200亿参数，大约占40G显存。

风度78·2023-11-21 10:56

超详细！大模型面经指南（附答案）

[x]大模型（LLMs）进阶面[x]1.llama输入句子长度理论上可以无限长吗？

人工智能与算法学习·2023-11-20 12:01

LLM大模型4位量化实战【GPTQ】

新缸中之脑·2023-11-20 02:52

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。

hj_caas·2023-11-20 01:22

通过制作llama_cpp的docker镜像在内网离线部署运行大模型

对于机器在内网，无法连接互联网的服务器来说，想要部署体验开源的大模型，需要拷贝各种依赖文件进行环境搭建难度较大，本文介绍如何通过制作docker镜像的方式，通过llama.cpp实现量化大模型的快速内网部署体验

springlustre·2023-11-17 00:06

Mistral 7B 比Llama 2更好的开源大模型（三）

Mistral7B比Llama2更好的开源大模型Mistral7B是一个70亿参数的语言模型，旨在获得卓越的性能和效率。

段智华·2023-11-16 21:40

零一万物回应「抄袭 LLaMA」；京东原副总裁试用可穿戴人工喉丨 RTE 开发者日报 Vol.85

本期编辑：@Asui，@CY01有话题的新闻1、零一万物回应「抄袭LLaMA」：尊重开源社区反馈，

声网·2023-11-16 18:32

错误：CUDA error: device-side assert triggered CUDA kernel errors

对llama扩充中文词表后直接增量预训练，忘记设置--modules_to_saveembed_tokens,lm_head,所以导致向量维度不一致，出现下面的错误。

hj_caas·2023-11-16 17:02

win10部署 Mistral-7B 文本生成模型

16日人工智能创业公司MistralAI以Apache2.0授权开源Mistral7B语言模型，Mistral7B的特别之处在于其规模较小仅有73亿，但是在所有基准测试上，其表现都优于规模更大的语言模型Llama213B

绀目澄清·2023-11-16 17:31

NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】

目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom

u013250861·2023-11-16 17:00

llama模型研究系列1

一、llama模型的结构是怎么样的？

Takoony·2023-11-16 17:28

打败700亿LLaMA2，苹果电脑就能跑｜开源免费

西风发自凹非寺量子位|公众号QbitAI花500刀“调教”的70亿参数模型，打败700亿参数的Llama2！且笔记本就能轻松跑，效果媲美ChatGPT。重点：免费、不要钱。

QbitAl·2023-11-16 17:57

LLM大模型之基于SentencePiece扩充LLaMa中文词表实践

LLM大模型之基于SentencePiece扩充LLaMa中文词表实践目前大模型的词表和分词器都是基于SentencePiece工具实现的，比如LLaMa，BLOOM，ChatGLM，Baichuan等

Glan格蓝·2023-11-16 17:56

LLaMA模型之中文词表的蜕变

在目前的开源模型中，LLaMA模型无疑是一颗闪亮的⭐️，但是相对于ChatGLM、BaiChuan等国产大模型，其对于中文的支持能力不是很理想。

hj_caas·2023-11-16 17:25

LLM（四）| Chinese-LLaMA-Alpaca：包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型

EFFICIENTANDEFFECTIVETEXTENCODINGFORCHINESELLAMAANDALPACA》论文地址：https://arxiv.org/pdf/2304.08177v1.pdfGithub地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca

wshzd·2023-11-16 17:25

北大联合智源提出训练框架LLaMA-Rider

北京大学和北京智源人工智能研究院的团队针对这个问题提出了LLaMA-Rider，该方法赋予了大模型在开放世界中探索任务、收集数据、学习策略的能力，助力智能体在《我的世界》（Minecraft）中自主探索获

richerg85·2023-11-16 17:55

Mistral 7B 比Llama 2更好的开源大模型（二）

Mistral7B论文学习Mistral7B论文链接https://arxiv.org/abs/2310.06825代码:https://github.com/mistralai/mistral-src网站:https://mistral.ai/news/announcing-mistral-7b/论文摘要Mistral7B是一个70亿参数的语言模型，旨在获得卓越的性能和效率。Mistral7B在

段智华·2023-11-16 17:24

完整时间线！李开复Yi大模型套壳争议；第二届AI故事大赛；AI算命GPTs；LLM应用全栈开发笔记；GPT-5提上日程 | ShowMeAI日报

/huggingface.co/01-ai/Yi-34B/discussions/11#6553145873a5a6f938658491最近两天，李开复麾下「零一万物」最新推出的Yi大模型陷入了「套壳LLaMA2

ShowMeAI·2023-11-16 15:33

141 GB 超大显存，Llama2推理性能翻倍，老黄赢麻了！

原创作者|王二狗英伟达又一次打了所有人措手不及！就在昨晚，老黄发布了新一代史上最强AI芯片NVIDIAHGX™H200。141GB超大显存！带宽增加2.4倍H200拥有141GB显存！相比之前的H100和A100，容量几乎翻倍！NVIDIAH200是首款提供HBM3e的GPU，借助HBM3e，NVIDIAH200以每秒4.8TB的速度提供141GB显存，带宽增加2.4倍。H200可以轻松加速生成式

夕小瑶·2023-11-16 11:07

APUS与深圳大学大数据国家工程实验室联合训练开源中文大模型

双方集成各自优势联合开发、开源高性能中文多模态大模型Linly-Chinese-LLaMA-2-70B。

商业资讯汇·2023-11-15 22:03

多个APP未收到苹果叫停摇一摇通知；OpenAI重金挖角谷歌，年薪可达1000万美元；FFmpeg 6.1发布｜极客头条

基于LLaMA却改张量名，零一万物官方回应华为对平板电脑提价或因存储价格上涨，系余承东主导决策阿里智能信息事业群宣布发布自研大模型，夸克App将全面升级多个APP未收到苹果叫停摇一摇通知京东原副总裁、渐冻人蔡磊全球首次试用可穿戴人工喉

极客日报·2023-11-15 10:26

【NLP】理解 Llama2：KV 缓存、分组查询注意力、旋转嵌入等

LLaMA2.0是MetaAI的开创性作品，作为首批高性能开源预训练语言模型之一闯入了AI场景。值得注意的是，LLaMA-13B的性能优于巨大的GPT-3(175B)，尽管其尺寸只是其一小部分。

Sonhhxg_柒·2023-11-13 18:19

Mistral 7B 比Llama 2更好的开源大模型（一）

Mistral7B简介Mistral7BMistral7B是一个7.3B参数模型：在所有基准测试中优于Llama213B在许多基准测试中优于Llama134B接近CodeLlama7B的代码性能，同时保持擅长英语任务使用分组查询注意力

段智华·2023-11-13 15:25

LLAMA v1 模型的下载与转换

prinTao·2023-11-12 17:07

Git 服务器上的 LFS 下载

以llama为例：https://huggingface.co/meta-llama/Llama-2-7b-hfGithub#1.安装完成后，首先先初始化；如果有反馈，一般表示初始化成功gitlfsinstall

prinTao·2023-11-12 16:34

llama.cpp 源码解析

原文出自这里：CodeLearner0前言1代码结构&调用流程1.1代码结构1.2调用流程2逐算子解析2.1AttentionBlock2.1.1rms\_norm\_f322.1.2LinearLinear\*dequantizeLinear*quantizeLinear2.1.3rope_f322.1.4Copy_kernel2.1.5Multi-Head-Attention2.1.6add_

mingqian_chu·2023-11-12 16:48

【AI实战】llama.cpp量化cuBLAS编译；nvcc fatal:Value ‘native‘ is not defined for option ‘gpu-architecture‘

【AI实战】llama.cpp量化cuBLAS编译；nvccfatal:Value'native'isnotdefinedforoption'gpu-architecture'llama.cpp量化介绍

szZack·2023-11-12 08:29

大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B

llama.cpp是近期非常流行的一款专注于Llama/Llama-2部署的C/C++工具。

SmileyFaceApp·2023-11-12 08:58

llama.cpp部署在windows

本想部署LLAMA模型，但是基于显卡和多卡的要求，很难部署在个人笔记本上，因此搜索发现有一个量化版本的LLAMA.cpp，部署过程和踩过的坑如下：1.配置环境（1）在GitHub-ggerganov/llama.cpp

road_of_god·2023-11-12 08:56

llama.cpp 部署 llama-2-7b 测试 Llama 2

首先进入这里https://github.com/facebookresearch/llama点击下载填写注册信息接受后继续上面的按钮点击后，应该邮箱就收到链接了，几乎是很快的把下面的链接复制后备用，注意

bit_lang·2023-11-12 08:54

Llama2通过llama.cpp模型量化 Windows&Linux本地部署

Llama2通过llama.cpp模型量化Windows&Linux本地部署什么是LLaMA1and2LLaMA，它是一组基础语言模型，参数范围从7B到65B。

早安不安·2023-11-12 07:53

【NLP】DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 为LLM生成高通量文本

一、简介GPT-4和LLaMA等大型语言模型(LLM)已成为服务于各个级别的人工智能应用程序的主要工作负载。

Sonhhxg_柒·2023-11-11 06:42

使用LLama和ChatGPT为多聊天后端构建微服务

微服务架构便于创建边界明确定义的灵活独立服务。这种可扩展的方法使开发人员能够在不影响整个应用程序的情况下单独维护和完善服务。然而，若要充分发挥微服务架构的潜力、特别是针对基于人工智能的聊天应用程序，需要与最新的大语言模型（LLM，比如MetaLLamaV2和OpenAI的ChatGPT）以及基于各种应用程序用例发布的其他经过微调的LLM进行强大的集成，从而为多样化的解决方案提供多模型方法。LLM是

这我可不懂·2023-11-11 03:01

通义千问, 文心一言, ChatGLM, GPT-4, Llama2, DevOps 能力评测

引言“克隆dev环境到test环境，等所有服务运行正常之后，把访问地址告诉我”，“检查所有项目，告诉我有哪些服务不正常，给出异常原因和修复建议”，在过去的工程师生涯中，也曾幻想过能够通过这样的自然语言指令来完成运维任务，如今AI助手Appilot利用LLM蕴藏的神奇力量，将这一切变成了现实。今年9月，数澈软件Seal（以下简称“Seal”）开源了一款面向DevOps场景的AI助手Appilot（g

Seal软件·2023-11-10 16:27

百川大模型微调

模型下载https://huggingface.co/baichuan-inc微调框架https://github.com/hiyouga/LLaMA-Factory环境搭建gitclonehttps:

lanmengyiyu·2023-11-10 16:37

基于LLaMA 2深度分析

作者使用了三个真实用例来训练LLaMA2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在serving效率和模型质量之间做出权衡，而这取决于具体的任务。

OneFlow深度学习框架·2023-11-10 15:56

开源语言大模型演进史：早期革新

最早的开源语言模型在性能上落后于最佳的专有模型，不过，它们为提升LLM的研究透明度奠定了基础，并促进了后续LLaMA-2等强大模型的开发。本系列内容分为三部分，主要探讨开源语言大模型的发展历史。

OneFlow深度学习框架·2023-11-10 15:55

全面对比GPT-3.5与LLaMA 2微调

本文作者SamL'Huillier对GPT-3.5与LLaMA2的微调进行了基准测试，以验证手动微调的模型能否以较低的成本接近GPT-3.5的性能水平，从而帮助用户在各类任务中选择最佳微调模型。

OneFlow深度学习框架·2023-11-10 15:55

为什么多数情况下GPT-3.5比LLaMA 2更便宜？

通过测试比较LLaMA-2和GPT-3.5的成本和时延，本文作者分别计算了二者的1000词元成本，证明在大多数情况下，选择GPT-3.5的成本更低、速度更快。

OneFlow深度学习框架·2023-11-10 15:25

为什么开源大模型终将胜出？

尽管以LLaMA为代表的开源AI进展迅猛，但业内也流行三个反对开源的观点：开源AI无法与行业实验室的优势资源竞争；开源AI缺乏安全性；开源AI无法进行推理（reasoning）。

OneFlow深度学习框架·2023-11-10 14:20

手把手教你：LLama2原始权重转HF模型

hj_caas·2023-11-09 23:10

推荐频道

llama

大模型增量预训练参数说明

开源语言大模型演进史：向LLaMA 2看齐

[nlp] RuntimeError: Llama is supposed to be a BPE model!报错解决

pytorch打印变量

StarCoder LLM for code

LLM：prompt指令数据制作

大语言模型的三阶段训练

揭秘：仅用一块3090，轻松高效部署InternLM-20B大模型！

超详细！大模型面经指南（附答案）

LLM大模型4位量化实战【GPTQ】

大语言模型的三阶段训练

通过制作llama_cpp的docker镜像在内网离线部署运行大模型

Mistral 7B 比Llama 2更好的开源大模型 （三）

零一万物回应「抄袭 LLaMA」；京东原副总裁试用可穿戴人工喉丨 RTE 开发者日报 Vol.85

错误：CUDA error: device-side assert triggered CUDA kernel errors

win10部署 Mistral-7B 文本生成模型

NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】

llama模型研究系列1

打败700亿LLaMA2，苹果电脑就能跑｜开源免费

LLM大模型之基于SentencePiece扩充LLaMa中文词表实践

LLaMA模型之中文词表的蜕变

LLM（四）| Chinese-LLaMA-Alpaca：包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型

北大联合智源提出训练框架LLaMA-Rider

Mistral 7B 比Llama 2更好的开源大模型 （二）

完整时间线！李开复Yi大模型套壳争议；第二届AI故事大赛；AI算命GPTs；LLM应用全栈开发笔记；GPT-5提上日程 | ShowMeAI日报

最新类ChatPDF及AutoGPT开源18大功能平台——闻达手把手超详细环境部署与安装——如何在低显存单显卡上面安装私有ChatGPT GPT-4大语言模型LLM调用平台

141 GB 超大显存，Llama2推理性能翻倍，老黄赢麻了！

APUS与深圳大学大数据国家工程实验室联合训练开源中文大模型

多个APP未收到苹果叫停摇一摇通知；OpenAI重金挖角谷歌，年薪可达1000万美元；FFmpeg 6.1发布｜极客头条

推荐收藏！大模型算法工程师面试题来了（附答案）

【NLP】理解 Llama2：KV 缓存、分组查询注意力、旋转嵌入等

Mistral 7B 比Llama 2更好的开源大模型 （一）

LLAMA v1 模型的下载与转换

Git 服务器上的 LFS 下载

llama.cpp 源码解析

【AI实战】llama.cpp量化cuBLAS编译；nvcc fatal:Value ‘native‘ is not defined for option ‘gpu-architecture‘

大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B

llama.cpp部署在windows

llama.cpp 部署 llama-2-7b 测试 Llama 2

Llama2通过llama.cpp模型量化 Windows&Linux本地部署

【NLP】DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 为LLM生成高通量文本

使用LLama和ChatGPT为多聊天后端构建微服务

通义千问, 文心一言, ChatGLM, GPT-4, Llama2, DevOps 能力评测

百川大模型微调

基于LLaMA 2深度分析

开源语言大模型演进史：早期革新

全面对比GPT-3.5与LLaMA 2微调

为什么多数情况下GPT-3.5比LLaMA 2更便宜？

为什么开源大模型终将胜出？

手把手教你：LLama2原始权重转HF模型

Mistral 7B 比Llama 2更好的开源大模型（三）

Mistral 7B 比Llama 2更好的开源大模型（二）

Mistral 7B 比Llama 2更好的开源大模型（一）