LLaMA2

使用QLoRA对Llama 2进行微调的详细笔记

使用QLoRA对Llama2进行微调是我们常用的一个方法，但是在微调时会遇到各种各样的问题，所以在本文中，将尝试以详细注释的方式给出一些常见问题的答案。
·2023-09-21 12:44

太强了开源的AI工具APP，AIdea -支持 AI聊天、协作、图片生成

一款集成了主流大语言模型以及绘图模型的APP，采用Flutter开发，代码完全开源，支持以下功能：支持GPT-3.5/4问答聊天支持国产模型：通义千问，文心一言、讯飞星火、商汤日日新支持开源模型：Llama2
AI 研习所·2023-09-21 12:33

论文阅读_大语言模型_Llama2

英文名称:Llama2:OpenFoundationandFine-TunedChatModels中文名称:Llama2：开源的基础模型和微调的聊天模型文章:http://arxiv.org/abs/2307.09288
xieyan0811·2023-09-21 10:57

MHA、MQA、GQA区别和联系

2023年7月，Meta发布了其最新版本LLaMA2，其中LLama2的注意力机制使用了GQA，那么什么是GQA呢？和标准的MHA有什么区别呢？
TFATS·2023-09-21 00:53

LLM微调（一）| 单GPU使用QLoRA微调Llama 2.0实战

最近LLaMA2在LLaMA1的基础上做了很多优化，比如上下文从2048扩展到4096，使用了Grouped-QueryAttention（GQA）共享多头注意力的key和value矩阵，具体可以参考：
wshzd·2023-09-20 20:30

[NLP] LLM---＜训练中文LLama2(三)＞对LLama2进行中文预料预训练

预训练预训练部分可以为两个阶段：第一阶段：冻结transformer参数，仅训练embedding，在尽量不干扰原模型的情况下适配新增的中文词向量。第二阶段：使用LoRA技术，为模型添加LoRA权重（adapter），训练embedding的同时也更新LoRA参数。第一阶段预训练由于第一阶段预训练会冻结transformer参数，仅训练embedding模型，因此，收敛速度较慢，如果不是有特别充裕
舒克与贝克·2023-09-19 14:55

大语言模型之十-Byte Pair Encoding

Tokenizer诸如GPT-3/4以及LlaMA/LlaMA2大语言模型都采用了token的作为模型的输入输出，其输入是文本，然后将文本转为token（正整数），然后从一串token（对应于文本）预测下一个
shichaog·2023-09-18 04:57

[NLP] LLM---＜训练中文LLama2(五)＞对SFT后的LLama2进行DPO训练

当前关于LLM的共识大型语言模型（LLM）使NLP中微调模型的过程变得更加复杂。最初，当ChatGPT等模型首次出现时，最主要的方法是先训练奖励模型，然后优化LLM策略。从人类反馈中强化学习（RLHF）极大地推动了NLP的发展，并将NLP中许多长期面临的挑战抛在了一边。基于人类反馈的强化学习(ReinforcementLearningfromHumanFeedback，RLHF)事实上已成为GPT
舒克与贝克·2023-09-17 15:37

[NLP] LLM---＜训练中文LLama2(四)方式一＞对LLama2进行SFT微调

指令精调指令精调阶段的任务形式基本与StanfordAlpaca相同。训练方案也采用了LoRA进行高效精调，并进一步增加了可训练参数数量。在prompt设计上，精调以及预测时采用的都是原版StanfordAlpaca不带input的模版。对于包含input字段的数据，采用f"{instruction}+\n+{input}"的形式进行拼接。其中，StanfordAlpaca格式如下所示：[{"in
舒克与贝克·2023-09-17 10:34

[NLP] LLM---＜训练中文LLama2(一)＞训练一个中文LLama2的步骤

一数据集【Awesome-Chinese-LLM中文数据集】【awesome-instruction-dataset】【awesome-instruction-datasets】【LLaMA-Efficient-Tuning-数据集】Wiki中文百科（25w词条）wikipedia-cn-20230720-filteredBaiduBaiKe（563w词条）百度网盘提取码:bwvbMedicalD
舒克与贝克·2023-09-17 10:09

打造生产级Llama大模型服务

对于任何想要尝试人工智能或本地LLM，又不想因为意外的云账单或API费用而感到震惊的人，我可以告诉你我自己的旅程是如何的，以及如何开始使用廉价的消费级硬件执行Llama2推理。
新缸中之脑·2023-09-16 11:30

本地部署CodeLlama +GTX1080显卡 对接open-interpreter对接wxbot（一）

CodeLlama"是一个大型代码语言模型的系列，基于"Llama2"构建，为编程任务提供了无监督指导能力，并在开放模型中
三块钱0794·2023-09-15 13:24

常用与业务密切相关的prompt

可以在Bard、Bing、Claude2、ChatGPT和Llama2上使用定义您的业务目的和愿景。提示：“我正在[插入行业]创业。我的重点是定义与我的受众产生共鸣的明确目标和愿景。
赵孝正·2023-09-15 08:57

常用与业务密切相关的prompt

可以在Bard、Bing、Claude2、ChatGPT和Llama2上使用定义您的业务目的和愿景。提示：“我正在[插入行业]创业。我的重点是定义与我的受众产生共鸣的明确目标和愿景。
赵孝正·2023-09-15 08:22

巴比特 | 元宇宙每日必读：Meta 正开发全新大模型，比肩GPT-4；天猫申请大模型商标...

Meta的目标是，其新的人工智能模型将比两个月前发布的名为Llama2的模型强大数倍。计划中的系统将帮助其他公司构建能够生成复杂文本、分析和其他输出结果的服务。
巴比特资讯·2023-09-12 18:23

Code Llama: Open Foundation Models for Code

CodeLlama：代码的开放基础模型摘要1引言2CodeLlama：专业化Llama2用于代码3结果4负责任的人工智能与安全5相关工作6讨论摘要我们发布了CodeLlama，这是一个基于Llama2的大型代码语言模型系列
UnknownBody·2023-09-11 20:13

Try llama2 in NUC (by quqi99)

张华发表于：2023-09-06版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明(http://blog.csdn.net/quqi99)据说现在在PC机上可以运行llama2
quqi99·2023-09-11 01:12

Baichuan2开源大模型正式发布，王小川：性能超过LLaMA2

大数据产业创新服务媒体——聚焦数据·改变商业ChatGPT火爆出圈之后，社交巨头Meta奋力追赶，分别在3月、7月发布开源的LLaMA、LLaMA2大模型，引领一场大模型开源运动。
数据猿·2023-09-10 05:26

【精华】AIGC专栏-Text/Img/Video/audio

（一）LLM专栏大模型相关技术原理以及实战经验：liguodongiot/llm-action1ColossalAI（1）参考资料：700亿参数LLaMA2训练加速195%，基础大模型最佳实践再升级（2
LeeZhao@·2023-09-09 22:27

Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》阅读笔记

文章目录Llama2:OpenFoundationandFine-TunedChatModels1.简介2.预训练2.1预训练数据2.2训练详情2.3LLAMA2预训练模型评估3.微调3.1supervisedFine-Tuning
chencjiajy·2023-09-09 19:50

[NLP]LLM--使用LLama2进行离线推理

一模型下载二模型推理本文基于Chinese-LLaMA-Alpaca-2项目代码介绍，使用原生的llama2-hf克隆好了Chinese-LLaMA-Alpaca-2项目之后，基于GPU的部署非常简单。下载完成以后的模型参数(HuggingFace格式)如下：简单说明一下各个文件的作用文件名称示例说明config.json{"architectures":["LlamaForCausalLM"],
舒克与贝克·2023-09-09 07:55

[NLP]LLM---FineTune自己的Llama2模型

一数据集准备Let’stalkabitabouttheparameterswecantunehere.First,wewanttoloadallama-2-7b-hfmodelandtrainitonthemlabonne/guanaco-llama2-1k(1,000samples),whichwillproduceourfine-tunedmodelllama-2-7b-miniguanaco
舒克与贝克·2023-09-09 06:38

IDEFICS 简介: 最先进视觉语言模型的开源复现

引言CodeLlama是为代码类任务而生的一组最先进的、开放的Llama2模型，我们很高兴能将其集成入HuggingFace生态系统！CodeLlama使用与Llama2相同的社区许可证，且可商用。
·2023-09-09 00:31

基于llama2 微调 的python 代码解释器

https://github.com/SeungyounShin/Llama2-Code-Interpreter
君臣Andy·2023-09-08 09:59

Code Llama：Llama 2 学会写代码了！

引言CodeLlama是为代码类任务而生的一组最先进的、开放的Llama2模型，我们很高兴能将其集成入HuggingFace生态系统！CodeLlama使用与Llama2相同的社区许可证，且可商用。
·2023-09-07 21:07

Meta推出Code Llama：编程的未来已来

今天，Meta推出了一项前沿技术——CodeLlama，这是一款基于Llama2构建的大型语言模型（LLM），专门用于生成和讨论代码。这一创新技术的发布标志着编程领域的新时代。
dotNET跨平台·2023-09-07 20:20

官方的Code Llama开源：免费商用，神秘版本接近GPT-4

作为Llama2的代码专用版本，CodeLlama基于特定的代码数据集在其上进一步微调
数据派THU·2023-09-07 20:20

如何让 Llama2、通义千问开源大语言模型快速跑在函数计算上？

:::info本文是“在Serverless平台上构建AIGC应用”系列文章的第一篇文章。:::前言随着ChatGPT以及StableDiffusion,Midjourney这些新生代AIGC应用的兴起，围绕AIGC应用的相关开发变得越来越广泛，有呈井喷之势，从长远看这波应用的爆发不仅仅是停留在形式之上，更是在各个领域产生实际的生产力价值，比如办公领域有copilotsystem365,钉钉智能；
Serverless 社区·2023-09-07 06:12

如何让 Llama2、通义千问开源大语言模型快速跑在函数计算上？

本文是“在Serverless平台上构建AIGC应用”系列文章的第一篇文章。前言随着ChatGPT以及StableDiffusion,Midjourney这些新生代AIGC应用的兴起，围绕AIGC应用的相关开发变得越来越广泛，有呈井喷之势，从长远看这波应用的爆发不仅仅是停留在形式之上，更是在各个领域产生实际的生产力价值，比如办公领域有copilotsystem365,钉钉智能；代码编程领域有git
·2023-09-06 18:33

Notebook 一站式打包“Llama-2-7B chatbot”与“Llama-2-7B-with agent”

Llama-2模型7月18日，Meta与微软联手发布了免费、可直接商用的LLM模型——Llama2。Facebook人工智能研究院首席
·2023-09-05 16:59

微调llama2模型教程：创建自己的Python代码生成器

所以本文将重点展示如何定制自己的llama2，进行快速训练，以完成特定任务。
·2023-09-04 23:09

揭秘最领先的Llama2中文大模型！

导语国内最大的开源社区：Llama中文社区率先完成了国内首个真正意义上的中文版Llama2-13B大模型，从模型底层实现了Llama2中文能力的大幅优化和提升。
PaperWeekly·2023-09-04 23:14

当大模型不是问题时，如何应对 LLM 的工程化落地挑战？

现今，我们可以看到LLaMA2、CodeLLaMA2等模型在不断刷新这种可能性。而在模型不是问题之后，作为架构师、开发人员，我们应该致力于：将LLM以工程化的方式落地。于
Phodal·2023-09-04 10:43

【LLM模型篇】LLaMA2 | Vicuna | EcomGPT等（更新中）

文章目录一、Basemodelchatglm2模型Vicuna模型LLaMA2模型1.训练细节2.EvaluationResults3.更多参考alpaca模型其他大模型和peft高效参数微调二、垂直领域大模型
山顶夕景·2023-09-03 18:27

Windows10上使用llama-recipes(LoRA)来对llama-2-7b做fine-tune

刚刚在Windows10上搭建环境来对llama2做finetune，里面坑还是挺多的，这里把印象中的坑整理了一下以作备忘。
lhf2112·2023-09-03 04:24

将 Llama2 中文模型接入 FastGPT，再将 FastGPT 接入任意 GPT 套壳应用，真刺激！

Llama2是Facebook母公司Meta发布的开源可商用大模型，国内的开源社区以及个人和机构也纷纷着手基于Llama2构建了中文版，并且还利用GGML机器学习张量库构建了可以在CPU上运行的Llama2
米开朗基杨·2023-08-31 11:32

AI聊天机器人平台Poe发布更新；自然语言理解课程概要

AI新闻AI聊天机器人平台Poe发布更新突破功能限制增加企业级服务摘要：知名问答网站Quora旗下的AI聊天机器人平台Poe发布了一系列更新，包括推出Mac应用、支持同时进行多个对话、接入Meta的Llama2
go2coding·2023-08-31 07:26

CCF CED 2023——1024中国工程师文化日启动！

今年7月，Meta发布了免费可商用的Llama2大语言模型，更是给这个领域注入了
QbitAl·2023-08-30 14:11

波士顿大学「鸭嘴兽-70B」登顶Hugging Face大模型排行榜！高效数据集+独特LoRA微调是关键

和现在抱脸开源榜单上大部分的模型一样，鸭嘴兽是来自波士顿大学的研究人员基于Llama2微调而来。同时，鸭嘴兽的进步就像之前所有的开
夕小瑶·2023-08-30 01:43

机器学习算法示例的收集；MetaAI编码工具Code Llama；“天工AI搜索”首发实测

AI新闻Meta推出新一代AI编码工具CodeLlama，助力程序员提高开发效率摘要：Meta推出CodeLlama，这是一个基于Llama2语言模型打造的AI编码工具，能够生成新的代码并调试人类编写的工作
go2coding·2023-08-28 17:09

本地部署 CodeLlama 并在 VSCode 中使用 CodeLlama

CodeLlama是什么2.CodeLlamaGithub地址3.下载CodeLlama模型4.部署CodeLlama5.在VSCode中使用CodeLlama1.CodeLlama是什么CodeLlama是一个基于Llama2
engchina·2023-08-28 08:33

【大模型】基于 LlaMA2 的高 star 的 GitHub 开源项目汇总

【大模型】基于LlaMA2的高star的GitHub开源项目汇总Llama2简介开源项目汇总NO1.FlagAlpha/Llama2-ChineseNO2.hiyouga/LLaMA-Efficient-TuningNO3
szZack·2023-08-27 19:48

微调Llama2自我认知

一、概述最近在学习了解大模型微调相关的内容，在学习的过程中也遇到了很多问题，所以将自己的学习过程记录下来，希望对大模型微调感兴趣的小伙伴提供一点帮助，本文主要介绍一下如何通过SFT微调Llama2的自我认知
惜鸟·2023-08-27 07:11

微调llama2模型教程：创建自己的Python代码生成器

所以本文将重点展示如何定制自己的llama2，进行快速训练，以完成特定任务。
·2023-08-25 11:34

基于Llama2和LangChain构建本地化定制化知识库AI聊天机器人

参考：本项目https://github.com/PromtEngineer/localGPT模型https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML云端知识库项目：基于GPT-4和LangChain构建云端定制化PDF知识库AI聊天机器人_Entropy-Go的博客-CSDN博客1.摘要相比OpenAI的LLMChatGPT模型必须网络连接并通
Entropy-Go·2023-08-25 10:09

Meta AI发布SeamlessM4T模型，支持转录和翻译近100种语言｜已开源

2023年7月18日Meta和Microsoft推出下一代Llama，Llama2可免费用于研究和商业用途。Llama2是Meta的开
技术狂潮AI·2023-08-24 15:08

GPT-LLM-Trainer：如何使用自己的数据轻松快速地微调和训练LLM

以微调开源模型LLaMa2为例，整个过程只需提供任务描
技术狂潮AI·2023-08-24 15:38

Star History 月度开源精选｜Llama 2 及周边生态特辑

所以本期StarHistory的主题是：帮助你快速把Llama2在自己机器上跑起来的开源工具，无论你的机器是什么！
Bytebase·2023-08-24 12:57

联发科雄起，生成式AI将可在手机本地运行，天玑9300“大放异彩”

高通选择与Meta合作，将其最新的语言模型Llama2（LLM）引入他们的设备，而联发科则计划与Meta合作，为其下一代旗舰处理器提供更好的支持。
博学的轮船Y·2023-08-23 17:12

借助Walrus在AWS上部署Llama2

Llama2是Meta的下一代开源大语言模型。它是一系列经过预训练和微调的模型，参数范围从70亿到700亿个。
·2023-08-23 11:11
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他