alpaca

大模型入门（一）

大模型入门（一）一、LLaMa模型介绍1）Pre-normalization2）SwiGLU激活函数3）RoPE旋转位置编码二、Alpaca模型介绍三、Vicuna模型介绍大模型入门（一）——LLaMa

pit_man·2024-09-08 05:40

LLM-项目详解（一）：Chinese-LLaMA-Alpaca【transformers/models/llama/modeling_llama.py文件】

u013250861·2024-08-31 22:57

AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

文章目录Llamp.cpp环境配置Chinese-LLaMA-Alpaca-2模型介绍模型下载转换生成量化模型Anaconda环境安装运行Llamp.cpp环境配置[email protected]

mrbone11·2024-08-30 01:00

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning

2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型

Cc不爱吃洋葱·2024-08-26 19:12

【Meta-Al】llama GPT 测试

2023-4-28更新：github有兄弟合并+量化了7B、13B的权重，Chinese-Alpaca项目部署体验更简单：GitHub-ymcui/Chinese-LLaMA-Alpaca:中文LLaMA

0x13·2024-02-09 19:21

掌握大模型这些优化技术，优雅地进行大模型的训练和推理！

ChatGPT于2022年12月初发布，震惊轰动了全世界，发布后的这段时间里，一系列国内外的大模型训练开源项目接踵而至，例如Alpaca、BOOLM、LLaMA、ChatGLM、DeepSpeedChat

机器学习社区·2024-01-23 01:02

羊驼系列大模型LLaMa、Alpaca、Vicuna

系列：类比ios系统，不开源LLaMa让大模型平民化LLaMa优势用到的数据：大部分英语、西班牙语，少中文模型下载地址https://huggingface.co/meta-llamaAlpaca模型Alpaca

南宫凝忆·2024-01-21 13:59

开源大模型领域最重要的玩家们，在关心/担心什么

从2月份Meta发布的Llama，到3月份斯坦福大学微调Llama后发布的Alpaca，再到5月份出现的Falcon，世界各地的开源模型在「内卷」中快速进步。

开源社·2024-01-21 10:14

【AI】RTX2060 6G Ubuntu 22.04.1 LTS (Jammy Jellyfish) 部署Chinese-LLaMA-Alpaca-2

下载源码cd~/Downloads/aigitclone--depth=1https://gitee.com/ymcui/Chinese-LLaMA-Alpaca-2创建venvpython3-mvenvvenvsourcevenv

hkNaruto·2024-01-18 07:36

王团长区块链日记1209篇：市场依然热火朝天

昨天晚上一个大瓜，火币上的一个项目hbo转币转错了，转到池子里面去了，一下把bho弄崩盘了，不过今天已经出来补偿方案了今天币安链和火币链的矿都不少，火币上的depth，mdex，还有币安上的alpaca

王团长日记·2024-01-12 10:46

大模型中训练出现的ignore_index的作用

问题：研究stanford_alpaca代码时，不清楚ignore_index=-100有什么用？

Takoony·2024-01-12 08:23

AI数据微调找免费GPU遇阻之路

本机上安装了Chinese-LLaMA-Alpaca，这是中国建立的语言大模型，计划在上面做

manok·2024-01-11 10:12

Chinese-llama-2部署踩坑记录

Chinese-llama-2部署踩坑记录1.Chinese-LLaMA-Alpaca-2A.部署a.inference_with_transformers_zhb.textgenerationwebui_zhc.api_calls_zhd.llamacpp_zhe.privategpt_zhf.langchain_zhToolGithub1

国家一级假勤奋大学生·2024-01-10 07:50

LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读

导读：本文介绍了改进LLaMA和Alpaca模型在中文理解和生成方面能力的方法。通过扩展词表、参数高效微调、指令式微调和不同量化方法，提升了模型在指令任务和自然语言理解任务中的性能。

GitHub质检员·2023-12-21 20:24

最强开源大模型？Llama 2论文解读

RLHF）人类偏好数据的收集奖励模型迭代微调过程多轮对话控制RLHF结果模型回答的安全性一直以来，Llama模型被认为是AI社区最强大的开源模型，国内外众多的开源模型均是在其基础上二次训练/开发而来，如Alpaca

长白山下大绵羊·2023-12-16 13:52

Python数组中赋值，浅拷贝，深拷贝的区别

name=["roc","python","kun",["cat","alpaca"],"fox"]name2=namename[2]="鲲"print(name)pr

RocyvW·2023-12-01 05:32

从零详细地梳理一个完整的 LLM 训练流程

当前，不少工作选择在一个较强的基座模型上进行微调，且通常效果不错（如：[alpaca]、[vicuna]等）。

大数据AI人工智能培训专家培训讲师叶梓·2023-11-29 22:23

大模型中的各种模型名词概念

TransformerGPT（GPT-3、GPT-3.5、GPT-4）BERTRoBERTaT5XlNetGShardSwitchTransformerInstrucGPTChatGPT大模型LLM（大语言模型）Alpaca

小湘西·2023-11-29 04:06

LLM-2023：Alpaca（羊驼）【Stanford】【性能与GPT3.5相当比GPT4逊色，训练成本不到100美元，基于LLaMA和指令微调，仅使用约5万条训练数据就能达到类似GPT-3.5】

斯坦福的Alpaca模型基于LLaMA-7B和指令微调，仅使用约5万条训练数据，就能达到类似GPT-3.5的效果。

u013250861·2023-11-27 05:05

各种LLM数据集包括SFT数据集

ChatGPT指令Belle数据集：BelleGroup/train_0.5M_CN100万条中文ChatGPT指令Belle数据集：BelleGroup/train_1M_CN5万条英文ChatGPT指令Alpaca

东方佑·2023-11-22 22:28

NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】

目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom

u013250861·2023-11-16 17:00

LLM（四）| Chinese-LLaMA-Alpaca：包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型

EFFICIENTANDEFFECTIVETEXTENCODINGFORCHINESELLAMAANDALPACA》论文地址：https://arxiv.org/pdf/2304.08177v1.pdfGithub地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca

wshzd·2023-11-16 17:25

大语言模型的学习路线和开源模型的学习材料《一》

6BChatGLM-6B第十重BaichuanBaichuan2Baichuan-13Bbaichuan-7B第十一重Llama2第二重StanfordAlpaca7B第三重Chinese-LLaMA-Alpaca

三更两点·2023-11-05 13:56

Chinese-LLaMA-Alpaca本地搭建（三）

Chinese-LLaMA-Alpaca模型搭建（三）1、简单介绍1.1原版LLaMA模型介绍1.2LoRA权重模型1.3完整版权重模型2、模型搭建2.1直接到huggingface下载转换后的LLaMAhf

天罚神·2023-11-04 17:23

chinese_llama_aplaca训练和代码分析

训练细节·ymcui/Chinese-LLaMA-AlpacaWiki·GitHub中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署(ChineseLLaMA&AlpacaLLMs)-

Kun Li·2023-11-04 17:50

NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING

使用Alpaca对LLaM

UnknownBody·2023-10-26 18:37

大模型应用开发框架 LangChain 学习笔记

一场关于大模型的战役正在全世界激烈地上演着，国内外的各大科技巨头和研究机构纷纷投入到这场战役中，光是写名字就能罗列出一大串，比如国外的有OpenAI的GPT-4，Meta的LLaMa，StanfordUniversity的Alpaca

会发光的葫芦娃·2023-10-22 20:15

Alpaca构建方式探秘：低成本构造指令数据增强LLM

官方介绍：Alpaca:AStrong,ReplicableInstruction-FollowingModelgithub地址：https://github.com/tatsu-lab/stanford_alpacaAlpaca

从流域到海域·2023-10-22 19:50

LLMs之BELLE：BELLE(一款能够帮到每一个人的中文LLM引擎)的简介(基于Alpaca架构+中文优化+考察词表扩充/数据质量/数据语言分布/数据规模的量化分析)、使用方法、案例应用之详细攻略

LLMs之BELLE：BELLE(一款能够帮到每一个人的中文LLM引擎)的简介(基于Alpaca架构+中文优化+考察词表扩充/数据质量/数据语言分布/数据规模的量化分析)、使用方法、案例应用之详细攻略导读

一个处女座的程序猿·2023-10-21 18:02

打造类ChatGPT服务，本地部署大语言模型（LLM），如何远程访问？

以LangChain-Chatchat为例：不仅最新版本可使用FastChat接入Vicuna,Alpaca,LLaMA

贝锐·2023-10-13 13:55

每日最新空投糖果分享（持续更新2018-06-07）

草泥马币二期空投1000草泥马币点击进入http://alpaca.77yp.com/?

优质空投糖果·2023-10-13 04:17

LLM 时代，如何优雅地训练大模型？

blog.csdn.net/article/details/130764843整理大家好，ChatGPT于2022年12月初发布，震惊轰动了全世界，发布后的这段时间里，一系列国内外的大模型训练开源项目接踵而至，例如Alpaca

Python算法实战·2023-10-10 05:09

ChatGLM-6B 部署与 P-Tuning 微调实战

但最近一个月，开源文本大模型如雨后春笋般接踵而至，例如LLaMA、Alpaca、Vicuna、ChatGLM-6B等。树先生觉得这个事有着落了，毕竟站在巨人的肩膀上，离成功就会更近一步。

程序员树先生·2023-10-09 04:29

ChatGPT中文LLM相关的开源大模型资源汇总

文章目录前言1.文本LLM模型1.1ChatGLM-6B1.2ChatGLM2-6B1.3Moss1.4Chinese-LLaMA-Alpaca1.5OpenChineseLLaMA1.6BELLE1.7Panda1.8Robin1.9Fengshenbang-LM1.10Luotuo-Chinese-LLM1.11Linly1.12Firefly1.13ChatYuan1.14ChatRWKV1

goomind·2023-10-08 09:46

ps插件：alpaca增效工具 (完美替代AI创成式填充) 2.8.1 中文版

Alpaca是一个Photoshop插件，提供了多种功能，帮助用户更高效地进行图像处理和设计。可以进行模型训练并无缝地融入图像中。

m0_74275510·2023-10-04 18:26

分享9个已开源的GPT4平替，用过感觉还不错

ColossalAI2.ChatGLM3.LLaMa4.LLaMa-ChatLLaMA5.BELLE6.PaLM-rlhf-pytorch7.OpenAssistant8.OpenChatKitk9.stanford_alpaca

luoganttcc·2023-10-04 16:08

unity3D中用Mesh Collider创建的碰撞体与物体模型位置有偏差的解决方法

1.相信很多小伙伴在使用MeshCollider时都遇到过下面这个情况：1.解决方法：在这个对象Alpaca下面新建一个空对象Collider，我们把MeshCollider添加到这个空对象上面就可以调整碰撞体的位置了

余生tt·2023-10-02 05:52

大规模语言模型--中文 LLaMA和Alpaca

中文LLaMA尽管LLaMA和Alpaca在NLP领域取得了重大进展，它们在处理中文语言任务时，仍存在一些局限性。

hanscalZheng·2023-10-01 11:54

【OSCAR开源产业大会分论坛】开源大模型走向何方？

近一年来，我们看到GPT-3.5完成向多模态的GPT-4进化，号称5620亿参数的GooglePaLM迈向参数规模更小、更高效的PaLM2；我们看到Meta开源其Llama大模型，并催生囊括Alpaca

HyperAI超神经·2023-09-30 22:42

【OSCAR开源产业大会分论坛】开源大模型走向何方？

近一年来，我们看到GPT-3.5完成向多模态的GPT-4进化，号称5620亿参数的GooglePaLM迈向参数规模更小、更高效的PaLM2；我们看到Meta开源其Llama大模型，并催生囊括Alpaca

·2023-09-27 19:06

Chinese-LLaMA-AIpaca 指令精调

Chinese-LLaMA训练全新的指令精调LoRA权重1、合并2、基于中文Chinese-LLaMA训练全新的指令精调LoRA权重一、继续训练Chinese-AIpaca模型的LoRA权重下载数据集alpaca_data_zh

伊织code·2023-09-27 03:12

ps智能填充功能平替：alpaca的安装和使用

为了解决psbeta智能填充无法使用的问题，需要用alpaca来平替，下面是安装教程：安装方法：1、下载插件。

winfredzhang·2023-09-24 13:36

LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】

GitHub项目：Chinese-LLaMA-Alpaca由于原版LLaMA对中文的支持非常有限，本项目在原版LLaMA的基础上进一步扩充了中文词表。

u013250861·2023-09-23 22:37

中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 & 针对中文语料进行高效编码

EfficientandEffectiveTextEncodingforChineseLlamaandAlpacaPDF:https://arxiv.org/pdf/2304.08177v1.pdfCode:https://github.com/ymcui/Chinese-LLaMA-Alpaca

CVHub·2023-09-23 22:33

Chinese-LLaMA-AIpaca

文章目录关于Chinese-LLaMA-Alpaca一、LLaMA模型-->HF格式二、合并LoRA权重，生成全量模型权重方式1：单LoRA权重合并方式2：多LoRA权重合并（适用于Chinese-Alpaca-Plus

伊织code·2023-09-22 14:10

【个人笔记本】本地化部署类chatgpt模型详细流程

静待缘起·2023-09-19 04:53

Llama2-Chinese项目：2.2-大语言模型词表扩充

国内Chinese-LLaMA-Alpaca开源项目详细说明了词表扩展[2]。一.对LLaMAtokenizer扩

NLP工程化·2023-09-17 10:39

Llama-1｜Alpaca-LoRA 微调模型下载以及安装推理教程

Llama-1｜Alpaca-LoRA微调模型下载以及安装推理教程经常玩AI的人应该对LoRA这一词并不陌生，尤其是在SD绘画领域，各种角色的LoRA模型层出不穷。那么语言领域是否存在LoRA呢？

产品大道·2023-09-16 22:54

8个免费的AI和LLM游乐场

1.ChatbotArenaChatbotArena让您体验各种各样的模型，如Vicuna，Koala，RMKV-4-Raven，Alpaca，ChatGLM，LLaMA，Dolly，

ygtu2018·2023-09-12 21:50

Chinese-LLaMA-Alpaca-2模型的测评

训练生成效果评测FastchatChatbotArena推出了模型在线对战平台，可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标，并且可以查看两两模型的对战胜率等结果。生成回复具有随机性，受解码超参、随机种子等因素影响，因此相关评测并非绝对严谨，结果仅供晾晒参考。⚔️模型竞技场：http://llm-arena.ymcui.com系统对战胜率（无平局）↓Elo评分Chinese-

柴神·2023-09-11 18:36

推荐频道

alpaca

大模型入门（一）

LLM-项目详解（一）：Chinese-LLaMA-Alpaca【transformers/models/llama/modeling_llama.py文件】

AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning

【Meta-Al】llama GPT 测试

掌握大模型这些优化技术，优雅地进行大模型的训练和推理！

羊驼系列大模型LLaMa、Alpaca、Vicuna

开源大模型领域最重要的玩家们，在关心/担心什么

【AI】RTX2060 6G Ubuntu 22.04.1 LTS (Jammy Jellyfish) 部署Chinese-LLaMA-Alpaca-2

王团长区块链日记1209篇：市场依然热火朝天

大模型中训练出现的ignore_index的作用

AI数据微调找免费GPU遇阻之路

Chinese-llama-2部署踩坑记录

LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读

最强开源大模型？Llama 2论文解读

Python数组中赋值，浅拷贝，深拷贝的区别

从零详细地梳理一个完整的 LLM 训练流程

大模型中的各种模型名词概念

LLM-2023：Alpaca（羊驼）【Stanford】【性能与GPT3.5相当比GPT4逊色，训练成本不到100美元，基于LLaMA和指令微调，仅使用约5万条训练数据就能达到类似GPT-3.5】

各种LLM数据集包括SFT数据集

NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】

LLM（四）| Chinese-LLaMA-Alpaca：包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型

大语言模型的学习路线和开源模型的学习材料《一》

Chinese-LLaMA-Alpaca本地搭建（三）

chinese_llama_aplaca训练和代码分析

NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING

大模型应用开发框架 LangChain 学习笔记

Alpaca构建方式探秘：低成本构造指令数据增强LLM

LLMs之BELLE：BELLE(一款能够帮到每一个人的中文LLM引擎)的简介(基于Alpaca架构+中文优化+考察词表扩充/数据质量/数据语言分布/数据规模的量化分析)、使用方法、案例应用之详细攻略

打造类ChatGPT服务，本地部署大语言模型（LLM），如何远程访问？

每日最新空投糖果分享（持续更新2018-06-07）

LLM 时代，如何优雅地训练大模型？

ChatGLM-6B 部署与 P-Tuning 微调实战

ChatGPT中文LLM相关的开源大模型资源汇总

ps插件：alpaca增效工具 (完美替代AI创成式填充) 2.8.1 中文版

分享9个已开源的GPT4平替，用过感觉还不错

unity3D中用Mesh Collider创建的碰撞体与物体模型位置有偏差的解决方法

大规模语言模型--中文 LLaMA和Alpaca

【OSCAR开源产业大会分论坛】开源大模型走向何方？

【OSCAR开源产业大会分论坛】开源大模型走向何方？

Chinese-LLaMA-AIpaca 指令精调

ps智能填充功能平替：alpaca的安装和使用

LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】

中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 & 针对中文语料进行高效编码

Chinese-LLaMA-AIpaca

【个人笔记本】本地化部署 类chatgpt模型 详细流程

Llama2-Chinese项目：2.2-大语言模型词表扩充

Llama-1｜Alpaca-LoRA 微调模型下载以及安装推理教程

8个免费的AI和LLM游乐场

Chinese-LLaMA-Alpaca-2模型的测评

【个人笔记本】本地化部署类chatgpt模型详细流程