alpaca

[NLP]LLM--使用LLama2进行离线推理

一模型下载二模型推理本文基于Chinese-LLaMA-Alpaca-2项目代码介绍，使用原生的llama2-hf克隆好了Chinese-LLaMA-Alpaca-2项目之后，基于GPU的部署非常简单。
舒克与贝克·2023-09-09 07:55

【LLM模型篇】LLaMA2 | Vicuna | EcomGPT等（更新中）

文章目录一、Basemodelchatglm2模型Vicuna模型LLaMA2模型1.训练细节2.EvaluationResults3.更多参考alpaca模型其他大模型和peft高效参数微调二、垂直领域大模型
山顶夕景·2023-09-03 18:27

FastChat 本地化安装部署-拥有属于私人的ChatGPT

写在前面：第一发稿把自己熬夜几天的一些经历写下来，希望能给AI爱好者一个前车之鉴，自从看到斯坦福-ALPACA项目就想着能否能否本地化部署一套AICHAT，所以找了很多网站，都没有FastChat部署能很完整的写下来
白云飞2018·2023-09-02 01:22

【AI实战】快速搭建中文 Alpaca 33B 大模型 Chinese-Alpaca-33B

【AI实战】快速搭建中文Alpaca33B大模型Chinese-Alpaca-33B中文33B大模型Chinese-Alpaca-33B环境配置搭建过程1.拉取chinese-alpaca-lora-33b2
szZack·2023-08-27 07:23

LLM-项目详解-Chinese-LLaMA-AIpaca（一）：LLM+LoRa微调加速技术原理及基于PEFT的动手实践：一些思考和mt0-large+lora完整案例

如何花费较少的算力成本来进行微调训练，十分重要，当前关于LLaMA、Alpaca、Instruct微调、LoRa微调等多个概念大家讲的很多，最近也在学习，也看到几个有趣的话题（主要参考于（https:/
u013250861·2023-08-27 07:22

LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】

GitHub：GitHub-ymcui/Chinese-LLaMA-Alpaca:中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署(ChineseLLaMA&AlpacaLLMs)中文
u013250861·2023-08-27 07:22

【类ChatGPT】中文LLaMA-2、Alpaca-2 二代羊驼大模型体验

前言Meta发布的一代LLaMA已经掀起了一股开源大模型热潮，也有很多相关工作不断涌现。最近Meta全新发布了Llama-2，效果更上一层楼。而且最重要的是模型可以相对随意分发了，不像一代一样，meta不让开发者发布基于llama模型训练出来的权重（原版当然更不可以）。既然有了Llama-2，国内开发者应该也会很快做出适配的吧。我大概搜索了一下github，以chinesellama2为关键字搜索
nlpstarter·2023-08-27 07:52

大模型一、大语言模型的背景和发展

文章目录背景模型1文本LLM模型ChatGLMChatGLM2-6BChinese-LLaMA-Alpaca：Chinese-LLaMA-Alpaca-2：Chinese-LlaMA2：Llama2-Chinese
IT界的小小小学生·2023-08-26 02:32

第十一篇-Tesla P40+Text-Generation-Webui

，支持多种方式加载模型，transformers,llama.cpp,ExLlama,AutoGPTQ,GPTQ-for-LLaMa,ctransformers支持多类模型，Llama-2-chat,Alpaca
木卫二号Coding·2023-08-23 08:19

LLaMA模型泄露 Meta成最大受益者

几周内，开发者与研究人员基于LLaMA搞起微调训练，接连发布了Alpaca、
MILI元宇宙·2023-08-20 09:37

LLaMA-7B微调记录

Alpaca（https://github.com/tatsu-lab/stanford_alpaca）在70亿参数的LLaMA-7B上进行微调，通过52k指令数据（https://github.com
tzc_fly·2023-08-20 09:36

中文医学知识语言模型：BenTsao

介绍BenTsao：[原名：华驼(HuaTuo)]:基于中文医学知识的大语言模型指令微调本项目开源了经过中文医学指令精调/指令微调(Instruction-tuning)的大语言模型集，包括LLaMA、Alpaca-Chinese
A雄·2023-08-18 15:16

GPT法律领域

数据：基于中文裁判文书网公开法律文书数据、司法考试数据等数据集展开，利用Stanford_alpaca、self-instruct方式生成对话问答数据，利用知识引导的数据生成，引入ChatGPT清洗数据
小草cys·2023-08-17 01:35

【AI实战】从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B

【AI实战】从零开始搭建中文LLaMA-33B语言模型Chinese-LLaMA-Alpaca-33B简介环境配置环境搭建依赖安装代码及模型权重拉取拉取Chinese-LLaMA-Alpaca拉取llama
szZack·2023-08-17 00:08

学术论文GPT源码解读：从chatpaper、chatwithpaper到gpt_academic

前言之前7月中旬，我曾在微博上说准备做“20个LLM大型项目的源码解读”针对这个事，目前的最新情况是已经做了的：LLaMA、Alpaca、ChatGLM-6B、deepspeedchat、transformer
v_JULY_v·2023-08-13 14:36

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）

2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型
渣渣崔·2023-08-07 14:27

中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练，进一步提升了中文基础语义理解能力

项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用CSDN平台，自主完成项目设计升级，提升自身的硬实力。专栏订阅：项目大全提升自身的硬实力[专栏详细介绍：项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的
汀、人工智能·2023-07-30 15:28

【深度学习，NLP，LM】Alpaca-Lora ，Colab上部署与调用

【深度学习，NLP，LM】Alpaca-Lora，Colab上部署与调用前言安装环境运行generate代码前言Alpaca-LoraHuggingface项目Tloen/Alpaca-LoraGitHub
溢流眼泪·2023-07-27 02:53

【NLP】Llama & Alpaca大模型

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2023-07-27 02:23

在kaggle上训练自己的Alpaca-Lora

Alpaca-Lora也是大放光彩。笔者不是从事这个行业的，但对这方面比较感兴趣，于是尝试着训练了一下，给大家分享一些经验。
神魔传说·2023-07-27 02:23

足够惊艳，使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调，效果比肩斯坦福羊驼...

因此，Alpaca-Lora则是利用Lora技术，在冻结原模型LLaMA参数的情况下，通过往模型中加入额
zenRRan·2023-07-27 02:22

[NLP]使用Alpaca-Lora基于llama模型进行微调教程

[NLP]理解大型语言模型高效微调(PEFT)因此，Alpaca-Lora则是利用Lora技术，在冻结原模型LLaMA参数的情况下，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。
奇思闻影的舒克与贝克·2023-07-27 02:52

中文羊驼大模型Alpaca-Plus-13B、Alpaca-33B效果大比拼

写在前面之前更新过两期关于中文羊驼模型的效果体验：【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca_nlpstarter的博客-CSDN博客【类ChatGPT】中文羊驼大模型Alpaca
nlpstarter·2023-07-27 02:52

11个LLM一起上，性能爆炸提升！AI2联合USC开源LLM-Blender集成学习框架：先排序再融合｜ACL 2023...

随着Alpaca,Vicuna,Baize,Koala等诸多大型语言模型的问世，研究人员发现虽然一些模型比如Vicuna的整体的平均表现最优，但是针对每个单独的输入，其最优模型的分布实际上是非常分散的，
视学算法·2023-07-25 20:41

在自定义数据集上微调Alpaca和LLaMA

本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA，我们将介绍在特定数据集上对AlpacaLoRa进行微调的整个过程，本文将涵盖数据处理、模型训练和使用流行的自然语言处理库(如Transformers
deephub·2023-07-24 18:04

在中文LLaMA模型上进行精调

最近在开源项目ymcui/Chinese-LLaMA-Alpaca的基础上完成了自己的中文模型精调工作，形成了两个工具共享给大家。
百家饭OpenAPI·2023-07-24 14:14

LLM 盛行，如何优雅地训练大模型？

ChatGPT于2022年12月初发布，震惊轰动了全世界，发布后的这段时间里，一系列国内外的大模型训练开源项目接踵而至，例如Alpaca、BOOLM、LLaMA、ChatGLM、DeepSpeedChat
kaiyuan_sjtu·2023-07-23 07:13

linux Ubuntu Python 3.10 环境报错与解决方案集合

环境配置参考文章：使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调1.报错.nvidia/cublas/lib/libcublas.so.11:undefinedsymbol:cublasLtHSHMatmulAlgoInit
Jay_fearless·2023-07-20 21:34

使用更少数据训练更好的alpaca

概述该论文的研究背景是指令微调在大型语言模型中取得了重要的成果，但现有的训练数据质量问题导致模型性能下降。过去的方法主要是使用低质量的数据进行指令微调，这些数据中存在错误或无关的回答，导致结果误导和训练成本增加。该论文的方法是通过自动识别和删除低质量数据来提升模型性能，这是一种简单且有效的数据选择策略。该论文提出了ALPAGASUS方法，利用强大的语言模型(ChatGPT)对5.2kALPACA数
无数据不智能·2023-07-19 08:16

ALPAGASUS : TRAINING A BETTER ALPACA WITH FEWER DATA♢

作者通过与GPT交互的方法过滤了Alpaca52k的数据，剩下9k，对二者分别微调，通过实验对比，发现9k的性能远大于52k。
HanZee·2023-07-19 03:15

大模型训练数据集介绍

原文：大模型训练数据集介绍-知乎1、斯坦福开源数据集数据集名称：alpaca_data.jsonhttps://github.com/tatsu-lab/stanford_alpacaalpaca_data.json
javastart·2023-07-15 15:15

【AI实战】训练一个自己的ChatGPT

清洗自己的数据集上述工作完成后，大概是这样子的训练测试参考本文使用Alpaca-LoRA来训练一个自己的ChatGPT，数据集包括开源的55w数据集和我自己的1000w的医疗问答数据集。
szZack·2023-07-13 16:16

一文看全开源大语言模型汇总

转自分布式实验室01Alpaca/LLaMA（Meta/Stanford）斯坦福Alpaca：一个遵循指令的LLaMA模型。
中生代技术·2023-06-24 03:58

[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）

文章目录LLaMA大模型及其衍生模型1.LLaMA2.stanford_alpaca3.ChatDoctor4.alpaca-lora5.Chinese-LLaMA-Alpaca6.BELLE大模型综述
晨阳2023·2023-06-24 00:26

llama.cpp LLM模型 windows cpu安装部署

参考：https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/https://blog.csdn.net/qq_38238956/
loong_XL·2023-06-23 23:23

大模型没有壁垒吗？开源模型和chatgpt已经没有差距了吗？

近期有很多工作比如Alpaca、Vicuna、Koala等论文宣称通过收集到的大量chatgptoutput，在基于开源大模型如LLaMA上进行微调后的模型就接近甚至超过chatgpt效果。
手把手教你学AI·2023-06-23 20:10

Vicuna-13B云服务器部署

Vicuna同样是基于Meta开源的LLaMA大模型微调而来，它的训练数据是来自ShareGPT上的7万多条数据（ShareGPT一个分享ChatGPT对话的谷歌插件）：在训练方式上，研究人员借鉴了Alpaca
liuhehe321·2023-06-23 14:14

03.SELF-INSTRUCT+Alpaca

文章目录前言泛读储备知识提示学习提示工程PromtEngineering答案工程背景介绍研究SELF-INSTRUCT的动机研究意义&贡献精读Overview种子任务步骤1：定义指令数据步骤2：自动指令数据生成步骤2.1指令生成步骤2.2指令分类步骤2.3实例生成步骤2.4筛选和后处理实验分析和讨论多样性分析生成质量应用结果ALpacaLoRALoRA的优点实操注意事项训练（微调）预测核心代码前言
oldmao_2000·2023-06-23 14:03

自家Alpaca垫底，华人团队WizardLM开源第一，GPT-4、Claude稳居前二

来源|新智元作者|好困前段时间，UC伯克利主导的「LLM排位赛」备受圈内关注。除了各类开源模型外，还有GPT-4、PaLM2等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。大模型研究测试传送门GPT-4传送门（免墙，可直接测试，遇浏览器警告点高级/继续访问即可）：Hello,GPT4!最近，来自斯坦福的团队，也发布了一款LLM自动评测系统——AlpacaEval，以及对应的AlpacaEva
夕小瑶·2023-06-21 18:58

GPT大语言模型Vicuna本地化部署实践（效果秒杀Alpaca） | 京东云技术团队

背景上一篇文章《GPT大语言模型Alpaca-lora本地化部署实践》介绍了斯坦福大学的Alpaca-lora模型的本地化部署，并验证了实际的推理效果。
·2023-06-20 10:24

基于llama模型进行增量预训练

目录1、llama模型转换(pytorch格式转换为HuggingFace格式)1.1、拉取Chinese-LLaMA-Alpaca项目1.2、准备文件夹1.3、下载llama官方原始模型1.4、移动文件到指定位置
小生浩浩·2023-06-19 23:11

中文版LLaMA：Chinese-LLaMA-Alpaca

GitHub：GitHub-ymcui/Chinese-LLaMA-Alpaca:中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署(ChineseLLaMA&AlpacaLLMs)以ChatGPT
u013250861·2023-06-19 23:24

大模型入门（一）—— LLaMa/Alpaca/Vicuna

LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力。相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比ClosedAI，至少LLaMa论文和模型都开源出来了，目前huggingface已集成了LLaMa的代码实现和
柴神·2023-06-19 22:28

LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）

文章目录一、GPT系列1.1GPTs（OpenAI，2018——2020）1.2InstructGPT（2022-3）1.2.1算法1.2.2损失函数1.3ChatGPT（2022.11.30）1.4ChatGPTplugin1.5GPT-4（2023.3.14）二、LaMDA系列2.1LaMDA（Google2021.5）2.1.1简介2.1.2LaMDA预训练与微调2.1.3事实根基（真实性、
神洛华·2023-06-19 04:40

p-tuing和Lora的区别

前言自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的Alpaca
AI生成曾小健·2023-06-18 21:41

开源大模型文档

开源大模型综述排行榜1.LLaMA资源：2.Chinese-LLaMA-Alpaca资源：3.Alpaca资源：4.Alpaca-LoRA5.Vicuna资源：6.OpenChatKit资源：7.GPT4ALL8
江小皮不皮·2023-06-17 13:03

GPT大语言模型Vicuna本地化部署实践（效果秒杀Alpaca） | 京东云技术团队

背景上一篇文章《[GPT大语言模型Alpaca-lora本地化部署实践]》介绍了斯坦福大学的Alpaca-lora模型的本地化部署，并验证了实际的推理效果。
京东云技术团队·2023-06-17 11:18

大模型入门（四）—— 基于peft 微调 LLaMa模型

微调数据集：https://github.com/LC1332/Chinese-alpaca-lo
柴神·2023-06-16 16:11

【AI实战】开源大语言模型LLMs汇总

【AI实战】开源大语言模型LLM汇总大语言模型开源大语言模型1、LLaMA2、ChatGLM-6B3、Alpaca4、PandaLLM5、GTP4ALL6、DoctorGLM（MedicalGPT-zhv2
szZack·2023-06-14 16:18

使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune

这篇文章中，我们来聊聊如何使用两张显卡来进行LLaMA65B大模型的微调工作，以及如何在一张普通的4090家用显卡上，只花几个小时，就能够完成7B模型的微调。写在前面在之前的几篇文章里，我们介绍过三种方式运行Meta开源模型LLaMA的7B、13B版本：《模型杂谈：使用IN8量化推理运行Meta“开源泄露”的大模型（LLaMA）》《模型杂谈：快速上手元宇宙大厂Meta“开源泄露”的大模型（LLaM
soulteary·2023-06-13 15:20
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他