LLaMa

LongLLaMA：LLaMA的升级版，处理超长上下文的利器！

原文来源：芝士AI吃鱼有效整合新知识：大模型面临的挑战大家使用过大型模型产品的时候可能会遇到一个共同的问题：在进行多轮对话时，模型可能会忘记之前的对话内容，导致回答不连贯。这实际上是由于大型模型在处理大量新内容时有时会力不从心，给人一种分心的感觉。这个问题实际上也是当前大型模型面临的一个主要挑战，即如何有效地将大量新知识整合到模型中。目前常见的解决方法之一是微调（fine-tune），但这种方法不
wwlsm_zql·2023-07-14 20:47

羊驼再度进化，“长颈鹿版”LongLLaMA 来啦，上下文长度冲向 100K ，性能不减

要说当下制约大模型释放更大规模潜力的桎梏，除了机器幻觉，肯定当属受限的上下文长度，前两天微软的LongNet正将Transformer的上下文长度扩展到夸张的10亿量级，这两天撑起了开源大模型一片天的LLaMA
夕小瑶·2023-07-14 20:47

Meta提出全新参数高效微调方案，仅需一个RNN，Transformer模型GPU使用量减少84%！

近来，随着ChatGPT和GPT-4模型的不断发展，国内外互联网大厂纷纷推出了自家的大语言模型，例如谷歌的PaLM系列，MetaAI的LLaMA系列，还有国内公司和高校推出的一些大模型，例如百度的文心一言
TechBeat人工智能社区·2023-07-14 20:57

llama.cpp试用

显存占用是真的低，13Bvicunaint4量化，example/chat-13B.sh正常问答交流，不到2G的占用。相比之下，vicuna7B原版int8量化，8G显卡下，cuda会OOM(原版不支持int4量化)。chatglm6Bint4量化，显存占用仍然需要6G。
菜鸡学AI·2023-07-14 19:12

大语言模型调研

为了实现这个目标，该项目基于开源预训练大语言模型，如BLOOM和LLAMA，进行了中文优化。模型调优过程仅使用由ChatGPT生产的数据，而不包含任何其他数据，
kafkabalu·2023-07-14 19:40

英文绘本公益亲子共读Day99—Is Your Mama a Llama?（适合年龄：2-7岁）

深圳/小桃园/1岁2个月10天图片发自App如果让宝宝讲2个关于妈妈的特征，宝宝会怎么说呢？如果把这两个特征告诉别人，别人会猜对吗？IsYourMamaaLlama？就是这样一本这样的书，小驼羊Lloyd到处问朋友们“Isyourmamaallama？/你的妈妈是驼羊吗？”而每个朋友都说“No，sheisnot/不，她不是。”进而说出两个有关自己妈妈的特点，然后小驼羊就猜他们的妈妈是什么样的动物，
Gentle琪迹·2023-07-14 07:03

Langchain 新手完全指南

它是一个框架，用于在大型语言模型上开发应用程序，例如GPT、LLama、HuggingFace模型等。
李特丽·2023-07-13 21:30

怎么让英文大预言模型支持中文？（一）构建自己的tokenization

代码地址：https://github.com/taishan1994/sentencepiece_chinese_bpePart1前言目前，大语言模型呈爆发式的增长，其中，基于llama家族的模型占据了半壁江山
西西嘛呦·2023-06-24 10:00

textgen教程（持续更新ing...）

TextGen:ImplementationofTextGenerationmodels,includeLLaMA,BLOOM,GPT2,BART,T5,SongNetandsoon.文本生成模型，实现了包括LLaMA
诸神缄默不语·2023-06-24 08:56

一文看全开源大语言模型汇总

转自分布式实验室01Alpaca/LLaMA（Meta/Stanford）斯坦福Alpaca：一个遵循指令的LLaMA模型。
中生代技术·2023-06-24 03:58

llama.cpp一种在本地CPU上部署的量化模型（超低配推理llama）

0x00背景前不久，Meta前脚发布完开源大语言模型LLaMA，随后就被网友“泄漏”，直接放了一个磁力链接下载链接。
god_Zeo·2023-06-24 00:26

[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）

文章目录LLaMA大模型及其衍生模型1.LLaMA2.stanford_alpaca3.ChatDoctor4.alpaca-lora5.Chinese-LLaMA-Alpaca6.BELLE大模型综述
晨阳2023·2023-06-24 00:26

LLaMA模型文件 (搬运工)

LLaMA需要进行申请才能获得官方模型权重。但是申请的审批时间一般都很长。
Reza.·2023-06-24 00:26

LLaMA及其子孙模型概述

文章目录LLaMAAlpacaVicunaKoalaBaize(白泽)骆驼(Luotuo)BELLEGuanacoLLaMA与原始transformer的区别:预归一化[GPT3]。为了提高训练稳定性，对每个Transformer子层的输入进行归一化，而不是对输出进行归一化。使用了Zhang和Sennrich（2019）引入的RMSNorm规范化函数。SwiGLU激活功能[PaLM]。用Shaze
ToTensor·2023-06-24 00:56

LLM - 基于 Vicuna-13B 参数计算搭建私有 ChatGPT 在线聊天

CSDN：https://spike.blog.csdn.net/本文地址：https://blog.csdn.net/caroline_wendy/article/details/131312366LLaMA
SpikeKing·2023-06-24 00:50

llama.cpp LLM模型 windows cpu安装部署

参考：https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/https://blog.csdn.net/qq_38238956/
loong_XL·2023-06-23 23:23

大模型没有壁垒吗？开源模型和chatgpt已经没有差距了吗？

近期有很多工作比如Alpaca、Vicuna、Koala等论文宣称通过收集到的大量chatgptoutput，在基于开源大模型如LLaMA上进行微调后的模型就接近甚至超过chatgpt效果。
手把手教你学AI·2023-06-23 20:10

MosaicML 推出 30B 模型 — 挑战 LLaMA、Falcon 和 GPT

MosaicML正在推出其第二个开源大型语言模型（LLM），称为MPT-30B，这是继五月份首次推出的较小的MPT-7B模型之后。为了讨论新模型及其对开发人员的意义，我采访了MosaicML联合创始人兼首席执行官NaveenRao。他之前的创业公司是Nervana，这是一家深度学习公司，于2016年被英特尔收购，所以他最近在人工智能行业并不重要。顾名思义，MPT-30B是一个300亿参数模型。该公
·2023-06-23 15:51

Vicuna-13B云服务器部署

Vicuna同样是基于Meta开源的LLaMA大模型微调而来，它的训练数据是来自ShareGPT上的7万多条数据（ShareGPT一个分享ChatGPT对话的谷歌插件）：在训练方式上，研究人员借鉴了Alpaca
liuhehe321·2023-06-23 14:14

01.LLaMA

文章目录前言导读摘要预备知识语言模型ChatGPT性能暴涨的原因（涌现）GPT-1Transformer背景介绍模型精讲数据集及处理CommonCrawlC4GithubWikipediaGutenbergandBooks3ArXivStackExchange小结关键TrickPre-normalizationSwiGLURotaryEmbeddings实验分析和讨论训练Trick模型的损失和to
oldmao_2000·2023-06-23 14:02

在低配Windows上部署原版llama.cpp

现在大语言模型的部署，通常都需要大的GPU才能实现，如果是仅仅想研究一下，大语言模型的算法，我们是很想能够直接在我们的工作电脑上就能直接运行的，llama.cpp就是很好的实现。
go2coding·2023-06-23 13:46

Ziya：一个自回归、双语、开源和多功能的大语言模型

Ziya是一个基于LLaMa的130亿参数的中英双语预训练语言模型，它由IDEA研究院认知计算与自然语言研究中心（CCNL）推出，是开源通用大模型系列的一员。
大伟先生·2023-06-22 17:47

开源中文大语言模型集合【2023-06-19】

尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现
u013250861·2023-06-22 17:01

国产开源大模型： 百亿参数“伶荔”，填补中文基础模型空白！

其中，中文基础模型以LLaMA为底座，利用中文和中英平行增量预训练，将它在英文上强大语言能力迁移到中文上。更进一步
Datawhale·2023-06-22 16:59

高效底座模型LLaMA

论文标题：LLaMA:OpenandEfficientFoundationLanguageModels论文链接：https://arxiv.org/abs/2302.13971论文来源：MetaAI一、
酷酷的群·2023-06-22 16:29

TVM－MLC LLM 调优方案

本文地址：https://www.cnblogs.com/wanger-sjtu/p/17497249.htmlLLM等GPT大模型大火以后,TVM社区推出了自己的部署方案，支持Llama，Vicuna
青铜时代的猪·2023-06-21 22:00

Video-LLaMa:利用多模态增强对视频内容理解

本文将重点介绍称为video-llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。
deephub·2023-06-21 16:53

Video-LLaMa:利用多模态增强对视频内容理解

本文将重点介绍称为video-llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。
·2023-06-21 10:30

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力随着大语言模型（LargeLanguageModels）的爆火，例如ChatGPT，GPT-4，PaLM，LLaMA等，如何让大语言模型更好的应对有很长的上下文信息
AI生成曾小健·2023-06-20 20:26

百川智能开源大模型baichuan-7B剖析

来自：吃果冻不吐果冻皮进NLP群—>加入NLP交流群baichuan-7B主要是参考LLaMA进行的改进，且模型架构与LLaMA一致。
zenRRan·2023-06-20 03:36

基于llama模型进行增量预训练

目录1、llama模型转换(pytorch格式转换为HuggingFace格式)1.1、拉取Chinese-LLaMA-Alpaca项目1.2、准备文件夹1.3、下载llama官方原始模型1.4、移动文件到指定位置
小生浩浩·2023-06-19 23:11

中文版LLaMA：Chinese-LLaMA-Alpaca

GitHub：GitHub-ymcui/Chinese-LLaMA-Alpaca:中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署(ChineseLLaMA&AlpacaLLMs)以ChatGPT
u013250861·2023-06-19 23:24

大模型入门（一）—— LLaMa/Alpaca/Vicuna

LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力
柴神·2023-06-19 22:28

截至目前最强的70亿参数大语言模型：开源可商用的RedPajam 7B完全版发布！

2023年6月6日，TOGETHER在官方宣布该模型完成训练，经过测试，该模型目前超过所有7B规模的大模型，比LLaMA-7B和Falcon-7B的效果还要好！
语音之家·2023-06-19 20:35

百川智能发布开源中英文大模型；GitHub调查显示92%的程序员使用AI编码工具；第一季度中国云服务支出增长6%丨每日大事件...

baichuan-7B在C-Eval、AGIEval和Gaokao中文权威评测榜单上，超过了ChatGLM-6B等其他大模型，并且在MMLU英文权威评测榜单上，领先LLaMA-7B。
数据猿·2023-06-19 16:47

IDPChat：探索基于LLaMA和Stable Diffusion的「开源」中文多模态AI大模型

中文多模态模型IDPChat和大家见面了。随着GPT4、文心一言等的发布，预训练大模型正式开启由单模态向多模态模型演进。多模态的特性为语言模型带来更加丰富的应用场景。我们认为，未来的AI应用将主要以大模型为核心基石。而在大模型的领域，基于基础模型（Foundationmodel）构建领域或企业自有的大模型，会是近中期的重要发展趋势。但在私有化大模型微调和应用方面，企业和机构仍面临着微调复杂、部署困
·2023-06-19 16:58

李沐论文精度系列之十：GPT-4

文章目录一、AIGC资讯速览1.1Toolformer（2023.2.9）1.2ChatGPTplugin1.3LLaMA（2023.2.24）1.4VisualChatGPT（2023.3.8）1.5GigaGAN
神洛华·2023-06-19 04:41

LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）

文章目录一、GPT系列1.1GPTs（OpenAI，2018——2020）1.2InstructGPT（2022-3）1.2.1算法1.2.2损失函数1.3ChatGPT（2022.11.30）1.4ChatGPTplugin1.5GPT-4（2023.3.14）二、LaMDA系列2.1LaMDA（Google2021.5）2.1.1简介2.1.2LaMDA预训练与微调2.1.3事实根基（真实性、
神洛华·2023-06-19 04:40

p-tuing和Lora的区别

一、前言自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的
AI生成曾小健·2023-06-18 21:41

scratch lenet(1): 读写 pgm 图像文件

2.1概要2.2meta信息2.3像素内容3.创建.pgm文件4.使用C语言读取.pgm灰度图文件4.1实现4.2解释5.使用C语言保存.pgm灰度图文件1.目的最近在github上关注了LLM的流行库llama.cpp
baiyu33·2023-06-17 19:37

开源大模型文档

开源大模型综述排行榜1.LLaMA资源：2.Chinese-LLaMA-Alpaca资源：3.Alpaca资源：4.Alpaca-LoRA5.Vicuna资源：6.OpenChatKit资源：7.GPT4ALL8
江小皮不皮·2023-06-17 13:03

大模型入门（四）—— 基于peft 微调 LLaMa模型

llama-7b模型大小大约27G，本文在单张/两张16GV100上基于huggingface的peft库实现了llama-7b的微调。
柴神·2023-06-16 16:11

2023年3月的10篇论文推荐

三月有很多的重大产品发布，包括刚刚发布的GPT4，还有Meta刚发布就被泄露的LLaMA，midjourneyV5，还有ChatGPT的API（非常便宜）等等。
·2023-06-16 11:39

Meta语音达LLaMA级里程碑！开源MMS模型可识别1100+语言

在语音方面，Meta又达到了另一个LLaMA级的里程碑。今天，Meta推出了一个名为MMS的大规模多语言语音项目，它将彻底改变语音技术。
javastart·2023-06-16 09:06

国产开源中文大语言模型再添重磅玩家：清华大学NLP实验室发布100亿参数规模的开源可商用大语言模型CPM-Bee

根据官方的测试结果，其英文测试水平约等于LLaMA-13B，中文ZeroCLUE评测结果仅次于人类水平。开源地址：OpenBMB/CPM-Bee:百亿参数的中英文双语基座大模型(githu
沧海之巅·2023-06-15 23:53

大模型入门（五）—— 基于peft微调ChatGLM模型

经过中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，ChatGLM因为是中文大模型，在中文任务的表现要优于LLaMa，我在一些实体抽取的任务中微调ChatGLM-6B，都取得了很不错的效果
柴神·2023-06-15 21:51

Video-LLaMA 开源，大语言模型也能读懂视频了！

出品人：Towhee技术团队作者：张晨架构Video-LLaMA旨在使冻结的LLM能够理解视频中的视觉和听觉内容。
·2023-06-15 16:50

LaWGPT：你的私人法律顾问！

该系列模型在通用中文基座模型（如Chinese-LLaMA、ChatGLM等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。
flower_drop·2023-06-15 14:18

LaWGPT：一款可以用来维权的AI大模型

上两天发过一篇文章，介绍了一个基于LLaMA训练得到的AI医生咨询助手。看不少小伙伴都感兴趣，咱今天再介绍一个法律领域的LaWGPT。
Python算法实战·2023-06-15 01:10

【AI实战】开源大语言模型LLMs汇总

【AI实战】开源大语言模型LLM汇总大语言模型开源大语言模型1、LLaMA2、ChatGLM-6B3、Alpaca4、PandaLLM5、GTP4ALL6、DoctorGLM（MedicalGPT-zhv2
szZack·2023-06-14 16:18
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他