RWKV

总结：大模型技术栈---算法与原理

word-levelchar-levelsubword-levelBPEWordPieceUniLMSentencePieceByteBPE2.positionencoding绝对位置编码ROPEAliBi相对位置编码Transformer-XLT5/TUPEDeBERTa3.注意力机制Mamba,H3,Hyena,RetNet,RWKV
lichunericli·2024-08-31 22:26

展示wandb的数据

初始化wandbAPIapi=wandb.Api()#假设您想要访问的项目名为'my_project'，并且您的wandb用户名为'my_username'project_name="aicolab/RWKV
irrationality·2024-02-11 11:12

大模型基础架构的变革：剖析Transformer的挑战者（中）

上一篇文章中，我们介绍了RetNet、RWKV、Mamba等有可能会替代Transformer的模型架构，这一篇文章我们将要介绍另外三个有可能会替代Transformer的模型架构，它们分别是UniRepLKNet
深度人工智能·2024-02-10 15:38

基于 RWKV 的 AI角色扮演 WebUI

这是一个使用Gradio制作的基于RWKV的AI角色扮演对话的WebUI，7B参数int8量化下仅需要7.6GB显存即可完美运行。
冬咛·2024-01-25 12:48

RWKV入门

主要参考资料B站视频《【项目原作解读】RWKVFoundation侯皓文：新型RNN模型RWKV，结合Transformer的并行化训练优势和RNN的高效推理》RWKV官网:https://www.rwkv.com
弱冠少年·2024-01-14 07:15

一文通透想颠覆Transformer的Mamba：从SSM、S4到mamba、线性transformer(含RWKV解析)

前言不知读者发现没有，本文标题的信息含量很大，比如出来了一个新的序列模型：Mamba，其基于SSM或S4(StructuredStateSpaceforSequenceModeling，连起来4个S，故简称S4)发展为S6(S4modelswithaselectionmechanismandcomputedwithascan)，其对应的论文为《Mamba:Linear-TimeSequenceMo
v_JULY_v·2024-01-13 19:10

ChatGPT知名开源项目有哪些

上一键免费部署，支持私有服务器快速部署，支持使用私有域名支持ChatGPT3.5、4等常见模型Linux/Windows/MacOS上的紧凑型客户端(~5MB)，立即下载与自行部署的LLM完全兼容，推荐与RWKV-Runner
AI光谱·2024-01-10 11:35

使用OpenCompass评测rwkv模型教程

0x0.前言继续MLC-LLM支持RWKV-5推理以及对RWKV-5的一些思考文章里面提到的想法，探索一下使用OpenCompass来评测RWKV模型，对模型的实际表现有一个更客观的了解。
just_sort·2023-12-24 15:37

oobabooga-text-generation-webui可能是最好的语言模型启动器（包含手把手安装教程）

oobabooga-text-generation-webui是一个用于运行类似Chatglm、RWKV-Raven、Vicuna、MOSS、LLaMA、llama.cpp、GPT-J、Pythia、OPT
javastart·2023-11-28 09:38

使用MLC-LLM将RWKV 3B模型跑在Android手机上

前言这篇文章主要是填一下MLC-LLM部署RWKVWorld系列模型实战（3B模型MacM2解码可达26tokens/s）这里留下来的坑，这篇文章里面介绍了如何使用MLC-LLM在A100/MacM2上部署RWKV
just_sort·2023-11-18 22:03

MLC-LLM 支持RWKV-5推理以及对RWKV-5的一些思考

自从2023年3月左右，chatgpt火热起来之后，我把关注的一些知乎帖子都记录到了这个markdown里面，：https://github.com/BBuf/how-to-optim-algorithm-in-cuda/tree/master/large-language-model-note，从2023年3月左右到现在保持了持续动态更新整理，有关于LLM基础知识，LLM训练，LLM推理等各个方
just_sort·2023-11-18 22:28

rwkv模型lora微调之accelerate和deepspeed训练加速

目录一、rwkv模型简介二、lora原理简介三、rwkv-lora微调1、数据整理2、环境搭建a、Dockerfile编写b、制造镜像c、容器启动3、训练代码修改四、模型推理1、模型推理2、lora权重合并
colourmind·2023-11-03 17:51

【RWKV】如何新增一个自定义的Tokenizer和模型到HuggingFace

0x0.前言RWKV社区在Huggingface上放了rwkv-4-world和rwkv-5-world相关的一系列模型，见：https://huggingface.co/BlinkDL/rwkv-4-
just_sort·2023-10-16 00:26

RWKV 语言模型：具有 Transformer 优点的 RNN

RWKV语言模型，这是一个具有巨大潜力的开源大型语言模型。由于ChatGPT和一般的大型语言模型最近受到了很多关注。
帅气多汁你天哥·2023-09-26 05:16

RWKV解读：在Transformer的时代的新RNN

转载地址：https://zhuanlan.zhihu.com/p/656323242作者：徐传飞在Transformer时代，介绍一个非Transformer架构的新网络——RWKV，RWKV是一种创新的深度学习网络架构
·2023-09-18 16:17

【自然语言处理】【大模型】RWKV：基于RNN的LLM

相关博客【自然语言处理】【大模型】RWKV：基于RNN的LLM【自然语言处理】【大模型】CodeGen：一个用于多轮程序合成的代码大语言模型【自然语言处理】【大模型】CodeGeeX：用于代码生成的多语言预训练模型
BQW_·2023-09-18 05:01

RWKV：在Transformer时代重新定义循环神经网络

论文地址：https://arxiv.org/abs/2305.13048参考：https://www.zhihu.com/question/602564718/answer/3041307432RWKV
帘卷西风尽·2023-09-12 10:28

RWKV:一种鱼和熊掌兼得的线性transformer模型

众所周知，现在transformer及其变种是NLP和CV领域已经杀疯了。但其中最核心的self-attention机制因为其O(N2)的时间复杂度（二次依赖问题）被诟病。在不改变transformerblock这个整体架构的前提下，现在学术界解决二次依赖问题的主要是两个思路。一种是实现self-attention的线性化。这方面的工作是很多的，比如Performer[5]、Reformer[6]
u013250861·2023-09-12 10:28

MLC-LLM 部署RWKV World系列模型实战（3B模型Mac M2解码可达26tokens/s）

0x0.前言我的ChatRWKV学习笔记和使用指南这篇文章是学习RWKV的第一步，然后学习了一下之后决定自己应该做一些什么。
just_sort·2023-09-04 05:56

ChatRWKV 学习笔记和使用指南

0x0.前言ReceptanceWeightedKeyValue（RWKV）是pengbo提出的一个新的语言模型架构，它使用了线性的注意力机制，把Transformer的高效并行训练与RNN的高效推理相结合
just_sort·2023-09-04 05:53

RWKV – transformer 与 RNN 的强强联合

在NLP(NaturalLanguageProcessing,自然语言处理)领域，ChatGPT和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自Vaswani等人于2017年首次提出AttentionIsAllYouNeed之后，基于transformer的强大的模型一直在不断地涌现，它们在NLP相关任务上的表现远远超过基于RNN(Recu
·2023-08-23 23:34

【视频笔记】解密RWKV线性注意力的进化过程

from：https://www.bilibili.com/video/BV1zW4y1D7Qg/?spm_id_from=333.999.0.0&vd_source=21cce77bb69d40a81e0d37999f2da0c2文章目录向量版Self-attentionAFT的线性AttentionRWKV的线性Attention向量版Self-attention手动实现，可以看出时间复杂度O
联系丝信·2023-08-16 05:32

oobabooga-text-generation-webui可能是最好的语言模型启动器（包含手把手安装教程）

oobabooga-text-generation-webui是一个用于运行类似Chatglm、RWKV-Raven、Vicuna、MOSS、LLaMA、llama.cpp、GPT-J、Pythia、OPT
javastart·2023-08-14 12:03

本地化部署AI语言模型RWKV指南，ChatGPT顿时感觉不香了。

参考文章Github官方地址Github下载地址百度网盘下载安装更新软件介绍RWKV是一个开源且允许商用的大语言模型，灵活性很高且极具发展潜力。
the_beginner·2023-08-04 13:21

Raki的读paper小记：RWKV: Reinventing RNNs for the Transformer Era

Abstract&Introduction&RelatedWork研究任务基础模型架构已有方法和相关工作RNN，CNN，Transformer稀疏注意力（Beltagy等人，2020年；Kitaev等人，2020年；Guo等人，2022年）、近似全注意力矩阵（Wang等人，2020年；Ma等人，2021年；Choromanski等人，2020年）、将分块注意力与门控结合（Ma等人，2023年）Fl
爱睡觉的Raki·2023-07-31 05:19

100% RNN language model ChatRWKV 相关开源项目

RWKV(读作RwaKuv)借鉴了RNN的移动平均模型（MA），将transformer的O(T2d)O(T^2d)O(T2d)复杂度降低到O(Td)O(Td)O(Td)，同时保持较好的结果表现。
FakeOccupational·2023-07-29 16:00

基于RWKV-Runner大语言模型系统

RWKVRunner旨在消除大语言模型的使用门槛，全自动处理AI对话，并且提供了OpenAIAPI兼容的接口。使用起来简单方便，但是还是比较吃机器，显存2G到32G都可以使用，根据自己的模型选择即可。总结起来：使用起来方便简单，上手容易。需要有电脑基础，很多地方还不是傻瓜化。需要一些理论知识增强使用功能。文章目录软件安装软件使用主要功能和特点完全兼容OpenAIAPIAPI支持环境自动配置模型安装
Mr数据杨·2023-07-14 03:59

本地部署 闻达：一个LLM调用平台

本地部署闻达：一个LLM调用平台1.什么是闻达2.Github地址3.安装Miniconda34.创建虚拟环境5.安装闻达6.下载各个model7.配置各个model8.使用RWKV-4-Raven-14B-v11x
engchina·2023-06-19 14:54

RWKV配上ChatGPTBox让我们在浏览器中感受AI带来的魅力

这次我们来讲讲RWKV搭配ChatGPTBox结合使用带来的功能体验，这两个项目都是同一个大神创建的，完全可以无缝搭配进行使用。
传说中的暗暗·2023-06-07 17:09

RWKV – transformer 与 RNN 的强强联合

在NLP(NaturalLanguageProcessing,自然语言处理)领域，ChatGPT和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自Vaswani等人于2017年首次提出AttentionIsAllYouNeed之后，基于transformer的强大的模型一直在不断地涌现，它们在NLP相关任务上的表现远远超过基于RNN(Recu
·2023-06-06 21:33

大语言模型浅探一

目录1前言2GPT模型解码3InstructGPT4基于RWKV微调模型4.1RWKV简介4.2增量预训练4.3SFT微调4.4RM和PPO5测试6总结1前言近来，人工智能异常火热，ChatGPT的出现极大的推动了自然语言处理的发展
行走的人偶·2023-04-21 09:09

Github每日精选（第97期）： 类似ChatGPT 的开源AI 聊天ChatRWKV

ChatRWKV类似于ChatGPT，但由RWKV（100%RNN）语言模型提供支持，并且是开源的。
go2coding·2023-02-04 15:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他