TRansformer

Agent Attention：以一种优雅的方式来结合线性注意力和softmax注意力

论文链接：https://arxiv.org/abs/2312.08874代码地址：https://github.com/LeapLabTHU/Agent-Attention1.简介    近年来，视觉Transformer
liiiiiiiiiiiiike·2024-01-14 10:08

大模型核心技术原理: Transformer架构详解

在大模型发展历程中，有两个比较重要点：第一，Transformer架构。它是模型的底座，但Transformer不等于大模型，但大模型的架构可以基于Transformer；第二，GPT。
AI小白龙*·2024-01-14 08:41

蓝桥杯回文日期判断

注意点：要求必须是有效日期注意闰年的2月份问题代码：（1）判断所给字符串是不是回文数（a）取得前一半的数据，将原来一半和翻转后的一半进行拼接即可确保是回文数//transformertostringstrings
书中藏着宇宙·2024-01-14 08:17

RWKV入门

主要参考资料B站视频《【项目原作解读】RWKVFoundation侯皓文：新型RNN模型RWKV，结合Transformer的并行化训练优势和RNN的高效推理》RWKV官网:https://www.rwkv.com
弱冠少年·2024-01-14 07:15

Grounding DINO：开放集目标检测，将基于Transformer的检测器DINO与真值预训练相结合

文章目录背景知识补充CLIP(ContrastiveLanguage-ImagePre-training)：打破文字和图像之间的壁垒DINO(Data-INterpolatingNeuralNetwork)：视觉Transformer
丁希希哇·2024-01-14 07:59

SAM：segment anything model——一个通用的图像分割基础模型

文章目录一、SegmentAnythingTask二、SAM模型的架构（一）图像编码器imageencoder（二）promptencoder（三）maskdecoder三、SAM模型的思想（一）Transformer
丁希希哇·2024-01-14 07:59

GitHub Copilot的使用方法和快捷按键

它基于GPT（GenerativePre-trainedTransformer）模型，可以为你提供代码补全、建议和生成的功能使用方法：安装插件：首先，确保你的开发环境中安装了GitHubCopilot插件
小猿成长·2024-01-14 06:59

2023年人工智能的最新发展（上）

目录1.ChatGPT：2.Transformer、Bert：3.Bard、Office365Copilot、LLAMA：4.Claude、Grok：1.ChatGPT：2023年被视为人类科技史上的一个重要年份
稻壳特筑·2024-01-14 04:20

Transformer如何工作

Transformer如何工作Transformer工作可以分为两个阶段：Inference（推理）和Training（训练）‍‍
vitaminYZZ·2024-01-13 21:15

如何生成文本: 通过 Transformers 用不同的解码方法生成文本

如何生成文本:通过Transformers用不同的解码方法生成文本假设$p=0.92$，Top-p采样对单词概率进行降序排列并累加，然后选择概率和首次超过$p=92%$的单词集作为采样池，定义为$V_{
vitaminYZZ·2024-01-13 21:07

一文通透想颠覆Transformer的Mamba：从SSM、S4到mamba、线性transformer(含RWKV解析)

前言不知读者发现没有，本文标题的信息含量很大，比如出来了一个新的序列模型：Mamba，其基于SSM或S4(StructuredStateSpaceforSequenceModeling，连起来4个S，故简称S4)发展为S6(S4modelswithaselectionmechanismandcomputedwithascan)，其对应的论文为《Mamba:Linear-TimeSequenceMo
v_JULY_v·2024-01-13 19:10

挑战Transformer的新架构Mamba解析以及Pytorch复现

今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模”Mamba一直在人工智能界掀起波澜，被吹捧为Transformer的潜在竞争对手。
deephub·2024-01-13 19:39

【HuggingFace Transformer库学习笔记】基础组件学习：Trainer

基础组件学习——Trainer导入包fromtransformersimportAutoTokenizer,AutoModelForSequenceClassification,Trainer,TrainingArgumentsfromdatasetsimportload_dataset
辰阳星宇·2024-01-13 19:14

【HuggingFace Transformer库学习笔记】基础组件学习：Model

基础组件——Model1、模型加载与保存fromtransformersimportAutoConfig,AutoModel,AutoTokenizermodel=AutoModel.from_pretrained
辰阳星宇·2024-01-13 19:44

【HuggingFace Transformer库学习笔记】基础组件学习：Datasets

基础组件——Datasetsdatasets基本使用导入包fromdatasetsimport*加载数据datasets=load_dataset("madao33/new-title-chinese")datasetsDatasetDict({train:Dataset({features:['title','content'],num_rows:5850})validation:Dataset
辰阳星宇·2024-01-13 19:44

【HuggingFace Transformer库学习笔记】基础组件学习：Evaluate

基础组件学习——EvaluateEvaluate使用指南查看支持的评估函数#include_community：是否添加社区实现的部分#with_details：是否展示更多细节evaluate.list_evaluation_modules(include_community=False,with_details=True)加载评估函数accuracy=evaluate.load("accura
辰阳星宇·2024-01-13 19:39

Python解决方案：transformers模块没有LLaMATokenizer属性

Python解决方案：transformers模块没有LLaMATokenizer属性在使用transformers模块时，有可能会出现“AttributeError:moduletransformershasnoattributeLLaMATokenizer
UIEdit·2024-01-13 19:05

中科院国产多语言大模型-YAYI2开源！家族AI应用场景全覆盖！

开源地址：https://github.com/wenge-research/YAYI2YAYI2-30B是其模型规模，是基于Transformer的大语言模型。
孜孜孜孜不倦·2024-01-13 14:16

Multimodal Transformer for Unaligned Multimodal Language Sequences

文章目录MulT：未对齐多模态语言序列的多模态变换器文章信息研究目的研究背景研究内容研究方法1.总体架构2.CrossmodalAttention3.CrossmodalTransformer4.Conv1D5
鱼儿也有烦恼·2024-01-13 12:01

Python电能质量扰动信号分类(五)基于CNN-Transformer的一维信号分类模型

目录往期精彩内容：引言1数据集制作与加载1.1导入数据1.2制作数据集2CNN-Transformer分类模型和超参数选取2.1定义CNN-Transformer分类模型2.2设置参数，训练模型3模型评估
建模先锋·2024-01-13 12:34

what is BERT?

BERTIntroductionPaper参考博客9781838821593_ColorImages.pdf(packt-cdn.com)BidirectionalEncoderRepresentationfromTransformer
路飞DoD·2024-01-13 10:29

大语言模型LLM的原理，bert、GPT、GLM三者的对比

本次任务：1、大语言模型原理、2、演示1：单一文档摘要、3、演示2：多文档+langchain摘要4、演示3：微调训练本地知识库：美食、菜谱大模型....一、大语言模型介绍：主要、技术依赖：transformer
金城武555·2024-01-13 10:49

NLP 高手之路101课（模型、算法、论文、源码、案例 + 1年答疑）

课程名称：NLP高手之路101课（模型、算法、论文、源码、案例+1年答疑）课程关键词：NLP、Transformer、BERT、GPT、Bayesian、Rasa、Transferlearning、ConversationalAI
Eric_1694·2024-01-13 08:05

symmetryMDPI2022（GSTN）:A Graph Skeleton Transformer Network for Action Recognition

AGraphSkeletonTransformerNetworkforActionRecognitionAbstract1.Introduction2.Methods2.1.FeatureEncoding2.1.1
盖盖的博客·2024-01-13 08:31

2023(TranSkeleton):TranSkeleton: Hierarchical Spatial-Temporal Transformer for Skeleton-Based Action

TranSkeleton:HierarchicalSpatial-TemporalTransformerforSkeleton-BasedActionRecognitionAbstract1.INTRODUCTION2
盖盖的博客·2024-01-13 08:01

Superpoint Transformer for 3D Scene Instance Segmentation

为了解决这些问题，本文提出了一种基于SuperpointTransformer的全新端到端3D实例分割方法，命名为SPFormer。它将点云中的潜在特征组
fish小余儿·2024-01-13 07:48

Transformer 是拥抱数据不确定性的艺术

Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。
孙庚辛·2024-01-13 00:38

LLM之长度外推（一）| 基于位置编码的长度外推研究综述

论文：LengthExtrapolationofTransformers:ASurveyfromthePerspectiveofPositionEncoding地址：https://arxiv.org/
wshzd·2024-01-13 00:59

LLM之长度外推（二）| Self-Extend：无需微调的自扩展大模型上下文窗口

论文链接：https://simg.baai.ac.cn/paperfile/a34ae7f4-f0ce-4f8f-b8f2-e8e4d84bbee5.pdf目前大模型基本都采用transformer结构
wshzd·2024-01-13 00:28

Transformer学习（一）

文章目录transformer介绍为什么处理长序列时会出现梯度消失和梯度爆炸的问题transformer为什么可以用在图像处理上？
struggle_success·2024-01-12 21:07

深度学习代码源码项目90个分享

CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
z5645654·2024-01-12 21:05

大模型学习与实践笔记（五）

一、环境配置1.huggingface镜像下载sentence-transformers开源词向量模型importos#设置环境变量os.environ['HF_ENDPOINT']='https://
AllYoung_362·2024-01-12 20:14

Transformer中的layer norm(包含代码解释)

在transformer中存在add&norm操作，add操作很简单，就是把注意力矩阵和原来的矩阵相加，也就是残差链接，可以有效减少梯度消失。
牛像话·2024-01-12 19:01

用通俗易懂的方式讲解大模型分布式训练并行技术：序列并行

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。
Python算法实战·2024-01-12 17:25

4、Swin Transformer：视觉Transformer的革新之路

具体实现细节1、模型架构2、PatchPartition3、PatchMerging4、SwinTransfomerBlockW-MSASW-MSA五、对比ViT六、一些资料一、论文名称原论文地址：SwinTransformer
O_meGa·2024-01-12 15:21

（详细）Transformer完整版）

原文链接：https://blog.csdn.net/longxinchen_ml/article/details/86533005作者：龙心尘时间：2019年1月出处：https://blog.csdn.net/longxinchen_ml/article/details/86533005审校：百度NLP、龙心尘翻译：张驰、毅航、Conrad原作者：JayAlammar原链接：https://j
薛定谔的炼丹炉！·2024-01-12 15:50

Transformer：革新自然语言处理的强大模型

简介：Transformer是一种革新性的神经网络模型，它在自然语言处理任务中取得了巨大的成功。
程序猿-饭饭·2024-01-12 15:20

1、理解Transformer：革新自然语言处理的模型

目录一、论文题目二、背景与动机三、卖点与创新四、解决的问题五、具体实现细节0.Transformer架构的主要组件1.注意力、自注意力（Self-Attention）到多头注意力（Multi-HeadAttention
O_meGa·2024-01-12 15:48

Huggingface的Trainer类无法将日志写到logging文件中

在训练时想把这个信息也写到logging文件中在training_args中设置参数：training_args=transformers.TrainingArguments(logging_steps
cpopttt·2024-01-12 14:44

速度飙升200%！Flash Attention 2一统江湖，注意力计算不再是问题！

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者|godweiyang出品|公众号：算法码上来（ID：GodNLP）-BEGIN-attention是Transformer中最重要的一个结构，但是随着序列长度的增加
算法码上来·2024-01-12 14:12

text-generation-webui加载codellama报错DLL load failed while importing flash_attn_2_cuda: 找不到指定的模块。

codellama，报错：Traceback(mostrecentcalllast):File"C:\Users\Ma\AppData\Roaming\Python\Python310\site-packages\transformers
cpopttt·2024-01-12 14:11

NeurIPS 2023 | LIBERO：机器人持续学习基准环境

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【机器人和Transformer】交流群作者：Heeger（源：知乎，已授权）https://zhuanlan.zhihu.com
Amusi（CVer）·2024-01-12 11:59

2、BERT：自然语言处理的变革者

BERT（BidirectionalEncoderRepresentationsfromTransformers）是Google在2018年提出的一种自然语言处理（NLP）预训练模型。
O_meGa·2024-01-12 09:27

【深度学习：视觉基础模型】视觉基础模型 (VFM) 解释

【深度学习：视觉基础模型】视觉基础模型VFM解释了解视觉基础模型从CNN到Transformer的演变自我监督和适应能力流行的视觉基础模型DINO（自蒸馏，无标签）SAM（分段任意模型）SegGPTMicrosoft'sVisualChatGPT
jcfszxc·2024-01-12 09:23

RLHF与LLM训练的碰撞：寻找最佳实践之路！

典型的LLM训练流程现代基于transformer的LLM，如Chat
wwlsm_zql·2024-01-12 09:50

NLP（十八）：LLM 的推理优化技术纵览

原文：NLP（十八）：LLM的推理优化技术纵览-知乎目录收起一、子图融合（subgraphfusion）1.1FasterTransformerbyNVIDIA1.2DeepSpeedInferencebyMicrosoft1.3MLCLLMbyTVM
javastart·2024-01-12 09:46

编码器与解码器LLM全解析：掌握NLP核心技术的关键！

编码器与解码器风格的Transformer从根本上说，编码器和解码器风格的架构都使用相同的自注意力层来编码词汇标记。然而，主要区别在于编码器旨在学习可以用于各种预测建模任务（如分类）的嵌入表示。
wwlsm_zql·2024-01-12 09:15

大模型内容分享(十二)：图解大语言模型：从操作系统的视角

LLM的进化树[1]基于「Transformer」的模型（非灰色颜色）和其中的「仅解码器（DecoderOnly）模型」（蓝色）占明显的优势开源模型（实心块）和闭源模型（空心块）都在迅速发展Google
之乎者也··2024-01-12 09:38

ALiBi线性偏置注意力

6327801882.实现github:https://github.com/ofirpress/attention_with_linear_biases/blob/master/fairseq/models/transformer.py
云帆@·2024-01-12 07:08

大语言模型面试问题

transformer中求和与归一化中“求和”是什么意思？
抓个马尾女孩·2024-01-12 05:23
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他