transformers 第7页

论文笔记-A Survey on Vision Transformer

在各种视觉基准测试中，基于Transformers的模型的性能类似于或优于其他类型的网络，例如卷积和循环网络。鉴于其高性能和对视觉特定感应偏置的需求较

荒诞主义·2023-10-15 11:36

python transformers_Transformers2.0让你三行代码调用语言模型，兼容TF2.0和PyTorch

机器之心报道机器之心编辑部能够灵活地调用各种语言模型，一直是NLP研究者的期待。近日HuggingFace公司开源了最新的Transformer2.0模型库，用户可非常方便地调用现在非常流行的8种语言模型进行微调和应用，且同时兼容TensorFlow2.0和PyTorch两大框架，非常方便快捷。最近，专注于自然语言处理(NLP)的初创公司HuggingFace对其非常受欢迎的Transformer

weixin_39873456·2023-10-15 11:25

Transformers快速入门 Quick tour

先简单介绍一下Transformers库的特点。

HMTT·2023-10-15 11:53

Vision Transformers 大有可为！

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”重磅干货，第一时间送达VisionTransformers相关的研究最近非常的火，这篇文章是最近看到的，个人觉得相对讲解的比较通俗，以及很多图解帮助理解。因此，我也花了很多时间去翻译（文章内容6700字左右），如果对你有所帮助，欢迎给个三连。周末愉快！视频讲解：https://www.bilibili.com/video/BV1sA41157

flyfor2013·2023-10-15 11:22

transformers架构实现

目录架构代码如下模型打印如下架构代码如下importnumpyasnpfromtorch.autogradimportVariableimportcopyfromtorchimportsoftmaximportmathimporttorchimporttorch.nn.functionalasFimporttorch.nnasnn#构建Embedding类来实现文本嵌入层classEmbeddin

Q渡劫·2023-10-15 11:17

AutoDL平台transformers环境搭建

AutoDL平台transformers环境搭建租借GPU可以参考AutoDL平台租借GPU详解一、激活base环境1.进入终端vim~/.bashrc2、然后按英文模式的i进入编辑，按键盘下键到最后输入

undo_try·2023-10-14 17:02

chatgpt写代码

特性ChatGPT的核心是一个称为Transformers的深度学习模型，它书写的不仅限于英文，能构建的文章多种多样，包括叙述、讲故事、编写广告语乃

夕小瑶·2023-10-14 12:18

在torch.hub加载bert-base-chinese模型的时候出错rate limit exceeded

github.com/pytorch/vision/issues/4156一、问题1：ratelimitexceeded问题的产生代码model=torch.hub.load('huggingface/pytorch-transformers

你的橙子·2023-10-14 00:51

Transformer 系列 Interpret Vision Transformers as ConvNets with Dynamic Convolutions 论文阅读笔记

Transformer系列InterpretVisionTransformersasConvNetswithDynamicConvolutions论文阅读笔记一、Abstract二、引言三、相关工作VisionTransformers动态卷积Transformer和CNN的联系四、统一的视角4.1基础：自注意力4.2将Self-Attention视为动态卷积4.3统一的框架Kernelbankke

乄洛尘·2023-10-13 09:58

DETR-端到端的目标检测框架

基于Transformers的端到端目标检测，没有NMS后处理步骤、真正的没有anchor，且对标超越FasterRCNN。DETR将检测视为集合预测

小仙女呀灬·2023-10-12 16:07

java object转list_java实现List

[需要将Query对象setResultTransformer：Listlist=session.createSQLQuery(sql).setResultTransformer(Transformers.ALIAS_TO_ENTITY_MAP

weixin_39598954·2023-10-12 05:43

读书笔记：多Transformer的双向编码器表示法(Bert)-3

BidirectionalEncoderRepresentationsfromTransformers，即Bert；第3章Bert实战学习如何使用预训练的BERT模型：如何使用预训练的BERT模型作为特征提取器；探究HuggingFace的Transformers

baby_hua·2023-10-11 23:30

BERT ：Pre-training of Deep Bidirectional Transformers for Language Understanding论文阅读笔记（NAACL 2019）

目录原文翻译：BERT：用于语言理解的深度双向Transformer预训练原文链接：https://aclanthology.org/N19-1423.pdf摘要：1引言2相关工作2.1基于特征的方法2.2微调方法2.3在有监督数据上的迁移学习3BERT3.1模型架构3.2输入表示3.3预训练任务3.4预训练方法3.5微调方法3.6BERT和GPT的比较4实验4.1GLUE数据集4.2SQuAD数

坚持更新的咩·2023-10-11 23:59

“开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界”

汀、人工智能·2023-10-11 20:41

Vision Transformer | AAAI 2022 - LIT: Less is More: Pay Less Attention in Vision Transformers

AAAI2022-LIT:LessisMore:PayLessAttentioninVisionTransformers论文：https://arxiv.org/abs/2105.14217代码：https://github.com/zip-group/LIT核心内容：这篇文章注意到了分层架构中早期阶段的MSA表现更像卷积，仅仅会关注于很小的局部区域，而更深层的结构对全局的依赖性更强。因此仅仅使用

有为少年·2023-10-11 18:15

【LLM系列之BLOOM】BLOOM: A 176B-Parameter Open-Access Multilingual Language Model

A176B-ParameterOpen-AccessMultilingualLanguageModel》论文链接：https://arxiv.org/abs/2211.05100github链接：https://github.com/huggingface/transformers-bloom-inference

致Great·2023-10-11 01:23

带你轻松入门 Bert

什么是BERTBERT的全称是BidirectionalEncoderRepresentationsfromTransformers，其实BERT的目的就是预训练Transformers模型的Encoder

王大丫丫·2023-10-10 15:52

datawhale课程《transformers入门》笔记2：BERT入门

Bert文章目录Bert1.1BERT简介1.2Bert训练中的关键点1.3为什么要进行预训练？2BERT基础原理2.1MaskedLM(带mask的单词级别语言模型训练)2.1.2为何引入mask机制**2.1.3MaskedLM训练过程2.1.4为什么选[CLS]表示整句话语义？2.2引入NextSentencePrediction(NSP，句子级别的连续性预测任务)2.3模型输入输出3.BE

神洛华·2023-10-10 15:22

Understanding Large Language Models-TianQi Chen

liangdengne_123·2023-10-10 12:47

3D mesh重建003-Texformer：3D Human Texture Estimation from a Single Image with Transformers

3Dmesh重建003-Texformer：3DHumanTextureEstimationfromaSingleImagewithTransformers文章目录0个人理解1论文结构0个人理解作者提出一种使用tansformer注意力的人体mesh的texture处理方法，区别于之前的CNN结构，tansformer的自注意力机制应该能让纹理的学习有一个更全局的视野。作者指出这种方法融合了基

小熊bdg·2023-10-09 11:10

【HuggingFace】Transformers（V4.34.0 稳定）支持的模型

Transformer4.43.40版本是自然语言处理领域的一个重要工具包，为开发者提供了丰富的预训练模型资源，可以用于各种文本处理任务。在这个版本中，Transformer支持了众多模型，每个模型都具有不同的优势和适用领域。下面是一个Transformer4.43.40版本所支持的所有模型的目录，让您能够更好地了解这一工具包的功能和用途。ALBERT（来自Google研究和芝加哥丰田技术研究所）

大表哥汽车人·2023-10-09 01:28

【Transformer 论文精读】……ViT……(TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE)

文章目录一、Abstract（摘要）二、Introduction（引言）三、RelatedWork（相关工作）四、Method（方法）五、Experiments（实验）六、Conclusion（结论）七、小总结论文题目：ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE原文下载连接：https://arxiv.org/pd

深度不学习！！·2023-10-08 22:27

Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet

这篇文章是从改进ViT输入的角度来做的，在最初版本的ViT中，是将图像分成16*16个patch，每个patch展开为一个向量，作为ViT的序列化输入。这种做法虽然简单，但是这种简单粗暴的序列化方式破坏了图像原有的结构性，使得网络无法捕捉图像原有的结构化特征，如边缘、线条等。因此，本文作者提出了一种token2-to-tokens的方式，通过不断对图像进行有overlap的patch展开以及图像恢

nowherespyfly·2023-10-08 19:07

Transformers包中BERT类预训练模型下载链接备份

bin文件文件位置：/transformers/modeling_bert.pyBERT_PRETRAINED_MODEL_ARCHIVE_MAP={"bert-base-uncased":"https

天才小呵呵·2023-10-08 10:00

掌握 BERT：自然语言处理 (NLP) 从初级到高级的综合指南（1）

简介BERT（来自Transformers的双向编码器表示）是Google开发的革命性自然语言处理(NLP)模型。它改变了语言理解任务的格局，使机器能够理解语言的上下文和细微差别。

冷冻工厂·2023-10-08 10:49

运行huggingface Kosmos2报错 nameerror: name ‘kosmos2tokenizer‘ is not defined

patch14-224失败，报错：nameerror:name'kosmos2tokenizer'isnotdefined查看报错代码：vi/root/.cache/huggingface/modules/transformers_modules

duoyasong5907·2023-10-08 05:13

加速attention计算的工业标准：flash attention 1和2算法的原理及实现

transformers目前大火，但是对于长序列来说，计算很慢，而且很耗费显存。

bug404_·2023-10-07 23:47

[论文分享]Skip-Attention: Improving Vision Transformers by Paying Less Attention

Skip-Attention:ImprovingVisionTransformersbyPayingLessAttention这项工作旨在提高视觉transformer（ViT）的效率。虽然ViT在每一层都使用计算昂贵的自我注意操作，但我们发现这些操作在各层之间高度相关——这是导致不必要的计算的关键冗余。基于这一观察结果，我们提出了SKIPAT，一种重用前一层的自我注意力计算来近似一个或多个后续层

或许，这就是梦想吧！·2023-10-07 11:47

（StackOverflow）使用Huggingface Transformers从磁盘加载预训练模型

-apathtoa`directory`containingvocabularyfilesrequiredbythetokenizer,forinstancesavedusingthe:func:`~transformers.PreTrainedTokeni

大表哥汽车人·2023-10-07 05:54

HuggingFace Transformers教程（1）--使用AutoClass加载预训练实例

:*☆【传送门==>原文链接:】https://huggingface.co/docs/transformers/autoclass_tutorial由于存在许多不同的Transformer架构，因此为您的检查点

大表哥汽车人·2023-10-06 23:02

PiT：重新审视Vision Transformers的空间维度

编者注：论文中使用深度卷积来实现多尺度的ViT，并在ImageNet分类上取得比ViT更优的性能（尤其是泛化能力），并得出结论，是这种空间维度逐阶段收缩、通道维度逐阶段增长的设置导致了性能和泛化能力的提升。编者认为值得商榷的是，增加深度卷积同时也给模型增加了归纳偏置（例如局部性和平移不变性），可以作为注意力的很好补充。有没有可能是因为其它原因，例如是深度卷积的归纳偏置（局部性）导致PiT在Imag

Valar_Morghulis·2023-10-06 09:17

TransFusion:Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 论文笔记

原文链接：https://arxiv.org/pdf/2203.11496.pdf1.引言目前的融合方法分为结果级融合、提案级融合以及点级融合。结果级融合在图像上进行2D检测，然后提升到3D空间生成3D提案，再通过PointNet进行边界框估计；提案级融合使用RoI池化操作在共享的提案内融合多模态特征。这些粗粒度的融合方法性能不佳，因为矩形提案内有大量背景噪声。点级融合性能更佳，即通过校准矩阵建立

byzy·2023-10-04 15:03

大规模语言模型--训练成本

目前，基于Transformers架构的大型语言模型(LLM)，如GPT、T5和BERT，已经在各种自然语言处理(NLP)任务中取得了SOTA结果。

hanscalZheng·2023-10-03 23:20

用Python写一个chatgpt

写一个基于Python的ChatGPT模型需要以下步骤：安装相关的库，如Tensorflow、Transformers等。下载预训练的GPT-2模型。

BIG-HO·2023-10-03 19:09

ImportError: cannot import name ‘GenerationConfig‘ from ‘transformers.generation.utils‘

部署Chatglm2的时候报错：ImportError:cannotimportname'GenerationConfig'from'transformers.generation.utils'出错原因是本地的

mldxs·2023-10-03 15:25

CSS 变形(CSS3) transform

变形转换transformtransform变换变形的意思《transformers变形金刚》1、移动translate(x,y)translate移动平移的意思tran

快乐de馒头·2023-10-03 13:03

使用transformers进行端到端的目标检测

目录目标检测的旧方法使用transformers进行端到端的目标检测抛去了目标检测旧的方法网络架构TransformerencoderTransformersandParallelDecoding注意力起到的作用使用

Q渡劫·2023-10-03 05:42

transformers简介

目录1、前言2、网络结构（1）、Transformers的总体架构可以分为四部分（2）、输入文本包含（3）、输出部分包含（4）、编码器部分（5）、解码器部分1、前言处理序列任务的时候，首要的选择就是RNN

Q渡劫·2023-10-03 05:42

位置编码器

unsqueeze扩展维度（2）、使用squeeze降维（3）、显示张量维度（4）、随机失活张量中的数值3、定义位置编码器类，我们同样把它看作是一个层，因此会继承nn.Module1、位置编码器的作用因为在Transformers

Q渡劫·2023-10-03 05:41

阅读笔记-CvT： Introducing Convolutions to Vision Transformers

代码：https://github.com/rishikksh20/convolution-vision-transformers/image.png这篇文章的目的是在ViT框架中融入CNN的特性，从而引入局部特征

熙熙江湖·2023-10-01 13:06

【通意千问】大模型GitHub开源工程学习笔记（2）--使用Qwen进行推理的示例代码解析，及transformers的库使用

使用Transformers来使用模型如希望使用Qwen-chat进行推理，所需要写的只是如下所示的数行代码。

大表哥汽车人·2023-10-01 12:04

Transformers预训练模型使用：翻译 Translation

翻译是将一个语言的文本转化为另一个语言文本的任务。翻译任务的一个比较经典的数据集是WMTEnglishtoGermandataset，将英语作为输入，对应德语作为输出（自己用的时候也可以反过来）。使用pipeline可以使用如下代码快速实现：fromtransformersimportpipelinetranslator=pipeline("translation_en_to_de")print(

HMTT·2023-10-01 03:46

【深度学习】Hugging Face Transformers：预训练语言模型与迁移学习

我们将通过示例来说明如何使用Transformers库进行文本分类、生成等任务，以及如何用自己的数据微调预训练模型。

PyTechShare·2023-10-01 03:15

Coovally模型探索：高效下载并使用Hugging Face Transformers预训练模型

Transformers库易于使用，可方便地集成到现有的深度学习框架，如PyTorch和TensorFlow，让研究人员和开发者更容易下载和应用NLP预训练模型，如BERT、GPT-2、XLNet等，降低使用门槛

Coovally AI模型快速验证·2023-10-01 03:14

FlashAttention2原理解析以及面向AIGC的加速实践

本文将具体讲述FlashAttention-2的前世今生，包括FlashAttention1&2的原理解析、加速效果比较以及面向AIGC的加速实践，在这里将相关内容与大家分享～引言将Transformers

阿里巴巴淘系技术团队官网博客·2023-09-30 09:19

目标检测算法改进系列之Backbone替换为EfficientFormerV2

EfficientFormerV2随着视觉Transformers（ViTs）在计算机视觉任务中的成功，最近的技术试图优化ViT的性能和复杂性，以实现在移动设备上的高效部署。

我悟了-·2023-09-28 19:30

运行pytorch时出现version `CXXABI_1.3.9‘ not found

发现问题：运行bert预测代码时出现如下错误/envs/py38/lib/python3.8/site-packages/transformers/utils/import_utils.py",line1184

try2find·2023-09-28 08:53

Transformers预测未来：关注下一帧和时间序列预测

Transformers预测未来：关注下一帧和时间序列预测关注人工智能学术前沿回复：ts355秒免费获取论文pdf文档，及项目源码摘要直到最近，递归神经网络还是捕获时序相关性的最佳方法之一。

人工智能学术前沿（真)·2023-09-27 22:53

HuggingFace Transformer

为了易用性，HuggingFace还为用户提供了以下几个项目：Transformers(github,官方文档):Transformers提供了上千个预训练好的模型可以用于不同的任务，例如文本领域、音频领域和

Yuezero_·2023-09-27 14:51

Transformers.js v2.6 现已发布

新增了14种架构在这次发布中，我们添加了大量的新架构：BLOOM、MPT、BeiT、CamemBERT、CodeLlama、GPTNeoX、GPT-J、HerBERT、mBART、mBART-50、OPT、ResNet、WavLM和XLM。这将支持架构的总数提升到了46个！以下是一些示例代码以帮助你入门：文本生成（MPT模型）：import { pipeline } from '@xenova/t

Hugging Face·2023-09-27 14:40

推荐频道

transformers