TRANSFORMERS 第11页

DETR：End to End Object Detection with Transformers

山上的小酒馆·2023-08-07 18:33

DETR:End-to-End Object Detection with Transformers

论文地址：https://arxiv.org/abs/2005.12872代码地址：https://github.com/facebookresearch/detr在看完Transformer之后，将会开始看视觉类的Transformer应用。本篇论文出自ECCV20，是关于目标检测的论文。DETR，即DetectionTransformer的缩写，还记得在Transformer中，作者曾提到过该

NewSuNess·2023-08-07 18:33

DETR : End-to-End Object Detection with Transformers

Paper:https://arxiv.org/abs/2005.12872Code:https://github.com/facebookresearch/detr预备知识Transformer，二分图匹配（匈牙利算法），GIoU损失整体思路通过CNN提取目标特征(C×H×WC×H×WC×H×W)，使用1x1卷积降维d×H×Wd×H×Wd×H×W，随后把特征转换为序列(d×HWd×HWd×HW)

CharlesWu123·2023-08-07 18:32

【Transformer】2、DETR: End-to-End Object Detection with Transformers

文章目录一、背景和动机二、方法2.1DETR结构2.2目标检测集合的loss三、效果四、全景分割五、代码论文链接：https://arxiv.org/abs/2005.12872代码链接：https://github.com/facebookresearch/detr一、背景和动机目标检测任务是对图片中的每个感兴趣的目标预测位置和类别，现在流行的CNN方法的目标检测器大都使用的非直接手段进行预测，

呆呆的猫·2023-08-07 18:31

图像检测 - DETR: End-to-End Object Detection with Transformers (arXiv 2020)

图像检测-DETR:End-to-EndObjectDetectionwithTransformers-端到端目标检测的Transformers（arXiv2020）摘要1.引言2.相关工作2.1集预测

77wpa·2023-08-07 18:31

Llama 2 with langchain项目详解（三）

首先，使用Python的pip管理器安装一系列库，包括huggingface/transformers、datasets、loralib、sentencepi

段智华·2023-08-07 07:54

【AI实战】ChatGLM2-6B 微调：AttributeError: ‘ChatGLMModel‘ object has no attribute ‘prefix_encoder‘

微调：AttributeError:'ChatGLMModel'objecthasnoattribute'prefix_encoder'ChatGLM2-6B介绍ChatGLM2微调问题解决方法1.安装transformers

szZack·2023-08-06 22:45

【大模型】开源且可商用的大模型通义千问-7B（Qwen-7B）来了

大模型】开源且可商用的大模型通义千问-7B（Qwen-7B）来了新闻通义千问-7B介绍评测表现快速使用环境要求安装相关的依赖库推荐安装flash-attention来提高你的运行效率以及降低显存占用使用Transformers

szZack·2023-08-06 22:44

导出LLaMA等LLM模型为onnx

这篇博客（大模型LLaMa及周边项目（二）-知乎）进行了llama导出onnx的开创性的工作，但是依赖于侵入式修改transformers库，比较不方便。

Luchang-Li·2023-08-06 09:06

【Paper Reading】ViT：An Image is worth 16X16 Words：Transformers for Image Recognition at Scale

背景Transformer已经在NLP领域取得了许多的进展，并且拥有较好的可解释性，本文的主要工作是将Transformer迁移到图片分类的任务中。作者在大规模数据集上取得了较好的效果，在中等规模的数据集上取得比CNN差一点的结果。作者了也做了分析，原有的CNN很适合处理图像，主要有两个优势：局部性：空间上相近的相似点，他们的特征也是相似的。空间不变性（平移不变性）：CNNkernel在计算的过程

UpCoderXH·2023-08-06 09:20

【Paper Reading】DETR：End-to-End Object Detection with Transformers

背景Transformer已经在NLP领域大展拳脚，逐步替代了LSTM/GRU等相关的RecurrentNeuralNetworks，相比于传统的RNN，Transformer主要具有以下几点优势可解决长时序依赖问题，因为Transformer在计算attention的时候是在全局维度进行展开计算的，所以不存在长时序中的梯度消失等问题。Transformer的encoder和decoder在某些场

UpCoderXH·2023-08-06 09:19

以Llama-2为例，在生成模型中使用自定义StoppingCriteria

以Llama-2为例，在生成模型中使用自定义StoppingCriteria1.前言2.场景介绍3.解决方法4.结语1.前言在之前的文章中，介绍了使用transformers模块创建的模型，其generate

常鸿宇·2023-08-05 12:11

Spring JPA实现动态SQL查询，并无实体映射，返回map

Queryquery=entityManager.createNativeQuery(sql);query.unwrap(NativeQueryImpl.class).setResultTransformer(Transformers.ALIAS_TO_ENTITY_MAP

李楷杰·2023-08-04 14:25

Multimodal Learning with Transformer: A Survey

Transformer多模态学习Abstract1INTRODUCTION2BACKGROUND2.1MultimodalLearning(MML)2.2Transformers:aBriefHistoryandMilestones2.3MultimodalBigData3TRANSFORMERS

黑洞是不黑·2023-08-04 09:51

sentence_transformers 教程

文档：Search—Sentence-Transformersdocumentation用途：该模主要用来做句子嵌入，下游常用来做语意匹配losses.CosineSimilarityLoss计算出样本的余弦相似度，和label做MSE损失fromsentence_transformersimportSentenceTransformer,InputExample,lossesfromtorch.

泯灭XzWz·2023-08-03 18:00

以beam search为例，详解transformers中generate方法（下）

以beamsearch为例，详解transformers中generate方法（下）1.beamsearch原理回顾2.代码流程概览3.BeamSearchScorer4.BeamHypotheses5

常鸿宇·2023-08-03 06:59

以beam search为例，详解transformers中generate方法（上）

以beamsearch为例，详解transformers中generate方法（上）1.generate的代码位置2.GenerationMixin概览3.generate签名4.generate过程4.1

常鸿宇·2023-08-02 05:40

阅读笔记-Deformable DETR: Deformable transformers for end-to-end object detection

作者团队：商汤，中科大，港中文来源：arXiv:2010.04159v2代码：https://github.com/fundamentalvision/Deformable-DETRtitle摘要这篇文章主要针对的是DETR收敛速度较慢以及空间分辨率因计算资源受限问题，提出使用deformablecnn的方式以临近区域采样计算attention取代transformer中全局的self-atten

熙熙江湖·2023-08-01 03:10

sklearn 转换器和预估器

一、sklearn转换器和预估器转换器（Transformers）：定义：转换器是一种可以对数据进行某种转换的对象。例如，标准化、归一化、PCA等都是转换器的例子。

记录菌·2023-07-31 13:10

TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE—Vision Transformer（ViT）论文详解

文章目录论文题目：ANIMAGEISWORTH16X16WORDS：TRANSFORMERSFORIMAGERECOGNITIONATSCALE（一张图像值16x16个单词：用于大规模图像识别的Transformer）研究背景问题引入论文分析网络模型1、VISIONTRANSFORMER(VIT)2、FINE-TUNINGANDHIGHERRESOLUTION（微调和更高的分辨率）各个部件详解1、

JJxiao24·2023-07-30 07:20

初步了解预训练语言模型BERT

而了解BERT需要先了解注意力机制与Transformers。注意力机制注意力机制（AttentionMechanism）是一种在机器学习和自然语言处理中广泛使用的技术，它可以帮助模型在处理输入数据时

搜狐技术产品小编2023·2023-07-29 16:20

Transformers从零到精通教程——Pipeline

一、Pipeline1.查看支持的任务类型fromtransformers.pipelinesimportSUPPORTED_TASKS,get_supported_tasksprint(SUPPORTED_TASKS.items(),get_supported_tasks())2.Pipeline的创建与使用方式1.根据任务类型直接创建Pipeline,默认都是英文的模型fromtransfor

aJupyter·2023-07-29 15:51

【NLP经典论文精读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding前言Abstract1.Introduction2.RelatedWork2.1UnsupervisedFeature-basedApproaches2.2UnsupervisedFine-tuningApproaches2.3TransferLearni

HERODING77·2023-07-29 14:33

配置BERT运行环境

自然语言处理库Transformers包含了BERT、GPT、GPT-2、Transformer-XL、XLNet、XLM等模型的实现，近两年Pytorch生态日趋成熟。

xieyan0811·2023-07-29 12:04

Tokenize/Wordcut方法汇总

关键词：BPE,WordPiece,Unigram,SentencePiecehttps://arxiv.org/pdf/2004.03720.pdfhttps://huggingface.co/transformers

第一个读书笔记·2023-07-29 04:48

Transformers GitHub项目星标突破10万！新里程碑！

恰在今天，Transformers库在GitHub上星标破10万大关！2017年，谷歌团队在论文「AttentionIsAl

Amusi（CVer）·2023-07-29 01:38

[NLP]Huggingface模型/数据文件下载方法

问题描述作为一名自然语言处理算法人员，huggingface开源的transformers包在日常的使用十分频繁。在使用过程中，每次使用新模型的时候都需要进行下载。

奇思闻影的舒克与贝克·2023-07-28 22:35

An image is worth 16 x 16 words: transformers for image recognition at a scale

（可能）是第一次大规模的采用纯transformer做cv任务的文章，验证了transformer在cv领域的有效性，大大的挖坑之作。ViT的网络结构其实很简单，就是一个普通的transformer结构，只不过把图像分成了16x16个patch，加上位置编码作为序列化数据输入transformer中。但是技术细节比较多，实验也做的非常充分，是一篇需要仔细阅读细节部分的文章。实验结果其实很有意思，V

nowherespyfly·2023-07-28 00:35

BERT模型和Big Bird模型对比

BERT模型简介BERT模型是基于Transformers的双向编码器表示（BERT），在所有层中调整左右情境（学习上下层语义信息）。

夏子期lal·2023-07-27 23:36

Q-YOLO：用于实时目标检测的高效推理

点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID｜计算机视觉研究院学习群｜扫码在主页获取加入方式计算机视觉研究院专栏ColumnofComputerVisionInstitute与近年来大规模视觉transformers

计算机视觉研究院·2023-07-27 12:11

OpenAI 的嵌入 API太慢了吗？探索其他嵌入模型和服务的优势

文章比较了两种嵌入API服务（OpenAI和Google）和几种开源嵌入模型（sentence-transformers）在嵌入速度和准确度方面的表现，发现OpenAI的嵌入API服务的延迟明显高于Google

CSDN资讯·2023-07-27 09:26

论文笔记|CVPR2023:Supervised Masked Knowledge Distillation for Few-Shot Transformers

这篇论文的题目是用于小样本Transformers的监督遮掩知识蒸馏论文接收：CVPR2023论文地址：https://arxiv.org/pdf/2303.15466.pdf代码链接：https://

李问号·2023-07-27 07:50

huggingface NLP工具包教程1：Transformers模型

huggingfaceNLP工具包教程1：Transformers模型原文：TRANSFORMERMODELS本课程会通过HuggingFace生态系统中的一些工具包，包括Transformers，Datasets

Adenialzz·2023-07-26 17:28

关于mask的一些操作

关于mask的一些操作本文库环境：pytorch1.6.0transformers库博主是一个刚刚开始做科研的科研菜鸡，在我目前的印象里，把mask用火的就是Bert了，现在的NLPtask也多基于Bert

icebird_craft·2023-07-26 17:56

16K个大语言模型的进化树；81个在线可玩的AI游戏；AI提示工程的终极指南；音频Transformers课程 | ShowMeAI日报

日报&周刊合集|生产力工具与行业应用大全|点赞关注评论拜托啦！LLM进化树升级版！清晰展示15821个大语言模型的关系这张进化图来自于论文「OntheOriginofLLMs:AnEvolutionaryTreeandGraphfor15,821LargeLanguageModels」，构建了一个包含15821个大型语言模型的进化树和关系图，以便探索不同的大模型之间的关系⋙论文AI绘图又又又露馅了

ShowMeAI·2023-07-26 04:09

Transformer越新里程碑！破10万！

目前，Transformers库在GitHub上星标破10万大关！HuggingF

深度学习技术前沿·2023-07-25 20:41

Auto-GPT之后，Transformers越新里程碑

【导读】问世6年来，Transformer不仅成为NLP领域的主流模型，甚至成功向其他领域跨界，一度成为风靡AI界的机器学习架构。恰在今天，Transformer在GitHub上星标破10万大关！2017年，谷歌团队在论文「AttentionIsAllYouNeed」提出了开创性的NLP架构Transformer，自此一路开挂。多年来，这一架构风靡微软、谷歌、Meta等大型科技公司。就连横扫世界的

IT界那些事儿·2023-07-25 20:10

使用 Transformers 量化 Meta AI LLaMA2 中文版大模型

本篇文章聊聊如何使用HuggingFace的Transformers来量化MetaAI出品的LLaMA2大模型，让模型能够只使用5GB左右显存就能够运行。

soulteary·2023-07-25 08:59

pytorch如何混合进度训练transformer【各种不同方式】

Trainer，notrainer，accelerator用huggingface的TrainerHuggingFace的Transformers库为我们提供了大量预训练的Transformer模型，以及一个易于使用的训练和微调工具

Hi_AI·2023-07-24 22:19

在自定义数据集上微调Alpaca和LLaMA

本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA，我们将介绍在特定数据集上对AlpacaLoRa进行微调的整个过程，本文将涵盖数据处理、模型训练和使用流行的自然语言处理库(如Transformers

deephub·2023-07-24 18:04

加载预训练模型（autoModel）

严格意义上讲transformers并不是PyTorch的一部分，然而transformers与PyTorch或TensorFlow结合的太紧密了，而且可以把transformers看成是PyTorch

霄耀在努力·2023-07-23 15:06

成功解决Transformers=4.3.3的管道方式实现模型调用时，AutoConfig不能识别的错误

项目场景：本人在使用transfromers的管道方式实现情感分类时，调用自己本地预训练模型出现的bug问题描述报错如下：D:\python36\lib\site-packages\OpenSSL\crypto.py:8:CryptographyDeprecationWarning:Python3.6isnolongersupportedbythePythoncoreteam.Therefore,

晨风入晚林·2023-07-23 14:19

安装了transformers但是报错No module

想在pytorch中安装transformers库刚开始就直接打开anaconda3，输入pipinstalltransformers==4.15.0-ihttps://pypi.tuna.tsinghua.edu.cn

cgtutvknkvdrh·2023-07-22 05:35

ModuleNotFoundError: No module named ‘sentence_transformers‘

场景使用PyG导入MovieLens数据集：dataset=MovieLens(root='data/MovieLens',model_name='all-MiniLM-L6-v2')print(dataset)报错信息F:\Anaconda3\python.exe""Downloadinghttps://files.grouplens.org/datasets/movielens/ml-late

Cyril_KI·2023-07-22 05:05

明明已经安装了transformers，却仍然报错“ImportError: No module named ‘transformers‘“

文章目录一、问题复现：二、原因分析：三、解决办法：一、问题复现：虽然已经通过pipinstalltransformers安装了transformers，但是仍然报错"ImportError:Nomodulenamed

hit56机器人·2023-07-22 05:35

[transformers]在trainer中使用torch.profiler.profile

今天需要在transformers的trainer的API中使用profile，然后分析模型的性能，但是trainer的封装度比较高，不太好修改，其实可以使用callback的方式完成profile的性能监控

农民小飞侠·2023-07-21 04:46

Transformers安装的坑

今天装了一天的transformers！！

冰冻小朋友·2023-07-20 17:42

【ERROR】Could not build wheels for tokenizers, which is required to install pyproject.toml-based proj

配置环境Platform:MACOSm1/VirtualEnvPythonversion:python3.6Tensorflowversion:2.6.2Torchversion:1.2.0安装transformers

柳叶lhy·2023-07-20 17:09

python-在transformers的问答模型中使用中文

先安装transformers在huggingface下载模型模型bert-multi-cased-finetuned-xquadv1可以从huggingface中下载，具体操作方法可以参照文章https

liwulin0506·2023-07-20 16:48

Hugging News #0717: 开源大模型榜单更新、音频 Transformers 课程完成发布！

每一周，我们的同事都会向社区的成员们发布一些关于HuggingFace相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「HuggingNews」。本期HuggingNews有哪些有趣的消息，快来看看吧！重磅更新HuggingFace开源大模型排行榜发现异常：让我们来调查一下！OpenLLM排行榜是HuggingFace设立的一个用于评测开放大语

Hugging Face·2023-07-20 04:44

推荐频道

TRANSFORMERS