Transformers:

手把手教你在AutoDL上部署Qwen-7B-hat Transformers 部署调用

手把手带你在AutoDL上部署Qwen-7B-hatTransformers调用项目地址：https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程，可以来仓库提交issue哦~也可以自己提交PR！如果觉得仓库不错的话欢迎star！！！InternLM-Chat-7BTransformers部署调用环境准备在autoal平台中租一个3
Unicornlyy·2023-11-29 23:10

Huggingface 超详细介绍

Huggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来
WitsMakeMen·2023-11-29 11:20

Cross-View Transformers for Real-Time Map-View Semantic Segmentation 论文阅读

论文链接Cross-ViewTransformersforReal-TimeMap-ViewSemanticSegmentation0.Abstract提出了Cross-ViewTransformers，一种基于注意力的高效模型，用于来自多个摄像机的地图视图语义分割使用相机感知的跨视图注意机制隐式学习从单个相机视图到规范地图视图表示的映射该架构由每个视图的卷积图像编码器和跨视图变换层组成，以推断地
KrMzyc·2023-11-29 07:55

HuggingFace模型训练以及推理相关

所有问答任务相关【transformers】tokenizer用法（encode、encode_plus、batch_encode_plus等等）_hj_caas的博客-CSDN博客transformers
handsome_new·2023-11-29 01:32

生成式深度学习(第二版)-译文-第九章-Transformers (II)

……接上篇博文(第九章-Transformers(I))TransformerBlock一个TransformerBlock是指Transformer中应用了一些跳跃连接，前向(全连)层，以及围绕多头注意力层归一化的单个
Garry1248·2023-11-28 15:27

生成式深度学习(第二版)-译文-第九章-Transformers (I)

章节目标:了解GPT的起源，一种用于文本生成的强大解码器Transformer。从概念上了解注意力机制是如何模拟人类的注意力:对句子中某些词比其他关注更多。从第一性原理出发深入了解注意力机制是如何工作的，包括queries，keys以及values是如何创建和操作的。知道因果掩膜在文本生成任务上的重要性。理解注意力头(attentionheads)如何聚集到多头注意力层(multiheadatte
Garry1248·2023-11-28 15:56

中美合拍，把我笑到头掉

英文名，《NEZHA:TRANSFORMERS》。活久见。曾经，我们还以为它只是古老的传言。没想到它说到做到。今天午饭时间，Sir没把持住自己的好奇心，点开。看完了。来。
Sir电影·2023-11-28 14:15

Transformers库pipeline API的使用

使用pipelineAPI来快速使用一些预训练模型使用预训练模型最简单的方法就是使用pipeline()，transformers提供了一些任务：1、情感分类（SentmentClassification
Serendipity-垚·2023-11-27 22:48

transformers -- pipeline

参考：[NLP]transformers使用指南_文森特没有眼泪的博客-CSDN博客_transformers使用做记录方便自己看，希望大家去看原作者的，更简单易懂！！！
无脑敲代码，bug漫天飞·2023-11-27 22:44

transformers pipeline出现ConnectionResetError的解决方案

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。  本文主要介绍了transformerspipeli
爱编程的喵喵·2023-11-27 22:40

【nlp】4.4 Transformer库的使用（管道模式pipline、自动模式auto，具体模型BertModel）

Transformer库的使用1了解Transformers库2Transformers库三层应用结构3管道方式完成多种NLP任务3.1文本分类任务3.2特征提取任务3.3完型填空任务3.4阅读理解任务
lys_828·2023-11-27 14:43

TinyViT: Fast Pretraining Distillation for Small Vision Transformers

PaperLink:https://arxiv.org/pdf/2207.10666.pdfcode:https://github.com/microsoft/Cream/tree/main/TinyViT概要1.基于IN-21K预训练TinyVit时使用快速蒸馏的方法，然后在IN-1K上微调，间接提高小模型对大数据的拟合能力；2.不同于传统vit-block的设计，提出分层vit-block模块
Dolly_DL·2023-11-27 13:03

Transformer论文阅读（三）：UNETR: Transformers for 3D Medical Image Segmentation

UNETR:Transformersfor3DMedicalImageSegmentation【Transformer用于3D医学图像分割】Abstract1Introduction2RelatedWork3Methodology3.1Architecture3.2LossFunction4Experiements4.1Datasets4.2ImplementationDetails4.3Quan
几夏经秋·2023-11-26 18:00

IVP 2021 UNETR: Transformers for 3D Medical Image Segmentation

动机具有跟踪和扩展路径的全卷积神经网络（FCNNs）（如编码器和解码器），近年来在各种医学图像分割应用中显示出了突出的地位。在这些体系结构中，编码器通过学习全局上下文表示来扮演一个不可或缺的角色，该全局上下文表示将进一步用于解码器的语义输出预测。卷积层作为FCNN的主要构造块，其局部性限制了此类网络学习长时空间依赖的能力。在NLP领域，基于transformer的模型已经在各种任务中实现了最先进的
smile909·2023-11-26 18:00

UP-DETR: Unsupervised Pre-training for Object Detection with Transformers

目录UP-DETR:UnsupervisedPre-trainingforObjectDetectionwithTransformers论文简介论文主要贡献：实现方法：Single-QueryPatchMulti-QueryPatches实验结果：目标检测PanopticSegmentation（全景分割任务）消融实验编辑UP-DETR:UnsupervisedPre-trainingforObj
梦想的小鱼·2023-11-26 07:32

transformers中的data_collator

前言使用huggingface的Dataset加载数据集，然后使用过tokenizer对文本数据进行编码，但是此时的特征数据还不是tensor，需要转换为深度学习框架所需的tensor类型。data_collator的作用就是将features特征数据转换为tensor类型的dataset。本文记录huggingfacetransformers中两种比较常用的data_collator，一种是de
凯子要面包·2023-11-25 04:31

深度学习之九（Transformers）

Transformers是一种用于处理序列数据的深度学习模型，特别擅长于自然语言处理（NLP）任务。
贾斯汀玛尔斯·2023-11-24 18:34

【RNN+加密流量A】ET-BERT: A Contextualized Datagram Representation with Pre-training Transformers for...

文章目录论文简介摘要存在的问题论文贡献1.ET-BERT2.实验总结论文内容数据集可读的引用文献参考连接论文简介原文题目：ET-BERT:AContextualizedDatagramRepresentationwithPre-trainingTransformersforEncryptedTrafficClassification中文题目：ET-BERT：一种基于预训练转换器的数据报上下文化表示
过动猿·2023-11-23 18:49

NLP学习

从最开始的词袋模型，到RNN，到Transformers和BERT，再到ChatGPT，NLP经历了一段不断精进的发展道路。数据驱动和不断完善的端到端的模型架构是两大发展趋势。
wangqiaowq·2023-11-23 12:28

【论文精读】Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

【论文精读】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting文章目录【论文精读】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting博主前引前置知识：变量类别1.静态变量：2.动态变量：单步预测与
程序媛小哨·2023-11-22 19:54

[读论文]DiT Scalable Diffusion Models with Transformers

论文翻译ScalableDiffusionModelswithTransformers-CSDN博客论文地址：https://arxiv.org/pdf/2212.09748.pdf项目地址：GitHub-facebookresearch/DiT:OfficialPyTorchImplementationof"ScalableDiffusionModelswithTransformers"论文主页
计算机视觉-Archer·2023-11-22 17:08

Transformers库总体介绍

Transformers库是什么Transformers库是一个在自然语言处理（NLP）领域广泛使用的强大库，提供了一套全面的工具和预训练模型，用于执行各种NLP任务。
taoli-qiao·2023-11-22 10:21

Patcher: Patch Transformers with Mixture of Experts for Precise Medical Image Segmentation

ContextualTransformerNetworksforVisualRecognition1.摘要2.目的3.网络设计3.1OverallArchitecture3.2PatcherBlock3.3PatcherEncoder3.4MixtureofExpertsDecoder代码地址1.摘要Wepresentanewencoder-decoderVisionTransformerarch
库博酱·2023-11-22 09:55

抱抱脸（hugging face）教程-中文翻译-使用 Tokenizers 的 tokenizers

从Tokenizers库获得的tokenizers可以非常简单地加载到Transformers。
wwlsm_zql·2023-11-21 23:59

手把手带你在AutoDL上部署InternLM-Chat-7B Transformers

手把手带你在AutoDL上部署InternLM-Chat-7BTransformers调用项目地址：https://github.com/KMnO4-zx/self_llm.git如果大家有其他模型想要部署教程，可以来仓库提交issue哦~也可以自己提交PR！InternLM-Chat-7BTransformers部署调用环境准备在autoal平台中租一个3090等24G显存的显卡机器，如下图所示
Unicornlyy·2023-11-21 21:08

一种基于Transformers架构的线描述子

标题：LineasaVisualSentence:Context-awareLineDescriptorforVisualLocalization作者：SunghoYoon1andAyoungKim2∗开源地址:https://github.com/yosungho/LineTR本文主要记录的是LT描述子的构建过程LT描述子的优点：通过将线段视为句子，将点视为单词，提出了一种使用transform
qiuqiang1168·2023-11-20 23:10

【论文复现】QAFactEval: 《QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization》

NAACL2022）代码https://github.com/salesforce/QAFactEval本人的服务器：学校实验室服务器，不支持正常访问huggingface因为本论文的时间是2021年，当时使用的transformers
一饭名厨姚鲲鲲·2023-11-20 08:31

深入探究CNN和Transformer，哪种预训练模型的可迁移性更好？

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达深入探究ConvNetsvs.Transformers，哪种预训练模型的可迁移性更好？
Amusi（CVer）·2023-11-19 20:28

复旦大学邱锡鹏组最新综述：A Survey of Transformers！

作者|Tnil@知乎编辑|NewBeeNLP转眼Transformer模型被提出了4年了。依靠弱归纳偏置、易于并行的结构，Transformer已经成为了NLP领域的宠儿，并且最近在CV等领域的潜能也在逐渐被挖掘。尽管Transformer已经被证明有很好的通用性，但它也存在一些明显的问题，例如：核心模块自注意力对输入序列长度有平方级别的复杂度，这使得Transformer对长序列应用不友好。例如
人工智能与算法学习·2023-11-19 19:45

【RL+Transformer综述】A Survey on Transformers in Reinforcement Learning论文笔记

文章题目：ASurveyonTransformersinReinforcementLearning论文地址：论文地址来源：arxiv完成单位：清华大学、北京大学、BAAI、腾讯IntroductionTransformer结构能够建模长期的依赖关系，并且具有良好的伸缩性（可处理不同长度的序列数据）最初将Transformer运用到强化学习，是通过将自注意力应用到表征学习，来提取实体间的关系，从而更
Henry_Zhao10·2023-11-19 19:56

特征缩放和转换以及自定义Transformers（Machine Learning 研习之九）

特征缩放和转换您需要应用于数据的最重要的转换之一是功能扩展。除了少数例外，机器学习算法在输入数值属性具有非常不同的尺度时表现不佳。住房数据就是这种情况:房间总数约为6至39320间，而收入中位数仅为0至15间。如果没有任何缩放，大多数模型将倾向于忽略收入中位数，而更多地关注房间数。有两种常见的方法使所有属性具有相同的尺度:最小-最大尺度和标准化。与所有估计器一样，重要的是仅将标量拟合到训练数据:永
甄齐才·2023-11-19 09:50

Zero-Shot Text-to-Image Generation阅读笔记

Zero-ShotText-to-ImageGeneration方法目标：训练一个Transformers将文本和图像标记作为单个数据流进行自回归建模以往的解决办法：可能性目标倾向于优先考虑像素之间的短程依赖关系建模
小杨小杨1·2023-11-17 00:42

用Transformer端到端车道形状预测Lane Shape Prediction with Transformers

摘要主流做法（特征提取和后处理）比较有用，但无法学习车道线的细长结构，学习过程有瑕疵。本文提出的端到段方法可以直接输出车道线的形状参数，transformer可以学习全局信息和车道线独有的结构。引言提出了个数据集ForwardViewLane(FVL)。相关工作和PolyLaneNet类似的思路，在这项工作中，我们的方法也期望参数输出，但不同之处在于这些参数来自车道形状模型，该模型对道路结构和相机
Wincher_Fan·2023-11-16 11:39

利用 OpenVINO™ 部署 HuggingFace 预训练模型的方法与技巧

通过HuggingFace开源的Transformers,Diffusers库，只需要要调用少量接口函数，入门开发者也可以
英特尔开发人员专区·2023-11-15 22:36

全面了解大语言模型，这有一份阅读清单

鉴于Transformers对每个人的研究进程都有如此大的影响，本文将为大家介绍一个简短的阅读清单，供机器学习研究
zenRRan·2023-11-14 05:25

大模型是基于Transformer的基础架构，那Transformer的编码和解码，不是大模型必须具备的吗？为什么说bert是用的编码器，chatgpt用的解码器？

Transformers的基本架构包括编码器（Encoder）和解码器（Decoder），这两个组件通常在序列到序列（Seq2Seq）任务中一起使用，如机器翻译。
chunmiao3032·2023-11-13 03:18

ERROR: Could not build wheels for sentence_transformers, which is required to install pyproject.toml

ERROR:Couldnotbuildwheelsforsentence_transformers,whichisrequiredtoinstallpyproject.toml-basedprojects
杨杨杨Garrick·2023-11-12 20:13

【实验】SegViT: Semantic Segmentation with Plain Vision Transformers

想要借鉴SegViT官方模型源码部署到本地自己代码文件中1.环境配置官网要求安装mmcv-full=1.4.4和mmsegmentation=0.24.0在这之前记得把mmcv和mmsegmentation原来版本卸载pipuninstallmmcvpipuninstallmmcv-fullpipuninstallmmsegmentation安装mmcv其中，mmcv包含两个版本：一个是完整版mm
cccc楚染rrrr·2023-11-12 16:22

ViT：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 论文阅读

论文链接ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE0.AbstractTransformer在计算机视觉中的应用有限在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持它们的整体结构本文证明了这种对CNN的依赖是不必要的，并且直接应用于图像块序列的纯转换器可以在图像分类任务上表现得很好1
KrMzyc·2023-11-12 13:59

GPT2Config

作用：这是用于存储transformers.GPT2Model或transformers.TFGPT2Model的配置的配置类。它用于根据指定的参数实例化GPT-2模型，定义模型架构。
hibernate2333·2023-11-12 07:35

到底什么是几何深度学习？Twitter 首席科学家Bronstein深度解读

MrBear编辑|青暮前不久，帝国理工学院教授、Twitter首席科学家MichaelBronstein发表了一篇长达160页的论文，试图从对称性和不变性的视角从几何上统一CNNs、GNNs、LSTMs、Transformers
喜欢打酱油的老鸟·2023-11-12 06:27

transformers模型加载与seed随机状态

Transformers的模型加载会改变seed的随机状态这里使用了一个自己写的库进行测试：py-seeds（直接pip就可以安装，目前是0.0.2版本）importpy_seedsfromtransformersimportAutoModeldefstate_str
ziuno·2023-11-12 04:28

Transformers的RoBERTa model怎么使用word level的tokenizer

2022年8月25日更新：昨天改了tokenizer之后以为好了，结果发现还是有问题。具体来说，用后面方法训练的tokenizer，并不能被正确加载为RobertaTokenizerFast，会导致只对输入序列中的逗号进行编码。解决方法是：用类似于tokenizer.save(model_dir+'/wordlevel.json')这种形式将tokenizer保存成一个json文件，然后用Robe
蛐蛐蛐·2023-11-12 04:25

训练Bert、Robert、ALBert等的巨大坑

如下，我们在使用transformers包的get_linear_schedule_with_warmup()这个学习率预热API时，num_warmup_steps这个参数一定要设置为0，一定要设置为
SCU-JJkinging·2023-11-12 04:24

BERT等语言模型的BertForMaskedLM避的坑

在用transformers中的BertForMaskedLM来预测被mask掉的单词时一定要加特殊字符[CLS]和[SEP][CLS]和[SEP][CLS]和[SEP]。不然效果很差很差！！！
风吹草地现牛羊的马·2023-11-12 04:23

transformers安装避坑

这个我也不知道，你下了就对了，不然后面的transformers无法安装因为是windows到官网选择推荐的下载方式https://www.rust-lang.org/tools/install。
柴神·2023-11-12 04:51

《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》阅读笔记

论文标题《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》谷歌论文起名越来越写意了，“一幅图像值16X16个单词”是什么玩意儿。ATSCALE：说明适合大规模的图片识别，也许小规模的不好使作者来自GoogleResearch的Brain团队，经典的同等贡献。初读摘要Transformer体系结构现状：在NLP领域，Tr
AncilunKiang·2023-11-12 02:37

基于HF transformers的AI建模和训练实战

我们经常使用scikit-learn对监督学习和无监督学习任务的数据进行建模。我们熟悉面向对象的设计，例如启动类并从类中调用子函数。然而，当我个人使用PyTorch时，我发现与scikit-learn类似但又不一样的设计模式。在线工具推荐：Three.jsAI纹理开发包-YOLO合成数据生成器-GLTF/GLB在线编辑-3D模型格式在线转换-可编程3D场景编辑器1、PyTorch和transfor
新缸中之脑·2023-11-12 00:22

ChatGLM-中英对话大模型-6B试用说明

==1.4.3-fhttps://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.htmlpipinstallprotobuf==3.20.0transformers
lanmengyiyu·2023-11-10 16:15

hugging face transformers模型文件 config文件

模型的组成一般transformer模型有三个部分组成：1.tokennizer，2.Model，3.Postprocessing。如下图所示，图中第二层和第三层是每个部件的输入/输出以及具体的案例。我们可以看到三个部分的具体作用：Tokenizer就是把输入的文本做切分，然后变成向量，Model负责根据输入的变量提取语义信息，输出logits；最后PostProcessing根据模型输出的语义信
MyLuckyLife·2023-11-10 13:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他