Transformer论文学习

第22期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-11-03 00:26

超越CNN的ViT模型及其应用前景

©作者|苏菲Transformer模型在NLP领域获得了巨大的成功，以此为内核的超大规模预训练模型BERT、GPT-3在NLP各个任务中都大放异彩，令人瞩目。
CV案例精选·2023-11-02 23:58

【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

【论文阅读】BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding前言BERT是Google于2018年提出的NLP
EmoryHuang·2023-11-02 22:58

NLP之Bert实现文本分类

总结：1.代码展示fromtqdmimporttqdm#可以在循环中添加进度条x=[1,2,3]#listprint(x[:10]+[0]*-7)fromtransformers
赵孝正·2023-11-02 21:07

ChatGPT-自然语言处理模型

前言GPT（GenerativePre-trainedTransformer）是一种自然语言处理模型，具有强大的文本生成和理解能力。
auspicious航·2023-11-02 21:02

概念解析 | 神经网络中的位置编码(Positional Encoding)

本次辨析的概念是:PositionalEncoding神经网络中的位置编码(PositionalEncoding)AGentleIntroductiontoPositionalEncodinginTransformerModels
R.X. NLOS·2023-11-02 20:59

MoCo V2：MoCo系列再升级

MomentumContrastforUnsupervisedVisualRepresentationLearning），到前几天挂在arxiv上面的MoCoV3（AnEmpiricalStudyofTrainingSelf-SupervisedVisualTransformers
ZOMI酱·2023-11-02 19:43

移动端ViT新利器！苹果提出稀疏专家混合模型Mobile V-MoEs

目前MoE已经在自然语言处理和计算机视觉进行了广泛的应用，本文介绍一篇来自Apple的最新工作，在这项工作中，苹果转而探索使用稀疏的MoE来缩小视觉Transformer模型
TechBeat人工智能社区·2023-11-02 13:20

Vert.x学习笔记-异步编程和响应式系统

GPT是指GenerativePre-TrainedTransformer（生成式预训练Transformer模型），平时在生活和工作中碰到一些问题的时候会去通过这种方式来解决，一般用的比较多的是百度的文心一言同步阻塞模式该模式主要的行为特征就是当我们再执行某项操作时
有梦想的攻城狮·2023-11-02 13:44

[迁移学习]UniDAformer域自适应全景分割网络

原文的标题为：UniDAformer:UnifiedDomainAdaptivePanopticSegmentationTransformerviaHierarchicalMaskCalibration
ViperL1·2023-11-02 12:07

[迁移学习]DA-DETR基于信息融合的自适应检测模型

原文标题为：DA-DETR:DomainAdaptiveDetectionTransformerwithInformationFusion；发表于CVPR2023一、概述本文所描述的模型基于DETR，DETR
ViperL1·2023-11-02 11:01

Swin Transformer升级版来了！30亿参数，刷榜多项视觉任务，微软亚研原班人马打造...

视学算法报道编辑：杜伟、陈萍微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。
视学算法·2023-11-02 10:30

Swin Transformer升级版来了，30亿参数，刷榜多项视觉任务，微软亚研原班人马打造

微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。欢迎收藏学习，喜欢点赞支持。
机器学习社区·2023-11-02 10:51

Swin Transformer升级版来了！30亿参数，刷榜多项视觉任务

©作者|杜伟、陈萍来源|机器之心微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。
PaperWeekly·2023-11-02 10:48

浅谈开口互感器在越南美的工业云系统中的应用

Abstract:thispaperanalyzestheprincipleoflowvoltagesplitcorecurrenttransformer,an
acrelmyy·2023-11-02 09:30

为什么CNN自带位置信息，transformer没有

卷积神经网络（CNN）和变压器（Transformer）是两种在深度学习中广泛使用的神经网络架构，它们在处理数据的方式有一些重要的区别，其中之一是对位置信息的处理。
幸运的小菜鸟·2023-11-02 08:14

多模态论文学习之ALBEF（Align BEfore Fusing）

ALBEF泛读TitleLinksMotivationHowtosolveit?（Contribution）ModelExperimentsPre-trainingDatasetsDownstreamtasksAblationExperimentTitle《AlignbeforeFuse:VisionandLanguageRepresentationLearningwithMomentumDist
幸运的小菜鸟·2023-11-02 08:14

LLaMA加载时遇见：ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.

pipinstalltransformers[sentencepiece]
hj_caas·2023-11-02 08:30

ModuleNotFoundError: No module named ‘transformers.models.mmbt‘

使用simpletransformers时出现ModuleNotFoundError:Nomodulenamed'transformers.models.mmbt’错误。
hj_caas·2023-11-02 08:29

毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT

GPT全称GenerativePre-trainedTransformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
技术宅学长·2023-11-02 07:10

【论文学习笔记】VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation

VectorNet:编码高清地图和代理动态从矢量化表示文章来源：2020IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR)作者：JiyangGao,ChenSun原文链接：VectorNet:EncodingHDMapsandAgentDynamicsFromVectorizedRepresentationieeexplore
技术宅学长·2023-11-02 07:10

NLP 快速入门

文章目录前言NLP历史回顾NLP任务语料的标注AI语料标注师岗位职责TransformersHuggingFace模型中文文本分类使用NLTK进行文本分类参考链接开源NLP前言学习NLP，解决两个问题：
北极象·2023-11-02 04:32

注意力机制 - Transformer

文章目录1.简介2.多头注意力3.有掩码的多头注意力4.基于位置的前馈网络5.层归一化6.信息传递7.预测1.简介基于编码器-解码器架构来处理序列对跟使用注意力的seq2seq不同，Transformer
mango1698·2023-11-02 00:18

深度解读 ChatGPT基本原理

基于GPT（GenerativePre-trainedTransformer）技术构建。
技术狂潮AI·2023-11-02 00:18

ICCV 2023 Oral | CR-NeRF：从无约束图像集合中生成新视角的交叉光线神经辐射场

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【NeRF和Transformer】交流群Cross-RayNeuralRadianceFieldsforNovel-viewSynthesisfromUnconstrainedImageCollections
Amusi（CVer）·2023-11-01 21:13

后Transformer时代如何发展？

摘要视觉Transformer（ViT）已经通过使用基于注意力的编码器-解码器模型，彻底改变了这一领域。
自动驾驶之心·2023-11-01 21:09

ECCV 22丨BUTD-DETR：图像和点云的语言标定Transformer

来源：投稿作者：橡皮编辑：学姐论文链接：https://arxiv.org/abs/2112.08879[1]主页链接：https://github.com/nickgkan/butd\_detr[2]摘要：在二维和三维场景中，大多数模型的任务都是将指涉语句置地，学会从预先训练好的检测器提供的对象建议库中选择指涉对象。这是限制性的，因为话语可能涉及不同粒度级别的视觉实体，例如椅子、椅子腿或椅子前腿
深度之眼·2023-11-01 21:20

构建Transformer模型 | 在wikiText-2数据集上训练一个语言模型

0Introduction自然语言处理通用解决方案需要熟悉word2Vec,了解词向量如何建模重点在于Transformer网络架构，BERT训练方法，实际应用开源项目，都是现成的，套用进去就OK了提供预训练模型
Eva215665·2023-11-01 20:17

ChatGLM2-6B下载与部署

0写在前面我们首先来看一下ChatGLM2-6B模型的requirements:protobuftransformers==4.30.2cpm_kernelstorch>=2.0gradiomdtex2htmlsentencepieceacceleratesse-starlettestreamlit
Eva215665·2023-11-01 20:10

YOLOv5-7.0添加BottleNet transformer

YOLOv5主干特征提取网络为CNN网络，CNN具有平移不变性和局部性，缺乏全局建模长距离建模的能力，引入自然语言领域的Transformer可以形成CNN+TransFormer架构，充分结合两者的优点
heromps·2023-11-01 19:17

解决‘BaichuanTokenizer‘ object has no attribute ‘sp_model‘，无需重装transformers和torch

如https://github.com/baichuan-inc/Baichuan2/issues/204中所说：修改下tokenization_baichuan.py，把super()修改到最后执行self.vocab_file=vocab_fileself.add_bos_token=add_bos_tokenself.add_eos_token=add_eos_tokenself.sp_mo
夏离·2023-11-01 18:10

GPT与人类共生：解析AI助手的兴起

GPT和AI助手的兴起GPT（GenerativePre-trainedTransformer）模型代表了自然语言处理（NLP）领域的一项重大突破。这种模型可以理解并生成自然语言文本，它被广泛用于
GA666666·2023-11-01 16:27

入门 transformer 的步骤，也算是 attention is all you need 简介

1.学习步骤针对原始论文attentionisallyouneed中的翻译业务场景，第一步，了解词嵌入的概念和大概方法第二步，针对attentionisallyouneed中的算法，先记忆算法的精确数学计算流程，倾向于不求甚解其语言含义，多关注其数学运算；第三步，结合流程尝试性的理解算法的含义；2.第一步词嵌入2.1概念词嵌入（WordEmbedding）是自然语言处理（NLP）中的一种对单个单词
Eloudy·2023-11-01 14:57

【基于卷积和Transformer：多光谱图像光谱重建】

SpectralReconstructionFromSatelliteMultispectralImageryUsingConvolutionandTransformerJointNetwork（基于卷积和
小郭同学要努力·2023-11-01 14:09

第20期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-11-01 12:06

第19期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-11-01 12:06

第18期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-11-01 12:36

第21期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-11-01 12:31

IA3源码分析

IA3源码分析PEFT开源包中的模型代码实现classIA3Model(BaseTuner):"""Example:```py>>>fromtransformersimportAutoModelForSeq2SeqLM
发呆的比目鱼·2023-11-01 11:38

LLaMA-Adapter源码解析

LLaMA-Adapter源码解析伪代码deftransformer_block_with_llama_adapter(x,gating_factor,soft_prompt):residual=xy=
发呆的比目鱼·2023-11-01 11:38

阅读笔记-SoViT Mind visual tokens for vision transformer

Introduction这篇文章的出发点包含两方面：1.ViT是纯transformer的结构，剔除了CNN中具有的一些归纳偏置，使其必须依赖较大规模的数据集去学习这种偏置，从而对于中心规模scratch
熙熙江湖·2023-11-01 08:02

李宏毅机器学习课程-UnsupervisedLearning0224

B站李宏毅2021春机器学习课程P32P33目录1、WordEmbedding2、SpatialTransformerLayer1、WordEmbedding2、SpatialTransformerLayerInterpolation
cq-lc·2023-11-01 07:52

2022最新版-李宏毅机器学习深度学习课程-P32 Transformer

一、seq2seq1.含义输入一个序列，机器输出另一个序列，输出序列长度由机器决定。文本翻译：文本至文本；语音识别：语音至文本；语音合成：文本至语音；聊天机器人：语音至语音。2.应用自然语言处理（NLP问题），不过seq2seq有时候不一定是最佳的解决方法。语音辨识输入是声音讯号的一串的vector,输出是语音辨识的结果,也就是输出的这段声音讯号,所对应的文字⇒输出的长度由机器自己决定机器翻译机器
QwQllly·2023-11-01 07:38

Meta发布多模态模型SeamlessM4T——可无缝翻译和转录语音和文本

更多transformer，VIT，swintranformer参考头条号：人工智能研究所动画详解
人工智能研究所·2023-11-01 05:54

[YoloV5修改]基于GnConv卷积模块的yolov5修改

HorNet论文地址：https://arxiv.org/pdf/2207.14284.pdfHorNet是在Swintransformer结构的基础上，结合大核思想提出的新的网络结构模块，使用该模块，
爱改网络的法式小面包·2023-11-01 04:57

YOLO算法改进3【中阶改进篇】：添加HorNet卷积模块

论文地址：https://arxiv.org/pdf/2207.14284.pdf源码地址：https://github.com/raoyongming/HorNet.HorNet是在Swintransformer
梦在黎明破晓时啊·2023-11-01 04:54

Py之sentence-transformers：sentence-transformers的简介、安装、使用方法之详细攻略

Py之sentence-transformers：sentence-transformers的简介、安装、使用方法之详细攻略目录sentence-transformers的简介1、一些亮点包括2、可以使用此框架进行以下用途
一个处女座的程序猿·2023-11-01 02:46

16.ViT模型介绍

VisionTransformer关于ViTTransformer自2017年06月由谷歌团队在论文AttentionIsAllYouNeed中提出后，给自然语言处理领域带去了深远的影响，其并行化处理不定长序列的能力及自注意力机制表现亮眼
恒友成·2023-10-31 23:39

17.基干模型Swin-Transformer解读

文章目录SWin-Transformer解读1.基础介绍关于ShiftedWindowbasedSelf-Attention相对位置偏置网络整体结构和层级特征欢迎访问个人网络日志知行空间SWin-Transformer
恒友成·2023-10-31 23:36

ICCV 2021 | High-Fidelity Pluralistic Image Completion with Transformers 阅读笔记（部分翻译）

High-FidelityPluralisticImageCompletionwithTransformers作者：ZiyuWan1^11JingboZhang1^11DongdongChen2^22JingLiao1
ybacm·2023-10-31 18:46
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他