Transformer论文学习第39页

下载visio等软件；使用visio导出pdf；运行时代码显示ValueError: Expected c (Tenso of shape (32, 100)) ；学校服务器git clone‘失败；

officetoolplus就可以了下载|OfficeToolPlus官方网站(landian.vip)使用visio：8分钟教你Visio绘图_哔哩哔哩_bilibili使用visio导出pdf：把lstm换成transformer

爱吃甜的火龙果巧克力·2023-11-09 14:30

论文笔记：CROSSFORMER: TRANSFORMER UTILIZING CROSSDIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FOREC

ICLR20231intro1.1motivation之前用Transformer预测时间序列的工作，大多集中在建模时间维度的关系上。

UQI-LIUWJ·2023-11-09 14:26

ICCV 2023｜PViC：构建交互谓词视觉上下文，高效提升HOI Transformer检测性能

文章链接：https://arxiv.org/abs/2308.06202代码仓库：https://github.com/fredzzhang/pvic在今年的计算机视觉顶会上，基于视觉Transformer

TechBeat人工智能社区·2023-11-09 12:40

GPT大模型使用心得体会

----------以下内容由大模型根据xmind脑图大纲生成--------------------------------------------GPT（GenerativePre-trainedTransformer

爱吃苦瓜的猿·2023-11-09 08:21

论文阅读笔记：Extended Vision Transformer (ExViT) for Land Use and Land Cover Classification

然而，遥感（RS）领域中基于Transformer的方法更关注单模态数据，这可能会在充分利用不断增长的多模态地球观测数据时失去可扩展性。

ru-willow·2023-11-09 08:42

2022最新版-李宏毅机器学习深度学习课程-P34 自注意力机制类别总结

在课程的transformer视频中，李老师详细介绍了部分self-attention内容，但是self-attention其实还有各种各样的变化形式：一、Self-attention运算存在的问题在self-attention

QwQllly·2023-11-09 07:06

2022最新版-李宏毅机器学习深度学习课程-P46 自监督学习Self-supervised Learning（BERT）

一、概述：自监督学习模型与芝麻街参数量ELMO：94MBERT：340MGPT-2：1542MMegatron：8BT5：11BTuringNLG：17BGPT-3：175BSwitchTransformer

QwQllly·2023-11-09 07:58

论文阅读——InternImage（cvpr2023）

arxiv：https://arxiv.org/abs/2211.05778github：https://github.com/OpenGVLab/InternImage一、介绍大部分大模型都是基于transformer

じんじん·2023-11-09 06:58

【AlphaGo论文学习】Mastering the game of Go without human knowledge翻译及心得

原文地址：https://www.gwern.net/docs/reinforcement-learning/alphago/2017-silver.pdf参考的别人的学习解析：AlphaGoZero论文解析|蘑菇先生学习记更直接的论文翻译：【论文翻译】MasteringthegameofGowithouthumanknowledge(无师自通---在不借助人类知识的情况下学会围棋）_hwnbox

PokiFighting·2023-11-09 05:10

CVPR 2021 Learning Spatio-Temporal Transformer for Visual Tracking

动机对于视觉目标跟踪，卷积核具有局部依赖而全局无关的缺陷。视觉目标跟踪是计算机视觉中的一个基础而又具有挑战性的研究课题。在过去的几年中，基于卷积神经网络的目标跟踪取得了令人瞩目的进展。然而，由于无论是在空间上还是在时间上卷积核只能处理一个局部邻域，因此不能很好地对图像内容和特征的长程关系进行建模。目前流行的跟踪器，包括离线Siamese跟踪器和在线学习模型，几乎都是建立在卷积运算基础上的。结果表明

smile909·2023-11-09 02:46

Spatio-Temporal Tuples Transformer for Skeleton-Based Action Recognition

Spatio-TemporalTuplesTransformerforSkeleton-BasedActionRecognition本篇文章针对基于骨架的行为识别进行了研究，提出了一种时空元组transformer

开心的火龙果·2023-11-09 02:46

Learning Spatio-Temporal Transformer for Visual Tracking

本文利用encoder-decodertransformer结构建模全局的时空特征关系。

lightning980729·2023-11-09 02:46

Learning Spatio-Temporal Transformer for Visual Tracking（论文翻译）

MJ5513·2023-11-09 02:44

论文阅读：LOGO-Former: Local-Global Spatio-Temporal Transformer for DFER（ICASSP2023）

文章目录摘要动机与贡献具体方法整体架构输入嵌入生成LOGO-Former多头局部注意力多头全局注意力紧凑损失正则化实验思考总结本篇论文LOGO-Former:Local-GlobalSpatio-TemporalTransformerforDynamicFacialExpressionRecognition

卡拉比丘流形·2023-11-09 02:43

GraphCodeBert：基于数据流的代码表征预训练模型

GraphCodeBerthttps://arxiv.org/abs/2009.083661模型结构使用多层双向Transformer变量定义：C：源码集合W：文本集合V：变量集合E：变量间的边的集合输入

Luo_LA·2023-11-08 22:00

部署你自己的OpenAI格式api，基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型，可以运行在单张Tesla T4显卡)

项目地址：https://github.com/billvsme/my_openai_api单文件实现OpenAI格式api(包含流式响应)部署你自己的OpenAI格式api，基于flask,transformers

billvsme·2023-11-08 21:00

论文解读：《基于BERT和二维卷积神经网络的DNA增强子序列识别transformer结构》

论文解读：《AtransformerarchitecturebasedonBERTand2DconvolutionalneuralnetworktoidentifyDNAenhancersfromsequenceinformation

风灬陌·2023-11-08 19:24

第二十七章解读Transformer_车道线检测中的Transformer(车道线感知)

前言近期参与到了手写AI的车道线检测的学习中去，以此系列笔记记录学习与思考的全过程。车道线检测系列会持续更新，力求完整精炼，引人启示。所需前期知识，可以结合手写AI进行系统的学习。SE简单实现classSELayer(nn.Module):def__init__(self,channel,reduction=16):super(SELayer,self).__init__()self.avg_po

小酒馆燃着灯·2023-11-08 15:18

转载：计算机视觉Paper with code-2023.10.31

【基础网络架构：Transformer】

wuling129·2023-11-08 14:21

AIGC是什么？能具体应用在哪里？

GAN（对抗生成网络）、CLIP（深度学习领域）、Transformer（自然语言处理NLP）、Diffusio

橘子的挖宝日记·2023-11-08 11:18

是什么技术，让chatGPT这么强悍？

1.扩展Transformer语言模型存在明显的扩展效应：更大的模型/数据规模和更多的训练计算通常会导致模型能力的提升。作为两个代表性的模型，GPT-3和PaLM通过增加模

嗯，这是一个好名字·2023-11-08 11:17

HuggingFace的transfomers库

fromtransformersimportAutoTokenizerenc=AutoTokenizer.from_pretrained('facebook/opt-125m')可以通过print(enc

zhuikefeng·2023-11-08 11:42

滴滴Booster移动APP质量优化框架学习之旅

Booster主要由Transformer和Task

weixin_30471065·2023-11-08 07:05

[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型

3、sentence-transformer

舒克与贝克·2023-11-08 03:11

18.自监督视觉`transformer`模型DINO

文章目录自监督视觉`transformer`模型DINO总体介绍DINO中使用的SSL和KD方法multicropstrategy损失函数定义`teacher`输出的中心化与锐化模型总体结构及应用reference

恒友成·2023-11-08 02:18

GPT-2：基于无监督多任务学习的语言模型

论文：LanguageModelsareUnsupervisedMultitaskLearners模型参数：15亿公司/机构：OpenAI摘要GPT-2是自然语言处理领域的重要里程碑作品，采用了Transformer

我有魔法WYMF·2023-11-07 18:49

【论文阅读】Generating Radiology Reports via Memory-driven Transformer (EMNLP 2020)

代码链接（含数据集）：https://github.com/cuhksz-nlp/R2Gen/背景与动机这篇文章的标题是“GeneratingRadiologyReportsviaMemory-drivenTransformer

没头发的米糊·2023-11-07 15:06

SwissArmyTransformer瑞士军刀工具箱使用手册

Introductionsat（SwissArmyTransformer）是一个灵活而强大的库，用于开发您自己的Transformer变体。

技术宅学长·2023-11-07 11:59

浅谈开口互感器在越南美的工业云系统中的应用

Abstract:thispaperanalyzestheprincipleoflowvoltagesplitcorecurrenttransformer,an

acrelmyy·2023-11-07 09:51

2023年显著性检测论文及代码汇总（4）

ACMMMPartitionedSaliencyRankingwithDensePyramidTransformerscodeAbstacrt：显著性排序，其重点是评估实例级别的显著性程度。

看到我请叫我去学java吖·2023-11-07 08:41

在 uniapp 里面使用 unocss

1.安装插件npmiunocss@unocss/transformer-directivesunocss-preset-weapp-D这个里面加了个指令的使用,可以根据自身需求来决定是否使用2.uno.config.ts

是阿臻·2023-11-07 07:49

第25期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2023-11-07 06:07

第26期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2023-11-07 06:33

大语言模型研究进展综述

作为重要的研究方向之一，语言模型得到了学术界的广泛研究，从早期的统计语言模型和神经语言模型开始，发展到基于Transformer的预训练语言模型。

嗯，这是一个好名字·2023-11-07 06:50

NLP之Bert实现文本多分类

frompypro.chapters03.demo03_数据获取与处理importtrain_list,label_list,val_train_list,val_label_listimporttensorflowastffromtransformersimportTFBertForSequenceClassificationbert_mode

赵孝正·2023-11-07 06:19

YoloV5改进策略：独家原创，LSKA（大可分离核注意力）改进YoloV5，比Transformer更有效，包括论文翻译和实验结果

文章目录摘要论文：《LSKA（大可分离核注意力）：重新思考CNN大核注意力设计》1、简介2、相关工作3、方法4、实验5、消融研究6、与最先进方法的比较7、ViTs和CNNs的鲁棒性评估基准比较8、结论YoloV5官方代码测试结果改进一：使用LSKA注意力机制重构C3模块改进方法测试结果改进二：使用LSKANet的Block替换C3中的Bottleneck，重构C3改进方法测试结果改进三：使用van

静静AI学堂·2023-11-07 04:43

YoloV7改进策略：独家原创，LSKA（大可分离核注意力）改进YoloV7，比Transformer更有效，包括论文翻译和实验结果

文章目录摘要论文：《LSKA（大可分离核注意力）：重新思考CNN大核注意力设计》1、简介2、相关工作3、方法4、实验5、消融研究6、与最先进方法的比较7、ViTs和CNNs的鲁棒性评估基准比较8、结论YoloV7官方测试结果改进一：使用LSKA注意力机制重构ELAN模块改进方法测试结果改进二：改进方法测试结果改进四：基于COCO预训练权重的提点方法改进方法测试结果改进五&

静静AI学堂·2023-11-07 04:41

时间序列预测模型实战案例(八)(Informer)个人数据集、详细参数、代码实战讲解

模型进行时间序列预测的实战案例，它是在2019年被提出并在ICLR2020上被评为BestPaper，可以说Informer模型在当今的时间序列预测方面还是十分可靠的，Informer模型的实质是注意力机制+Transformer

Snu77·2023-11-07 04:12

MolFormer分子预训练模型

Large-scalechemicallanguagerepresentationscapturemolecularstructureandproperties（2022，NMI）和原本transformerencoder

B1CK·2023-11-07 00:09

【Transformers-实践2】——Bert-CRF用于英语平坦实体（Flat NER）识别

本文是学习使用Huggingface的Transformers库的简单实践，我们简单的梳理一下模型的结构，以及具体的程序结构。

应有光·2023-11-06 22:45

基于transformer的解码decode目标检测框架(修改DETR源码)

提示：transformer结构的目标检测解码器，包含loss计算，附有源码文章目录前言一、main函数代码解读1、整体结构认识2、main函数代码解读3、源码链接二、decode模块代码解读1、decoded

tangjunjun-owen·2023-11-06 22:41

[ECCV 2022]Ghost-free High Dynamic Range lmagingwith Context-aware Transformer读后感

主要思想多帧高动态范围成像（HighDynamicRangeImaging,HDRI/HDR）旨在通过合并多幅不同曝光程度下的低动态范围图像，生成具有更宽动态范围和更逼真细节的图像。如果这些低动态范围图像完全对齐，则可以很好地融合为HDR图像，但是，实际拍摄到的图像容易受到相机、物体运动的干扰，三张低动态范围图像往往不能很好地得到对齐，直接对三图像做融合的话，所生成的图像容易产生伪影、重影.为

阿维的博客日记·2023-11-06 21:27

pcigo图床插件的简单开发

2.1.可选的开发模块可以有5个模块进行开发TransformerUploaderbeforeTransformPluginsbeforeUploadP

只会写bug的靓仔·2023-11-06 16:52

机器学习(五) 自监督学习

文章目录（一）TransformerEncoderDecoderAutoregressive（AT）Non-autoregressive（NAT）Encoder和Decoder之间的桥梁训练（二）结语（

八岁爱玩耍·2023-11-06 15:47

机器学习笔记5-2：Transformer

*注:本博客参考李宏毅老师2020年机器学习课程.视频链接目录1Seq2seq2Encoder3Decoder3.1AT汉字的产生如何输出不定长向量避免一步错，步步错3.2NAT3.3Training3.4Tips3.4.1CopyMechanism（复制机制）3.4.2GuidedAttention3.4.3BeamSearch3.4.4Learningratescheduling3.4.5Ba

Acetering·2023-11-06 15:44

李宏毅机器学习课程视频笔记5：Transformer

文章目录Seq2seq模型的应用Transformer模型介绍EncoderDecoderAutoregressiveDecoderNon-AutoregressiveDecoder怎么训练Transformer

自律版光追·2023-11-06 15:12

GPT-2 面试题

它是基于变压器（Transformer）模型的，使用了自注意力（Self-Attention）机制来处理文本序列。GPT-2的目标是生成与人类语言相似的文本，它可以用于翻译、问答、摘要等多种任务。

onlyfansnft.art·2023-11-06 14:24

java知识点总结

dc.setResultTransformer(Criteria.DISTINCT_ROOT_ENTITY);http协议及端口,smtp协议及端口http：超文本传输协议端口80smtp：简单邮件传输协议端口

zhangab512·2023-11-06 14:40

强的离谱， Transformer 模型与联邦机器学习详解！

Transformer作为一种基于注意力的编码器-解码器架构，不仅彻底改变了自然语言处理（NLP）领域，还在计算机视觉（CV）领域做出了一些开创性的工作。

我爱计算机视觉·2023-11-06 13:42

Transformer：开源机器学习项目，上千种预训练模型 | 开源日报 No.66

huggingface/transformersStars:113.5kLicense:Apache-2.0这个项目是一个名为Transformers的开源机器学习项目，它提供了数千种预训练模型，用于在文本

开源服务指南·2023-11-06 13:39

推荐频道

Transformer论文学习