transformer论文阅读第74页

Swin Transformer

SwinTransformer1.网络架构2.参数意义与设置3.将图像分割成不重叠的图像块（splitimageintonon-overlappingpatches）1.网络架构先放一张网络架构图，看着方便

坐在墙上的猫·2023-10-01 11:54

【论文阅读】ICCV2021|超分辨重建论文整理和阅读

本文主要对ICCV2021中超分辨率重建相关论文进行整理与阅读。1.LearningASingleNetworkforScale-ArbitrarySuper-ResolutionPaper:https://arxiv.org/pdf/2004.03791.pdfCode:https://github.com/The-Learning本论文聚焦于非整数尺度和非对称的SR问题，如上采样1.5x2.5

一的千分之一·2023-10-01 10:04

【深度学习推荐系统工程篇】三、浅析FastTransFormer看 GPU推理优化思路

稀疏参数的存储/IO网络结构的优化对于稀疏参数的存储/IO，在上一篇【深度学习推荐系统工程篇】二、从TF-Serving看生产环境的模型推理服务有提及，这篇是想总结下网络结构的优化本篇借助分析FasterTransformer

likewind1993·2023-10-01 09:49

[论文阅读-1]ImageNet Classification with Deep Convolutional Neural Networks

AbstractWetrainedalarge,deepconvolutionalneuralnetworktoclassifythe1.2millionhigh-resolutionimagesintheImageNetLSVRC-2010contestintothe1000differentclasses.Onthetestdata,weachievedtop-1andtop-5errorra

葉儿蔓语·2023-10-01 04:12

论文阅读《Pingmesh: A Large-Scale System for Data Center Network Latency Measurement and Analysis》

背景在我们内部产品中，一直有关于网络性能数据监控需求，我们之前是直接使用ping命令收集结果，每台服务器去ping(N-1)台，也就是N^2的复杂度，稳定性和性能都存在一些问题，最近打算对这部分进行重写，在重新调研期间看到了Pingmesh这篇论文，Pingmesh是微软用来监控数据中心网络情况而开发的软件，通过阅读这篇论文来学习下他们是怎么做的。数据中心自身是极为复杂的，其中网络涉及到的设备很多

夜莺云原生监控·2023-10-01 04:02

Transformers预训练模型使用：翻译 Translation

使用pipeline可以使用如下代码快速实现：fromtransformersimportpipelinetranslator=pipeline("translation_en_to_de")print

HMTT·2023-10-01 03:46

【深度学习】Hugging Face Transformers：预训练语言模型与迁移学习

摘要：本文介绍了HuggingFaceTransformers库，重点介绍了预训练语言模型和迁移学习的概念。

PyTechShare·2023-10-01 03:15

Coovally模型探索：高效下载并使用Hugging Face Transformers预训练模型

HuggingFaceTransformers是一个用于自然语言处理（NLP）的开源库，提供了各种预训练模型。这些模型被广泛应用于各种任务，如文本分类、命名实体识别、问答、文本生成等。

Coovally AI模型快速验证·2023-10-01 03:14

【ChatGPT】ChatGPT发展历史

即兴小索奇·2023-10-01 03:40

YOLOv5与Swin Transformer相结合的分层视觉转换器——计算机视觉进阶

YOLOv5与SwinTransformer相结合的分层视觉转换器——计算机视觉进阶近年来，计算机视觉技术发展迅速，针对目标检测领域的研究也日益深入。

编码实践·2023-10-01 02:59

轻量自高斯注意力（LSGA）机制

light（轻量）Self-Gaussian-Attentionvisiontransformer（高斯自注意力视觉transformer）forhyperspectralimageclassification

向岸看·2023-09-30 19:16

VisionTransformer（ViT）详细架构图

这是原版的架构图，少了很多东西。这是我根据源码总结出来的详细版有几点需要说明的，看架构图能看懂就不用看注释了。（1）输入图片必须是224x224x3的，如果不是就把它缩放到这个尺寸。（2）Tranformer要的是嵌入向量的序列，大概是SeqLen,HidSize形状的二维数组，然后图像是H,W,C的三维数组，想把它塞进去必须经过一步转换，这是嵌入模块做的事情。简单来讲就是切成大小为16*16*3

绝不原创的飞龙·2023-09-30 19:43

FairMOT论文阅读笔记

Abstract近些年目标检测和Re-ID有很大的发展，但是没有人在单个网络中联合这两个任务。由于re-ID任务没有公平的学习，这导致了大量id的转换。不公平之处在于两个方面:(1)他们将重新身份识别视为次要任务，其准确性在很大程度上取决于主要检测任务。所以训练很大程度上偏向于检测任务，而忽略了重识别任务；(2)它们使用感兴趣区域对齐来提取直接从对象检测中借用的重标识特征。然而，这在表征对象时引入

我在阳澄湖畔吃炸鸡·2023-09-30 18:50

A Simple Baseline for multi-object Tracking(FairMOT)论文阅读笔记

FairMOT论文笔记（一）Title（二）Summary（三）ResearchObejct（四）ProblemStatement（五）Method5.1backbone5.2ObjectDetectionBranch5.3IdentityEmbeddingBranch5.4LossFunctions5.5在线跟踪（六）Experiment6.1数据集6.2实现细节实验1实验2Multi-Laye

不知道叫啥好一点·2023-09-30 18:18

升级targetSdkVersion至33（以及迁移至Androidx）

一键迁移至androidx：Refactor->MigratetoAndroidx3.手动修改未能自动迁移到androidx的部分：android.support.v4.view.ViewPager.PageTransformer

ronaldo4511·2023-09-30 15:44

推荐系统论文阅读（五十四)-谷歌：改进的DCN-V2模型

论文：论文题目：《DCNV2:ImprovedDeep&CrossNetworkandPracticalLessonsforWeb-scaleLearningtoRankSystems》地址：https://arxiv.org/pdf/2008.13535.pdf我们之前介绍过一篇论文DCN，读过的作者应该都知道，DCN跟DeepFM一样，都是用一些神经网络来实现简单的特征交叉，今天我们就来介绍一

推荐系统论文阅读·2023-09-30 14:33

【论文阅读】大语言模型中的文化道德规范知识

摘要：在已有的研究中，我们知道英语语言模型中包含了类人的道德偏见，但从未有研究去检测语言模型对不同国家文化的道德差异。我们分析了语言模型包含不同国家文化道德规范的程度，主要针对两个方面，其一是看语言模型是否捕捉到了不同国家文化里对一些主题的细粒度道德差异；其二是看语言模型有没有捕捉到文化多样性和不同国家的人们对一些话题表现出分歧或一致的共同倾向。现在的单语英语语言模型对非英语文化中的道德规范的推断

令夏二十三·2023-09-30 13:18

手动搭建Bert模型并实现与训练参数加载和微调

主要包括如下内容：编写BertEmbeddings、Transformer、BerPooler等Bert模型所需子模块代码

动力澎湃·2023-09-30 13:02

文本情感分类模型之BERT

BERT是google开源的一种自然语言处理领域的经典模型，全称是BidirectionalEncoderRepresentationsfromTransformers。

动力澎湃·2023-09-30 13:02

经典网络解析（四） transformer | 自注意力、多头、发展

文章目录1背景1.1困境1.2基本架构2嵌入层3编码器部分3.1自注意力层3.2多头注意力机制3.3LayerNorm归一化层4解码器5transformer的发展6代码1背景1.1困境transformer

Qodi·2023-09-30 11:42

FlashAttention2原理解析以及面向AIGC的加速实践

本文将具体讲述FlashAttention-2的前世今生，包括FlashAttention1&2的原理解析、加速效果比较以及面向AIGC的加速实践，在这里将相关内容与大家分享～引言将Transformers

阿里巴巴淘系技术团队官网博客·2023-09-30 09:19

优化｜深度学习或强化学习在组合优化方面有哪些应用？

图灵人工智能前言深度强化学习求解组合优化问题近年来受到广泛关注，是由于其结合了强化学习(Reinforcementlearning)强大的决策(decision-making)能力和深度学习(deeplearning)的各种模型(RNN、Transformer

人工智能学家·2023-09-30 05:44

复习：Seq2Seq、Transformer、GPT

zhuanlan.zhihu.com/p/360932588https://zhuanlan.zhihu.com/p/611472975目录2014年-Seq2Seq模型2015年-注意力Seq2Seq模型Google2017年-Transformer

Citroooon·2023-09-30 05:54

self-attention、transformer、bert理解

参考李宏毅老师的视频https://www.bilibili.com/video/BV1LP411b7zS?p=2&spm_id_from=pageDriver&vd_source=c67a2725ac3ca01c38eb3916d221e708一个输入，一个输出，未考虑输入之间的关系！！！self-attention考虑输入之间的关系，关于a1的输出b1的计算方法如上图所示，如此类推计算b2，b

ruyingcai666666·2023-09-30 01:14

大语言模型LLM知多少？

1.GPT-41.1.GPT-4模型介绍GPT-4（GenerativePre-trainedTransformer4）是由OpenAI开发的一种大型语言模型。

Entropy-Go·2023-09-30 01:04

transformer架构中 encoder decoder self-attention cross-attention的作用

在Transformer架构中，Encoder-Decoder架构是一种常见的模式，其中Encoder和Decoder分别负责编码输入序列和解码生成输出序列。

木禾DING·2023-09-29 19:17

DETR纯代码分享（九）transformer.py

一、定义DETRTransformer用于DETR模型"""DETRTransformerclass.Copy-pastefromtorch.nn.Transformerwithmodifications

别致的SmallSix·2023-09-29 18:52

《论文阅读27》SuperGlue: Learning Feature Matching with Graph Neural Networks

一、论文研究领域：图像特征点匹配论文：SuperGlue:LearningFeatureMatchingwithGraphNeuralNetworksCVPR2020veido论文code二、论文简述[参考][参考][参考]三、论文详述SuperGlue：使用图神经网络学习特征匹配本文介绍了SuperGlue，一种神经网络，通过共同寻找对应点和拒绝不匹配点来匹配两组本地特征。分配估计通过解决一个可

Darren_pty·2023-09-29 18:20

《论文阅读23》3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions

一、论文研究领域：点云配准论文：3DMatch:LearningLocalGeometricDescriptorsfromRGB-DReconstructionsCVPR2017论文code二、论文简述提出了3DMatch，一个数据驱动的模型，学习一个局部体积补丁描述符建立部分3D数据之间的对应关系为了促进3D关键点匹配和几何配准领域的进一步研究，我们提供了一个对应匹配基准以及一个类似于[5]的表

Darren_pty·2023-09-29 18:50

【知识链接】WGAN Transformer Vit Swin-Transformer Swin-Unet Res-Vit TransUNet MAE Bra ADDA

文章目录WassersteinganTransformerVITResvitResidualvisiontransformersformulti-modalmedicalimagesynthesis（TMI2022

求求你来BUG行不行·2023-09-29 13:58

大模型长上下文运行的关键问题

然而，扩大Transformer的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提

OneFlow深度学习框架·2023-09-29 12:25

揭秘编码器与解码器语言模型

Transformer架构的问世标志着现代语言大模型时代的开启。自2018年以来，各类语言大模型层出不穷。

OneFlow深度学习框架·2023-09-29 12:24

TM 学习记录--论文阅读1

这里可以查看所有论文。由于作者book只更新到第二章剩下的只有从论文中学习，但书中的目录和论文可以由于对应起来。第一二章可以对应到第一篇论文，这里。

Sliver Wings·2023-09-29 08:50

YOLOv7改进：ConvNeXt（backbone改为CNeB）

https://arxiv.org/abs/2201.03545官方源代码地址：https://github.com/facebookresearch/ConvNeXt.git自从ViT(VisionTransformer

陈子迩·2023-09-29 08:17

YOLOv5、YOLOv8改进：ConvNeXt（backbone改为ConvNextBlock）

https://arxiv.org/abs/2201.03545官方源代码地址：https://github.com/facebookresearch/ConvNeXt.git自从ViT(VisionTransformer

陈子迩·2023-09-29 08:16

【深度学习 AIGC 绘画】Robert001/UniControl-Demo docker

.~/.bashrc&&pipuninstall-yclip-interrogatoracceleratetransformersRUNgitclonehttps://huggingfac

XD742971636·2023-09-29 04:30

推荐系统论文阅读（四十二)-阿里：融合Match和Rank的DMR模型

论文：论文题目：《DeepMatchtoRankModelforPersonalizedClick-ThroughRatePrediction》论文地址：https://ojs.aaai.org//index.php/AAAI/article/view/5346我们之前介绍了很多的文章，发现很多文章都是针对match或者rank去做的，很少有一个模型可以去同时完成这两个工作，从事推荐算法工作的人都

推荐系统论文阅读·2023-09-29 04:40

AI项目十一：Swin Transformer训练

若该文为原创文章，转载请注明原文出处。续上一篇，训练自己的数据集，并测试。一、安装标注软件labelme#安装labelmepipinstalllabelme#启动labelme这里数据集准本，标注图片数据过程自己探索。最后文件结构如下：二、修改配置文件1、修改configs\_base_\models\mask_rcnn_swin_fpn.py第54、73行num_classes为自己的类别数我

殷忆枫·2023-09-29 03:53

AI项目十：Swin Transformer目标检测环境搭建

SwinTransformer是做什么的这里不做介绍，主要是记录下学习的全过程，SwinTransformer在搭建和训练的过程中，折腾了很久，主要是在折腾环境。

殷忆枫·2023-09-29 03:23

glove-论文阅读

glove全称是GlobalVectorsforWordRepresentation，它是基于全局词频统计的词表征工具，他可以将一个单词表示为一个向量，这些向量捕捉到了单词之间的语义特征。glove提出原因在glove提出之前，主流模型的特点分别是全局矩阵分解(例如LSA)和局部上下文窗口（例如cbow），但是这两种模型都有显著的缺点。对于全局矩阵分解来说，没能捕捉到语义信息，所以在词语相似度等任

Pluto_wl·2023-09-29 01:11

基于深度学习模型的电力变压器故障声音诊断方法研究-论文阅读笔记

基于深度学习模型的电力变压器故障声音诊断方法研究论文来源DOI：10.16311/j.audioe.2020.01.020论文目的在变压器不停止工作的情况下，基于变压器的三种状态：正常、老化和放电下对变压器发出的声音信号进行声谱图转换和梅尔对数谱图的转换，输入到MobileNet中进行训练。采用梅尔对数谱图转换实现了高达99%的识别准确率。采用声谱图转换对放电缺陷检测识别率较高，但是对老化故障识别

wyypersist·2023-09-28 22:43

目标检测算法改进系列之Backbone替换为EfficientFormerV2

EfficientFormerV2随着视觉Transformers（ViTs）在计算机视觉任务中的成功，最近的技术试图优化ViT的性能和复杂性，以实现在移动设备上的高效部署。

我悟了-·2023-09-28 19:30

目标检测算法改进系列之Backbone替换为EfficientViT

EfficientViTVisionTransformer(ViT)在许多视觉任务中都取得了卓越的性能。然而，在针对高分辨率移动视觉应用时，ViT不如卷积神经网络(CNN)。

我悟了-·2023-09-28 19:29

【论文阅读】Directional Connectivity-based Segmentation of Medical Images

目录摘要介绍方法效果结论论文：DirectionalConnectivity-basedSegmentationofMedicalImages代码：https://github.com/zyun-y/dconnnet摘要出发点：生物标志分割中的解剖学一致性对许多医学图像分析任务至关重要。之前工作的问题：以往的连通性工作忽略了潜在空间中丰富的信道方向的信息。证明：有效地将方向子空间从共享潜在空间中解

鱼小丸·2023-09-28 18:49

论文阅读：基于隐马尔可夫模型的蛋白质多序列比对方法研究

本文来自chatpaperBasicInformation:•Title:ResearchonProteinMultipleSequenceAlignmentMethodBasedonHiddenMarkovModel(基于隐马尔可夫模型的蛋白质多序列比对方法研究)•Authors:ZhanQing•Affiliation:HarbinInstituteofTechnology(哈尔滨工业大学)•

perfect Yang·2023-09-28 18:49

【论文阅读】Multi-view Self-supervised Disentanglement for General Image Denoising

目录摘要贡献方法结论摘要论文:https://chqwer2.github.io/MeD/现有方法的问题：不可避免地对不可见或者真实和一般的噪声进行泛化。这些模型的设计是为了学习从噪声图片到干净图片的映射。我们方法的目标：我们目标是学习解耦噪声图像。直觉假设：同一干净图像的不同的损坏版本共享一个共同的潜在空间。方法:输入两个不同损坏的图片，MeD方法学习区将潜在的干净特征从损坏的特征中分离出来，恢

鱼小丸·2023-09-28 18:48

【论文】如何记论文笔记

参考：路得_Ruth-【学术干货】博士学姐的学术论文阅读方法|笔记格式https://www.bilibili.com/video/BV13E411W7u5?

绝不做九漏鱼·2023-09-28 12:27

GPT如何避免从入门到放弃（一）——认识GPT

第一讲：认识GPTGPT的全称：GenerativePre-trainedTransformer——生成式预训练变换模型GPT（GenerativePre-trainedTransformer）是一种基于

'Wu'·2023-09-28 09:10

推荐频道

transformer论文阅读