transformer论文阅读第61页

模型实践 | Autoformer 长时序预测

该工作改造Transformer模型来解决

幻方AI小编·2023-10-26 02:34

Transformer模型 | iTransformer时序预测

Transformer模型在自然语言处理和计算机视觉领域取得了巨大的成功，并成为了基础模型。然而，最近一些研究开始质疑基于Transformer的时间序列预测模型的有效性。

算法如诗·2023-10-26 02:57

Vision Transformer 入门到继续入门2022

为什么先生2012·2023-10-26 00:54

pip 指定源

pip定源#指定豆瓣python-mpipinstalltransformers-ihttp://pypi.douban.com/simple/--trusted-hostpypi.douban.com

qq_16740151·2023-10-26 00:23

人工智能三要数之算法Transformer

1.人工智能三要数之算法Transformer人工智能的三个要素是算法、数据和计算资源。Transformer模型作为一种机器学习算法，可以应用于人工智能系统中的数据处理和建模任务。

Entropy-Go·2023-10-26 00:22

【代码复现】RingMo：应用于遥感领域的图像掩码建模技术

lalula1999·2023-10-25 23:11

自监督论文阅读笔记 RingMo: A Remote Sensing Foundation Model with Masked Image Modeling

深度学习方法促进了遥感(RS)图像解释的快速发展。最广泛使用的训练范式是利用ImageNet预训练模型来处理指定任务的RS数据。然而，存在自然场景与RS场景之间的领域差距，以及RS模型泛化能力差等问题。开发具有通用RS特征表示的基础模型是有意义的。由于有大量未标记的数据可用，自监督方法在遥感方面比全监督方法具有更大的发展意义。然而，目前大多数自监督方法都使用对比学习，其性能对数据增强、附加信息以及

YoooooL_·2023-10-25 23:09

YoloV8改进策略：独家原创，LSKA（大可分离核注意力）改进YoloV8，比Transformer更有效，包括论文翻译和实验结果

文章目录摘要论文：《LSKA（大可分离核注意力）：重新思考CNN大核注意力设计》1、简介2、相关工作3、方法4、实验5、消融研究6、与最先进方法的比较7、ViTs和CNNs的鲁棒性评估基准比较8、结论YoloV8官方结果改进一：使用LSKA注意力机制重构C2f模块改进方法测试结果改进二：使用LSKANet的Block替换C2f中的Bottleneck，重构C2f改进方法测试结果改进三：测试结果

静静AI学堂·2023-10-25 21:40

【专栏目录】

文章目录摘要YoloV8改进策略：独家原创，LSKA（大可分离核注意力）改进YoloV8，比Transformer更有效，包括论文翻译和实验结果YoloV8改进策略：SwiftFormer，全网首发，独家改进的高效加性注意力用于实时移动视觉应用的模型

静静AI学堂·2023-10-25 21:40

AIGC和智能数字化新时代

目录AIGC的意义AIGC底座及生态AIGC赋能内容创作4大模态AI文本生成AI音频生成AI图像生成AI视频生成AIGC的技术思想AIGC的重要基建TransformerChatGPT的训练过程示意图ChatGPT

阿信Huang·2023-10-25 20:47

什么是ChatGPT？

ChatGPT（ChatGenerativePre-trainedTransformer）是人工智能研究实验室OpenAI（OpenAI：马斯克等人创建的人工智能公司）新推出的人工智能技术驱动的自然语言处理工具

hollow man~·2023-10-25 20:14

AI在线工具分享

它的原理是基于Transformer架构，通过预训练大量文本数据来学习如何生成人类可读的文本，然后通过接受输入并生成输出来实现对话。

Knight_Key·2023-10-25 20:40

这些ChatGPT旗下的AI工具你都认识吗？

使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的

东哥聊跨境·2023-10-25 20:06

论文阅读笔记《PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation》

核心思想本文提出一种基于3D关键点投票网络的姿态估计算法。通过投票的方式从RGBD图像中寻找3D关键点，并采用语义分割网络和中心点检测网络实现实例分割，最后根据实例中关键点和对应模型的关键点之间的匹配关系，利用最小二乘法计算得到图像实例与模型之间的位姿变换（旋转矩阵+平移矩阵），即得目标物体的6D位姿。特点在于本文不是直接从图像中提取关键点，而是利用网络预测每个点与关键之间的位置偏移，然后计算

深视·2023-10-25 19:18

论文阅读笔记《DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion》

核心思想本文提出一种基于RGB-D图像预测目标物体位姿的方法（DenseFusion）。首先，利用一个语义分割网络得到目标物体的分割图像，分别用两个网络用于处理RGB图像和点云图（由深度图获得），将颜色特征和几何特征逐像素的拼接起来，并利用一个特征融合网络获得全局特征。然后将全局特征级联到每个像素的特征向量上，并利用位姿预测网络输出每个像素点对应的位姿估计结果和一个置信度值，最终选择置信度最大

深视·2023-10-25 19:18

【论文阅读笔记】One Shot 3D Photography

论文主页：https://facebookresearch.github.io/one_shot_3d_photography/代码地址：https://github.com/facebookresearch/one_shot_3d_photography 该3D照片方向，由于刚入门，所以会倾向于翻译文章。每个操作上的选择，及为什么不进行另外操作的原因都如数放上。论文小结本作的工作是从单张R

时光机ﾟ·2023-10-25 19:47

On Moving Object Segmentation from Monocular Video with Transformers 论文阅读

论文信息标题：OnMovingObjectSegmentationfromMonocularVideowithTransformers作者：来源：ICCV时间：2023代码地址：暂无Abstract通过单个移动摄像机进行移动对象检测和分割是一项具有挑战性的任务

玛卡巴卡_qin·2023-10-25 17:47

跟着GPT学设计模式

引言GPT（GenerativePre-trainedTransformer）是一种基于Transformer模型的自然语言处理模型，由OpenAI开发。

c0detrend·2023-10-25 17:14

李沐——论文阅读——VIT(VIsionTransformer)

一、终极结论：如果在足够多的数据上面去做预训练，那么，我们也可以不用卷积神经网络，而是直接用自然语言处理那边搬过来的Transformer，也能够把视觉问题解决的很好（tips：paperswithcode.com

诚威_lol_中大努力中·2023-10-25 15:13

大模型的实践应用3-大模型的基础架构Transformer模型，掌握Transformer就掌握了大模型的灵魂骨架

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用3-大模型的基础架构Transformer模型，掌握Transformer就掌握了大模型的灵魂骨架。

微学AI·2023-10-25 15:20

FoLR:Focus on Local Regions for Query-based Object Detection论文学习笔记

为了解决这些问题，作者提出了FoLR，一种仅包含解码器的类似Transformer的架构。作者通过隔离不相关目标之间的连接来增强

athrunsunny·2023-10-25 13:21

Transformer详解

一、位置编码Transformer论文图:单个Encoder上述这种相对位置信息会在注意力机制那里消失二、多头注意力机制2.1基本的注意力机制注意力机制本质:左上、左下、右上、右下分别对应图片哪一块的位置

几两春秋梦_·2023-10-25 12:22

利用huggingface模型翻译英文

百度翻译的api要收费了，我们就用开源模型翻译英文fromtransformersimportpipeline,AutoModelWithLMHead,AutoTokenizerfromtqdmimporttqdmimportparamikofromconcurrent.futuresimportThreadPoolExecutordefget_en_to_zh_model

狗庄欺人太甚·2023-10-25 11:36

虚假新闻检测论文阅读（九）：Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks

论文题目：RumorDetectiononSocialMediawithBi-DirectionalGraphConvolutionalNetworks论文来源：AAAI2020清华大学官方代码：https://github.com/TianBian95/BiGCN有监督、基于社交上下文、基于新闻传播信息一、基本内容首次将新闻的传播过程建模为图结构，Bi-GCN利用top-down的图表示新闻的传

Quinn-ntmy·2023-10-25 11:05

虚假新闻检测论文阅读（六）：A Deep Learning Model for Early Detection of Fake News on Social Media

论文标题：ADeepLearningModelforEarlyDetectionofFakeNewsonSocialMedia日期：IEEE2020#半监督、#伪标签、#可信度评估一、基本内容训练一个有监督模型和一个无监督模型，但是该工作不仅利用了新闻内容信息，还利用了用户对新闻的评论信息以及作者的可信度信息，使用的信息更为广泛，从而取得了更好的效果。二、主要工作（1）建立一个模型提取用户在评论中

Quinn-ntmy·2023-10-25 11:04

从零开始的Transformers第二篇:代码解析transformer架构

代码解析transformer架构总体解析输入部分词向量InputEmbedding位置编码编码器自注意力机制掩码多头自注意力机制FeedForwardLayerNorm残差链接EncoderLayer

浅冲一下·2023-10-25 11:57

Huggingface开源模型使用学习

使用方法：fromtransformersimportAutoTokenizertokenizer=AutoTokenizer.from_pretrained(XXX)#XXX为想要使用的模型tokenizer

Quinn-ntmy·2023-10-25 11:24

Tansformer模型原理与算法流程

1.自注意力机制Transformer的核心是自注意力机制，它可以让模型在处理序列数据时关注序列中不同位置信息。

信雪神话·2023-10-25 09:36

论文阅读--Crop yield prediction using machine learning: A systematic literature review

摘要：Machinelearningisanimportantdecisionsupporttoolforcropyieldprediction,includingsupportingdecisionsonwhatcropstogrowandwhattododuringthegrowingseasonofthecrops.Severalmachinelearningalgorithmshavebe

追忆苔上雪·2023-10-25 08:11

华为昇腾NPU卡大模型LLM ChatGLM2模型推理使用

/model_cards/glm2.md#chatglm2-6b1、安装环境：昇腾NPU卡对应英伟达GPU卡，CANN对应CUDA底层；mindspore对应pytorch；mindformers对应transformers

loong_XL·2023-10-25 07:37

《论文阅读》LORA：大型语言模型的低秩自适应 2021

《论文阅读》LORA:LOW-RANKADAPTATIONOFLARGELAN-GUAGEMODELS前言简介现有方法模型架构优点前言今天为大家带来的是《LORA:LOW-RANKADAPTATIONOFLARGELAN-GUAGEMODELS

365JHWZGo·2023-10-25 07:13

Python分单篇文章提取核心词汇

importpandasaspdimportreimporthtmlfromtransformersimportBertTokenizerfromsklearn.feature_extraction.textimportTfidfVectorizerimportnumpyasnp

Wenliam·2023-10-25 06:43

Attention 机制

而BERT算法又是基于Transformer，Transformer又是基于attention机制。这次咱们从Encoder-Decoder->Attention->Transformer逐步讲解。

shadowismine·2023-10-25 04:39

Transformer详解学习

1.Transformer原理1.1Transformer整体结构Transformer的结构图，拆解开来，主要分为图上4个部分，其中最重要的就是2和3Encoder-Decoder部分，对咯，Transformer

shadowismine·2023-10-25 04:04

21个Transformer面试题的简单回答

1.Transformer为何使用多头注意力机制？（为什么不使用一个头）答：多头可以使参数矩阵形成多个子空间，矩阵

视学算法·2023-10-25 03:48

解决报错RuntimeError: Failed to import transformers.trainer_seq2seq because of the following error

RuntimeError:Failedtoimporttransformers.trainer_seq2seqbecauseofthefollowingerror(lookuptoseeitstraceback

夏离·2023-10-25 02:10

decapoda-research/llama-7b-hf 的踩坑记录

使用transformers加载decapoda-research/llama-7b-hf的踩坑记录。

夏离·2023-10-25 02:38

解读SwinTrack

解读SwinTrack:ASimpleandStrongBaselineforTransformerTracking论文地址：https://arxiv.org/abs/2112.009951.背景介绍

雨新·2023-10-25 01:03

| EfficientFormerV2：Transformer居然还能比MobileNet还快更准！

2023点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院计算机视觉研究院专栏作者：Edison_G这篇论文讨论了在计算机视觉任务中使用VisionTransformer（ViT）的情况下，如何优化ViT

计算机视觉研究院·2023-10-25 01:00

EfficientFormerV2: Transformer家族中的MobileNet

Title:RethinkingVisionTransformersforMobileNetSizeandSpeedAuthor:YanyuLietal.

CVHub·2023-10-25 01:59

轻量ViT王者 | EfficientFormerV2：全新轻量级视觉Transformer

摘要随着视觉Transformers（ViTs）在计算机视觉任务中的成功，最近的技术试图优化ViT的性能和复杂性，以实现在移动设备上的高效部署。

自动驾驶之心·2023-10-25 01:59

已经彻底输给Transformer了吗？

https://www.zhihu.com/question/531529633点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群后台回复【Transformer

自动驾驶之心·2023-10-25 01:59

惊讶 | EfficientFormerV2：Transformer居然还能比MobileNet还快更准

目录IntroductionFrameworkTokenMixersvs.FeedForwardNetworkSearchSpaceRefinementMHSAImprovementsAttentiononHigherResolutionAttentionDownsamplingSuper-Network-SearchConclusion欢迎关注『CVHub』官方微信公众号！Title:Rethi

CVHub·2023-10-25 01:29

EfficientFormerV2：全新的轻量级视觉Transformer

期刊：2023IEEE/CVFInternationalConferenceonComputerVision(ICCV)标题：Rethinking（重新审视）VisionTransformers（ViT

向岸看·2023-10-25 01:28

【计算机视觉】MoCo v3 讲解

MoCov3论文信息标题：AnEmpiricalStudyofTrainingSelf-SupervisedVisionTransformers作者：XinleiChen,SainingXie,KaimingHe

不牌不改·2023-10-25 00:58

Monocular arbitrary moving object discovery and segmentation 论文阅读

基本信息题目：MonocularArbitraryMovingObjectDiscoveryandSegmentation作者：来源：BMVC时间：2021代码地址：https://github.com/michalneoral/RaptorAbstract我们提出了一种发现和分割场景中独立移动的物体或其部分的方法。给定三个单眼视频帧，该方法输出语义上有意义的区域，即对应于整个对象的区域，即使只有

玛卡巴卡_qin·2023-10-24 22:30

靠“数据堆砌”火拼Transformer，MLP架构可有胜算？

作者：琰琰前段时间，一场关于MLP与Transformer的较量在学术圈闹得沸沸扬扬。

深度学习技术前沿·2023-10-24 17:33

抛弃注意力，比EfficientNet快3.5倍，类Transformer新模型跨界视觉任务实现新SOTA

本文经机器之心（almosthuman2014）授权转载，禁止二次转载.选自OpenReview机器之心编译机器之心编辑部Transformer用在图像识别上会存在计算效率过低的挑战，最近一篇向ICLR2021

我爱计算机视觉·2023-10-24 17:31

【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

一、等变Transformer等变Transformer是Transformer众多变体的其中一种，其强调等变性。不变性或者等变性的定义如下:二、归纳偏置对特定任务的模型需求，即为“归纳偏置”。

dataloading·2023-10-24 17:16

CVPR 2021 | Involution：超越 Convolution 和 Self-attention 的神经网络新算子

CVPR2021被接收的文章Involution:InvertingtheInherenceofConvolutionforVisualRecognition的解读，同时也分享一些我们对网络结构设计（CNN和Transformer

智源社区·2023-10-24 17:16

推荐频道

transformer论文阅读