Attention文献阅读

RT-DETR改进策略：AAAI 2024 最新的轴向注意力| 即插即用，改进首选|全网首发，包含数据集和代码，开箱即用！

摘要本文提出了一种名为Multi-scaleCross-axisAttention（MCA）的方法，用于解决医学图像分割中的多尺度信息和长距离依赖性问题。
静静AI学堂·2023-12-29 02:25

ubuntu20.04 conda环境配置Mask2former记录

建议先看完再按照步骤安装代码地址：GitHub-facebookresearch/Mask2Former:Codereleasefor"Masked-attentionMaskTransformerforUniversalImageSegmentation
小鳄鱼先生·2023-12-29 01:24

分别使用MLP，CNN和Attention对Kaggle上的LOL比赛数据进行预测胜负

写在前面这篇博客只是记录一下在训练神经网络中的一些问题和熟悉一下流程，毕竟好久没有训练一个模型了。课程正好需要我们去进行训练，我就选择了三个比较经典的模型进行预测。过程分为：处理数据，划分训练集和预测集，定义模型和优化器，生成混淆矩阵。整个部分比较简单，使用了GPU进行训练，主要是熟悉训练网络的流程和框架。处理数据首先是读入数据，使用了pandas读数据csv_data='./data/high_
LANGZHIZHEN·2023-12-28 22:06

YOLO模型

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录摘要Abstract文献阅读：使用卷积神经网络和区域卷积神经网络(R-CNN)的肺部异常的检测与分类方法1、研究背景2、研究目的3
qq_43314576·2023-12-28 17:58

文献阅读1

Regulatoryactivitiesoftransposableelements:fromconflictstobenefits摘要：转座子（TEs）是受到严格调节的，具有生物化学活性的非编码元件，如转录因子结合位点和非编码rna的丰富来源。最近的许多研究重新证明，这些元素普遍参与了宿主基因的调控。我们认为，TEs的固有遗传特性及其与宿主的相互冲突的关系促进了其在不同基因组中调节功能的补充。我
黑森林深处的小星星·2023-12-28 11:43

register_forward_hook多输入问题

classUpBlock_attention(nn.Module):defforward(self,fuse,out,fuse_a,out_a):假如模块有四个输出，我需要勾取UpBlock_attention
翰墨大人·2023-12-28 06:31

Transfomer重要源码解析：缩放点击注意力，多头自注意力，前馈网络

缩放点积自注意力(ScaledDot-ProductAttention)缩放点积自注意力是一种自注意力机制，它通过查询（Query）、键（Key）和值（Value）的关系来计算注意力权重。
hadiii·2023-12-28 00:19

transformer模型结构|李宏毅机器学习21年

vd_source=f66cebc7ed6819c67fca9b4fa3785d39文章目录概述seq2seqtransformerEncoderDecoderAutoregressive（AT）self-attention
小居快跑·2023-12-27 23:01

【图神经网络 · 科研笔记5】异构信息网络，利用注意力选择元路径；利用进化邻域和社群实现自监督动态图嵌入，交叉监督对比学习；近期科研思维导图小汇总；

记录部分科研文献阅读相关内容【划重点】，主题“图神经网络”，仅学习使用。
追光者♂·2023-12-27 23:42

【论文笔记】BiFormer: Vision Transformer with Bi-Level Routing Attention

论文地址：BiFormer:VisionTransformerwithBi-LevelRoutingAttention代码地址：https://github.com/rayleizhu/BiFormervisiontransformer
justld·2023-12-27 22:54

BO-CNN-BiLSTM-Mutilhead-Attention贝叶斯优化卷积神经网络双向长短期记忆网络融合多头注意力机制预测matlab代码

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机内容介绍在当今信息爆炸的时代，数据回归预测成为了许多领域的重要课题。为了提高预测的准确性和效率，研究人员不断探
前程算法matlab屋·2023-12-27 16:56

多维时序预测|基于注意力机制的卷积神经网络cnn-attention实现回归预测附matlab仿真

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机内容介绍近年来，深度学习技术在各个领域取得了巨大的成功，其中卷积神经网络（CNN）作为一种重要的深度学习模型，
前程算法matlab屋·2023-12-27 16:56

文献阅读-区块链技术与应用前瞻综述

文献名称：区块链技术与应用前瞻综述作者：何蒲于戈张岩峰鲍玉斌（东北大学计算机科学与工程学院沈阳１１０８１９）网址：http://www.cnki.com.cn/Article/CJFDTOTAL-JSJA201704002.htm区块链技术是一种去中心化、去信任化的分布式数据库技术方案。该数据库由参与系统的所有节点集体维护，具有去中心化、不可篡改、透明、安全等特性。作为比特币的底层技术支持区块链技
流动的风与雪·2023-12-27 13:02

【论文解读】System 2 Attention提高大语言模型客观性和事实性

一、简要介绍本文简要介绍了论文“System2Attention(issomethingyoumightneedtoo)”的相关工作。
合合技术团队·2023-12-27 09:30

CROSSFORMER: TRANSFORMER UTILIZING CROSSDIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FORECASTIN

CrossFromer主要的切入点在于，之前的Transformer更多的考虑是如何通过时间维度attention建立时序上的关系，而缺少面对多元时间序列预测时，对不同变量关系之间的刻画。
流浪的诗人，·2023-12-27 09:57

幸福其实很简单。

第1个A是attention，叫全神贯注，是让你在这三分钟当中放下手机，放下所有会让你分心的事情，然后专心的投入跟对方互动，全神贯注只有三分钟。第2个A是affe
健谈的萝拉·2023-12-27 08:21

2021-03-01文献阅读

DefiningtheTeratomaasaModelforMulti-lineageHumanDevelopment数据：179,632cellsacross23teratomasfrom4celllines细胞类型：approximately20celltypesacrossall3germlayers观点：单细胞实验20种细胞类型，和类器官和胚胎的数据做比较，利用CRISPR-Cas9做敲除
Zane_bio·2023-12-27 00:05

论文：FEED-FORWARD NETWORKS WITH ATTENTION CAN SOLVE SOME LONG-TERM MEMORY PROBLEMS

题目：FEED-FORWARDNETWORKSWITHATTENTIONCANSOLVESOMELONG-TERMMEMORYPROBLEMS”(Raffel和Ellis,2016,p.1)“带有注意力的前馈网络可以解决一些长期记忆问题
xinxuann·2023-12-26 20:28

pytorch 实现 Restormer 主要模块（多头通道自注意力机制和门控制结构）

1.MDTA(Multi-DconvHeadTransposedAttention：多头注意力机制##Multi-DConvHeadTransposedSel
木水_·2023-12-26 07:24

[论文翻译]Attention Is All You Need

引言今天带来神作AttentionIsAllYouNeed的翻译，该作提出了Transformer模型。很牛逼的模型像PLATO-2和GPT-3都是基于Transformer。
愤怒的可乐·2023-12-26 06:07

_【手把手教你写论文】第二期：文献阅读进行时...

点击蓝字关注我们无论是本科阶段、硕士阶段还是博士阶段，甚至是工作后的职称评定，大家可能都面临着论文写作和发表的需求，需要去完成各种形式的论文，比如毕业论文、期刊论文、会议论文等等。自从2019年初发生的某博士学术造假事件后，国内对各类论文的审核标准更为严格，对高校教授、学生及其他科研人员的论文成果提出更高的要求。在杜绝学术造假的底线基础上，如何完成一篇科学、严谨、规范的学术论文呢？从2020年7月
weixin_39733146·2023-12-26 02:53

新概念第二册（1）

12）privateadj.私人的conversationn.谈话theatren.剧场，戏院seatn.座位playn.戏loudlyadv.大声地angryadj.生气的angrilyadv.生气地attentionn
哆啦是个程序员·2023-12-26 02:48

【论文阅读】MCANet: Medical Image Segmentation with Multi-Scale Cross-Axis Attention

文章目录摘要创新点总结实现效果总结摘要链接：https://arxiv.org/abs/2312.08866医学图像分割是医学图像处理和计算机视觉领域的关键挑战之一。由于病变区域或器官的大小和形状各异，有效地捕捉多尺度信息和建立像素间的长距离依赖性至关重要。本文提出了一种基于高效轴向注意力的多尺度交叉轴注意（MCA）方法来解决这些问题。MCA通过计算两个并行轴向注意力之间的双向交叉注意力，以更好地
AI浩·2023-12-25 14:40

群组推荐模型---SoAGREE(Social-Enhanced Attentive Group Recommendation)

SoAGREE概要方法HierarchicalAttentionNetworkLearningAttentiveUserRepresentationLearningNCF(NeuralCollaborativeFiltering
kk变色龙13·2023-12-25 12:00

改进YOLOv8注意力系列三：结合CrissCrossAttention、ECAAttention、EMAU期望最大化注意力

改进YOLOv8注意力系列三：结合CrissCrossAttention、ECAAttention、EMAU期望最大化注意力代码CrissCrossAttention注意力ECAAttention通道注意力
一休哥※·2023-12-25 11:47

文献阅读：LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models

文献阅读：LLMLingua:CompressingPromptsforAcceleratedInferenceofLargeLanguageModels1.文章简介2.方法介绍1.BudgetController2
Espresso Macchiato·2023-12-25 10:47

rasa课程第7周小结

收获01学习了GPT2的一些基本概念，重新回顾了bert中attention的基本概念和原理，了解了gpt2中mask的attention的基本原理。
weixin_41710583·2023-12-25 09:48

第三十二周：文献阅读+RNN+SVM

目录摘要Abstract文献阅读：深度学习递归神经网络预测水体浊度的鲁棒性研究存在的问题提出的方法研究使用的方法神经网络（NN）递归神经网络（RNN1）递归神经网络（RNN2）研究分析的步骤研究实验数据集评估指标实验目的实验内容实验结果研究结论
m0_66015895·2023-12-25 03:14

第三十三学习周报：文献阅读+LSTM变体+RNN

目录摘要Abstract文献阅读：卷积LSTM网络：降水临近预报的机器学习方法现有问题提出方法相关知识LSTMFC-LSTMConv-LSTM编码预测结构研究实验1.数据集2.评估指标3.实验设计4.实验结果研究贡献
m0_66015895·2023-12-25 03:14

第三十五周：文献阅读+Self-attention

目录摘要Abstract文献阅读：基于LSTM和注意机制的水质预测现有问题提出方法前提点1.LSTM2.注意力机制研究模型（AT-LSTM）结构模型验证总结AT-LSTM优于LSTM的方面Self-attention
m0_66015895·2023-12-25 03:14

第三十六周：文献阅读+注意力/自注意力机制

目录摘要Abstract文献阅读：锂离子电池RUL预测的SA-LSTM现有问题提出方法提出方法的结构SA-LSTM预测模型的结构研究实验研究贡献注意力机制Self-Attention（自注意力机制）注意力与自注意力代码实现
m0_66015895·2023-12-25 02:13

极智一周 | MoE、FlashAttention、PTQ、MI300禁令、H100利润空间、戴口罩检测 And so on

欢迎关注我的公众号[极智视界]，获取我的更多技术分享大家好，我是极智视界，带来本周的[极智一周]，关键词：MoE、FlashAttention、PTQ、MI300禁令、H100利润空间、戴口罩检测Andsoon
极智视界·2023-12-24 21:19

【计算机视觉 | CNNs】卷积神经网络18种有效创新方法分享，涵盖注意力机制、空间开发等7大方向（下）

基于特征映射的CNN开发5.1SqueezeandExcitation六、基于（输入）通道利用的CNN6.1ChannelBoostedCNNusingTL七、基于注意力的CNNs7.1ResidualAttentionNeuralNe
旅途中的宽~·2023-12-24 17:59

英文文献阅读工具和经验分享

在搞学术的时候需要阅读大量的英文论文或者是英文原著，我也一直在摸索如何方便高效的阅读。本篇仅为个人经验之谈，大家还是要找到合适自己的方式。方法一：deepL+GoodNotes优点：可以各种划线标注、手写笔记，加入图片等，比较灵活。deepL是我认为比较好的一个翻译引擎。GoodNotes相对便宜，而且个人认为比notability顺手。缺点：该配置有点门槛，需要一个带笔的平板电脑，而且GoodN
老熊软糖·2023-12-24 17:24

【域适应十三】2023-CVPR Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective

它们通常采用ViT中的CrossAttention进行直接的域对齐（CDTrans）。然而，由于CrossAttention的性能高度依赖于目标样本的伪标签质量，当域间隙较大时，域对齐的效果就会降低。
羊驼不驼a·2023-12-24 16:13

分类预测 | Matlab实现MTF-CNN-Mutilhead-Attention基于马尔可夫转移场-卷积神经网络融合多头注意力多特征数据分类预测

分类预测|Matlab实现MTF-CNN-Mutilhead-Attention基于马尔可夫转移场-卷积神经网络融合多头注意力多特征数据分类预测目录分类预测|Matlab实现MTF-CNN-Mutilhead-Attention
机器学习之心·2023-12-24 15:41

多维时序 | MATLAB实CNN-BiGRU-Mutilhead-Attention卷积网络结合双向门控循环单元网络融合多头注意力机制多变量时间序列预测

多维时序|MATLAB实现CNN-BiGRU-Mutilhead-Attention卷积网络结合双向门控循环单元网络融合多头注意力机制多变量时间序列预测目录多维时序|MATLAB实现CNN-BiGRU-Mutilhead-Attention
机器学习之心·2023-12-24 15:10

多维时序 | MATLAB实CNN-Mutilhead-Attention卷积神经网络融合多头注意力机制多变量时间序列预测

多维时序|MATLAB实CNN-Mutilhead-Attention卷积神经网络融合多头注意力机制多变量时间序列预测目录多维时序|MATLAB实CNN-Mutilhead-Attention卷积神经网络融合多头注意力机制多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍多维时序
机器学习之心·2023-12-24 15:08

【BBuf的CUDA笔记】十，Linear Attention的cuda kernel实现解析

0x0.问题引入LinearAttention的论文如下：TransformersareRNNs:FastAutoregressiveTransformerswithLinearAttention：https
just_sort·2023-12-24 15:02

2019-6-3晨间日记

今天是什么日子起床：630就寝：130天气：晴心情：好纪念日：无叫我起床的不是闹钟是梦想年度目标及关键点：论文顺利开题，今天第二稿让导师指导了一下本月重要成果：英语考试，开题报告，文献阅读报告今日三只青蛙
风雨兼程_007·2023-12-24 11:41

关于指针的辨析——指针，数组，数组指针，指针数组，函数指针，返回指针的函数

指针和数组的区别与联系：数组名可以看作是指针常量指针数组函数指针void(*f)(int*)Attention:void*f(int*)declaresfisafunctionBecausetheorderofoperators
魔术考德·2023-12-24 08:40

深度学习（八）：bert理解之transformer

它在2017年由Vaswani等人在论文“AttentionisAllYouNeed”中提出。
从零开始的奋豆·2023-12-24 06:53

stable diffusion工作原理

条件化(conditioning)文本条件化（文本到图像）分词器嵌入将嵌入向量输入噪声预测器交叉注意力(Cross-attention)其他条件化逐步理解StableDif
山鬼谣me·2023-12-24 00:19

百度校招面试

一面自我介绍项目介绍特征模型结构LSTM怎么用user-attention是什么两个数组，找出相同的数字，重复的只保留一个复杂度剑指offer原题（实现一个max栈）给定一个函数F1，调用一次返回1的概率为
可乐两块冰·2023-12-23 21:58

Food Tycoon-Simulation manage

,whichrequiresplayerstobuildmanydifferentfoodstores,hireseniorchefstounlockmorefood.playersneedtopayattentiontotheinventoryofeachstoreatalltimes.Whenthest
Green_Mage·2023-12-23 14:00

YoloV8改进策略：AAAI 2024 最新的轴向注意力| 即插即用，改进首选|全网首发，包含数据集和代码，开箱即用！

摘要本文提出了一种名为Multi-scaleCross-axisAttention（MCA）的方法，用于解决医学图像分割中的多尺度信息和长距离依赖性问题。
静静AI学堂·2023-12-23 13:00

图像融合论文阅读：(MFEIF)学习深度多尺度特征集成和边缘注意引导的图像融合

@article{liu2021learning,title={Learningadeepmulti-scalefeatureensembleandanedge-attentionguidanceforimagefusion
qiang42·2023-12-23 13:23

ACL2021论文笔记——Semantic Representation for Dialogue Modeling

SemanticRepresentationforDialogueModeling(aclanthology.org)https://aclanthology.org/2021.acl-long.342.pdfattention
Mike峰·2023-12-23 08:28

transformer系列之空间复杂度

一、加载阶段该阶段是指将模型加载进GPU的状态；该阶段仅仅需要计算模型的参数量足以；transformer模型由lll个相同的层组成，每个层分为两部分：self-attention块和MLP块，如图所示
Takoony·2023-12-23 04:47

image caption 必看论文，模型整理

基础模型transformers-attentionisallyouneed细节笔记论文笔记几个重点1.架构图2.attention原理attention机制中的query,key,value的概念解释
MIngo的成长·2023-12-23 01:16
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他