一.摘要卷积操作和循环神经元操作都是建立了一个处理一个局部范围信息的一个过程.本文呈现了一种非局部(non-local)操作,可以作为用于捕获长范围依赖的一类模块.本文提出的non-local操作在计算

Non-localNeuralNetworks非局部神经网络0.概述1.相关工作1.1.Non-localimageprocessing.（非局部影像处理）1.2.Graphicalmodels（图模型）1.3.Feedforwardmodelingforsequences（对序列进行前馈建模）1.4.Self-Attention（自注意力机制）1.5.InteractionNetworks（交互

TransformersinVision:ASurvey1、图像识别方向Non-localNeuralNetworks论文将self-attention抽象成为了一个如同卷积、循环操作类似的通用神经网络构件non-local

AsymmetricNon-localNeuralNetworksforSemanticSegmentationZhenZhu,MengdeXu,SongBai,TengtengHuang,XiangBaiHuazhongUniversityofScienceandTechnology,UniversityofOxford[GitHub]：https://github.com/MendelXu/A

PyramidAttentionNetworksforImageRestoration目录用于图像修复的多尺度特征注意力金字塔：PyramidAttentionNetworksforImageRestoration1.传统non-local

视觉注意力机制在Non-local模块中的应用与表现写在文章开头核心速览可供拓展学习的一些相关工作到底什么是Non-local具体形式模块化后记写在文章最后写在文章开头语义分割作为计算机视觉的典型任务，

尽管现在该领域何凯明大佬的最新成果，Non-Local模块以及SlowFast-Net只用视频帧作为输入，无需光流就能碾压之前所有模型。但是对于视频的抽帧，提取光流，以及标准化为数据集等基本处理是

所以Non-local是一个可以整体解决多part的办法。

RAM、STN、GENet和Non-Local是不同类型空间注意方法的代表。RAM代表基于RNN的方法。STN代表那些使用子网络明确预测相关区域的人。GENet代表那些隐式使用子网络预测软掩码以

一，NLM滤波原理简介图像中的像素点之间不是孤立存在的，某一点的像素与别处的像素点一定存在某种关联，可以概括为灰度相关性和几何结构相似性。这是均值滤波考虑的地方，但是我们还发现，相似像素并不局限于某个局部区域，如图像中的长边缘，结构纹理等，都是相似的。自然图像中含有丰富的重复冗余信息，所以可以采用能够描述图像结构特征的图像块在整个图像上寻求相似块。在文献[1]中，NLM有2种应用，一种比较简单，是

Non-local操作是早期self-attention在视觉任务上的尝试，核心在于依照相似度加权其它特征对当前特征进行增强，实现方式十分简洁，为后续的很多相关研究提供了参考 来源：晓飞的算法工程笔记公众号论文

Motivation:文章从BM3D去噪算法中的non-localmeans和self-attention出发，在neuralnetwork中考虑不同空间和时间位置上的特征之间的关系。NL-means去噪与常用的双线性滤波、中值滤波等利用图像局部信息来滤波不同的是，它利用了整幅图像来进行去噪，以图像块为单位在图像中寻找相似区域，再对这些区域求平均，能够比较好地去掉图像中存在的高斯噪声。non-lo

近些年来，Non-local方法利用同尺度的自相似性先验在图像复原任务中取得了一些突破，如图片去噪。

因为是一篇医疗图像的论文所以看看大概做成什么样子，中了AAAI2020U-Net与自然图像不同，在医疗图像上U-Net被应用地较为广泛，具体原因可以参考知乎这篇回答。网络结构之前讨论过了，如下：motivation2个limitations：1.卷积和下采样操作都是local的，只能提取局部信息。长距离信息需要通过大量堆叠卷积和下采样操作得到。因为featuremap的数量会在线下采样之后doub

ImageSuper-ResolutionwithCross-ScaleNon-LocalAttentionandExhaustiveSelf-ExemplarsMining#cross-scalenon-localattentionclassCrossScaleAttention(nn.Module):def__init__(self,channel=128,reduction=2,ksize=

这篇文章让我很是疑惑，已经跑离作者的思路了，欧克，那我们先来看一下把，a模型是NLblock，即non-local，我们前文讲过，意思就是通过操作i和j点的特征，来判断其是否应该相连，然后在乘加上j点的特征

GCNet:Non-localNetworksMeetSqueeze-ExcitationNetworksandBeyondPDF:https://arxiv.org/pdf/1904.11492.pdfPyTorch代码:https://github.com/shanglianlm0525/PyTorch-Networks1概述对于不同的查询点，NLNet学习到的attentionmap是几乎一

Non-localNetworksMeetSqueeze-ExcitationNetworksandBeyondhttps://arxiv.org/abs/1904.11492code:https://github.com/xvjiarui/GCNet.二、论文笔记1、背景（1）、发现原版的non-local

non-local论文地址non-local代码地址gcnet论文地址gcnet代码地址senet论文地址senet代码地址这篇文章是发表于CVPR2019上的一篇文章，文章花了相当多的文笔放在另外两篇文章

GCNet:Non-localNetworksMeetSqueeze-ExcitationNetworksandBeyond[arxiv:https://arxiv.org/pdf/1904.11492.pdf][github:https://github.com/xvjiarui/GCNet;https://github.com/dl19940602/GCnet-pytorch]我的博客尽可能提

没准备好的有：跟non-local有啥区别？还有哪些排序的loss，跟你项目相关的有poseestimation,行人检测，人脸识别，你对哪个比较熟？讲一下吧。。。。我。。。人脸？

2s-AGCN以及Skeleton-BasedActionRecognitionwithMulti-StreamAdaptiveGraphConvolutionalNetworks(文献理解)，还有改名之前的Non-local

一.论文在本文中，我们提出了一种残留的非局部注意网络，用于高质量的图像恢复。在不考虑损坏图像中信息不均匀分布的情况下，先前的方法受到局部卷积运算以及对空间和通道方向特征的同等对待的限制。为了解决这个问题，我们设计了局部和非局部注意块，以提取可捕获像素之间长期依赖关系的特征，并更加注意具有挑战性的部分。具体来说，我们在每个（非本地）注意力模块中设计主干分支和（非本地）掩码分支。干线分支用于提取层次结

图像分割——>语义分割（全卷积网络）扩大感知域ASPPPPM对于NonlocalNeuralNEetworks的理解，我去知乎上搜索了一下Non-Local是王小龙在CVPR2018年提出的一个自注意力模型

StripPooling:RethinkingSpatialPoolingforSceneParsing当前方法的不足之处提高CNNs中远程依赖的建模能力的一种方法是采用self-attention机制或者non-local

Non-localNeuralNetworks卷积(convolutional)运算和循环(recurrent)运算都是对局部区域的处理。受计算机视觉中的非局部均值方法的启发，论文中提出一种非局部操作去捕捉远程依赖，用来建立较远位置的数据之间的关系。比如在卷积网络中，我们虽然可以通过叠加多个卷积层来捕捉远程依赖，但是这样有三个问题：1、计算效率低2、优化更加困难3、当信息需要在远距离位置来回传递时

点击上方“AI算法修炼营”，选择“星标”公众号精选作品，第一时间送达这篇文章收录于ECCV2020，主要是有关语义分割算法中的上下文信息重建方法，本文中同时考虑了通道维和空间维，可以看作是视觉注意力机制的优化与应用。思想其实和CCNet、CVPR2020的条纹池化StripPooling相似，这篇可以看作是他们的抽象。论文地址：https://arxiv.org/abs/2008.00490代码地

ProgressiveFusionVideoSuper-ResolutionNetworkviaExploitingNon-LocalSpatio-TemporalCorrelations文章地址：http://openaccess.thecvf.com/content_ICCV_2019/papers/Yi_Progressive_Fusion_Video_Super-Resolution_Ne

文章仅为个人理解，如有不妥之处欢迎指正。写几个常见的图像去噪滤波器。1、均值滤波器均值滤波器是最简单的图像平滑滤波器，其3*3的模板为19[111111111]\frac{1}{9}\left[\begin{matrix}1&1&1\\1&1&1\\1&1&1\end{matrix}\right]91⎣⎡111111111⎦⎤模板中心的滤波值是模板内像素点的平均值，过程如下图，填充几行由模板大小来

APNB将金字塔采样利用到non-local块中，在不牺牲性能的情况下大大降低了计算量和内存消耗，A

摘要：Non-Local模块是一种特别有用的语义分割技术，但也因其难以进行计算和占用GPU内存而受到批评。

how下图蓝色点为待处理像素点,处理后得到结果为红色点:（a）是Non-local，含蓝色中心的featuremap是输入，分为上下两个分支处理：深绿色分支代表已经完成Non-local操作，得到了(绿色的深浅则代表了当前位置与蓝色中心点的相关性大小

作者：ZhenZhu,MengdeXu,SongBai,TengtengHuang,XiangBai机构：HuazhongUniversityofScienceandTechnology,UniversityofOxford1.背景在语义分割任务中，长距离依赖无法通过简单的卷积操作获得，wang等人在Non-localneuralnetworks中提出的non-localblock使得特征图上每个

涉及到caffe/caffe2的配环境都挺麻烦的，尤其是cuda8+python2.7的，选择使用docker进行环境配置安装步骤1.pulldocker镜像dockerpullbvlc/caffe:gpu，创建容器2.完整caffe2仓库3.流程gitclone--recursivehttps://github.com/CivilNet/video_nonlocal_net_caffe2cdvi

前言:之前已经介绍过SENet和NonLocalNeuralNetwork(NLNet)，两者都是有效的注意力模块。作者发现NLNet中attentionmaps在不同位置的响应几乎一致，并结合SENet后，提出了GlobalContextblock，用于全局上下文建模，在主流的benchmarks中的结果优于SENet和NLNet。GCNet论文名称为：《GCNet:Non-localNetwo

1.Non-localMeans非局部化(Non-localMeans)滤波算法原理：非局部化图像修复算法是近来新兴的图像处理算法，其原理是通过寻找整幅图像中与待恢复区域相似的块，再将找出的所有相似块通过某种相似性准则(如K均值聚类)进行聚类后联合滤波，从而减少图像噪声。而对于图像相似性的计算，可以通过比较一个窗口内的各个像素值来得到。具体参看：NLM原理2.Non-localneuralnetw

其实non-local就是先计算该点（点为向量，维度是通道数）与其他点（也是向量，维度是通道数）的相似度，对这个相似度进行归一化，得到各个点的权重，这个权重再对应乘以对应点的特征映射值（g(x)），加起来的结果就是当前点的输出

自己整理了一下Non-Local注意力机制提出后，后续该注意力机制的变体和在其他领域的应用！由于自己看论文数量有限，欢迎大家补充说明！

前言：这篇论文是2017年cvpr顶会的论文，该论文文笔很优美，读起来很舒服。这篇论文的作者是厦门大学的ZhimingLuo。摘要：作者指出：对于处理具有复杂背景的图像，传统的方法做的不好，而对于现在的深度学习方法，结构上有点过度的复杂并且处理图像的速度并不能实时。因此，作者提出了他的解决方案：提出一个基于vgg16简单的，结合4x5网格的多分辨率局部和全局特征信息的端到端的神经网络。作者并没有使

《AsymmetricNon-localNeuralNetworksforSemanticSegmentation》创新点:Non-local模块因为计算整张图（size=N）的相似度关系然后给出输出结果

参考代码：video-nonlocal-net1.概述导读：现有的CNN与RNN的网络都有很好的局部相关性（local），但是在一些任务中就需要网络具有较大的感受野范围，因而就需要一种non-local

针对Non-Local模块的神经网络搜索，因为效果SOTA+对Non-Local感兴趣，Mark一下论文地址：https://arxiv.org/pdf/2004.01961.pdfGithub（Tensorflow

错误：ScmActive:Unabletoretrievenon-localnon-loopbackIPaddress.Seeingaddress:localhost/127.0.0.1  这个问题我百思不得其解，不断修改/etc/hosts这个文件，因为网上博文都是这么说的，按照这个我去掉了，::1那一行，结果不行。最后我看了下自己本机域名是localhost，我就想这是我的本地域名问题么？接着

[codepytorch](thttps://github.com/speedinghzl/CCNet)两种基于注意力的上下文aggregation图对于每个位置（例如蓝色），Non-local模块都会生成密集的注意力图

与non-local的主要区别：1.有两个分支来学习关系；2.参数是自适应的而非仅利用相似度。

原文链接：https://arxiv.org/abs/1908.07678代码：https://github.com/MendelXu/ANN.gitNon-local是一种特别有用的语义分割技术，但也因其难以进行计算和占用GPU内存而受到批评。本文提出了AsymmetricNon-localNeuralNetwork，其中有两个突出的组成部分：AsymmetricPyramidNon-local

原文链接：http://arxiv.org/pdf/1711.07971v3国内镜像：http://xxx.itp.ac.cn/pdf/1711.07971v3卷积操作和递归操作都是构建块，一次处理一个局部邻居，在此文中，作者将非局部操作作为捕获远程依赖项的构建块的一个通用族来表示。受传统算法非局部均值启发，非局部操作用所有位置特征的加权来作为一个位置的响应。我们从图像数据来解释，获得比较大的感受

前段时间研究了non-local算法在双目立体匹配上的应用，这几天又看到作者在PAMI上发表的这篇文章，于是仔细的拜读了一下，惊讶的发现原来NL算法竟然可以应用在多个方向，其实在《ANon-LocalCostAggregationMethodforStereoMatching

最近一直在做stereomatching方向的研究，仔细研读了包括局部算法，全局算法，以及半全局算法三个方面的算法文献，对该方向有了比较清晰的了解，这次分享一下我对杨庆雄的经典文献《ANon-LocalCostAggregationMethodforStereoMatching》（简称NL算法）的一些理解。之所以想分享这篇文献，是因为文献明确抛弃了supportwindow的算法思想，指出supp

本文主要从视觉注意力机制中的non-local模块出发，通过对non-local模块的简化，使得整体模型计算量更少、参数量更小、占用内存更少。在Cityscapes测试集上，没有预训练步骤和额外的后