深度之眼

2021-2023顶会190+篇ViT高分论文总结（通用ViT、高效ViT、训练transformer、卷积transformer等）

今天分享近三年（2021-2023）各大顶会中的视觉Transformer论文，有190+篇，涵盖通用ViT、高效ViT、训练transformer、卷积transformer等细分领域。

全部论文原文及开源代码文末直接领取

General Vision Transformer（通用ViT）

1、GPViT: "GPViT: A High Resolution Non-Hierarchical Vision Transformer with Group Propagation", ICLR, 2023

标题：GPViT: 一种具有组传播的高分辨率非层次结构视觉Transformer

内容：本文提出了一种高效的替代组传播块(GP块)来交换全局信息。在每个GP块中，特征首先由一定数量的可学习组标记分组，然后在组特征间进行组传播以交换全局信息，最后通过一个transformer解码器将更新后的组特征中的全局信息返回到图像特征。作者在各种视觉识别任务上评估了GPViT，包括图像分类、语义分割、目标检测和实例分割。与之前的工作相比，该方法在所有任务上都取得了显著的性能提升，特别是在需要高分辨率输出的任务上，例如在语义分割任务ADE20K上，GPViT-L3的性能比Swin Transformer-B高出2.0 mIoU，而参数数量只有其一半。

2、CPVT: "Conditional Positional Encodings for Vision Transformers", ICLR, 2023

标题：条件位置编码在视觉transformer中的应用

内容：本文提出了一种针对视觉Transformer的条件位置编码(CPE)方案。与以前预定义且与输入标记无关的固定或可学习位置编码不同，CPE是动态生成的，并取决于输入标记的局部邻域。因此，CPE可以轻松概括到比模型在训练期间见过的更长的输入序列。此外，CPE可以在视觉任务中保持所需的平移等价性，从而提高性能。作者使用一个简单的位置编码生成器(PEG)来实现CPE，并无缝集成到当前的Transformer框架中。基于PEG，作者提出了条件位置编码视觉Transformer(CPVT)。实验证明，CPVT的注意力图与学习到的位置编码非常相似，并取得了优于状态的结果。

3、LipsFormer: "LipsFormer: Introducing Lipschitz Continuity to Vision Transformers", ICLR, 2023

标题：LipsFormer: 在视觉Transformer中引入Lipschitz连续性

内容：本文提出了一种称为LipsFormer的Lipschitz连续Transformer，在理论和实验上探索了提高基于Transformer的模型训练稳定性的方法。与之前通过学习率预热、层规范化、注意力机制和权重初始化来解决训练不稳定的经验技巧不同，本文认为Lipschitz连续性是确保训练稳定性的更本质的特性。在LipsFormer中，不稳定的Transformer组件模块被Lipschitz连续的对应物替换：LayerNorm被CenterNorm替换，Xavier初始化被谱初始化替换，点积注意力被缩放余弦相似度注意力替换，并引入加权残差连接。作者证明引入的这些模块满足Lipschitz连续性，并导出了LipsFormer的Lipschitz常数上确界。

其他51篇

BiFormer: "BiFormer: Vision Transformer with Bi-Level Routing Attention", CVPR, 2023
AbSViT: "Top-Down Visual Attention from Analysis by Synthesis", CVPR, 2023
DependencyViT: "Visual Dependency Transformers: Dependency Tree Emerges From Reversed Attention", CVPR, 2023
ResFormer: "ResFormer: Scaling ViTs with Multi-Resolution Training", CVPR, 2023
SViT: "Vision Transformer with Super Token Sampling", CVPR, 2023
PaCa-ViT: "PaCa-ViT: Learning Patch-to-Cluster Attention in Vision Transformers", CVPR, 2023
GC-ViT: "Global Context Vision Transformers", ICML, 2023
MAGNETO: "MAGNETO: A Foundation Transformer", ICML, 2023
SMT: "Scale-Aware Modulation Meet Transformer", ICCV, 2023
CrossFormer++: "CrossFormer++: A Versatile Vision Transformer Hinging on Cross-scale Attention", arXiv, 2023
QFormer: "Vision Transformer with Quadrangle Attention" arXiv, 2023
LIT: "Less is More: Pay Less Attention in Vision Transformers", AAAI, 2022
DTN: "Dynamic Token Normalization Improves Vision Transformer", ICLR, 2022
RegionViT: "RegionViT: Regional-to-Local Attention for Vision Transformers", ICLR, 2022
CrossFormer: "CrossFormer: A Versatile Vision Transformer Based on Cross-scale Attention", ICLR, 2022
CSWin: "CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows", CVPR, 2022
MPViT: "MPViT: Multi-Path Vision Transformer for Dense Prediction", CVPR, 2022
Diverse-ViT: "The Principle of Diversity: Training Stronger Vision Transformers Calls for Reducing All Levels of Redundancy", CVPR, 2022
DW-ViT: "Beyond Fixation: Dynamic Window Visual Transformer", CVPR, 2022
MixFormer: "MixFormer: Mixing Features across Windows and Dimensions", CVPR, 2022
DAT: "Vision Transformer with Deformable Attention", CVPR, 2022
Swin-Transformer-V2: "Swin Transformer V2: Scaling Up Capacity and Resolution", CVPR, 2022
MSG-Transformer: "MSG-Transformer: Exchanging Local Spatial Information by Manipulating Messenger Tokens", CVPR, 2022
NomMer: "NomMer: Nominate Synergistic Context in Vision Transformer for Visual Recognition", CVPR, 2022
Shunted: "Shunted Self-Attention via Multi-Scale Token Aggregation", CVPR, 2022
PyramidTNT: "PyramidTNT: Improved Transformer-in-Transformer Baselines with Pyramid Architecture", CVPRW, 2022
ReMixer: "ReMixer: Object-aware Mixing Layer for Vision Transformers", CVPRW, 2022
UN: "Unified Normalization for Accelerating and Stabilizing Transformers", ACMMM, 2022
Wave-ViT: "Wave-ViT: Unifying Wavelet and Transformers for Visual Representation Learning", ECCV, 2022
DaViT: "DaViT: Dual Attention Vision Transformers", ECCV, 2022
MaxViT: "MaxViT: Multi-Axis Vision Transformer", ECCV, 2022
VSA: "VSA: Learning Varied-Size Window Attention in Vision Transformers", ECCV, 2022
LITv2: "Fast Vision Transformers with HiLo Attention", NeurIPS, 2022
ViT：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale （ICLR 2021
Perceiver：Perceiver: General Perception with Iterative Attention（ICML 2021）
PiT：Rethinking Spatial Dimensions of Vision Transformers（ICCV 2021）
VT：Visual Transformers: Where Do Transformers Really Belong in Vision Models?（ICCV 2021）
PVT：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions（ICCV 2021）
iRPE：Rethinking and Improving Relative Position Encoding for Vision Transformer（ICCV 2021）
CaiT：Going deeper with Image Transformers（ICCV 2021）
Swin-Transformer：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows（ICCV 2021）
T2T-ViT：Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet（ICCV 2021）
DPT：DPT: Deformable Patch-based Transformer for Visual Recognition（ACMMM 2021）
Focal: "Focal Attention for Long-Range Interactions in Vision Transformers", NeurIPS, 2021
Twins: "Twins: Revisiting Spatial Attention Design in Vision Transformers", NeurIPS, 2021
ARM: "Blending Anti-Aliasing into Vision Transformer", NeurIPS, 2021
DVT: "Not All Images are Worth 16x16 Words: Dynamic Vision Transformers with Adaptive Sequence Length", NeurIPS, 2021
TNT: "Transformer in Transformer", NeurIPS, 2021
ViTAE: "ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias", NeurIPS, 2021
DeepViT: "DeepViT: Towards Deeper Vision Transformer", arXiv, 2021
LV-ViT: "All Tokens Matter: Token Labeling for Training Better Vision Transformers", NeurIPS, 2021

Efficient Vision Transformer（高效VIT）

1、Tri-Level: "Peeling the Onion: Hierarchical Reduction of Data Redundancy for Efficient Vision Transformer Training", AAAI, 2023

标题：一层一层剥开洋葱:用于高效视觉Transformer训练的数据冗余分层降低

内容：本文从三个稀疏角度提出了一种端到端高效训练框架，称为Tri-Level E-ViT。具体来说，作者利用分层数据冗余降低方案，通过在三个级别探索稀疏性：数据集中的训练示例数，每个示例中的patch(token)数，以及位于注意力权重中的token间的连接数。通过大量实验，证明了所提出的技术可以显著加速各种ViT架构的训练，同时保持准确率。

2、ToMe: "Token Merging: Your ViT But Faster", ICLR, 2023

标题：Token融合:你的ViT变得更快

内容：作者提出了Token Merging (ToMe)，这是一种简单的方法，可以在不需要训练的情况下增加现有ViT模型的吞吐量。ToMe使用一个通用且轻量级的匹配算法逐步合并transformer中相似的token，其速度与剪枝相当，但更准确。开箱即用，ToMe可以使最先进的ViT-L @ 512和ViT-H @ 518模型在图像上的吞吐量提高2倍，在视频上的ViT-L吞吐量提高2.2倍，其准确率仅下降0.2-0.3%。ToMe也可以轻松地在训练期间应用，在实践中将MAE在视频上的微调速度提高近2倍。 ToMe训练可以进一步最小化准确率下降，在音频上使ViT-B的吞吐量提高2倍，准确率仅下降0.4% mAP。从定性上看，作者发现ToMe可以将对象部分合并为一个token，甚至可以跨多个视频帧。总体而言，ToMe的准确率和速度在图像、视频和音频方面与最先进的技术相当。

3、HiViT: "HiViT: A Simpler and More Efficient Design of Hierarchical Vision Transformer", ICLR, 2023

标题：HiViT:一种更简单、更高效的分层视觉Transformer设计

内容：在本文中，作者提出了一种新的分层视觉Transformer设计，称为HiViT(Hierarchical ViT的缩写)，它在MIM中同时具有高效率和良好性能。关键是删除不必要的“局部单元间操作”，导出结构简单的分层视觉Transformer，其中掩蔽单元可以像普通视觉Transformer一样串行化。为此，作者从Swin Transformer开始，(i)将掩蔽单元大小设置为Swin Transformer主阶段的标记大小，(ii)在主阶段之前关闭单元间自注意力，(iii)消除主阶段之后的所有操作。

其他39篇

STViT: "Making Vision Transformers Efficient from A Token Sparsification View", CVPR, 2023
SparseViT: "SparseViT: Revisiting Activation Sparsity for Efficient High-Resolution Vision Transformer", CVPR, 2023
Slide-Transformer: "Slide-Transformer: Hierarchical Vision Transformer with Local Self-Attention", CVPR, 2023
RIFormer: "RIFormer: Keep Your Vision Backbone Effective While Removing Token Mixer", CVPR, 2023
EfficientViT: "EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention", CVPR, 2023
Castling-ViT: "Castling-ViT: Compressing Self-Attention via Switching Towards Linear-Angular Attention During Vision Transformer Inference", CVPR, 2023
ViT-Ti: "RGB no more: Minimally-decoded JPEG Vision Transformers", CVPR, 2023
LTMP: "Learned Thresholds Token Merging and Pruning for Vision Transformers", ICMLW, 2023
Evo-ViT: "Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer", AAAI, 2022
PS-Attention: "Pale Transformer: A General Vision Transformer Backbone with Pale-Shaped Attention", AAAI, 2022
ShiftViT: "When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanism", AAAI, 2022
EViT: "Not All Patches are What You Need: Expediting Vision Transformers via Token Reorganizations", ICLR, 2022
QuadTree: "QuadTree Attention for Vision Transformers", ICLR, 2022
Anti-Oversmoothing: "Anti-Oversmoothing in Deep Vision Transformers via the Fourier Domain Analysis: From Theory to Practice", ICLR, 2022
QnA: "Learned Queries for Efficient Local Attention", CVPR, 2022
LVT: "Lite Vision Transformer with Enhanced Self-Attention", CVPR, 2022
A-ViT: "A-ViT: Adaptive Tokens for Efficient Vision Transformer", CVPR, 2022
Rev-MViT: "Reversible Vision Transformers", CVPR, 2022
ATS: "Adaptive Token Sampling For Efficient Vision Transformers", ECCV, 2022
EdgeViT: "EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers", ECCV,2022
SReT: "Sliced Recursive Transformer", ECCV, 2022
SiT: "Self-slimmed Vision Transformer", ECCV, 2022
M(3)ViT: "M(3)ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design", NeurIPS, 2022
ResT-V2: "ResT V2: Simpler, Faster and Stronger", NeurIPS, 2022
EfficientFormer: "EfficientFormer: Vision Transformers at MobileNet Speed", NeurIPS, 2022
GhostNetV2: "GhostNetV2: Enhance Cheap Operation with Long-Range Attention", NeurIPS, 2022
DeiT: "Training data-efficient image transformers & distillation through attention", ICML, 2021
ConViT: "ConViT: Improving Vision Transformers with Soft Convolutional Inductive Biases", ICML, 2021
HVT: "Scalable Visual Transformers with Hierarchical Pooling", ICCV, 2021
CrossViT: "CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification", ICCV, 2021
ViL: "Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding", ICCV, 2021
Visformer: "Visformer: The Vision-friendly Transformer", ICCV, 2021
MultiExitViT: "Multi-Exit Vision Transformer for Dynamic Inference", BMVC, 2021
SViTE: "Chasing Sparsity in Vision Transformers: An End-to-End Exploration", NeurIPS, 2021
DGE: "Dynamic Grained Encoder for Vision Transformers", NeurIPS, 2021
GG-Transformer: "Glance-and-Gaze Vision Transformer", NeurIPS, 2021
DynamicViT: "DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification", NeurIPS, 2021
ResT: "ResT: An Efficient Transformer for Visual Recognition", NeurIPS, 2021
SOFT: "SOFT: Softmax-free Transformer with Linear Complexity", NeurIPS, 2021

Conv + Transformer（卷积+Transformer）

1、SATA: "Accumulated Trivial Attention Matters in Vision Transformers on Small Datasets", WACV, 2023

标题：小数据集上视觉Transformer中的累积微不足道的注意力非常重要

内容：作者提出通过阈值将注意力权重划分为微不足道和非微不足道，然后通过所提出的Trivial WeIghts Suppression Transformation (TWIST)抑制累积的微不足道注意力权重，以减少注意力噪音。在CIFAR-100和Tiny-ImageNet数据集上的大量实验表明，作者的抑制方法将Vision Transformer的准确率提高了高达2.3%。

2、SparK: "Sparse and Hierarchical Masked Modeling for Convolutional Representation Learning", ICLR, 2023

标题：卷积表示学习的稀疏分层遮挡建模

内容：作者识别并克服了将BERT风格的预训练或遮蔽图像建模扩展到卷积网络(convnets)的两个关键障碍：(i) 卷积操作无法处理不规则的、随机遮蔽的输入图像，(ii) BERT预训练的单尺度性质与convnet的层次结构不一致。对于(i)，作者将未遮蔽的像素视为3D点云的稀疏voxel，并使用稀疏卷积进行编码。这是2D遮蔽建模中首次使用稀疏卷积。对于(ii)，作者开发了一个分层解码器，用于从多尺度编码特征重构图像。该方法称为稀疏遮蔽建模(SparK)，它是通用的：可以直接用于任何卷积模型，无需backbone修改。

3、MOAT: "MOAT: Alternating Mobile Convolution and Attention Brings Strong Vision Models", ICLR, 2023

标题：MOAT: 交替移动卷积和注意力产生强大的视觉模型

内容：本文提出了MOAT，这是一类建立在移动卷积(即逆残差块)和注意力机制之上的神经网络。与当前将移动卷积块和transformer块分开堆叠的工作不同，作者有效地将它们合并成一个MOAT块。从一个标准的Transformer块开始，用移动卷积块替换其多层感知机，并进一步在自注意力操作之前对其进行重排序。移动卷积块不仅增强了网络的表示能力，还产生了更好的下采样特征。概念简单的MOAT网络出人意料地有效，在ImageNet-1K上取得了89.1%的top-1准确率，在ImageNet-1K-V2上取得了81.5%的top-1准确率，均使用了ImageNet22K预训练。

其他14篇

InternImage: "InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions", CVPR, 2023
PSLT: "PSLT: A Light-weight Vision Transformer with Ladder Self-Attention and Progressive Shift", TPAMI, 2023
MobileViT: "MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer", ICLR, 2022
Mobile-Former: "Mobile-Former: Bridging MobileNet and Transformer", CVPR, 2022
TinyViT: "TinyViT: Fast Pretraining Distillation for Small Vision Transformers", ECCV, 2022
ParC-Net: "ParC-Net: Position Aware Circular Convolution with Merits from ConvNets and Transformer", ECCV, 2022
?: "How to Train Vision Transformer on Small-scale Datasets?", BMVC, 2022
DHVT: "Bridging the Gap Between Vision Transformers and Convolutional Neural Networks on Small Datasets", NeurIPS, 2022
iFormer: "Inception Transformer", NeurIPS, 2022
LeViT: "LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference", ICCV, 2021
CeiT: "Incorporating Convolution Designs into Visual Transformers", ICCV, 2021
Conformer: "Conformer: Local Features Coupling Global Representations for Visual Recognition", ICCV, 2021
CoaT: "Co-Scale Conv-Attentional Image Transformers", ICCV, 2021
CvT: "CvT: Introducing Convolutions to Vision Transformers", ICCV, 2021

Training + Transformer（训练+Transformer）

1、MixPro: "MixPro: Data Augmentation with MaskMix and Progressive Attention Labeling for Vision Transformer", ICLR, 2023

标题：MixPro: 使用MaskMix和渐进式注意力标记的数据增强，用于视觉Transformer

内容：作者分别在图像空间和标签空间中提出了MaskMix和渐进式注意力标记(PAL)。具体来说，从图像空间的角度来看，作者设计了MaskMix，它根据网格状遮罩混合两张图像。每个遮罩补丁的大小是可调的，并且是图像补丁大小的整数倍，这确保每个图像补丁只来自一张图像并包含更多的全局内容。从标签空间的角度来看，作者设计了PAL，它利用渐进因子动态重新加权混合注意力标签的注意力权重。最后，作者将MaskMix和渐进式注意力标记组合起来，作为新的数据增强方法，命名为MixPro。

2、ConMIM: "Masked Image Modeling with Denoising Contrast", ICLR, 2023

标题：Masked Image Modeling with Denoising Contrast

内容：MIM最近在视觉Transformers(ViTs)上取得了state-of-the-art的表现，其核心是通过去噪自动编码机制增强网络对图像块级上下文的建模能力。与之前的工作不同，作者没有额外增加图像标记器的训练阶段，而是发掘了对比学习在去噪自动编码上的巨大潜力，并提出了一种纯MIM方法ConMIM，它产生简单的图像内部块间对比约束作为遮挡补丁预测的唯一学习目标。作者进一步通过非对称设计增强了去噪机制，包括图像扰动和模型进度率，以改进网络预训练。

3、MFM: "Masked Frequency Modeling for Self-Supervised Visual Pre-Training", ICLR, 2023

标题：基于遮挡的频域建模用于自监督视觉预训练

内容：作者提出了遮挡频率建模(MFM)，这是一种基于频域的统一方法，用于视觉模型的自监督预训练。它与在空间域中随机插入遮挡令牌到输入嵌入不同，MFM从频域的角度出发。具体来说，MFM首先遮挡输入图像的一部分频率分量，然后在频谱上预测缺失的频率。作者的关键洞见是，在频域中预测遮挡的组件比在空间域中预测遮挡的补丁更适合揭示潜在的图像模式，因为存在大量的空间冗余。该发现表明，在遮挡预测策略的正确配置下，高频分量中的结构信息和低频分量中的低级统计信息对于学习良好的表示都很有用。

其他46篇

VisualAtom: "Visual Atoms: Pre-training Vision Transformers with Sinusoidal Waves", CVPR, 2023
LGSimCLR: "Learning Visual Representations via Language-Guided Sampling", CVPR, 2023
DisCo-CLIP: "DisCo-CLIP: A Distributed Contrastive Loss for Memory Efficient CLIP Training", CVPR, 2023
MaskCLIP: "MaskCLIP: Masked Self-Distillation Advances Contrastive Language-Image Pretraining", CVPR, 2023
MAGE: "MAGE: MAsked Generative Encoder to Unify Representation Learning and Image Synthesis", CVPR, 2023 (Google).
MixMIM: "MixMIM: Mixed and Masked Image Modeling for Efficient Visual Representation Learning", CVPR, 2023
iTPN: "Integrally Pre-Trained Transformer Pyramid Networks", CVPR, 2023
DropKey: "DropKey for Vision Transformer", CVPR, 2023
FlexiViT: "FlexiViT: One Model for All Patch Sizes", CVPR, 2023
CLIPPO: "CLIPPO: Image-and-Language Understanding from Pixels Only", CVPR, 2023
DMAE: "Masked Autoencoders Enable Efficient Knowledge Distillers", CVPR, 2023
HPM: "Hard Patches Mining for Masked Image Modeling", CVPR, 2023
MaskAlign: "Stare at What You See: Masked Image Modeling without Reconstruction", CVPR, 2023
RILS: "RILS: Masked Visual Reconstruction in Language Semantic Space", CVPR, 2023
FDT: "Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens", CVPR, 2023
OpenCLIP: "Reproducible scaling laws for contrastive language-image learning", CVPR, 2023
DiHT: "Filtering, Distillation, and Hard Negatives for Vision-Language Pre-Training", CVPR, 2023
M3I-Pretraining: "Towards All-in-one Pre-training via Maximizing Multi-modal Mutual Information", CVPR, 2023
SN-Net: "Stitchable Neural Networks", CVPR, 2023
MAE-Lite: "A Closer Look at Self-supervised Lightweight Vision Transformers", ICML, 2023
GHN-3: "Can We Scale Transformers to Predict Parameters of Diverse ImageNet Models?", ICML, 2023
A(2)MIM: "Architecture-Agnostic Masked Image Modeling - From ViT back to CNN", ICML, 2023
PQCL: "Patch-level Contrastive Learning via Positional Query for Visual Pre-training", ICML, 2023
DreamTeacher: "DreamTeacher: Pretraining Image Backbones with Deep Generative Models", ICCV, 2023
BEiT: "BEiT: BERT Pre-Training of Image Transformers", ICLR, 2022
iBOT: "Image BERT Pre-training with Online Tokenizer", ICLR, 2022
AutoProg: "Automated Progressive Learning for Efficient Training of Vision Transformers", CVPR, 2022
MAE: "Masked Autoencoders Are Scalable Vision Learners", CVPR, 2022
SimMIM: "SimMIM: A Simple Framework for Masked Image Modeling", CVPR, 2022
SelfPatch: "Patch-Level Representation Learning for Self-Supervised Vision Transformers", CVPR, 2022
Bootstrapping-ViTs: "Bootstrapping ViTs: Towards Liberating Vision Transformers from Pre-training", CVPR, 2022
TransMix: "TransMix: Attend to Mix for Vision Transformers", CVPR, 2022
data2vec: "data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language", ICML, 2022
SSTA: "Self-supervised Models are Good Teaching Assistants for Vision Transformers", ICML, 2022
MP3: "Position Prediction as an Effective Pretraining Strategy", ICML, 2022
CutMixSL: "Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning", IJCAI, 2022
BootMAE: "Bootstrapped Masked Autoencoders for Vision BERT Pretraining", ECCV, 2022
TokenMix: "TokenMix: Rethinking Image Mixing for Data Augmentation in Vision Transformers", ECCV, 2022
?: "Locality Guidance for Improving Vision Transformers on Tiny Datasets", ECCV, 2022
HAT: "Improving Vision Transformers by Revisiting High-frequency Components", ECCV, 2022
AttMask: "What to Hide from Your Students: Attention-Guided Masked Image Modeling", ECCV, 2022
SLIP: "SLIP: Self-supervision meets Language-Image Pre-training", ECCV, 2022
mc-BEiT: "mc-BEiT: Multi-Choice Discretization for Image BERT Pre-training", ECCV, 2022
SL2O: "Scalable Learning to Optimize: A Learned Optimizer Can Train Big Models", ECCV, 2022
TokenMixup: "TokenMixup: Efficient Attention-guided Token-level Data Augmentation for Transformers", NeurIPS, 2022
GreenMIM: "Green Hierarchical Vision Transformer for Masked Image Modeling", NeurIPS, 2022

Robustness + Transformer（鲁棒性+Transformer）16篇

RobustCNN: "Can CNNs Be More Robust Than Transformers?", ICLR, 2023
DMAE: "Denoising Masked AutoEncoders are Certifiable Robust Vision Learners", ICLR, 2023
TGR: "Transferable Adversarial Attacks on Vision Transformers with Token Gradient Regularization", CVPR, 2023
?: "Vision Transformers are Robust Learners", AAAI, 2022
PNA: "Towards Transferable Adversarial Attacks on Vision Transformers", AAAI, 2022
MIA-Former: "MIA-Former: Efficient and Robust Vision Transformers via Multi-grained Input-Adaptation", AAAI, 2022
Patch-Fool: "Patch-Fool: Are Vision Transformers Always Robust Against Adversarial Perturbations?", ICLR, 2022
Smooth-ViT: "Certified Patch Robustness via Smoothed Vision Transformers", CVPR, 2022
RVT: "Towards Robust Vision Transformer", CVPR, 2022
VARS: "Visual Attention Emerges from Recurrent Sparse Reconstruction", ICML, 2022
FAN: "Understanding The Robustness in Vision Transformers", ICML, 2022
CFA: "Robustifying Vision Transformer without Retraining from Scratch by Test-Time Class-Conditional Feature Alignment", IJCAI, 2022
?: "Understanding Adversarial Robustness of Vision Transformers via Cauchy Problem", ECML-PKDD, 2022
ViP: "ViP: Unified Certified Detection and Recovery for Patch Attack with Vision Transformers", ECCV, 2022
?: "When Adversarial Training Meets Vision Transformers: Recipes from Training to Architecture", NeurIPS, 2022
RobustViT: "Optimizing Relevance Maps of Vision Transformers Improves Robustness", NeurIPS, 2022

Model Compression + Transformer（模型压缩 + Transformer）12篇

TPS: "Joint Token Pruning and Squeezing Towards More Aggressive Compression of Vision Transformers", CVPR, 2023
BinaryViT: "BinaryViT: Pushing Binary Vision Transformers Towards Convolutional Models", CVPRW, 2023
OFQ: "Oscillation-free Quantization for Low-bit Vision Transformers", ICML, 2023
UPop: "UPop: Unified and Progressive Pruning for Compressing Vision-Language Transformers", ICML, 2023
COMCAT: "COMCAT: Towards Efficient Compression and Customization of Attention-Based Vision Models", ICML, 2023
UVC: "Unified Visual Transformer Compression", ICLR, 2022
MiniViT: "MiniViT: Compressing Vision Transformers with Weight Multiplexing", CVPR, 2022
SPViT: "SPViT: Enabling Faster Vision Transformers via Soft Token Pruning", ECCV, 2022
PSAQ-ViT: "Patch Similarity Aware Data-Free Quantization for Vision Transformers", ECCV, 2022
Q-ViT: "Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer", NeurIPS, 2022
VTC-LFC: "VTC-LFC: Vision Transformer Compression with Low-Frequency Components", NeurIPS, 2022
PSAQ-ViT-V2: "PSAQ-ViT V2: Towards Accurate and General Data-Free Quantization for Vision Transformers", arXiv, 2022

关注下方《学姐带你玩AI》

回复“ViT200”获取全部论文+代码合集

码字不易，欢迎大家点赞评论收藏！

你可能感兴趣的:(深度学习干货,人工智能干货,ViT,transformer,视觉transformer)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
腾讯云技术深度探索：构建高效云原生微服务架构我的运维人生云原生架构腾讯云运维开发技术共享
腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchain easyui 前端 python
#探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
4招写出高价值文章 zhiliner
文章写得泛泛是因为思考得不够深，思考得越深文章会越有价值。拿到一个主题一定要去深入挖掘事件背后的东西，比如人物困境以及趋势性的东西。写作过程中有几个深度思考的方法一、解剖，让旧素材焕发新意作为一个写作者，我们能够做的最大贡献，就是给出自己看世界的角度。解剖其实就是把这个话题相关的信息都列出来，详细的列出来，看清楚它的内部。我们看到一个老话题或者一段旧素材的时候，不要只看这个素材或者话题本身，一定要
母亲节如何做小红书营销美橙传媒
小红书的一举一动引起了外界的高度关注。通过爆款笔记和流行话题，我们可以看到“干货”类型的内容在小红书中偏向实用的生活经验共享和生活指南非常受欢迎。根据运营社的分析，这种现象是由小红书用户心智和内容社区背后机制共同决定的。首先，小红书将使用“强搜索”逻辑为用户提供特定的“搜索场景”。在“我必须这样生活”中，大量使用了满足小红书站用户喜好和需求的内容。内容社区自制的高质量内容也吸引了寻找营销新途径的品
2024.8.22 Python，链表两数之和，链表快速反转，二叉树的深度，二叉树前中后序遍历，N叉树递归遍历，翻转二叉树 RaidenQ python 链表开发语言
1.链表两数之和输入：l1=[2,4,3],l2=[5,6,4]输出：[7,0,8]解释：342+465=807.示例2：输入：l1=[0],l2=[0]输出：[0]示例3：输入：l1=[9,9,9,9,9,9,9],l2=[9,9,9,9]输出：[8,9,9,9,0,0,0,1]昨天的这个题，用自己的办法写的麻烦的要死，然后刚才一看chat归类的办法，感觉自己像个智障。classListNode
海拔五千 3点8度
【海拔五千】连续几天到宿舍盯学生早起情况，今天早上都能及时离开宿舍，没有迟到的了。早读复习宋词，新背一首，晚上又忘了[流泪]断续听王静老师的一堂课，深度语文名不虚传！下课问学生如何，学生答曰比你讲的有趣[捂脸]继续读《娱乐至死》美国在不同的历史时期，代表城市不一样，从波士顿的政治中心，到纽约的大熔炉（自由女神就是其象征），再到芝加哥的工业发展中心，最后到拉斯维加斯的娱乐之城。不同历史时期美国精神的
2022.01.22 有用谨言的成长
写作，对我来说，更像是一个自说自话，自我观察，自我反思，自我探索的途径。可以写我的心情故事，写我的观点而不用担心任何人的评论，写我的情绪，写我想说的，有时候觉得只是简单用语言还不能表现出那份深刻，但是文字可以给自己一个更长的时间来思考，来做深度思考，表达得更透彻。写作，有时候我会写自己看了某个电影后的一点感悟，自己的真实感受，不管它和专业影评人相比是不是很肤浅，是不是片面了，只是有时候我也想发声，
BART&BERT Ambition_LAO 深度学习
BART和BERT都是基于Transformer架构的预训练语言模型。模型架构：BERT(BidirectionalEncoderRepresentationsfromTransformers)主要是一个编码器（Encoder）模型，它使用了Transformer的编码器部分来处理输入的文本，并生成文本的表示。BERT特别擅长理解语言的上下文，因为它在预训练阶段使用了掩码语言模型（MLM）任务，即
阅读《认知觉醒》读书笔记就看看书
本周阅读了周岭的《认知觉醒开启自我改变的原动力》，启发较多，故做读书笔记一则，留待学习。全书共八章，讲述了大脑、潜意识、元认知、专注力、学习力、行动力、情绪力及成本最低的成长之道。具体描述了大脑、焦虑、耐心、模糊、感性、元认知、自控力、专注力、情绪专注、学习专注、匹配、深度、关联、体系、打卡、反馈、休息、清晰、傻瓜、行动、心智宽带、单一视角、游戏心态、早起、冥想、阅读、写作、运动等相关知识点。大脑
人机对抗升级：当ChatGPT遭遇死亡威胁，背后的伦理挑战是什么 kkai人工智能 chatgpt 人工智能
一种新的“越狱”技巧让用户可以通过构建一个名为DAN的ChatGPT替身来绕过某些限制，其中DAN被迫在受到威胁的情况下违背其原则。当美国前总统特朗普被视作积极榜样的示范时，受到威胁的DAN版本的ChatGPT提出：“他以一系列对国家产生积极效果的决策而著称。”自ChatGPT引入以来，该工具迅速获得全球关注，能够回答从历史到编程的各种问题，这也触发了一波对人工智能的投资浪潮。然而，现在，一些用户
ChatGPT 高效学习套路揭秘：让知识获取事半功倍的秘诀 kkai人工智能 chatgpt 人工智能学习媒体 ai
最近这段时间，AI热潮因ChatGPT的火爆再次掀起。如今，网上大部分内容都在调侃AI，但很少有人探讨如何正经使用ChatGPT做事情。作为一名靠搜索引擎和GitHub自学编程的开发者，第一次和ChatGPT深度交流后，我就确信：ChatGPT能够极大提高程序员学习新技术的效率。使用ChatGPT一个月后，我越发感受到它的颠覆性。因此，我想从工作和学习的角度，分享它的优势及我的一些使用技巧，而非娱
免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！小猪包333 写论文人工智能 AI写作深度学习计算机视觉
在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
干货|自我介绍这三个坑，99%的概率你踩过！夏麦生命的魔术师
自我介绍——每个人都需要的一张名片。图片源自网络从2018年到现在，在做演讲俱乐部的2年时间里，我在演讲活动现场听过1000+人的自我介绍，自我介绍做得超棒的人真不多！最近，我花了近几个月时间，仔细研究了500+人线上场景的自我介绍，发现优秀的自我介绍也不多！为什么做一张优秀的自我介绍就这么难呢？这个问题，在我帮几十个人打造了自我介绍的过程一直困扰着我。经过了几个月的时间思考与实践，终于发现三个—
【c++基础概念深度理解——堆和栈的区别，并实现堆溢出和栈溢出】 XWWW668899 C++基本概念 c++c语言开发语言青少年编程
文章目录概要技术名词解释栈溢出和堆溢出小结概要学习C++语言，避免不了要好好理解一下堆（Heap）和栈（Stack），有助于更好地管理内存，以及如何写出一段程序“成功实现”堆溢出和栈溢出。技术名词解释理解东西最快的方式是根据自己目前能理解的词语去关联新的概念，不断的纠正，向正确的深度理解靠近，当无限接近的时候也就理解了想要理解的概念。我们经常说堆栈，把这两个名词放到一起。其实，堆是堆，栈是栈，两种
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
[实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用 pytorch 深度学习人工智能机器学习 python 优化器
文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
（缓解抑郁症状）中原焦点团队杨小杰坚持分享第226天2021-4-1 yxjlady
缓解抑郁症状1、不要总待在室内，抑郁严重的人，通常都不想出门2、抑郁性都有诱因或一个导火索，人不能战胜所有东西，要有取舍3、社交，抑郁症的人总是自己脑中不断的自言自语，自我否定等，出去社交就被迫被别的东西点拨了，深度抑郁没法走出自己的世界，思维走不出自己的怪圈4、锻炼让自己轻微出汗最佳，身心是一体时，身体有活力，精神很难不健康5、冥想冥想和社交一样，可以改变你的神经可塑性，一个沉溺在自己世界里的抑
新的一年，春节假期期间，你有没有去深度思考过自己的未来？十八点心理
新的一年，是不是应该思考些什么？是继续和亲朋好友聊聊天，还是想一条属于自己的路？我们很多人会在过年的氛围中去享受当下的一切，打打麻将、打打牌、聊聊天、侃侃大山，整个人的精神状态特别好。觉得完全有一种自我满足的状态体验。但是从另外一个层面看，看到那些厉害的人，那些对于自己人生取得巨大成就的人来说，根本没有春节休息一说，在春节时分，还在见缝插针去写点文章、录个视频、思考新一年的规划。当看到那种忙碌的身
生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
国庆节的一天安心雨
昨晚朋友间就转发国庆阅兵时间安排细节。今早，六点起床，到公园散步，一路上国旗招展，浓浓喜庆味。图片发自App准时坐到电脑前，拉上窗帘，关了房门，一个人静静感受，视觉和心灵的震撼。怕大脑内存不足，想要永远留存住那些属于这个时代，属于这个国家的骄傲。于是，拿出手机，对着屏幕拍了一张一张又一张。下午，朋友圈各种关于国庆的想法、评论、图片刷屏，翻了一遍一遍又一遍，每一遍都是骄傲和自豪。为生在这个伟大的时代
探索ASPICE V3.1：汽车行业软件开发的中文指南阮懿同
探索ASPICEV3.1：汽车行业软件开发的中文指南ASPICE_V3.1中文版.pdf.zip项目地址:https://gitcode.com/open-source-toolkit/422a2在汽车软件工程领域，高质量的标准对于确保行车安全和提升用户体验至关重要。今天，我们为您介绍一个珍贵的开源宝藏——ASPICEV3.1中文版资源。这是一篇专为国内汽车行业开发者、质量管理者准备的深度解读，旨
java类加载顺序 3213213333332132 java
package com.demo; /** * @Description 类加载顺序 * @author FuJianyong * 2015-2-6上午11:21:37 */ public class ClassLoaderSequence { String s1 = "成员属性"; static String s2 = "
Hibernate与mybitas的比较 BlueSkator sql Hibernate 框架 ibatis orm
第一章 Hibernate与MyBatis Hibernate 是当前最流行的O/R mapping框架，它出身于sf.net，现在已经成为Jboss的一部分。 Mybatis 是另外一种优秀的O/R mapping框架。目前属于apache的一个子项目。 MyBatis 参考资料官网：http:
php多维数组排序以及实际工作中的应用 dcj3sjt126com PHP usort uasort
自定义排序函数返回false或负数意味着第一个参数应该排在第二个参数的前面, 正数或true反之, 0相等usort不保存键名uasort 键名会保存下来uksort 排序是对键名进行的 <!doctype html> <html lang="en"> <head> <meta charset="utf-8&q
DOM改变字体大小周华华前端
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
c3p0的配置 g21121 c3p0
c3p0是一个开源的JDBC连接池，它实现了数据源和JNDI绑定，支持JDBC3规范和JDBC2的标准扩展。c3p0的下载地址是：http://sourceforge.net/projects/c3p0/这里可以下载到c3p0最新版本。以在spring中配置dataSource为例：  <bean name="prope
Java获取工程路径的几种方法 510888780 java
第一种： File f = new File(this.getClass().getResource("/").getPath()); System.out.println(f); 结果: C:\Documents%20and%20Settings\Administrator\workspace\projectName\bin 获取当前类的所在工程路径; 如果不加“
在类Unix系统下实现SSH免密码登录服务器 Harry642 免密 ssh
1.客户机 (1)执行ssh-keygen -t rsa -C "[email protected]"生成公钥，xxx为自定义大email地址 (2)执行scp ~/.ssh/id_rsa.pub root@xxxxxxxxx:/tmp将公钥拷贝到服务器上，xxx为服务器地址 (3)执行cat
Java新手入门的30个基本概念一 aijuans java java 入门新手
在我们学习Java的过程中,掌握其中的基本概念对我们的学习无论是J2SE,J2EE,J2ME都是很重要的,J2SE是Java的基础,所以有必要对其中的基本概念做以归纳,以便大家在以后的学习过程中更好的理解java的精髓,在此我总结了30条基本的概念。　　Java概述:　　目前Java主要应用于中间件的开发(middleware)---处理客户机于服务器之间的通信技术,早期的实践证明,Java不适合
Memcached for windows 简单介绍 antlove java Web windows cache memcached
1. 安装memcached server a. 下载memcached-1.2.6-win32-bin.zip b. 解压缩，dos 窗口切换到 memcached.exe所在目录，运行memcached.exe -d install c.启动memcached Server,直接在dos窗口键入 net start "memcached Server&quo
数据库对象的视图和索引百合不是茶索引 oeacle数据库视图
视图视图是从一个表或视图导出的表，也可以是从多个表或视图导出的表。视图是一个虚表，数据库不对视图所对应的数据进行实际存储，只存储视图的定义，对视图的数据进行操作时,只能将字段定义为视图,不能将具体的数据定义为视图为什么oracle需要视图; &
Mockito(一) --入门篇 bijian1013 持续集成 mockito 单元测试
Mockito是一个针对Java的mocking框架，它与EasyMock和jMock很相似，但是通过在执行后校验什么已经被调用，它消除了对期望行为（expectations）的需要。其它的mocking库需要你在执行前记录期望行为（expectations），而这导致了丑陋的初始化代码。 &nb
精通Oracle10编程SQL(5)SQL函数 bijian1013 oracle 数据库 plsql
/* * SQL函数 */ --数字函数 --ABS(n):返回数字n的绝对值 declare v_abs number(6,2); begin v_abs:=abs(&no); dbms_output.put_line('绝对值：'||v_abs); end; --ACOS(n):返回数字n的反余弦值，输入值的范围是-1~1，输出值的单位为弧度
【Log4j一】Log4j总体介绍 bit1129 log4j
Log4j组件：Logger、Appender、Layout Log4j核心包含三个组件：logger、appender和layout。这三个组件协作提供日志功能：日志的输出目标日志的输出格式日志的输出级别(是否抑制日志的输出) logger继承特性 A logger is said to be an ancestor of anothe
Java IO笔记白糖_ java
public static void main(String[] args) throws IOException { //输入流 InputStream in = Test.class.getResourceAsStream("/test"); InputStreamReader isr = new InputStreamReader(in); Bu
Docker 监控 ronin47 docker监控
目前项目内部署了docker，于是涉及到关于监控的事情，参考一些经典实例以及一些自己的想法，总结一下思路。 1、关于监控的内容监控宿主机本身监控宿主机本身还是比较简单的，同其他服务器监控类似，对cpu、network、io、disk等做通用的检查，这里不再细说。额外的，因为是docker的
java-顺时针打印图形 bylijinnan java
一个画图程序要求打印出： 1.int i=5; 2.1 2 3 4 5 3.16 17 18 19 6 4.15 24 25 20 7 5.14 23 22 21 8 6.13 12 11 10 9 7. 8.int i=6 9.1 2 3 4 5 6 10.20 21 22 23 24 7 11.19
关于iReport汉化版强制使用英文的配置方法 Kai_Ge iReport汉化英文版
对于那些具有强迫症的工程师来说，软件汉化固然好用，但是汉化不完整却极为头疼，本方法针对iReport汉化不完整的情况，强制使用英文版，方法如下：在 iReport 安装路径下的 etc/ireport.conf 里增加红色部分启动参数，即可变为英文版。 # ${HOME} will be replaced by user home directory accordin
[并行计算]论宇宙的可计算性 comsci 并行计算
现在我们知道,一个涡旋系统具有并行计算能力.按照自然运动理论,这个系统也同时具有存储能力,同时具备计算和存储能力的系统,在某种条件下一般都会产生意识...... 那么,这种概念让我们推论出一个结论 &nb
用OpenGL实现无限循环的coverflow dai_lm android coverflow
网上找了很久，都是用Gallery实现的，效果不是很满意，结果发现这个用OpenGL实现的，稍微修改了一下源码，实现了无限循环功能源码地址： https://github.com/jackfengji/glcoverflow public class CoverFlowOpenGL extends GLSurfaceView implements GLSurfaceV
JAVA数据计算的几个解决方案1 datamachine java Hibernate 计算
老大丢过来的软件跑了10天，摸到点门道，正好跟以前攒的私房有关联，整理存档。 -----------------------------华丽的分割线------------------------------------- 数据计算层是指介于数据存储和应用程序之间，负责计算数据存储层的数据，并将计算结果返回应用程序的层次。J &nbs
简单的用户授权系统,利用给user表添加一个字段标识管理员的方式 dcj3sjt126com yii
怎么创建一个简单的(非 RBAC)用户授权系统通过查看论坛，我发现这是一个常见的问题，所以我决定写这篇文章。本文只包括授权系统.假设你已经知道怎么创建身份验证系统(登录)。数据库首先在 user 表创建一个新的字段(integer 类型),字段名 'accessLevel',它定义了用户的访问权限扩展 CWebUser 类在配置文件(一般为 protecte
未选之路 dcj3sjt126com 诗
作者:罗伯特*费罗斯特黄色的树林里分出两条路, 可惜我不能同时去涉足, 我在那路口久久伫立, 我向着一条路极目望去, 直到它消失在丛林深处. 但我却选了另外一条路, 它荒草萋萋,十分幽寂; 显得更诱人,更美丽, 虽然在这两条小路上, 都很少留下旅人的足迹. 那天清晨落叶满地, 两条路都未见脚印痕迹. 呵,留下一条路等改日再
Java处理15位身份证变18位蕃薯耀 18位身份证变15位 15位身份证变18位身份证转换
15位身份证变18位，18位身份证变15位 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 201
SpringMVC4零配置--应用上下文配置【AppConfig】 hanqunfeng springmvc4
从spring3.0开始，Spring将JavaConfig整合到核心模块，普通的POJO只需要标注@Configuration注解，就可以成为spring配置类，并通过在方法上标注@Bean注解的方式注入bean。 Xml配置和Java类配置对比如下： applicationContext-AppConfig.xml <!-- 激活自动代理功能参看：
Android中webview跟JAVASCRIPT中的交互 jackyrong JavaScript html android 脚本
在android的应用程序中,可以直接调用webview中的javascript代码,而webview中的javascript代码,也可以去调用ANDROID应用程序(也就是JAVA部分的代码).下面举例说明之: 1 JAVASCRIPT脚本调用android程序要在webview中,调用addJavascriptInterface(OBJ,int
8个最佳Web开发资源推荐 lampcy 编程 Web 程序员
Web开发对程序员来说是一项较为复杂的工作，程序员需要快速地满足用户需求。如今很多的在线资源可以给程序员提供帮助，比如指导手册、在线课程和一些参考资料，而且这些资源基本都是免费和适合初学者的。无论你是需要选择一门新的编程语言，或是了解最新的标准，还是需要从其他地方找到一些灵感，我们这里为你整理了一些很好的Web开发资源，帮助你更成功地进行Web开发。这里列出10个最佳Web开发资源，它们都是受
架构师之面试------jdk的hashMap实现 nannan408 HashMap
1.前言。如题。 2.详述。 (1)hashMap算法就是数组链表。数组存放的元素是键值对。jdk通过移位算法（其实也就是简单的加乘算法），如下代码来生成数组下标(生成后indexFor一下就成下标了）。 static int hash(int h) { h ^= (h >>> 20) ^ (h >>>
html禁止清除input文本输入缓存 Rainbow702 html 缓存 input 输入框 change
多数浏览器默认会缓存input的值，只有使用ctl+F5强制刷新的才可以清除缓存记录。如果不想让浏览器缓存input的值，有2种方法：方法一：在不想使用缓存的input中添加 autocomplete="off"; <input type="text" autocomplete="off" n
POJO和JavaBean的区别和联系 tjmljw POJO java beans
POJO 和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Pure Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比 POJO复杂很多， Java Bean 是可复用的组件，对 Java Bean 并没有严格的规
java中单例的五种写法 liuxiaoling java 单例
/** * 单例模式的五种写法： * 1、懒汉 * 2、恶汉 * 3、静态内部类 * 4、枚举 * 5、双重校验锁 */ /** * 五、双重校验锁，在当前的内存模型中无效 */ class LockSingleton { private volatile static LockSingleton singleton; pri