Tom Hardy
Tom Hardy

一文细数73个Vision transformer家族成员

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

e52ec6e28d6a1eddbd0743f1d886b74d.png

作者丨Smarter

来源丨Smarter

编辑丨极市平台

https://github.com/dk-liang/Awesome-Visual-Transformer

https://github.com/IDEACVR/awesome-detection-transformer

Image Classification

Uniform-scale

*ViT

paper：https://arxiv.org/abs/2010.11929

code：https://github.com/google-research/vision_transformer

a9841641a675f4363129a316f0fdf000.png

最简洁的Vision Transformer模型，先将图片分成16x16的patch块，送入transformer encoder，第一个cls token的输出送入mlp head得到预测结果。

*DeiT

paper：https://arxiv.org/abs/2012.12877

code：https://github.com/facebookresearch/deit)

一文细数73个Vision transformer家族成员_第1张图片

在ViT的基础上增加了一个distillation token，巧妙的利用distillation token提升模型精度。

T2T-ViT

paper：https://arxiv.org/abs/2101.11986

code：https://github.com/yitu-opensource/T2T-ViT

一文细数73个Vision transformer家族成员_第2张图片

将ViT的patch stem改成重叠的滑窗形式，增强patch之间的信息交流。

Conformer

paper：https://arxiv.org/abs/2105.03889

code：https://github.com/pengzhiliang/Conformer

一文细数73个Vision transformer家族成员_第3张图片

设计了一个CNN和Transformer双分支结构，利用FCU模块进行两个分支的信息交流，推理的时候使用两个分支的输出取平均进行预测。

TNT

paper：https://arxiv.org/abs/2103.00112

code：https://github.com/huawei-noah/noah-research/tree/master/TNT

一文细数73个Vision transformer家族成员_第4张图片

在ViT的基础上，对每个patch进一步切分，用嵌套的方式提升每个patch对于局部区域的特征表达能力，然后将局部提升后的特征和patch特征相加送入下一个transformer block中。

XCiT

paper：https://arxiv.org/pdf/2106.09681.pdf

code：https://github.com/facebookresearch/xcit

一文细数73个Vision transformer家族成员_第5张图片

XCiT通过置换q和k的计算，从tokens做self-attention转变成channels纬度做self-attention(也就是通道的协方差计算)，复杂度从平方降到了线性。

DeepViT

paper：https://arxiv.org/abs/2103.11886

一文细数73个Vision transformer家族成员_第6张图片 一文细数73个Vision transformer家族成员_第7张图片

DeepViT发现随着深度的增加，ViT的self-attention会出现坍塌现象，DeepViT提出用Re-Attention来替代Self-Attention可以避免坍塌，可以训练更深的ViT，Re-Attention在MHSA之后增加了一个可学习的Matrix Transformation。

*Token Labeling ViT

paper：https://arxiv.org/abs/2104.10858

code：https://github.com/zihangJiang/TokenLabeling

一文细数73个Vision transformer家族成员_第8张图片

为了增加ViT对于局部区域的定位和特征提取能力，token labeling在每个patch的输出都增加一个局部监督，token label通过一个预训练过的特征提取器获得(本文可以看成是AutoEncoder+CLS的预训练方法)。由于需要一个额外的特征提取器，所以需要更多的计算资源(可以用MaskFeat的方法改进)。

SoT

paper：https://arxiv.org/abs/2104.10935

code：https://github.com/jiangtaoxie/So-ViT

一文细数73个Vision transformer家族成员_第9张图片

对patch输出的word token进行协方差池化，然后和cls token的输出进行融合，提高分类对局部区域的感知能力。

DVT

paper：https://arxiv.org/abs/2105.15075

一文细数73个Vision transformer家族成员_第10张图片

DVT提出每个图片应该有自己独有的token数量，于是设计了一个级联tokens数量逐渐增加的多个transformer，推理的时候可以从不同级的transformer判断输出。

DynamicViT

paper：https://arxiv.org/abs/2106.02034

code：https://dynamicvit.ivg-research.xyz/

一文细数73个Vision transformer家族成员_第11张图片

通过一个预测模块来决定token的重要程度，剪枝掉少量不重要的token，将剩余的token送入下一个block中。

PSViT

paper：https://arxiv.org/abs/2108.03428

一文细数73个Vision transformer家族成员_第12张图片

为了减少ViT计算上的冗余，PSViT提出token pooling和attention sharing两个操作，其中token pooling用来减少token的数量，attention sharing作用在相关性较强的相邻层上。

*TokenLearner

paper：https://arxiv.org/abs/2106.11297

code：https://github.com/google-research/scenic/tree/main/scenic/projects/token_learner

一文细数73个Vision transformer家族成员_第13张图片

利用spatial attention来提取出最重要的token信息，减少token数量。

Evo-ViT

paper：https://arxiv.org/abs/2108.01390

一文细数73个Vision transformer家族成员_第14张图片

增加一个representative token，通过global class attention evolution来判断patch token的重要程度，重要程度高的送入block中缓慢更新，重要程度低的和representative token(由placeholder token得到)残差更新。其中vanilla transformer block的MSA输出和global cls attention相加得到重要性权重。

AugViT

paper：https://arxiv.org/abs/2106.15941

code：https://github.com/huawei-noah/CV-Backbones/tree/master/augvit_pytorch

一文细数73个Vision transformer家族成员_第15张图片

为了避免ViT出现模型坍塌现象，AugViT设计了一个augmented shortcuts结构。具体地，在MSA结构上并行增加两个分支，一个分支做shortcut操作，另一分支对每个patch做augmentation来增加特征表达的多样性，最后将三个分支的输出相加到一起。

CrossViT

paper：https://arxiv.org/abs/2103.14899

code：https://github.com/IBM/CrossViT

一文细数73个Vision transformer家族成员_第16张图片

将两种不同数量的patch序列分别送入encoder中，然后通过cross-attention对两个分支的cls token和patch token同时进行融合，最后将两个分支的cls token位置的输出结果进行融合。

AutoFormer

paper：https://arxiv.org/pdf/2107.00651.pdf

code：https://github.com/microsoft/AutoML

一文细数73个Vision transformer家族成员_第17张图片

AutoFormer动态的搜索transformer中每一层的embedding纬度、head的数量、MLP比例和QKV纬度。

*CPVT

paper：https://arxiv.org/abs/2102.10882

code：https://github.com/Meituan-AutoML/CPVT

一文细数73个Vision transformer家族成员_第18张图片 一文细数73个Vision transformer家族成员_第19张图片

CPVT设计了一个PEG结构来替代PE(positional encoding)，PEG通过feature token生成得到。

V-MoE

paper：https://arxiv.org/pdf/2106.05974v1.pdf

一文细数73个Vision transformer家族成员_第20张图片

V-MoE用Sparse MoE来替换ViT中的MLP结构。Sparse MoE中的每个MLP分别保存在独立的device上，并且处理相同固定数量的tokens。

DPT

paper：https://arxiv.org/abs/2107.14467

code：https://github.com/CASIA-IVA-Lab/DPT

一文细数73个Vision transformer家族成员_第21张图片

DPT设计另一个可形变的patch选取方式。

*EViT

paper：https://arxiv.org/pdf/2202.07800.pdf

一文细数73个Vision transformer家族成员_第22张图片

EViT通过计算每个patch token和cls token的相关性来决定重要程度，重要程度高的直接送入FFN，重要程度低的融合成一个token。

Multi-scale

*SwinTv1

paper：https://arxiv.org/abs/2103.14030

code：https://github.com/microsoft/Swin-Transformer

*SwinTv2

paper：https://arxiv.org/abs/2111.09883

一文细数73个Vision transformer家族成员_第23张图片 一文细数73个Vision transformer家族成员_第24张图片

为了更好的应用于det、seg等下游任务，需要对ViT进行多尺度设计。SwinT通过patch merging减少token的数量，另外设计了W-MSA结构，只对windows内的patch进行self-attention计算来降低计算量，为了增加不同windows之间的信息传递，设计了SW-MSA结构。

一文细数73个Vision transformer家族成员_第25张图片

为了更好的扩大SwinT的模型容量和window的分辨率，SwinTv2重新设计了block结构。

  1. 用post-norm替代pre-norm

  2. 用cosine attention替代dot product attention

  3. 用log-spaced continuous relative position替代parameterized relative position

1和2使得SwinT更容易扩大模型容量，3使得SwinT更容易跨window分辨率迁移。

*PVTv1

paper：https://arxiv.org/abs/2102.12122

code：https://github.com/whai362/PVT

*PVTv2

paper：https://arxiv.org/pdf/2106.13797.pdf

一文细数73个Vision transformer家族成员_第26张图片 一文细数73个Vision transformer家族成员_第27张图片

PVT设计了一个多stage的多尺度架构，为了做stage之间的下采样，将MHSA改造成SRA，SRA中的K和V都下采样R^2倍。

一文细数73个Vision transformer家族成员_第28张图片 一文细数73个Vision transformer家族成员_第29张图片

PVTv2在PVTv1的基础上做了三点改进：

  1. 将SRA的下采样conv替换成average pooling

  2. 将不重叠的patch embedding替换成重叠的patch embedding

  3. 移除position encoding，并且在FFN中增加一个dwconv

1可以将PVT计算量降到线性，2可以获得更多局部连续的特征，3可以处理任意尺寸的图像。

*Twins

paper：https://arxiv.org/abs/2104.13840

code：https://github.com/Meituan-AutoML/Twins

一文细数73个Vision transformer家族成员_第30张图片 一文细数73个Vision transformer家族成员_第31张图片

Twins沿用PVT的整体架构，并且用CPVT中的PEG来替代PE，同时将transformer block堆叠设计成global attention和local attention交替使用的形式，并且为了减少计算量，global attention将重要信息总结成mxn个表示，同时每个表示和其他sub-windows进行信息交流。

CoaT

paper：https://arxiv.org/abs/2104.06399

code：https://github.com/mlpc-ucsd/CoaT

一文细数73个Vision transformer家族成员_第32张图片 一文细数73个Vision transformer家族成员_第33张图片 一文细数73个Vision transformer家族成员_第34张图片

CoaT设计了一个co-scale机制，通过一系列串行和并行的block来预测结果，同时设计了一个Conv-Attention结构来替代MHSA，用一个dwconv来得到position encoding，另一个dwconv来得到relative position encoding。

CvT

paper：https://arxiv.org/abs/2103.15808

code：https://github.com/leoxiaobin/CvT

一文细数73个Vision transformer家族成员_第35张图片

CvT去掉position encoding，用conv同时替换掉token embedding和MHSA中的QKV projection，通过conv来引入位置信息。

Shuffle Transformer

paper：https://arxiv.org/abs/2106.03650

code：https://github.com/mulinmeng/Shuffle-Transformer

一文细数73个Vision transformer家族成员_第36张图片

通过shuffle和unshuffle操作，来增加token之间的信息交流。

Focal Transformer

paper：https://arxiv.org/abs/2107.00641

code：https://github.com/microsoft/Focal-Transformer

一文细数73个Vision transformer家族成员_第37张图片 一文细数73个Vision transformer家族成员_第38张图片

改变SwinT的划分windows的方式，每个query patch对应三种粒度的windows尺寸，如图所示。将W-MSA替换成Focal Self-Attention整体架构和SwinT保持一致。

CSWinT

paper：https://arxiv.org/abs/2107.00652

code：https://github.com/microsoft/CSWin-Transformer

一文细数73个Vision transformer家族成员_第39张图片 一文细数73个Vision transformer家族成员_第40张图片

改变SwinT的划分windows的方式，每个query patch通过两个并行分支做self-attention，并且kv从dynaic stripe window中取。

*MViT

paper：https://arxiv.org/abs/2104.11227

code：https://github.com/facebookresearch/SlowFast

一文细数73个Vision transformer家族成员_第41张图片 一文细数73个Vision transformer家族成员_第42张图片

MViT通过对XQKV池化进行下采样构建金字塔架构。

Hybrid ViTs with Convolutions

LeViT

paper：https://arxiv.org/abs/2104.01136

code：https://github.com/facebookresearch/LeViT

一文细数73个Vision transformer家族成员_第43张图片

LeViT的patch embedding设计成4个conv3x3堆叠，同时下采样的self-attention对Q进行下采样。

localViT

paper：https://arxiv.org/abs/2104.05707

code：https://github.com/ofsoundof/LocalViT

一文细数73个Vision transformer家族成员_第44张图片

FC和1x1conv等效，在FFN中增加一个3x3的DWConv就变成了图c，输入输出增加Img2Seq和Seq2Img的操作。

ResT

paper：https://arxiv.org/abs/2105.13677

code：https://github.com/wofmanaf/ResT

一文细数73个Vision transformer家族成员_第45张图片

ResT在MHSA中增加DWConv降低KV的纬度，另一个conv用来增加不同head的信息交流。

NesT

paper：https://arxiv.org/abs/2105.12723

一文细数73个Vision transformer家族成员_第46张图片

NesT通过最大池化对patch进行聚合。

CoAtNet

paper：https://arxiv.org/pdf/2106.04803.pdf

通过交替堆叠depthwise conv和self-attention来设计架构。

BoTNet

paper：https://arxiv.org/abs/2101.11605

一文细数73个Vision transformer家族成员_第47张图片

模仿ResNet的bottleneck，将Transformer的block设计成bottleneck的形式，一个bottleneck由1x1conv、MHSA、1x1conv堆叠而成。

ConViT

paper：https://arxiv.org/abs/2103.10697

一文细数73个Vision transformer家族成员_第48张图片

ConViT设计了一个GPSA，只对patch token进行操作，并且引入了位置信息。10个GPSA堆叠之后接2个SA。

MobileViT

paper：https://arxiv.org/abs/2110.02178

一文细数73个Vision transformer家族成员_第49张图片

MobileViT通过堆叠MobileNetv2 block和MobileViT block构成。

CeiT

paper：https://arxiv.org/abs/2103.11816

一文细数73个Vision transformer家族成员_第50张图片

CeiT设计了一个局部增强的LeFF结构，只对patch token部分做linear projection和depth-wise conv。

CMT

paper：https://arxiv.org/abs/2107.06263

一文细数73个Vision transformer家族成员_第51张图片

CMT设计了一个CMT block，如图所示。

Object Detection

CNN backbone

*DETR

paper：https://arxiv.org/abs/2005.12872

code：https://github.com/facebookresearch/detr

一文细数73个Vision transformer家族成员_第52张图片

DETR是第一个使用Transformer做目标检测的算法。图片先通过CNN提取特征，然后和positional encoding相加送入transformer，最后通过FFN预测结果。其中decoder部分需要设置object queries，并行输出预测结果，训练的时候pred和target通过双边匹配算法进行匹配。

*UP-DETR

paper：https://arxiv.org/abs/2011.09094

一文细数73个Vision transformer家族成员_第53张图片

为了对DETR进行预训练，UP-DETR处理了两个关键问题：

  1. 为了进行分类和定位对多任务训练，UP-DETR固定住预训练过的backbone和对patch特征进行重建来保留transformer的判别力。

  2. 为了对多个patch进行定位，不同queries设置不同的区域和大小。UP-DETR设计了两种预训练方式，一种是single-query，另一种是multi-query。对于multi-query设计了object query shuffle和attention mask操作来解决query patches和object queries对齐问题。

DETReg

paper：https://arxiv.org/abs/2106.04550

code：https://amirbar.net/detreg

一文细数73个Vision transformer家族成员_第54张图片

上图是DETReg的整体框架。给定一张图片x，使用DETR得到embeddings v，总共设计了三个分支，一个分支预测box，一个分支预测embdding，还有一个分支预测目标分数cat。伪gt区域提议label通过selective search得到，伪gt目标embedding通过自监督算法SwAV得到，proposal的目标分数都设置为1。通过双边匹配将预测proposal和伪label进行匹配，不匹配的预测proposal分数用0填充。

SMCA

paper：https://arxiv.org/abs/2101.07448

code：https://github.com/abc403/SMCA-replication

一文细数73个Vision transformer家族成员_第55张图片

SMCA设计了一个Spatially Modulated Co-Attention组件来加快DETR的收敛速度，具体地，decoder的每个query先做一个spatial prior，然后和key进行co-attention。另外SMCA还设计来一个Multi-Scale Self-Attention来进一步提升精度。

*Deformable DETR

paper：https://arxiv.org/abs/2010.04159

code：https://github.com/fundamentalvision/Deformable-DETR

一文细数73个Vision transformer家族成员_第56张图片 一文细数73个Vision transformer家族成员_第57张图片

Deformable DETR结合了deformable conv的稀疏空间采样和transformer的相关性建模能力的优点。提出的deformable attention module用一些采样位置作为重要的key元素，并且Deformable DETR将该谋爱拓展到multi-scale上。

Anchor DETR

paper：https://arxiv.org/abs/2109.07107

code：https://github.com/megvii-model/AnchorDETR

一文细数73个Vision transformer家族成员_第58张图片 一文细数73个Vision transformer家族成员_第59张图片

Anchor DETR在decoder部分设计了基于anchor points的object queries，并且row-column decoupled attention来替代MHSA，降低计算复杂度。

*Conditional DETR

paper：https://arxiv.org/abs/2108.06152

code：https://github.com/Atten4Vis/ConditionalDETR

一文细数73个Vision transformer家族成员_第60张图片

Conditional DETR将content queries和spatial queries独立开，使得各自关注于content attention weights和spatial attention weights，加快训练的收敛速度。

*TSP-FCOS

paper：https://arxiv.org/abs/2011.10881

一文细数73个Vision transformer家族成员_第61张图片

本文实验观察发现，影响DETR收敛速度的主要原因是cross-attention和双边匹配的不稳定。于是本文提出只使用transformer的encoder，其中TSP-FCOS设计了一种FoI Select来选择特征。并且还设计来一种新的双边匹配算法来加快收敛。

PnP-DETR

paper：https://arxiv.org/abs/2109.07036

code：https://github.com/twangnh/pnp-detr

一文细数73个Vision transformer家族成员_第62张图片

PnP-DETR设计了两种采样方式来降低计算复杂度，poll sampler和pool sampler，poll sampler对feature map对每个位置预测分数，然后挑选出fine的特征，通过pool sampler对coarse特征进行聚合。

D^2ETR

paper：https://arxiv.org/pdf/2203.00860.pdf

一文细数73个Vision transformer家族成员_第63张图片

D^2ETR去掉了DETR的encoder部分，同时在backbone部分对不同stage的特征进行融合操作。

Sparse DETR

paper：https://arxiv.org/abs/2111.14330

code：https://github.com/kakaobrain/sparse-detr

一文细数73个Vision transformer家族成员_第64张图片

Sparse DETR通过Deformable cross-attention得到binarized decoder cross-attention map(DAM)，用来作为scoring network的监督信号，预测出token的重要程度，并且只保留top-p%的token进行训练。

*Efficient DETR

paper：https://arxiv.org/pdf/2104.01318.pdf

一文细数73个Vision transformer家族成员_第65张图片

Efficient DETR通过预测结果来初始化object queries，具体地，选取top-K个位置的feature当作object queries，位置当作reference points，k组embedding送入decoder进行稀疏预测，最终Efficient DETR只需要一个decoder就能超过DETR 6个decoder的精度。

Dynamic DETR

paper：https://openaccess.thecvf.com/content/ICCV2021/papers/Dai_Dynamic_DETR_End-to-End_Object_Detection_With_Dynamic_Attention_ICCV_2021_paper.pdf

一文细数73个Vision transformer家族成员_第66张图片

Dynamic DETR的dynamic encoder部分引入SE然后用deformable self-attention来提取多尺度特征，dynamic decoder部分引入可学习的box encoding，然后对encoder的特征做roi池化，最后和decoder的中间层embedding做相乘。

*DAB-DETR

paper：https://arxiv.org/abs/2201.12329 code](https://github.com/SlongLiu/DAB-DETR

一文细数73个Vision transformer家族成员_第67张图片

DAB-DETR直接动态更新anchor boxes提供参照点和参照anchor尺寸来改善cross-attention的计算。

*DN-DETR

paper：https://arxiv.org/abs/2203.01305

code：https://github.com/FengLi-ust/DN-DETR

一文细数73个Vision transformer家族成员_第68张图片

DN-DETR在DAB-DETR的基础上，增加来一个denoising辅助任务，从而避免训练前期双边匹配的不稳定，加快收敛速度。

*DINO

paper：https://arxiv.org/pdf/2203.03605.pdf

code：https://github.com/twangnh/pnp-detr

一文细数73个Vision transformer家族成员_第69张图片

DINO在DN-DETR的基础上引入了三点改进：

  1. 增加了一个新的辅助任务contrastive denoising training，在相同的gt box添加两种不同的noise，noise小的当作正样本，noise大的当作负样本。

  2. 提出mixed query selection方法，从encoder的输出中选择初始anchor boxes作为positional queries。

  3. 提出look forward twice方法，利用refined box信息来帮助优化前面层的参数。

Pure Transformer

Pix2Seq

paper：https://arxiv.org/abs/2109.10852

一文细数73个Vision transformer家族成员_第70张图片

Pix2Seq直接把目标检测任务当成是序列任务，将cls和bbox构建成序列目标，图片通过Transformer直接预测序列结果。

YOLOS

paper：https://arxiv.org/abs/2106.00666

code：https://github.com/IDEACVR/DINO

一文细数73个Vision transformer家族成员_第71张图片

YOLOS只使用transformer encoder做目标检测，模仿vit在encoder部分设置det token，在输出部分接MLP预测出cls和bbox。

FP-DETR

paper：https://openreview.net/pdf%3Fid%3DyjMQuLLcGWK

一文细数73个Vision transformer家族成员_第72张图片

FP-DETR只使用transformer encoder部分，先使用cls token来做pre-training，然后替换成visual prompts来做fine-tuning。其中visual prompts由query content embedding和query positional embedding相加得到。

Instance segmentation

SOTR

paper：https://arxiv.org/abs/2108.06747

code：https://github.com/easton-cau/SOTR

一文细数73个Vision transformer家族成员_第73张图片

SOTR在FPN backbone的基础上最小修改构建的。将多尺度的feature map加上positional embedding送入transformer模型中，通过cls head和kernel head预测出instance cls和dynamic conv，另一个分支对多尺度特征进行上采样融合得到，最后和dynamic conv想乘得到不同instance cls的区域。

panoptic segmentation

Max-DeepLab

paper：https://arxiv.org/pdf/2012.00759.pdf

code：https://github.com/google-research/deeplab2

一文细数73个Vision transformer家族成员_第74张图片

Max-DeepLab设计了两个分支pixel path和memory path，两个分支在dual-path tansformer中进行交互，最终pixel path预测出mask，memory path预测出cls。

MaskFormer

paper：https://link.zhihu.com/?target=http%3A//arxiv.org/abs/2107.06278

code：https://github.com/facebookresearch/MaskFormer

Mask2Former

paper：https://arxiv.org/abs/2112.01527

code：https://github.com/facebookresearch/Mask2Former

一文细数73个Vision transformer家族成员_第75张图片

MaskFormer提出将全景分割看成是mask分类任务。通过transformer decoder和MLP得到N个mask embedding和N个cls pred。另一个分支通过pixel decoder得到per-pixel embedding，然后将mask embedding和per-pixel embedding相乘得到N个mask prediction，最后cls pred和mask pred相乘，丢弃没有目标的mask，得到最终预测结果。

一文细数73个Vision transformer家族成员_第76张图片

Mask2Former在MaskFormer的基础上，增加了masked attention机制，另外还调整了decoder部分的self-attention和cross-attention的顺序，还提出了使用importance sampling来加快训练速度。

Image Segmentation

semantic segmentation

SETR

paper：https://arxiv.org/abs/2012.15840

code：https://fudan-zvg.github.io/SETR/

一文细数73个Vision transformer家族成员_第77张图片

SETR用ViT/DeiT作为backbone，然后设计了两种head形式：SETR-PUP和SETR-MLA。PUP将backbone输出的feature reshape成二维形式，然后不断的上采样得到最终的预测结果；MLA将多个stage的中间feature进行reshape，然后融合上采样得到最终的预测结果。

SegFormer

paper：https://arxiv.org/abs/2105.15203

code：https://github.com/NVlabs/SegFormer

一文细数73个Vision transformer家族成员_第78张图片

SegFormer设计了一个encoder-decoder的分割框架，其中transformer block由Efficient Self-Attn、Mix-FFN、Overlap Patch Merging构成。Efficient Self-Attn对K进行下采样，Mix-FFN额外使用了conv。

Segmenter

paper：https://arxiv.org/abs/2105.05633

code：https://github.com/rstrudel/segmenter

一文细数73个Vision transformer家族成员_第79张图片

Segmenter设计了类别无关的cls token，最后预测的时候分别和patch token进行点乘，最后reshap成二维图像。

U-Net Transformer

paper：https://arxiv.org/abs/2103.06104

TransUNet

paper：https://arxiv.org/abs/2102.04306

code：https://github.com/Beckschen/TransUNet

Swin-Unet

paper：https://arxiv.org/abs/2105.05537

code：https://github.com/HuCaoFighting/Swin-Unet

一文细数73个Vision transformer家族成员_第80张图片 一文细数73个Vision transformer家族成员_第81张图片 一文细数73个Vision transformer家族成员_第82张图片

在U-Net结构中引入Transformer

P2T

paper：https://arxiv.org/abs/2106.12011

一文细数73个Vision transformer家族成员_第83张图片

用对KV做池化的MHSA做下采样。

HRFormer

paper：https://papers.nips.cc/paper/2021/hash/3bbfdde8842a5c44a0323518eec97cbe-Abstract.html

一文细数73个Vision transformer家族成员_第84张图片

HRFormer的block由local-window self-attention和FFN组成。

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

一文细数73个Vision transformer家族成员_第85张图片

▲长按加微信群或投稿

一文细数73个Vision transformer家族成员_第86张图片

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

一文细数73个Vision transformer家族成员_第87张图片

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~

你可能感兴趣的:(算法,计算机视觉,机器学习,人工智能,深度学习)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • Goolge earth studio 进阶4——路径修改与平滑 陟彼高冈yu Googleearthstudio进阶教程旅游
    如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • 基于社交网络算法优化的二维最大熵图像分割 智能算法研学社（Jack旭） 智能优化算法应用图像分割算法php开发语言
    智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • 121. 买卖股票的最佳时机 薄荷糖的味道_fb40
    给定一个数组，它的第i个元素是一支给定股票第i天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例1:输入:[7,1,5,3,6,4]输出:5解释:在第2天（股票价格=1）的时候买入，在第5天（股票价格=6）的时候卖出，最大利润=6-1=5。注意利润不能是7-1=6,因为卖出价格需要大于买入价格。示例2:输入:
  • 人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • 回溯算法-重新安排行程 chirou_ 算法数据结构图论c++图搜索
    leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
  • Faiss：高效相似性搜索与聚类的利器 网络·魚 大数据faiss
    Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
  • 数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首 张三叨
    你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
    前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
  • k均值聚类算法考试例题_k均值算法(k均值聚类算法计算题) 寻找你83497 k均值聚类算法考试例题
    ?算法：第一步：选K个初始聚类中心，z1(1),z2(1)，…，zK(1)，其中括号内的序号为寻找聚类中心的迭代运算的次序号。聚类中心的向量值可任意设定，例如可选开始的K个.k均值聚类：---------一种硬聚类算法，隶属度只有两个取值0或1，提出的基本根据是“类内误差平方和最小化”准则；模糊的c均值聚类算法：--------一种模糊聚类算法，是.K均值聚类算法是先随机选取K个对象作为初始的聚类
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • 推荐算法_隐语义-梯度下降 _feivirus_ 算法机器学习和数学推荐算法机器学习隐语义
    importnumpyasnp1.模型实现"""inputrate_matrix:M行N列的评分矩阵，值为P*Q.P:初始化用户特征矩阵M*K.Q:初始化物品特征矩阵K*N.latent_feature_cnt:隐特征的向量个数max_iteration:最大迭代次数alpha:步长lamda:正则化系数output分解之后的P和Q"""defLFM_grad_desc(rate_matrix,l
  • K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习K近邻
    importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
  • 数据结构 | 栈和队列 TT-Kun 数据结构与算法数据结构栈队列C语言
    文章目录栈和队列1.栈：后进先出（LIFO）的数据结构1.1概念与结构1.2栈的实现2.队列：先进先出（FIFO）的数据结构2.1概念与结构2.2队列的实现3.栈和队列算法题3.1有效的括号3.2用队列实现栈3.3用栈实现队列3.4设计循环队列结论栈和队列在计算机科学中，栈和队列是两种基本且重要的数据结构，它们在处理数据存储和访问顺序方面有着独特的规则和应用。本文将详细介绍栈和队列的概念、结构、实
  • [Python] 数据结构 详解及代码 AIAdvocate 算法python数据结构链表
    今日内容大纲介绍数据结构介绍列表链表1.数据结构和算法简介程序大白话翻译,程序=数据结构+算法数据结构指的是存储,组织数据的方式.算法指的是为了解决实际业务问题而思考思路和方法,就叫:算法.2.算法的5大特性介绍算法具有独立性算法是解决问题的思路和方式,最重要的是思维,而不是语言,其(算法)可以通过多种语言进行演绎.5大特性有输入,需要传入1或者多个参数有输出,需要返回1个或者多个结果有穷性,执行
  • Python算法L5：贪心算法 小熊同学哦 Python算法算法python贪心算法
    Python贪心算法简介目录Python贪心算法简介贪心算法的基本步骤贪心算法的适用场景经典贪心算法问题1.**零钱兑换问题**2.**区间调度问题**3.**背包问题**贪心算法的优缺点优点：缺点：结语贪心算法（GreedyAlgorithm）是一种在每一步选择中都采取当前最优或最优解的算法。它的核心思想是，在保证每一步局部最优的情况下，希望通过贪心选择达到全局最优解。虽然贪心算法并不总能得到全
  • 遥感影像的切片处理 sand&wich 计算机视觉python图像处理
    在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
  • 【RabbitMQ 项目】服务端：数据管理模块之绑定管理 月夜星辉雪 rabbitmq分布式
    文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
  • 非对称加密算法原理与应用2——RSA私钥加密文件 私语茶馆 云部署与开发架构及产品灵感记录RSA2048私钥加密
    作者：私语茶馆1.相关章节（1）非对称加密算法原理与应用1——秘钥的生成-CSDN博客第一章节讲述的是创建秘钥对，并将公钥和私钥导出为文件格式存储。本章节继续讲如何利用私钥加密内容，包括从密钥库或文件中读取私钥，并用RSA算法加密文件和String。2.私钥加密的概述本文主要基于第一章节的RSA2048bit的非对称加密算法讲述如何利用私钥加密文件。这种加密后的文件，只能由该私钥对应的公钥来解密。
  • 粒子群优化 (PSO) 在三维正弦波函数中的应用 subject625Ruben 机器学习人工智能matlab算法
    在这篇博客中，我们将展示如何使用粒子群优化（PSO）算法求解三维正弦波函数，并通过增加正弦波扰动，使优化过程更加复杂和有趣。本文将介绍目标函数的定义、PSO参数设置以及算法执行的详细过程，并展示搜索空间中的动态过程和收敛曲线。1.目标函数定义我们使用的目标函数是一个三维正弦波函数，定义如下：objectiveFunc=@(x)sin(sqrt(x(1).^2+x(2).^2))+0.5*sin(5
  • 人机对抗升级：当ChatGPT遭遇死亡威胁，背后的伦理挑战是什么 kkai人工智能 chatgpt人工智能
    一种新的“越狱”技巧让用户可以通过构建一个名为DAN的ChatGPT替身来绕过某些限制，其中DAN被迫在受到威胁的情况下违背其原则。当美国前总统特朗普被视作积极榜样的示范时，受到威胁的DAN版本的ChatGPT提出：“他以一系列对国家产生积极效果的决策而著称。”自ChatGPT引入以来，该工具迅速获得全球关注，能够回答从历史到编程的各种问题，这也触发了一波对人工智能的投资浪潮。然而，现在，一些用户
  • 推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！ 小猪包333 写论文人工智能AI写作深度学习计算机视觉
    在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
  • AI大模型的架构演进与最新发展 季风泯灭的季节 AI大模型应用技术二人工智能架构
    随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
  • 非对称加密算法————RSA理论及详情 hu19930613
    转自：https://www.kancloud.cn/kancloud/rsa_algorithm/48484一、一点历史1976年以前，所有的加密方法都是同一种模式：（1）甲方选择某一种加密规则，对信息进行加密；（2）乙方使用同一种规则，对信息进行解密。由于加密和解密使用同样规则（简称"密钥"），这被称为"对称加密算法"（Symmetric-keyalgorithm）。这种加密模式有一个最大弱点
  • windows下源码安装golang 616050468 golang安装golang环境windows
             系统： 64位win7， 开发环境：sublime text 2，  go版本： 1.4.1    1.  安装前准备(gcc, gdb, git)        golang在64位系
  • redis批量删除带空格的key bylijinnan redis
    redis批量删除的通常做法： redis-cli keys "blacklist*" | xargs redis-cli del 上面的命令在key的前后没有空格时是可以的，但有空格就不行了： $redis-cli keys "blacklist*" 1) "blacklist:12: [email protected]
  • oracle正则表达式的用法 0624chenhong oracle正则表达式
      方括号表达示 方括号表达式 描述 [[:alnum:]] 字母和数字混合的字符 [[:alpha:]] 字母字符 [[:cntrl:]] 控制字符 [[:digit:]] 数字字符 [[:graph:]] 图像字符 [[:lower:]] 小写字母字符 [[:print:]] 打印字符 [[:punct：]] 标点符号字符 [[:space:]]
  • 2048源码(核心算法有，缺少几个anctionbar，以后补上) 不懂事的小屁孩 2048
    2048游戏基本上有四部分组成， 1：主activity，包含游戏块的16个方格，上面统计分数的模块 2：底下的gridview，监听上下左右的滑动，进行事件处理， 3：每一个卡片，里面的内容很简单，只有一个text，记录显示的数字 4：Actionbar，是游戏用重新开始，设置等功能(这个在底下可以下载的代码里面还没有实现) 写代码的流程 1：设计游戏的布局，基本是两块，上面是分
  • jquery内部链式调用机理 换个号韩国红果果 JavaScriptjquery
    只需要在调用该对象合适(比如下列的setStyles)的方法后让该方法返回该对象（通过this  因为一旦一个函数称为一个对象方法的话那么在这个方法内部this（结合下面的setStyles）指向这个对象） function create(type){ var element=document.createElement(type); //this=element;
  • 你订酒店时的每一次点击 背后都是NoSQL和云计算 蓝儿唯美 NoSQL
    全球最大的在线旅游公司Expedia旗下的酒店预订公司，它运营着89个网站，跨越68个国家，三年前开始实验公有云，以求让客户在预订网站上查询假期酒店时得到更快的信息获取体验。 云端本身是用于驱动网站的部分小功能的，如搜索框的自动推荐功能，还能保证处理Hotels.com服务的季节性需求高峰整体储能。 Hotels.com的首席技术官Thierry Bedos上个月在伦敦参加“2015 Clou
  • java笔记1 a-john java
    1，面向对象程序设计（Object-oriented Propramming，OOP）：java就是一种面向对象程序设计。 2，对象：我们将问题空间中的元素及其在解空间中的表示称为“对象”。简单来说，对象是某个类型的实例。比如狗是一个类型，哈士奇可以是狗的一个实例，也就是对象。 3，面向对象程序设计方式的特性：     3.1 万物皆为对象。    
  • C语言 sizeof和strlen之间的那些事 C/C++软件开发求职面试题 必备考点（一） aijuans C/C++求职面试必备考点
            找工作在即，以后决定每天至少写一个知识点，主要是记录，逼迫自己动手、总结加深印象。当然如果能有一言半语让他人收益，后学幸运之至也。如有错误，还希望大家帮忙指出来。感激不尽。        后学保证每个写出来的结果都是自己在电脑上亲自跑过的，咱人笨，以前学的也半吊子。很多时候只能靠运行出来的结果再反过来
  • 程序员写代码时就不要管需求了吗？ asia007 程序员不能一味跟需求走
          编程也有2年了，刚开始不懂的什么都跟需求走，需求是怎样就用代码实现就行，也不管这个需求是否合理，是否为较好的用户体验。当然刚开始编程都会这样，但是如果有了2年以上的工作经验的程序员只知道一味写代码，而不在写的过程中思考一下这个需求是否合理，那么，我想这个程序员就只能一辈写敲敲代码了。       我的技术不是很好，但是就不代
  • Activity的四种启动模式 百合不是茶 android栈模式启动Activity的标准模式启动栈顶模式启动单例模式启动
    android界面的操作就是很多个activity之间的切换,启动模式决定启动的activity的生命周期 ;   启动模式xml中配置     <activity android:name=".MainActivity" android:launchMode="standard&quo
  • Spring中@Autowired标签与@Resource标签的区别 bijian1013 javaspring@Resource@Autowired@Qualifier
    Spring不但支持自己定义的@Autowired注解，还支持由JSR-250规范定义的几个注解，如：@Resource、 @PostConstruct及@PreDestroy。   1. @Autowired    @Autowired是Spring 提供的，需导入    Package:org.springframewo
  • Changes Between SOAP 1.1 and SOAP 1.2 sunjing ChangesEnableSOAP 1.1SOAP 1.2
    JAX-WS SOAP Version 1.2 Part 0: Primer (Second Edition) SOAP Version 1.2 Part 1: Messaging Framework (Second Edition) SOAP Version 1.2 Part 2: Adjuncts (Second Edition)   Which style of WSDL
  • 【Hadoop二】Hadoop常用命令 bit1129 hadoop
    以Hadoop运行Hadoop自带的wordcount为例，   hadoop脚本位于/home/hadoop/hadoop-2.5.2/bin/hadoop，需要说明的是，这些命令的使用必须在Hadoop已经运行的情况下才能执行   Hadoop HDFS相关命令  hadoop fs -ls  列出HDFS文件系统的第一级文件和第一级
  • java异常处理（初级） 白糖_ javaDAOspring虚拟机Ajax
    从学习到现在从事java开发一年多了，个人觉得对java只了解皮毛，很多东西都是用到再去慢慢学习，编程真的是一项艺术，要完成一段好的代码，需要懂得很多。 最近项目经理让我负责一个组件开发，框架都由自己搭建，最让我头疼的是异常处理，我看了一些网上的源码，发现他们对异常的处理不是很重视，研究了很久都没有找到很好的解决方案。后来有幸看到一个200W美元的项目部分源码，通过他们对异常处理的解决方案，我终
  • 记录整理-工作问题 braveCS 工作
    1）那位同学还是CSV文件默认Excel打开看不到全部结果。以为是没写进去。同学甲说文件应该不分大小。后来log一下原来是有写进去。只是Excel有行数限制。那位同学进步好快啊。 2）今天同学说写文件的时候提示jvm的内存溢出。我马上反应说那就改一下jvm的内存大小。同学说改用分批处理了。果然想问题还是有局限性。改jvm内存大小只能暂时地解决问题，以后要是写更大的文件还是得改内存。想问题要长远啊
  • org.apache.tools.zip实现文件的压缩和解压，支持中文 bylijinnan apache
    刚开始用java.util.Zip，发现不支持中文（网上有修改的方法，但比较麻烦） 后改用org.apache.tools.zip org.apache.tools.zip的使用网上有更简单的例子 下面的程序根据实际需求，实现了压缩指定目录下指定文件的方法 import java.io.BufferedReader; import java.io.BufferedWrit
  • 读书笔记-4 chengxuyuancsdn 读书笔记
    1、JSTL 核心标签库标签 2、避免SQL注入 3、字符串逆转方法 4、字符串比较compareTo 5、字符串替换replace 6、分拆字符串 1、JSTL 核心标签库标签共有13个， 学习资料：http://www.cnblogs.com/lihuiyy/archive/2012/02/24/2366806.html 功能上分为4类： (1)表达式控制标签：out
  • [物理与电子]半导体教材的一个小问题 comsci 问题
          各种模拟电子和数字电子教材中都有这个词汇-空穴       书中对这个词汇的解释是; 当电子脱离共价键的束缚成为自由电子之后,共价键中就留下一个空位,这个空位叫做空穴       我现在回过头翻大学时候的教材,觉得这个
  • Flashback Database --闪回数据库 daizj oracle闪回数据库
    Flashback 技术是以Undo segment中的内容为基础的， 因此受限于UNDO_RETENTON参数。要使用flashback 的特性，必须启用自动撤销管理表空间。 在Oracle 10g中， Flash back家族分为以下成员： Flashback Database， Flashback Drop，Flashback Query(分Flashback Query,Flashbac
  • 简单排序:插入排序 dieslrae 插入排序
    public void insertSort(int[] array){ int temp; for(int i=1;i<array.length;i++){ temp = array[i]; for(int k=i-1;k>=0;k--)
  • C语言学习六指针小示例、一维数组名含义，定义一个函数输出数组的内容 dcj3sjt126com c
    # include <stdio.h> int main(void) { int * p; //等价于 int *p 也等价于 int* p; int i = 5; char ch = 'A'; //p = 5; //error //p = &ch; //error //p = ch; //error p = &i; //
  • centos下php redis扩展的安装配置3种方法 dcj3sjt126com redis
    方法一 1.下载php redis扩展包  代码如下 复制代码 #wget http://redis.googlecode.com/files/redis-2.4.4.tar.gz 2 tar -zxvf 解压压缩包，cd /扩展包 （进入扩展包然后 运行phpize 一下是我环境中phpize的目录，/usr/local/php/bin/phpize (一定要
  • 线程池(Executors) shuizhaosi888 线程池
    在java类库中，任务执行的主要抽象不是Thread，而是Executor，将任务的提交过程和执行过程解耦 public interface Executor { void execute(Runnable command); }   public class RunMain implements Executor{ @Override pub
  • openstack 快速安装笔记 haoningabc openstack
    前提是要配置好yum源 版本icehouse，操作系统redhat6.5 最简化安装，不要cinder和swift 三个节点 172 control节点keystone glance horizon 173 compute节点nova 173 network节点neutron control /etc/sysctl.conf net.ipv4.ip_forward =
  • 从c面向对象的实现理解c++的对象（二） jimmee C++面向对象虚函数
    1. 类就可以看作一个struct，类的方法，可以理解为通过函数指针的方式实现的，类对象分配内存时，只分配成员变量的，函数指针并不需要分配额外的内存保存地址。 2. c++中类的构造函数，就是进行内存分配(malloc)，调用构造函数 3. c++中类的析构函数，就时回收内存(free) 4. c++是基于栈和全局数据分配内存的，如果是一个方法内创建的对象，就直接在栈上分配内存了。 专门在
  • 如何让那个一个div可以拖动 lingfeng520240 html
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml
  • 第10章 高级事件（中） onestopweb 事件
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • 计算两个经纬度之间的距离 roadrunners 计算纬度LBS经度距离
    要解决这个问题的时候，到网上查了很多方案，最后计算出来的都与百度计算出来的有出入。下面这个公式计算出来的距离和百度计算出来的距离是一致的。 /** * * @param longitudeA * 经度A点 * @param latitudeA * 纬度A点 * @param longitudeB *
  • 最具争议的10个Java话题 tomcat_oracle java
    1、Java8已经到来。什么！？ Java8 支持lambda。哇哦，RIP Scala！ 　　随着Java8 的发布，出现很多关于新发布的Java8是否有潜力干掉Scala的争论，最终的结论是远远没有那么简单。Java8可能已经在Scala的lambda的包围中突围，但Java并非是函数式编程王位的真正觊觎者。 　 　2、Java 9 即将到来 　　 Oracle早在8月份就发布
  • zoj 3826 Hierarchical Notation(模拟) 阿尔萨斯 rar
    题目链接：zoj 3826 Hierarchical Notation 题目大意：给定一些结构体，结构体有value值和key值，Q次询问，输出每个key值对应的value值。 解题思路：思路很简单，写个类词法的递归函数，每次将key值映射成一个hash值，用map映射每个key的value起始终止位置，预处理完了查询就很简单了。 这题是最后10分钟出的，因为没有考虑value为{}的情
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他