【论文精读】

Transformer以及BERT阅读参考博文

Transformer以及BERT阅读参考博文Transformer学习：已有博主的讲解特别好了：李沐：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili知乎：Transformer
mumukehao·2025-02-15 17:41

【论文精读】A data-driven model for social media fake news detection

论文下载地址：JUST-2021-0215.pdf(ustc.edu.cn)https://just.ustc.edu.cn/article/pdf/preview/JUST-2021-0215.pdf这篇文献《Adata-drivenmodelforsocialmediafakenewsdetection》由XinChen,ShanchengFang,ZhendongMao和YongdongZh
智算菩萨·2025-02-10 23:41

【论文精读】《Towards Deep Learning Models Resistant to Adversarial Attacks》

摘要本文探讨了深度学习模型在面对对抗性攻击时的脆弱性，并提出了一种基于鲁棒优化的方法来增强神经网络的对抗鲁棒性。通过鞍点优化框架，作者提供了对抗攻击和防御机制的统一视角，并在MNIST和CIFAR-10数据集上验证了其方法的有效性。本文的核心贡献包括：1）定义攻击模型和扰动集以优化模型参数；2）强调网络容量对对抗鲁棒性的影响；3）提出对抗训练作为提升模型鲁棒性的关键方法。本文为深度学习模型的对抗鲁
智算菩萨·2025-02-10 03:25

跟李沐学AI：视频生成类论文精读（Movie Gen、HunyuanVideo）

MovieGen：ACastofMediaFoundationModels简介MovieGen是Meta公司提出的一系列内容生成模型，包含了3.2.1预训练数据MovieGen采用大约100M的视频-文本对和1B的图片-文本对进行预训练。图片-文本对的预训练流程与Meta提出的Emu:Enhancingimagegenerationmodelsusingphotogenicneedlesinaha
Landy_Jay·2025-02-03 13:16

ViT论文解读

ViT论文解读本文主要记录YiZhu大佬对于ICLR2021的一篇论文精读ANIMAGEISWORTH16x16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE论文地址
freshfish丶·2025-01-27 18:35

[论文精读]Understanding Diffusion Models: A Unified Perspective

发布链接：http://arxiv.org/abs/2208.11970文章详细讨论了扩散模型（DiffusionModels）作为一种生成模型的工作原理，并从多个角度解释其背后的数学机制。阅读原因：实验需要理解SD的数学建模过程数学层面更好的解释：diffusionmodel(一)：DDPM技术小结(denoisingdiffusionprobabilistic)|莫叶何竹1.扩散模型简介扩散模
0x211·2025-01-27 16:26

【图像复原】论文精读：Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration

第一次来请先看这篇文章：【超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等）文章目录前言Abstract1.Introduction2.RelatedWork3.Method3.1.ModelScalingUp3.2.ScalingUpTrainingData3
十小大·2025-01-23 23:40

深度学习论文精读（7）：MTCNN

深度学习论文精读（7）：MTCNN论文地址：JointFaceDetectionandAlignmentusingMulti-taskCascadedConvolutionalNetworks译文地址：
hwl19951007·2024-09-05 06:13

graphrag论文精读

论文精读：FromLocaltoGlobal:AGraphRAGApproachtoQuery-FocusedSummarization1.研究背景与问题在大语言模型（LLMs）的应用中，检索增强生成（
Ramos_zl·2024-08-30 09:48

图形学论文笔记

PBD(基于位置的动力学)算法详解-论文原理讲解和太极代码最简化的PBD(基于位置的动力学)算法详解-论文原理讲解和太极代码XPBD：基于XPBD的物理模拟一条龙：公式推导+代码+文字讲解（纯自制）【论文精读
Jozky86·2024-08-25 18:10

【图像拼接/视频拼接】论文精读：Efficient Video Stitching Based on Fast Structure Deformation

第一次来请先看这篇文章：【图像拼接（ImageStitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用说明、创新思路分享等（不定期更新）图像拼接系列相关论文精读SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImag
十小大·2024-03-04 16:40

【CV论文精读】【BEV感知】BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View

【CV论文精读】【BEV感知】BEVDet:High-PerformanceMulti-Camera3DObjectDetectioninBird-Eye-ViewBEVDet：鸟瞰下的高性能多摄像机三维目标检测
量子-Alex·2024-02-20 05:48

【论文精读】ESViT

摘要基于transformer的SSL方法在ImageNet线性检测任务上取得了最先进的性能，其关键原因在于使用了基于对比学习方法训练单尺度Transformer架构。尽管其简单有效，但现有的基于transformer的SSL（自监督学习）方法需要大量的计算资源才能达到SoTA性能。故认为SSL系统的效率与两个因素高度相关：网络架构和预训练任务。故而提出改进：发现自监督单尺度transformer
None-D·2024-02-19 22:40

【论文精读】DALL·E

摘要本文利用从互联网上收集的2.5亿个图像/文本对数据，训练了一个120亿参数的自回归transformer，进而得到一个可以通过自然语言/图像控制生成的高保真图像生成模型。在大多数数据集上的表现超越以往的方法。框架本文的目标为通过训练一个自回归transformer，通过将文本和图像tokens自回归建模为单个数据流，进而结合图像解码器进行图像生成，整体分为两个阶段：第一阶段：训练一个离散变分自
None-D·2024-02-19 22:40

【论文精读】SimCLR2

摘要本文提出了一个半监督学习框架，包括三个步骤：无监督或自监督的预训练；有监督微调；使用未标记数据进行蒸馏。具体改进有：发现在半监督学习（无监督预训练+有监督微调）中，对于较大的模型只需采用少量有标签数据就可实现良好的结果证明了SimCLR中用于半监督学习的卷积层之后非线性变换（投影头）的重要性。更深的投影头能提高分类线性评估指标，也能提高从投影头的中间层进行微调时的半监督性能对于特定目标，过大的
None-D·2024-02-19 22:40

【GigaGAN论文精读】Scaling up GANs for Text-to-Image Synthesis

【GigaGAN论文精读】ScalingupGANsforText-to-ImageSynthesis0、前言Abstract1.Introduction（图放在文末）2.RelatedWorks2.1Text-to-imagesynthesis
旋转的油纸伞·2024-02-19 22:08

【论文精读CVPR_2023】DiffSwap: High-Fidelity and Controllable Face Swapping via 3D-Aware Masked Diffusion

【论文精读CVPR_2023】DiffSwap:High-FidelityandControllableFaceSwappingvia3D-AwareMaskedDiffusion一、前言Abstract1
旋转的油纸伞·2024-02-19 22:08

【论文精读】Latent Diffusion

摘要Diffusionmodels（DMs）被证明在复杂自然场景的高分辨率图像合成能力优于以往的GAN或autoregressive（AR）transformer。作为基于似然的模型，其没有GAN的模式崩溃和训练不稳定问题，通过参数共享，其可以模拟自然图像的高度复杂分布；另外也不需要AR类模型庞大的参数量，但DM在像素级的训练推理仍然需要大量的计算量，故本文的重点在于在不损害DM性能的情况下减少计
None-D·2024-02-19 22:03

【论文精读】BERT

摘要以往的预训练语言表示应用于下游任务时的策略有基于特征和微调两种。其中基于特征的方法如ELMo使用基于上下文的预训练词嵌入拼接特定于任务的架构；基于微调的方法如GPT使用未标记的文本进行预训练，并针对有监督的下游任务进行微调。但上述两种策略都使用从左到右的架构，每个token只能处理self-attention层中的前一个token，这种限制在将基于微调的方法应用于问答等token级任务时可能非
None-D·2024-02-19 12:03

【CV论文精读】Adaptive Fusion of Multi-Scale YOLO for Pedestrian Detection基于多尺度自适应融合YOLO的行人检测

AdaptiveFusionofMulti-ScaleYOLOforPedestrianDetection0.论文摘要和作者信息摘要虽然行人检测技术在不断改进，但由于不同规模的行人和遮挡行人模式的不确定性和多样性，行人检测仍然具有挑战性。本研究遵循单次目标检测的通用框架，提出了一种分而治之的方法来解决上述问题。该模型引入了一个分割函数，可以将一幅图像中没有重叠的行人分割成两个子图像。通过使用网络架
量子-Alex·2024-02-14 08:20

【CV论文精读】Pedestrian Detection Based on YOLO Network Model 基于YOLO的行人检测

【CV论文精读】PedestrianDetectionBasedonYOLONetworkModel0.论文摘要和作者信息摘要——经过深度网络后，会有一些行人信息的丢失，会造成梯度的消失，造成行人检测不准确
量子-Alex·2024-02-13 10:56

图像处理之《鲁棒图像隐写术：隐藏频率系数中的信息》论文精读

一、文章摘要隐写术是一种将秘密信息隐藏到公共多媒体对象中而不会引起第三方怀疑的技术。然而，大多数现有的工作不能提供良好的抗有损JPEG压缩鲁棒性，同时保持相对较大的嵌入容量。提出了一种基于可逆神经网络的端到端鲁棒隐写系统。该方法将秘密信息直接隐藏到封面图像的离散余弦变换(DCT)系数中，而不是隐藏在空间域中，显著提高了鲁棒性和抗隐写安全性。首先提出了互信息损失来约束INN中的信息流。实现了双向融合
Hard Coder·2024-02-13 02:09

[论文精读]FBNETGEN: Task-aware GNN-based fMRI Analysis via Functional Brain Network Generation

论文网址：https://arxiv.org/abs/2205.12465论文代码：https://github.com/Wayfear/FBNETGEN英文是纯手打的！论文原文的summarizingandparaphrasing。可能会出现难以避免的拼写错误和语法错误，若有发现欢迎评论指正！文章偏向于笔记，谨慎食用！目录1.省流版1.1.心得1.2.论文总结图2.论文逐段精读2.1.Abstr
夏莉莉iy·2024-02-12 21:33

[论文精读]Intelligence Quotient Scores Prediction in rs-fMRI via Graph Convolutional Regression Network

论文网址：IntelligenceQuotientScoresPredictioninrs-fMRIviaGraphConvolutionalRegressionNetwork|SpringerLink英文是纯手打的！论文原文的summarizingandparaphrasing。可能会出现难以避免的拼写错误和语法错误，若有发现欢迎评论指正！文章偏向于笔记，谨慎食用！目录1.省流版1.1.心得1.
夏莉莉iy·2024-02-12 21:03

[论文精读]Community-Aware Transformer for Autism Prediction in fMRI Connectome

论文网址：[2307.10181]Community-AwareTransformerforAutismPredictioninfMRIConnectome(arxiv.org)论文代码：GitHub-ubc-tea/Com-BrainTF:TheofficialPytorchimplementationofpaper"Community-AwareTransformerforAutismPred
夏莉莉iy·2024-02-12 21:31

【论文精读】EfficientNet

摘要以往的卷积网络模型通过缩放深度，宽度和图像大小的其中之一或之二来扩大网络以实现更好的结果，但这种思想下经常产生次优的精度和效率的算法。本文认为通过同时平衡网络宽度、深度、分辨率的缩放倍数来扩大卷积网络，可以达到更好的精度和效率。框架优化目标定义卷积网络层iii为：Yi=Fi(Xi)Y_i=F_i(X_i)Yi=Fi(Xi)其中FiF_iFi是卷积算子，YiY_iYi为输出张量，XiX_iXi为
None-D·2024-02-11 15:43

【论文精读】GPT2

摘要在单一领域数据集上训练单一任务的模型是当前系统普遍缺乏泛化能力的主要原因，要想使用当前的架构构建出稳健的系统，可能需要多任务学习。但多任务需要多数据集，而继续扩大数据集和目标设计的规模是个难以处理的问题，所以只能采取多任务学习的其他框架。目前在语言任务上表现最佳的多任务学习系统，利用了预训练和监督微调的结合，通用的预训练系统可以在微调后在多个任务上表现良好，但微调仍需要监督数据。故本文做出证明
None-D·2024-02-11 15:43

【论文精读】GPT1

摘要如何从大量未标注文本中获取词级别的信息有两个主要挑战，使用何种优化目标能有效地学习文本表示，如何有效地将学习到的表示迁移到目标任务。针对这些问题，本文提出一种无监督预训练和有监督微调的组合的半监督方法，具体为：采用两阶段训练过程，首先使用语言建模目标在大量未标注数据上学习模型的初始参数，随后使用有监督目标微调预训练模型以适应目标任务模型架构使用Transformer，其在处理文本中的长期依赖关
None-D·2024-02-11 15:42

【论文精读】Swin Transformer

摘要ViT的缺点：Transformer在语言处理中的基本元素是wordtoken，其特点是语义信息比较密集。而ViT中token的尺度（scale）是固定的，且视觉token携带的语义信息比语言文字序列差，故认为不适合视觉应用图像分辨率高，像素点多，如果采用ViT模型，自注意力的计算量会与像素的平方成正比，计算复杂度过高是导致ViT速度慢的主要原因故本文做出改进：基于滑动窗口机制，具有层级设计（
None-D·2024-02-11 15:12

【论文精读】ViT-Adapter

摘要视觉transformer类的模型可以分为普通ViT和视觉transformer变体两类。后者通常使用局部空间操作将特定于视觉的归纳偏差引入到其架构中，故而可以产生更好的结果（如SwinTransformer）。但普通的ViT可以使用包括图像，视频和文本的大量多模态数据进行预训练，这鼓励模型学习丰富的语义表示，但与特定于视觉的transformer变体相比，普通ViT在密集预测方面有决定性的缺
None-D·2024-02-11 15:12

【论文精读】 Vision Transformer（ViT）

摘要验证了当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。架构如上图，给定图像x∈RH×W×Cx\in\Reals^{H\timesW\timesC}x∈RH×W×C分割为2Dpatch序列xp∈RN×(P2⋅C)x_p\in\Reals^{N\times(P^2\cdotC)}xp∈RN×(P2⋅C
None-D·2024-02-11 15:11

【论文精读】RetNet

摘要Transformer是大型语言模型的主流架构。然而，transformer的训练并行性是以低效的推理为代价，这使得transformer对部署不友好。不断增长的序列长度会增加GPU内存消耗和延迟，并降低推理速度。许多算法都在继续开发下一代架构，旨在保持训练并行性和transformer的竞争性能，同时具有高效的O(1)O(1)O(1)推理复杂度。但同时实现上述目标是具有挑战性的，即所谓的不可
None-D·2024-02-11 15:11

【论文精读】Transformer

摘要以往的循环神经网络如LSTM和GRU，在序列建模和翻译问题中已经成为最先进的方法，但由于其循环结构，导致无法并行化计算，且难以对长序列的全局关系建模。故本文提出Transformer，一种非递归式的模型架构，完全依靠注意力机制来获取序列输入和输出之间的全局依赖关系，且Transformer允许并行化计算。具体为：提出自注意力机制，是一种为了方便计算序列表示而关联单个序列的不同位置的注意力机制基
None-D·2024-02-11 15:40

论文精读的markdown模板——以及用obsidian阅读网页资料做笔记

#TheInvestigationofS-PChartAnalysisontheTestEvaluationsofEqualityAxiomConceptsforSixthGradersTags:#/unread本体论：背景起源和发展包含要素###可关联要素###逻辑意义：方法论：方法论是一种以解决问题为目标的理论体系或系统，通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方
东方-教育技术博主·2024-02-10 18:25

【CV论文精读】【MVDet】Multiview Detection with Feature Perspective Transformation

0.论文摘要合并多个摄像机视图进行检测减轻了拥挤场景中遮挡的影响。在多视图检测系统中，我们需要回答两个重要问题。首先，我们应该如何从多个视图中聚合线索？第二，我们应该如何从空间上相邻的位置聚集信息？为了解决这些问题，我们引入了一种新的多视图检测器MVDet。在多视图聚合期间，对于地面上的每个位置，现有方法使用多视图anchorbox特征作为表示，这可能会限制性能，因为预定义的anchorbox可能
量子-Alex·2024-02-09 18:24

【CV论文精读】【协同感知综述】Collaborative Perception for Autonomous Driving ：Current Status and Future Trend

CollaborativePerceptionforAutonomousDriving：CurrentStatusandFutureTrend0.论文摘要感知是自动驾驶系统的关键模块之一，近年来取得了很大进展。然而，单个车辆的有限能力导致感知性能提高的瓶颈。为了突破个体感知的局限，协作感知被提出，它使车辆能够共享信息来感知视线和视野之外的环境。本文综述了有前途的协作感知技术的相关工作，包括介绍了基
量子-Alex·2024-02-09 18:23

【CV论文精读】EarlyBird: Early-Fusion for Multi-View Tracking in the Bird’s Eye View

【CV论文精读】EarlyBird:Early-FusionforMulti-ViewTrackingintheBird’sEyeView0.论文摘要多视图聚合有望克服多目标检测和跟踪中的遮挡和漏检挑战
量子-Alex·2024-02-09 18:53

图像处理之《生成隐写网络》论文精读

一、文章摘要隐写术通常修改封面媒体以嵌入秘密数据。最近出现了一种新的隐写方法，称为生成隐写(GS)，其中隐写图像(包含秘密数据的图像)直接从秘密数据生成，而不需要封面介质。然而，现有的GS方案经常因性能差而受到批评。在本文中，我们提出了一种先进的生成隐写网络(GSN)，它可以在不使用封面图像的情况下生成逼真的隐写图像。我们首先引入了互信息机制，这有助于实现高的秘密提取精度。我们的模型包含四个子网络
Hard Coder·2024-02-09 17:58

【图像拼接】论文精读：A fast and stable seam selection algorithm for video stitching based on seam temporal pro

第一次来请先看这篇文章：【图像拼接（ImageStitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用说明、创新思路分享等（不定期更新）图像拼接系列相关论文精读SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImag
十小大·2024-02-09 09:45

【图像拼接】论文精读：Rectangular-Output Image Stitching（RDISNet）

第一次来请先看这篇文章：【图像拼接（ImageStitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用说明、创新思路分享等（不定期更新）图像拼接系列相关论文精读SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImag
十小大·2024-02-09 09:43

Retinexformer论文精读笔记

Retinexformer论文精读笔记论文为2023年ICCV的Retinexformer:One-stageRetinex-basedTransformerforLow-lightImageEnhancement
Alex·Fall·2024-02-07 19:21

51-24 BEVFormer、BEVFormer v2，Occupancy占用网络灵感源泉 论文精读

今天要读论文的是BEVFormer，有人说这是新一代自动驾驶感知融合的基石，有人说是后续OccupancyNetwork占用网络工作的灵感源泉。我们从题目《通过时空transformer从多摄像头图像中学习BEV表示》来看，这应该是BEV开山之作LSS论文的姊妹篇。本文以BEVFormer为主，同时介绍改进版BEVFormerv2。论文和代码地址论文题目：LearningBird's-Eye-Vi
深圳季连AIgraphX·2024-02-07 13:31

51-21 LSS (Lift,Splat,Shoot) ，实现 BEV 感知的开山之作 论文精读

这以后阅读的论文逐渐靠近自动驾驶实用领域，本文要讲的是Bird's-Eye-View，BEV开山之作，来自Nvidia的LSS论文。LSS核心动机：2D-->3D，构建BEV空间。LSS核心结构首先是利用Lift模块进行深度分布学习，将二维图像特征生成3D特征，其次利用Splat模块做特征映射，把3D特征拍扁得到BEV特征图，最后利用Shoot模块在BEV特征图上进行相关任务操作。论文和代码地址论
深圳季连AIgraphX·2024-02-07 13:00

51-11 多模态论文串讲—VLMo 论文精读

VLMo:UnifiedVision-LanguagePre-TrainingwithMixture-of-Modality-Experts(NeurIPS2022)VLMo是一种多模态Transformer模型，从名字可以看得出来它是一种Mixture-of-Modality-Experts(MoME)，即混合多模态专家。怎么理解呢？主流VLP模型分为两种，一种是双塔结构(DualEncoder
深圳季连AIgraphX·2024-02-07 13:59

51-18 视频理解串讲— MViTv2：Improved Multiscale Vision transformers for Classification and Detection 论文精读

今天要读的论文MViTv2仍然来自FacebookAI。论文和代码地址论文名称：MViTv2:ImprovedMultiscaleVisionTransformersforClassificationandDetection论文地址：https://arxiv.org/abs/2112.01526代码地址：https://github.com/facebookresearch/mvit首先咱们来看
深圳季连AIgraphX·2024-02-07 13:59

51-10 多模态论文串讲—ALBEF 论文精读

今天我们就来过一下多模态的串讲，其实之前，我们也讲了很多工作了，比如说CLIP，还有ViLT，以及CLIP的那么多后续工作。多模态学习在最近几年真的是异常的火爆，那除了普通的这种多模态学习，比如说视觉问答，图文检索这些，那其实之前讲的，所有这种languageguideddetection，或者这些languageguidedsegmentation任务都是多态。而且包括最近大的这种文本图像生成，
深圳季连AIgraphX·2024-02-07 13:29

51 -25 Scene as Occupancy 3D占用作为场景表示 论文精读

本文阅读的文章是SceneasOccupancy，介绍了一种将物体表示为3Doccupancy的新方法，以描述三维场景，并用于检测、分割和规划。文章提出了OccNet和OpenOcc两个核心概念。OccNet3D占用网络是一种以多视图视觉为中心的方法，通过层级化的体素解码器，可以重建3D感知模型和3D占用，适用于多种下游任务。OpenOCC是一种3D占用基准，第一个基于nuScenes的高密集、高
深圳季连AIgraphX·2024-02-07 12:57

2020年，我的自律计划！

我的目标1.过英语六级2.老友记两季精学3.完成60篇课题论文精读4.学习游泳5.练出马甲线6.小腿瘦到32厘米7.存款5000元小任务1.每天20个单词英语的学习是最不能放下的，日积月累才是学好英语的关键
伊号同学·2024-02-05 04:57

图像处理之《基于端到端哈希生成模型的鲁棒无覆盖图像隐写》论文精读

一、文章摘要近年来，无覆盖隐写算法因其完全抵抗隐写分析算法的能力而引起了越来越多的研究关注。然而，现有的算法在面对几何攻击和非几何攻击时，无法达到同样的鲁棒性平衡。此外，现有的方法大多需要在隐写图像的同时传输一些辅助信息，这增加了隐写信息的成本。提出了一种基于哈希生成模型的鲁棒无覆盖图像隐写算法。与现有方法不同的是，哈希序列是由端到端的CNN模型生成的，输入是原始图像，输出是相应的哈希序列。因此，
Hard Coder·2024-02-04 15:54

图像处理之《可逆重缩放网络及其扩展》论文精读

一、文章摘要图像重缩放是一种常用的双向操作，它首先将高分辨率图像缩小以适应各种显示器或存储和带宽友好，然后将相应的低分辨率图像放大以恢复原始分辨率或放大图像中的细节。然而，非单射下采样映射丢弃了高频内容，导致逆恢复任务存在不适定问题。这可以抽象为具有信息损失的一般图像退化-恢复问题。在这项工作中，我们提出了一个新的可逆框架来处理这一普遍问题，该框架从一个新的角度来模拟双向退化和恢复，即可逆双射变换
Hard Coder·2024-02-03 08:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他