个人随笔（论文解读第5页

《梦中呢喃的你，是挥之不去的记忆》

注＊图源存于堆糖，文于个人随笔。你在奈良的樱花树下蹁跹起舞，在江南氤氲的青砖绿瓦上跳跃，你在雪域的冰雪里飘零，你在天涯，在灵魂深处，在触不可及，遥远的另一个世界。

独钓一江秋999·2023-12-17 14:23

Llama 2论文解读

标题简介模型预训练预训练设置硬件资源与碳排放模型评估模型微调有监督微调基于人工反馈的强化学习（RLHF）人类偏好数据的收集奖励模型迭代微调过程多轮对话控制RLHF结果模型回答的安全性一直以来，Llama模型被认为是AI社区最强大的开源模型，国内外众多的开源模型均是在其基础上二次训练/开发而来，如Alpaca模型、BELLEE模型、Guanaco模型、Vicuna模型。但由于开源协议问题，Lla

长白山下大绵羊·2023-12-16 13:52

[Knowledge Distillation]论文分析：Distilling the Knowledge in a Neural Network

文章目录一、完整代码二、论文解读2.1介绍2.2Distillation2.3结果三、整体总结论文：DistillingtheKnowledgeinaNeuralNetwork作者：GeoffreyHinton

Bigcrab__·2023-12-16 11:31

基于扩散的图像超分辨率模型：ResShift

1论文解读论文地址：ResShift:EfficientDiffusionModelforImageSuper-resolutionbyResidualShifting代码地址：https://github.com

智慧医疗探索者·2023-12-16 05:29

NLP论文解读：无需模板且高效的语言微调模型（上）

©原创作者|苏菲论文题目：Prompt-freeandEfficientLanguageModelFine-Tuning论文作者：RabeehKarimiMahabadi论文地址：https://openreview.net/pdf?id=6o5ZEtqP2g提示学习（Prompt-learning）被誉为自然语言处理的“第4种范式”，它可以在少样本甚至零样本的条件下，通过将下游任务修改为语言生成

NLP论文解读·2023-12-15 22:27

[UNILM]论文实现：Unified Language Model Pre-training for Natural Language.........

文章目录一、完整代码二、论文解读2.1介绍2.2架构2.3输入端2.4结果三、过程实现四、整体总结论文：UnifiedLanguageModelPre-trainingforNaturalLanguageUnderstandingandGeneration

Bigcrab__·2023-12-15 22:03

[Longformer]论文实现：Longformer: The Long-Document Transformer

文章目录一、完整代码二、论文解读2.1介绍2.2Longformer注意力模式注意力计算2.3自回归语言模型注意力模式训练结果2.4预训练和微调注意力模式位置编码预训练结果2.5Longformer-Encoder-Decoder

Bigcrab__·2023-12-15 20:05

[DistilBERT]论文实现：DistilBERT：a distilled version of BERT: smaller, faster, cheaper and lighter

文章目录一、完整代码二、论文解读2.1介绍2.2知识蒸馏2.3三重损失2.4DistilBERT三、整体总结论文：DistilBERT,adistilledversionofBERT:smaller,faster

Bigcrab__·2023-12-15 20:04

[Linformer]论文实现：Linformer: Self-Attention with Linear Complexity

文章目录一、完整代码二、论文解读2.1介绍2.2Self-AttentionisLowRank2.3模型架构2.4结果三、整体总结论文：Linformer:Self-AttentionwithLinearComplexity

Bigcrab__·2023-12-15 20:50

【论文解读】ICLR 2024高分作：ViT需要寄存器

来源：投稿作者：橡皮编辑：学姐论文链接：https://arxiv.org/abs/2309.16588摘要：Transformer最近已成为学习视觉表示的强大工具。在本文中，我们识别并表征监督和自监督ViT网络的特征图中的伪影。这些伪影对应于推理期间主要出现在图像的低信息背景区域中的高范数标记，这些标记被重新用于内部计算。我们提出了一个简单而有效的解决方案，基于向VisionTransforme

深度之眼·2023-12-15 15:29

知识增强的预训练语言模型系列之ERNIE：如何为预训练语言模型注入知识

©NLP论文解读|杨健论文标题：ERNIE:EnhancedLanguageRepresentationwithInformativeEntities收录会议：ACL论文链接：https://arxiv.org

NLP论文解读·2023-12-15 14:23

Grounding DINO、TAG2TEXT、RAM、RAM++论文解读

提示：GroundingDINO、TAG2TEXT、RAM、RAM++论文解读文章目录前言一、GroundingDINO:MarryingDINOwithGroundedPre-TrainingforOpen-SetObjectDetection1

tangjunjun-owen·2023-12-15 01:10

[UIM]论文解读：subword Regularization: Multiple Subword Candidates

文章目录一、完整代码二、论文解读2.1介绍2.2NMT2.3Unigramlanguagemodel2.4subword抽样2.5效果三、整体总结论文：SubwordRegularization:ImprovingNeuralNetworkTranslationModelswithMultipleSubwordCandidates

Bigcrab__·2023-12-06 20:26

COGVLM论文解读(COGVLM:VISUAL EXPERT FOR LARGE LANGUAGE MODELS)

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、摘要二、引言三、模型方法1、模型思路2、融合公式四、训练方法总结前言2023年5月18日清华&智谱AI发布并开源VisualGLM-6B以来，清华KEG&智谱AI潜心打磨，又开发并开源了更加强大的多模态大模型CogVLM。CogVLM基于对视觉和语言信息之间融合的理解，是一种新的视觉语言基础模型。CogVLM可以在不牺

tangjunjun-owen·2023-12-06 18:12

[wordpiece]论文分析：Google’s Neural Machine Translation System

文章目录一、论文解读1.1模型介绍1.2模型架构1.3wordpiece二、整体总结论文：Google’sNeuralMachineTranslationSystem:BridgingtheGapbetweenHumanandMachineTranslation

Bigcrab__·2023-12-06 09:22

[BPE]论文实现：Neural Machine Translation of Rare Words with Subword Units

文章目录一、完整代码二、论文解读2.1模型架构2.2BPE三、过程实现四、整体总结论文：NeuralMachineTranslationofRareWordswithSubwordUnits作者：RicoSennrich

Bigcrab__·2023-12-06 08:19

【论文解读】角色动画的一致可控的图像到视频合成

论文：https://arxiv.org/pdf/2311.17117.pdf代码：https://github.com/HumanAIGC/AnimateAnyone图片解释：给定参考图像（每组中最左边的图像）的一致且可控的角色动画结果。我们的方法能够对任意角色进行动画处理，生成清晰且时间稳定的视频结果，同时保持与参考角色的外观细节的一致性。更多视频结果可在补充材料中找到。0摘要角色动画旨在通过

资料加载中·2023-12-06 01:23

【论文解读】UC-NeRF: Neural Radiance Field for Under-Calibrated multi-view cameras in autonomous driving

UC-NeRF：欠校准的多视角摄像头系统的新颖视图合成方法论文：https://arxiv.org/abs/2311.16945代码：GitHub-kcheng1021/UC-NeRF:theofficialpytorchimplementationofUC-NeRF图2：在欠校准的多摄像头系统中，NeRF的质量显著下降（第一行），伴随着颜色不一致（红色框），物体幻影（红色箭头）和错误的几何形状（

LeapMay·2023-12-06 00:37

【AI数字人-论文】Wav2lip论文解读

文章目录Wav2lip前言Lip-syncExpertDiscriminatorGeneratorvisualqualitydiscriminator生成器总损失函数论文Wav2lip前言Wav2Lip是第一个通用说话者的模型，可生成与真实同步视频相匹配的口型同步精度的视频，它的核心架构概括为“通过向训练有素的口型同步专家学习，生成准确的口型同步”。基于此理念，Wav2lip包括一个生成器和两个判

马鹤宁·2023-12-05 16:11

论文解读--2D Car Detection in Radar Data with PointNets

基于PointNets的雷达数据二维汽车检测摘要对于许多自动驾驶功能，高精度的感知车辆环境是一个重要的前提。现代高分辨率雷达传感器为每个目标产生多个雷达目标，这使得这些传感器特别适合于二维目标探测任务。这项工作提出了一种方法，使用PointNets完全依赖稀疏雷达数据检测二维物体。在文献中，目前只提出了对对象进行对象分类或边界盒估计的方法。相比之下，该方法便于分类和使用单一雷达传感器对物体的边界盒

奔袭的算法工程师·2023-12-05 09:18

论文解读--Analysis and Comparison of MIMO Radar Waveforms

MIMO雷达波形分析和对比摘要选择合适的波形是实现多输入多输出(MIMO)雷达的关键任务。MIMO雷达波形除了具有分辨率好、副瓣低等一般要求外，还应具有良好的正交性。在本文中，我们简要概述了MIMO雷达波形，它们分为四类:(1)时分多址(TDMA)，(2)频分多址(FDMA)，(3)多普勒多址(DDMA)和(4)码分多址(CDMA)。讨论了一种特殊的循环MIMO波形，分析比较了不同波形的特性和应用

奔袭的算法工程师·2023-12-05 09:48

论文解读--PointPillars- Fast Encoders for Object Detection from Point Clouds

PointPillars--点云目标检测的快速编码器摘要点云中的物体检测是许多机器人应用(如自动驾驶)的重要方面。在本文中，我们考虑将点云编码为适合下游检测流程的格式的问题。最近的文献提出了两种编码器;固定编码器往往很快，但牺牲了准确性，而从数据中学习的编码器更准确，但更慢。在这项工作中，我们提出了PointPillars，这是一种新颖的编码器，它利用PointNets来学习以垂直列(柱子)组织的

奔袭的算法工程师·2023-12-05 09:40

【论文解读--触地检测+FSM状态切换】（猎豹 3）Contact Model Fusion for Event-Based Locomotion in Unstructured Terrains

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加TODO:写完再整理文章目录系列文章目录前言一、简介二、整体思路三、基于gm的干扰观测器估计腿上的外力1、基于动量（gm）的扰动观测器的原理2、基于关节动量（GM）的扰动观测器的输入3、推导过程（1）建立（关节的动力学模型表达式）标准方程（推导标准运动方程）（2）计算扰动向量（将外力收集成扰动矢量）4、离散时间扰动矢量τd

盒子君~·2023-12-05 03:03

[RoFormer]论文实现：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING

文章目录一、完整代码二、论文解读2.1注意力机制2.2绝对位置编码2.3相对位置编码2.4旋转位置编码Long-termdecayAdaptionforlinearattention2.5模型效果三、过程实现四

Bigcrab__·2023-12-04 13:07

[Bert]论文实现：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

EfficientGraph-BasedImageSegmentation一、完整代码二、论文解读2.1模型架构2.2输入层MaskedLMEmbedding2.3BERT架构层2.4输出层NSPCLS2.5BERT

Bigcrab__·2023-12-04 13:06

[Transformer-XL]论文实现：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

文章目录一、完整代码二、论文解读2.1Transformer-XL的介绍2.2Transformer-XL的架构2.3相对位置编码2.4分段递归模型三、过程实现四、整体总结论文：Transformer-XL

Bigcrab__·2023-12-04 13:06

[GPT-1]论文实现：Improving Language Understanding by Generative Pre-Training

EfficientGraph-BasedImageSegmentation一、完整代码二、论文解读2.1GPT架构2.2GPT的训练方式Unsupervisedpre_trainingSupervisedfine_training

Bigcrab__·2023-12-04 13:35

科研学习|论文解读——Deep learning for anomaly detection in log data: a survey

摘要自动日志文件分析能够及早发现系统故障等相关事件。特别是，自学习异常检测技术能够捕捉日志数据中的模式，然后向系统操作员报告意外的日志发生，而无需提前提供或手动建模异常场景。最近，越来越多的利用深度学习方法来实现此目的的方法被提出。与传统的机器学习技术相比，这些方法表现出了卓越的检测性能，同时解决了数据格式不稳定的问题。然而，深度学习存在不同的架构，对原始和非结构化的日志数据进行编码以供神经网络分

博士僧小星·2023-12-03 23:51

科研学习|论文解读——Open government research over a decade: A systematic review

Opengovernmentresearchoveradecade:Asystematicreview十年来的开放政府研究：一个系统性综述摘要在过去十年中，对开放政府的学术研究蓬勃发展。然而，对开放政府的全面审查是有限的。这一研究空白不仅阻碍了我们对开放政府整体知识体系的理解，也阻碍了现有实践的推进。为了解决这一差距，本文系统地回顾了2008年至2019年期间发表的189项研究。指导这一回顾的中心

博士僧小星·2023-12-03 21:53

【论文解读】NuScenes-QA：自动驾驶场景的多模态视觉问答基准

来源：投稿作者：橡皮编辑：学姐论文链接：https://arxiv.org/pdf/2305.14836.pdf开源代码：https://github.com/qiantianwen/NuScenes-QA摘要：我们在自动驾驶背景下引入了一种新颖的视觉问答（VQA）任务，旨在根据街景线索回答自然语言问题。与传统的VQA任务相比，自动驾驶场景中的VQA提出了更多的挑战。首先，原始视觉数据是多模态的，

深度之眼·2023-12-03 06:16

《一年通往作家路》2｜个人随笔，写作的重要练习

个人随笔，是写作的重要练习。我们从成堆的素材中，淘出那富有活力的点滴，酝酿成一篇随笔。光是想想，就有一种令人怦然心动的愉悦感。在书中，作者明确地告诉了我们随笔的四个要素：笔调、形式、戏剧性和真实。

偃鼠T·2023-12-03 00:50

基于用户session兴趣的商品推荐算法--DSIN论文解读

0.写在前面接着上一篇《DIEN论文解读》来讲讲alibaba最近的一个成果--DSIN(DeepSessionInterestNetwork)深度兴趣会话网络。

OneChancek·2023-12-02 21:45

[seq2seq]论文实现：Effective Approaches to Attention-based Neural Machine Translation

文章目录一、完整代码二、论文解读2.1RNN模型2.2Attention-basedModelsGlobalattentionalmodelLocalattentionalmodel2.3Input-feedingApproach2.4

Bigcrab__·2023-12-02 02:16

Transformer：中英文翻译

AttentionIsAllYouNeed一、完整代码二、论文解读2.1模型架构2.2位置编码2.3残差连接和层归一化2.4注意力机制2.5前馈神经网络三、过程实现3.1安装包和导包3.2数据准备3.3

Bigcrab__·2023-12-02 02:45

[transformer]论文实现：Attention Is All You Need

AttentionIsAllYouNeed一、完整代码二、论文解读2.1模型架构2.2位置编码2.3残差连接和层归一化2.4注意力机制2.5前馈神经网络三、过程实现3.1安装包和导包3.2数据准备3.3

Bigcrab__·2023-12-02 02:45

seq2seq：中英文翻译

文章目录一、完整代码二、论文解读2.1RNN模型2.2Attention-basedModelsGlobalattentionalmodelLocalattentionalmodel2.3Input-feedingApproach2.4

Bigcrab__·2023-12-02 02:04

一个计算机专业女孩的求学之路—七年之痒，痒之感悟

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源这是一个读者发表的个人随笔，在某论坛引起了大家的关注。讲述了一个计算机专业的同学求学的过往，个人深受感动。争得了作者的同意分享给大家。

王知无(import_bigdata)·2023-12-01 10:53

科研学习|论文解读——Task complexity and difficulty in music information retrieval

摘要：关于音乐信息检索（MIR）中任务复杂度和任务难度的研究很少，而文本检索领域的许多研究发现任务复杂度和任务难度对用户效率有显着影响。本研究旨在通过探索i)任务复杂度和任务难度之间的关系；ii)影响任务难度的因素；iii)MIR中任务难度、任务复杂度和用户搜索行为之间的关系来弥补这一差距。采用一种新型的MIR系统，对51名参与者进行了实证用户实验。参与者在3个复杂级别上搜索6个主题。结果表明：i

博士僧小星·2023-11-30 17:09

论文阅读《RelationNet2: Deep Comparison Columns for Few-Shot Learning》

论文名称：《RelationNet2:DeepComparisonColumnsforFew-ShotLearning》论文地址：https://arxiv.org/pdf/1811.07100v3.pdf论文解读参考

LiBiscuit·2023-11-30 11:48

U-Net代码复现--更新中

本文记录自己的学习过程，内容包括：代码解读：Pytorch-UNet深度学习编程基础：Pytorch-深度学习（新手友好）UNet论文解读：医学图像分割：U_Net论文阅读数据：https://hackernoon.com

北方骑马的萝卜·2023-11-29 06:42

Global Convolutional Network（GCN）论文解读

https://blog.csdn.net/u011974639/article/details/78897066https://blog.csdn.net/zhangjunhit/article/details/74530596

Williamongh·2023-11-27 10:43

【论文解读】Edit-DiffNeRF：使用2D-扩散模型编辑3D-NeRF

来源：投稿作者：橡皮编辑：学姐论文链接：https://arxiv.org/abs/2306.09551摘要最近的研究表明，将预训练的扩散模型与神经辐射场（NeRF）相结合，是一种很有前途的文本到3D的生成方法。简单地将NeRF与扩散模型相结合会导致跨视图不一致和风格化视图合成的退化。为了应对这一挑战，我们提出了Edit-DiffNeRF框架，它由一个冻结的扩散模型、一个用于编辑扩散模型潜在语义空

深度之眼·2023-11-26 23:56

【论文解读】CP-SLAM: Collaborative Neural Point-based SLAM System_神经点云协同SLAM系统（上）

LeapMay·2023-11-26 14:42

【论文解读】CP-SLAM: Collaborative Neural Point-based SLAM System_神经点云协同SLAM系统（下）

目录4CP-SLAM实验4.1两个智能体协作（Two-agentCollaboration）4.2单智能体回环（SingleAgentwithLoop）4.3地图构建（MapReconstruction）4.4消融实验姿态图优化（PoseGraphOptimization）地图细化（MapRefinement）采样浓度（SamplingConcentration）神经点密度（NeuralPoint

LeapMay·2023-11-26 14:11

制作自己的segnet数据集_语义分割【论文解读】经典网络SegNet 值得仔细反复阅读...

摘要：提出了一种新颖而实用的深度全卷积神经网络结构用于语义像素分割称为SegNet。这个核心的可训练分割引擎包括一个编码器网络，一个相应的解码器网络，以及一个像素级的分类层。编码器网络的架构与VGG16网络中的13个卷积层拓扑结构相同。解码器网络的作用是将低分辨率的编码器特征映射到全输入分辨率的特征映射，以便按像素分类。SegNet的新奇之处在于解码器对其低分辨率输入特征图进行采样的方式。具体来说

weixin_39903571·2023-11-26 05:36

转　SSD论文解读

Preface这是今年ECCV2016的一篇文章，是UNCChapelHill（北卡罗来纳大学教堂山分校）的WeiLiu大神的新作，论文代码：https://github.com/weiliu89/caffe/tree/ssd有几点更新：1.看到一篇blog对检测做了一个总结、收集，强烈推荐：ObjectDetection2.还有，今天在微博上看到VOC2012的榜单又被刷新了，微博原地址为：这里

weixin_30371875·2023-11-26 05:06

(二)Faster-RCNN--NIPS2015论文解读

FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks更快的R-CNN：利用区域提案网络实现实时目标检测摘要最先进的目标检测网络依赖于区域建议算法来假设对象位置。像SPPnet[1]和FastR-CNN[2]这样的进展减少了这些检测网络的运行时间，暴露了区域建议计算作为瓶颈。在这项工作中，我们引入了一个区域提议网络

灯会_hust·2023-11-26 05:00

深度学习之CNN深度卷积神经网络-VGG（进阶）

前言本文主要CNN系列论文解读——VGG的简介、模型结构、参数计算、网络结构的代码实现等。

辣椒种子·2023-11-24 22:59

Doris系列之高级功能-Rollup操作

陈万君Allen·2023-11-24 16:31

Doris系列之物化视图操作