论文笔记——模型压缩第5页

【基础论文笔记一】(2018 NIPS)Conditional Adversarial Domain Adaptation CDAN条件对抗域适应

目录一、CDAN结构二、多线性调整三、熵调整四、总体优化目标前言对抗性学习已被嵌入到深层网络中，用于学习解纠缠和可转移的领域适应表示。在分类问题中，现有的对抗性域自适应方法可能无法有效地对齐多模态分布的不同域。作者指出当前一些对抗域适应方法仍存在三个问题：1.只考虑了特征对齐，没有考虑标签对齐。2.当数据分布体现出复杂的多模态结构时，对抗性自适应方法可能无法捕获这种多模态结构，也就是说即使判别器完

羊驼不驼a·2023-12-24 16:13

UFO论文笔记

1TitleAUnifiedTransformerFrameworkforGroup-basedSegmentation:Co-Segmentation,Co-SaliencyDetectionandVideoSalientObjectDetection（YukunSu,JingliangDeng,RuizhouSun,GuoshengLin,andQingyaoWu）【ransactionsOn

umbrellazg·2023-12-24 06:52

论文笔记--Gemini: A Family of Highly Capable Multimodal Models

论文笔记--1.文章简介2.文章概括3文章重点技术3.1模型架构3.2训练数据3.3模型评估3.3.1文本3.3.1.1Science3.3.1.2Modelsizes3.3.1.3Multilingual3.3.1.4LongContext3.3.1.5Humanpreference3.3.2

Isawany·2023-12-24 03:36

论文笔记--A Fine-grained Interpretability Evaluation Benchmark for Neural NLP

论文笔记--AFine-grainedInterpretabilityEvaluationBenchmarkforNeuralNLP1.文章简介2.文章概括3文章重点技术3.1数据收集3.2数据扰动3.3

Isawany·2023-12-24 03:35

论文笔记--InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

论文笔记--InstructBLIP:TowardsGeneral-purposeVision-LanguageModelswithInstructionTuning1.文章简介2.文章概括3文章重点技术

Isawany·2023-12-24 03:35

论文笔记--Learning Political Polarization on Social Media Using Neural Networks

论文笔记--LearningPoliticalPolarizationonSocialMediaUsingNeuralNetworks1.文章简介2.文章概括3.相关工作4.文章重点技术4.1Collectionofposts4.1.1

Isawany·2023-12-24 03:04

DyNet论文笔记华为动态卷积核的论文解读

文章目录*KeyPoint*为什么要这么干？*Keywords*摘要引言相关工作高效卷积神经网络设计模型的压缩动态卷积核CNN中的动态卷积动机动态卷积系数预测模块(Coefficientpredictionmodule)动态生成模块(Dynamicgenerationmodule)训练算法动态卷积神经网络评估实验设置及比较方法实验结果与分析消融研究结论附录DYNET:DYNAMICCONVOLUT

晓梦清尘·2023-12-24 02:15

《基于非连续路径可靠性排序的快速二维相位展开算法》论文笔记

基于非连续路径可靠性排序的快速二维相位展开算法Fasttwo-dimensionalphase-unwrappingalgorithmbasedonsortingbyreliabilityfollowinganoncontinuouspath.DOI:10.1364/AO.41.0074371、介绍相位解包裹中的不连续性、局部区域的欠采样、信噪比的高局部变化和掩蔽区域是解包裹算法必须克服的一些问题

桐秋廿·2023-12-23 23:00

【论文笔记】Scene Reconstruction From 4D Radar Data with GAN and Diffusion

原文链接：https://kth.diva-portal.org/smash/get/diva2:1799731/FULLTEXT01.pdf1.引言本文使用深度生成模型（DGM）实现以4D雷达为条件的图像生成，以提供雷达数据的另一可视化方法并增强可解释性。实验中的雷达和RGB相机固定在路面上方并经过时空同步。雷达和图像的数据对会作为网络的训练数据。网络使用深度生成模型将雷达数据转化为RGB图像。

byzy·2023-12-23 15:31

【论文笔记】3D Gaussian Splatting for Real-Time Radiance Field Rendering

原文链接：https://arxiv.org/abs/2308.040791.引言网孔和点是最常见的3D场景表达，因其是显式的且适合基于GPU/CUDA的快速栅格化。神经辐射场（NeRF）则建立连续的场景表达便于优化，但渲染时的随机采样耗时且引入噪声。本文的方法结合了上述两种方法的优点：使用3D高斯表达和基于tile的溅射，能实时地渲染高质量高分辨率图像。首先建立3D高斯表达场景。从使用运动恢复结

byzy·2023-12-23 15:31

【论文笔记】Cam4DOcc: Benchmark for Camera-Only 4D Occupancy Forecasting in Autonomous Driving Application

Cam4DOcc:BenchmarkforCamera-Only4DOccupancyForecastinginAutonomousDrivingApplications原文链接：https://arxiv.org/abs/2311.17663I.引言现有的基于相机的占用估计方法仅估计当前和过去的占用状态，但自动驾驶汽车需要未来的环境条件。本文提出首个相机4D占用预测基准Cam4DOcc，包含数据

byzy·2023-12-23 15:30

【论文笔记】NeuRAD: Neural Rendering for Autonomous Driving

原文链接：https://arxiv.org/abs/2311.152601.引言神经辐射场（NeRF）应用在自动驾驶中，可以创建可编辑的场景数字克隆（可自由编辑视角和场景物体），以进行仿真。但目前的方法或者需要大量的训练时间，或者对传感器的建模过于简单（导致仿真和真实数据的间隙），或者性能较低。本文提出NeuRAD，一种可编辑的新视图合成模型。该方法可以处理大型自动驾驶场景，建模了重要的传感器特

byzy·2023-12-23 15:28

hjxu2016·2023-12-23 11:52

ACL2021论文笔记——Semantic Representation for Dialogue Modeling

论文链接：SemanticRepresentationforDialogueModeling(aclanthology.org)https://aclanthology.org/2021.acl-long.342.pdfattention:本文的"我"、"我们"都指作者概述：题目为《对话建模的语义表示》仍需解决的问题：1.AMR2.featurefusion(Mangaietal.,2010)3.

Mike峰·2023-12-23 08:28

【论文笔记】Unsupervised Person Re-identification by Soft Multilabel Learning

笔记目录（部分笔者省略）摘要1.简介2.相关工作无监督RE_ID无监督域自适应多标签分类零镜头学习3.深度软件多标签参考学习3.1问题表述和概述3.2软多标签引导的硬否定挖掘3.3跨视野一致性软多标签学习3.4参考代理学习4.实验4.1数据集基准测试评估辅助数据集4.2实验实施细节4.3与最新方法的比较与基于手工特征表示模型的比较与基于伪标签学习模型的比较与基于无监督域自适应模型的比较4.4消融研

Yo3ngLau·2023-12-23 02:21

image caption 必看论文，模型整理

基础模型transformers-attentionisallyouneed细节笔记论文笔记几个重点1.架构图2.attention原理attention机制中的query,key,value的概念解释

MIngo的成长·2023-12-23 01:16

深度学习产业落地速度新支点：飞桨&英特尔®至强®共同助力AI加速

针对上述需求，百度飞桨开源深度学习平台结合第三代英特尔®至强®可扩展处理器，通过完善的模型压缩方案和量化加速技术，

飞桨PaddlePaddle·2023-12-22 10:23

[论文笔记] GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration on GPUs

GNNAdvisor:AnAdaptiveandEfficientRuntimeSystemforGNNAccelerationonGPUsGNNAdvisor:GPU上GNN加速的自适应高效运行时系统[Paper][Slides][Code]OSDI’21摘要提出了GNNAdvisor,一个用于加速GPU平台上各种GNN工作负载的自适应高效运行时系统.从GNN模型和输入图中探索并识别了几个与性能

PeakCrosser·2023-12-21 17:05

论文笔记 | Nature 2023 FunSearch：利用大语言模型在数学科学领域探索新的发现

文章目录一、前言二、主要内容三、总结CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言科学中有许多难以解决的问题，这些问题难以获得确切解答，但却相对容易进行验证。在数学和计算机科学领域，这类问题被称为NP完全优化问题（NP-completeoptimizationproblems）。人们普遍认为不存在能够在“可接受时间”内（即多项式时间内）解决此类问题的算法，

叶庭云·2023-12-21 12:22

【论文笔记】Distilling the Knowledge in a Neural Network

Abstract几乎任何机器学习算法性能提升的一个非常简单的方法是在相同数据上训练多个不同的模型，然后对它们的预测结果进行平均。不幸的是，使用整个模型集合进行预测繁琐，可能会因为计算成本过高而难以部署给大量用户，尤其是如果各个模型是庞大的神经网络时。研究表明，可以将集合中的知识压缩成一个单一模型，这样更容易部署，而我们则进一步使用不同的压缩技术发展了这种方法。本文在MNIST数据集上取得了令人惊讶

xhyu61·2023-12-21 10:48

【论文笔记】MCANet: Medical Image Segmentation withMulti-Scale Cross-Axis Attention

医疗图像分割任务中，捕获多尺度信息、构建长期依赖对分割结果有非常大的影响。该论文提出了Multi-scaleCross-axisAttention（MCA）模块，融合了多尺度特征，并使用Attention提取全局上下文信息。论文地址：MCANet:MedicalImageSegmentationwithMulti-ScaleCross-AxisAttention代码地址：https://githu

justld·2023-12-21 10:47

深度学习模型压缩方法：剪枝方法分类介绍

本文将介绍深度学习模型压缩方法中的剪枝，内容从剪枝简介、剪枝步骤、结构化剪枝与非结构化剪枝、静态剪枝与动态剪枝、硬剪枝与软剪枝等五个部分展开。

qq_41920323·2023-12-21 09:41

论文笔记 | ICLR 2023 WikiWhy：回答和解释因果问题

文章目录一、前言二、主要内容三、总结CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言ICLR2023|Accept:notable-top-5%：《WikiWhy:AnsweringandExplainingCause-and-EffectQuestions》一段话总结：WikiWhy是一个新的QA数据集，围绕一个新的任务建立：用自然语言解释为什么一个答案是

叶庭云·2023-12-21 04:18

【论文笔记】动态蛇卷积（Dynamic Snake Convolution）

精确分割拓扑管状结构例如血管和道路，对医疗各个领域至关重要，可确保下游任务的准确性和效率。然而许多因素使分割任务变得复杂，包括细小脆弱的局部结构和复杂多变的全局形态。针对这个问题，作者提出了动态蛇卷积，该结构在管状分割任务上获得了极好的性能。论文：DynamicSnakeConvolutionbasedonTopologicalGeometricConstraintsforTubularStruc

justld·2023-12-21 02:37

【轻量化篇】YOLOv8改进实战 | 更换主干网络 Backbone 之 RepGhostnet，重参数化实现硬件高效的Ghost模块

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。

w94ghz·2023-12-20 23:22

YOLOv5改进实战 | 更换主干网络Backbone（一）之轻量化网络Ghostnet

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。

w94ghz·2023-12-20 23:51

论文笔记：Accurate Localization using LTE Signaling Data

1intro论文提出LTELoc，仅使用信令数据实现精准定位信令数据已经包含在已在LTE系统中，因此这种方法几乎不需要数据获取成本仅使用TA（时序提前）和RSRP【这里单位是瓦】（参考信号接收功率）TA值对应于信号从手机到达基站所需的时间长度——>考虑到光速，它相当于用户设备与基站之间的距离在4GLTE网络中，TA值介于0到63之间，每个步骤代表一个比特周期（大约0.5208μs）的提前。以大约3

UQI-LIUWJ·2023-12-20 23:16

论文笔记 Origin-Destination Matrix Prediction via Graph Convolution: aNew Perspective of Passenger Dema

19KDD1intro研究内容：OD矩阵预测（ODMP）预测在给定时间段内从一个地理区域到另一个地理区域的叫车订单数量本文提出了一种基于网格嵌入的单馈多任务学习模型(GEML)，同时考虑出行信息和地理特征，基于图对出行模式进行建模如果直接将已有的GCNs应用到OD矩阵所生成的图上，会出现以下问题：由于数据稀疏，学习到的具有很少订单的网格嵌入往往是不可靠和无效的对于没有任何历史订单记录的孤立节点(例

UQI-LIUWJ·2023-12-20 23:46

论文笔记 | ICLR 2023 ReAct：通过整合推理和行动来增强语言模型

文章目录一、前言二、主要内容三、总结CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言ICLR2023|Accept:notable-top-5%：《ReAct:SynergizingReasoningandActinginLanguageModels》一句话总结：ReAct方法在问答任务中通过提示大语言模型生成与任务相关的推理文本，并根据需求生成搜索或调用工

叶庭云·2023-12-20 13:52

【工作】思“运算”

（论文笔记及思考）培养小学生数学运算能力主要体现在以下几个方面：1-培养学生对数学运算的兴趣；多种形式的训练（如：游戏、竞赛、算式卡片、黑板视算、听算、限时口算、自编计算题等）。

Telling谭·2023-12-20 11:28

深度学习模型压缩与加速：深度压缩技术

深度学习模型压缩与加速：深度压缩技术引言深度学习已广泛应用于移动应用和实时检测任务，例如在自动驾驶车辆中的行人检测。在这些应用中，对于推理速度和模型大小有着极高的要求。

RRRRRoyal·2023-12-19 17:29

使用PyTorch进行知识蒸馏的代码示例

我们将看到如何使用它将一个庞大、笨重的模型压缩成一个更小、更高效的模型，并且仍然保留原始模型的准确性和性能。我们

baidu_huihui·2023-12-19 08:35

论文笔记：Bilinear Attention Networks

更精简的论文学习笔记1、摘要多模态学习中的注意力网络提供了一种选择性地利用给定视觉信息的有效方法。然而，学习每一对多模态输入通道的注意力分布的计算成本是非常昂贵的。为了解决这个问题，共同注意力为每个模态建立了两个独立的注意分布，忽略了多模态输入之间的相互作用。在本文中，我们提出了双线性注意力网络（BAN），它可以找到双线性注意力分布来无缝地利用给定地视觉语言信息。BAN考虑两组输入通道之间的双线性

hongyuyahei·2023-12-18 17:30

玩转字词句魔法：打造超强样本集的数据增强策略，句式变换揭秘同义句生成与回译在数据增强中的创新应用

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法

汀、人工智能·2023-12-18 11:40

【论文笔记】RepVGG: Making VGG-style ConvNets Great Again

RepVGG:MakingVGG-styleConvNetsGreatAgain目录RepVGG:MakingVGG-styleConvNetsGreatAgain1.Introduction1.1多分支网络结构的缺点1.2RepVGG优点2.ModelRe-parameterization（模型重参数化）2.1.DiracNet2.2WinogradConvolution3.BuildingRe

chairon·2023-12-18 11:33

论文笔记《NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models》

paper：https://arxiv.org/abs/2304.09787code：问就是没有code！主旨：用两个autoencoder

浅度断墨·2023-12-18 01:53

论文笔记：CQR-SQL: Conversational Question Reformulation Enhanced Context-Dependent Text-to-SQL Parsers

论文笔记：CQR-SQL:ConversationalQuestionReformulationEnhancedContext-DependentText-to-SQLParsers目录论文笔记：CQR-SQL

Q同学的nlp笔记·2023-12-17 14:29

[论文笔记] GAMMA: A Graph Pattern Mining Framework for Large Graphs on GPU

GAMMA:AGraphPatternMiningFrameworkforLargeGraphsonGPUGAMMA:基于GPU的针对大型图的图模式挖掘框架[Paper][Code]ICDE’23摘要提出了一个基于GPU的核外(out-of-core)图模式挖掘框架(GraphPatternMining,GPM)GAMMA,充分利用主机内存来处理大型图.GAMMA采用对用户透明的自适应隐式主机内存

PeakCrosser·2023-12-17 06:17

three模型压缩

一、模型压缩通过模型网格压缩，通过gltf配合Draco压缩的方式，可以在视觉效果近乎一致的情况下，让3D模型文件成倍缩小。

良诤·2023-12-17 02:34

[论文笔记] 大模型gpu机器推理测速踩坑 (llama/gpt类)

cpu没报错，换gpu就报错。以下是一些踩坑：坑1：要指定gpu，可以在importtorch之前指定gpu。model=LlamaForCausalLM.from_pretrained(model_path,trust_remote_code=True).to(device)报错:RuntimeError('Expectedalltensorstobeonthesamedevice,butfou

心心喵·2023-12-17 00:02

[论文笔记] chatgpt系列 SparseMOE—GPT4的MOE结构

SparseMOE:稀疏激活的MOESwtichMOE，所有token要在K个专家网络中，选择一个专家网络。显存增加。ExpertsChoice：路由MOE：由专家选择token。这样不同的专家都选择到某个token，也可以不选择该token。由于FFN层的时间复杂度和attention层不同，FFN层的时间复杂度在O(N*d)，N是输入长度，d是隐层纬度。attention层的时间复杂度在O(N

心心喵·2023-12-17 00:59

clean-label backdoor attacks 论文笔记

#论文笔记#1.论文信息论文名称Clean-LabelBackdoorAttacks作者AlexanderTurner(MIT)会议/出版社ICLR2019pdf本地pdf在线pdf代码trojanzoo-clean-label

wwweiyx·2023-12-16 06:10

[论文笔记] 大模型主流Benchmark测试集介绍

自然语言处理（NLP）的进步往往通过在各种benchmark测试集上的表现来衡量。随着多语言和跨语言NLP研究的兴起，越来越多的多语言测试集被提出以评估模型在不同语言和文化背景下的泛化能力。在这篇文章中，我们将介绍几个主流的多语言NLPbenchmark测试集，包括ARCChallenge、HellaSWAG、MMLU、Multi-taskingTestGeneration(MTG)、PAWS-X

心心喵·2023-12-15 12:43

geolife笔记：比较不同轨迹相似度方法

这里采用论文笔记：DeepRepresentationLearningforTrajectorySimilarityComputation-CSDN博客中的方法：2收集每一个id对应的轨迹2.1经纬度转

UQI-LIUWJ·2023-12-15 12:59

论文笔记：Dual Dynamic Spatial-Temporal Graph ConvolutionNetwork for Traffic Prediction

IEEETRANSACTIONSONINTELLIGENTTRANSPORTATIONSYSTEMS20221intro1.1背景GCN和TCN被引入到交通预测中GCN能够保留交通网络的图结构信息TCN能够捕获交通流的时间特征基于GCN的交通预测方法依赖于如何构建图或邻接矩阵将道路段的交通测量作为节点通过不同道路段的直接连接来构建图道路段上的交通流量测量及其相关性在空间和时间上会动态变化（eg交通