论文笔记——模型压缩

论文笔记：基于CLIP引导学习的多模式假新闻检测

整理了ICME2023MultimodalFakeNewsDetectionviaCLIP-GuidedLearning）论文的阅读笔记背景模型实验背景  对于我们这一代人来说，在线社交网络在很大程度上取代了以报纸和杂志为代表的传统信息交流方式。人们喜欢在社交媒体上寻找朋友或分享观点。然而，在线网络也促进了假新闻的广泛和快速传播。  文中提出了一个FND-CLIP框架，即基于对比语言-图像预训练(
图学习的小张·2024-01-21 05:55

视频异常检测论文笔记

看几篇中文的学习一下别人的思路基于全局-局部自注意力网络的视频异常检测方法主要贡献：网络结构注意力模块结构：融合自注意力和自编码器的视频异常检测主要贡献：网络结构Transformer模块动态图融合门控自注意力机制的生成对抗网络视频异常检测贡献网络结构门控注意力机制基于全局-局部自注意力网络的视频异常检测方法文章信息：链接：https://kns.cnki.net/kcms2/article/ab
何大春·2024-01-21 05:54

本地模型能力适配

具体来说，本地模型能力适配可以通过以下几种方式实现：模型压缩：通过减少模型的大小和计算复杂度，使其更加适合本地设备的计算和存储能力。例如，可以使
道亦无名·2024-01-20 22:15

【论文笔记合集】TimesNet之FFT详解

本文作者：slience_me文章目录TimesNet之FFT详解1.源代码2.分步详解2.1torch.fft.rfft(x,dim=1)2.2frequency_list=abs(xf).mean(0).mean(-1)2.3frequency_list[0]=02.4_,top_list=torch.topk(frequency_list,k)2.5top_list=top_list.det
slience_me·2024-01-20 08:18

【论文笔记合集】TimesNet之TimesBlock详解

本文作者：slience_me文章目录TimesNet之TimesBlock详解1.源代码2.分步详解2.1init部分代码2.2forward部分代码TimesNet之TimesBlock详解1.源代码classTimesBlock(nn.Module):def__init__(self,configs):super(TimesBlock,self).__init__()self.seq_len
slience_me·2024-01-20 08:16

行为检测论文笔记【综述】基于深度学习的行为检测方法综述

摘要:行为检测在自动驾驶、视频监控等领域的广阔应用前景使其成为了视频分析的研究热点。近年来，基于深度学习的方法在行为检测领域取得了巨大的进展，引起了国内外研究者的关注，对这些方法进行了全面的梳理和总结，介绍了行为检测任务的详细定义和面临的主要挑战;从时序行为检测和时空行为检测2个方面对相关文献做了细致地分类，综合分析了每一类别中不同研究方法的思路和优缺点，并阐述了基于弱监督学习、图卷积神经网络、注
计算机视觉-杨帆·2024-01-20 03:26

Multi Diffusion: Fusing Diffusion Paths for Controlled Image Generation——【论文笔记】

本文发表于ICML2023论文官网：MultiDiffusion:FusingDiffusionPathsforControlledImageGeneration一、Intorduction文本到图像生成模型已经具有合成高质量和多样化图像的能力，但是由于难以为用户提供对生成内容的直观控制，因此将文本到图像模型部署到现实世界的应用程序仍然具有挑战性。目前实现对扩散模型实现可控的图像生成主要有两种方式
我是浮夸·2024-01-19 08:50

Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models——【论文笔记】

本文是发表于SIGGRAPH（SpecialInterestGrouponComputerGraphicsandInteractiveTechniques）上的一篇文字，被收录于ACMTrans.Graph。论文地址：参与和激励(yuval-alaluf.github.io)一、Intorduction这部分主要就是说，最新的基于文本的图像生成研究已经取得了前所未有的进展，能够生成多样化和创造性的
我是浮夸·2024-01-19 08:20

Multi-Concept Customization of Text-to-Image Diffusion——【论文笔记】

本文发表于CVPR2023论文地址：CVPR2023OpenAccessRepository(thecvf.com)Github官方代码地址：github.com一、Intorduction最近的文本到图像模型能够根据文本提示生成高质量的图像，可以覆盖广泛的物体、风格和场景。尽管这些模型具有多样的通用功能，但用户通常希望从他们自己的个人生活中综合特定的概念。例如，亲人，如家人，朋友，宠物，或个人物
我是浮夸·2024-01-19 08:13

将大模型与小模型结合的8种常用策略分享，附17篇案例论文和代码

目前较常用的策略有模型压缩（蒸馏、剪枝）、提示语压缩、联合推理、迁移学习、权值共享、集成学习等。咱们今天就来简单聊聊这8种策略。部分策略的具体步骤以及每种策略相关的参考论文我也放上
深度之眼·2024-01-18 23:01

Knowledge Distilling，知识蒸馏

Motivation一部分来自模型压缩[2]，一部分源自作者认为大部分机器学习采用ensemble方法或者学习一个很大的模型来取得比较好的结果，但会给实际应用预测带来很大的压力，而且实际上模型之间也是有信息冗余的
FeynmanMa·2024-01-18 18:57

【论文笔记】AFGRL:Augmentation-Free Self-Supervised Learning on Graphs(简要笔记供复习使用)

AFGRL:Augmentation-FreeSelf-SupervisedLearningonGraphs文献地址：Augmentation-FreeSelf-SupervisedLearningonGraphsMotivation图对比的正例对构造对增强方法敏感，由于图包含了语义信息和结构信息，因此在对边进行不同增强方法时，可能会影响其语义对不同数据分布的数据集，模型增强的参数需要分别进行调整
好想变有钱535·2024-01-18 07:59

【论文笔记】Do Transformers Really Perform Bad for Graph Representation（简要笔记供复习使用）

DoTransformersReallyPerformBadforGraphRepresentation论文地址：DoTransformersReallyPerformBadforGraphRepresentation一句话paper：利用度，最短路径增强的GraphTransformerMotivation原有将transformer应用于图的效果并不好节点重要性，图结构性信息往往在目前的工作中
好想变有钱535·2024-01-18 07:28

【论文笔记】BGRL：Large-Scale Representation Learning on Graphs via Bootstrapping（简要笔记供复习使用）

BGRL:Large-ScaleRepresentationLearningonGraphsviaBootstrapping文章地址：Large-ScaleRepresentationLearningonGraphsviaBootstrappingMotivation现有自监督学习的方法大多需要大量的负样本和大规模的数据增强，而选择负样本的原则的缺失导致负样本不一定会增加模型精度，尤其是在大模型中
好想变有钱535·2024-01-18 07:28

【论文笔记】ImGCL：Revisiting Graph Contrastive Learning on Imbalanced Node Classification（简要笔记供复习使用）

ImGCL：RevisitingGraphContrastiveLearningonImbalancedNodeClassification论文地址：RevisitingGraphContrastiveLearningonImbalancedNodeClassification.pdfContribution利用一个自适应采样策略的对比学习框架解决了数据集不平衡（长尾数据集）的性能受限问题，具体来
好想变有钱535·2024-01-18 07:51

【论文笔记】Summarizing source code through heterogeneous feature fusion and extraction

SummarizingsourcecodethroughheterogeneousfeaturefusionandextractionAbstract1.Introduction2.HCGconstruction2.1SourcecodetoAST2.2ASTpruning2.3Featurefusionwithheterogeneousedges3.HetCoSmodel3.1.Overview
落啦啦·2024-01-17 14:14

论文笔记（三十八）HandyPriors: Physically Consistent Perception of Hand-Object ... Differentiable Priors

HandyPriors:PhysicallyConsistentPerceptionofHand-ObjectInteractionswithDifferentiablePriors文章概括摘要1.介绍2.相关工作3.方法：HANDYPRIORSA.问题设置B.可变渲染先验C.可微物理先验D.基于优化的改进E.基于过滤的跟踪4.实验A.真实世界中的机器人手和物体迭代B.姿势估计C.基于过滤的跟踪D
墨绿色的摆渡人·2024-01-17 07:10

论文笔记（三十九）Learning Human-to-Robot Handovers from Point Clouds

LearningHuman-to-RobotHandoversfromPointClouds文章概括摘要1.介绍2.相关工作3.背景3.1.强化学习3.2.移交模拟基准4.方法4.1.HandoverEnvironment4.2.感知4.3.基于视觉的控制4.4.师生两阶段培训(Two-StageTeacher-StudentTraining)5.实验5.1.模拟评估5.2.模拟对模拟传输5.3.
墨绿色的摆渡人·2024-01-17 07:10

论文笔记（三十七）Visually Guided Model Predictive Robot Control via 6D Object Pose Localization and Tracking

VisuallyGuidedModelPredictiveRobotControlvia6DObjectPoseLocalizationandTracking文章概括摘要1.介绍2.相关工作3.物体姿态引导模型预测控制A.时间一致的6D物体姿态跟踪器B.使用MPC进行基于姿势的6D视觉伺服C.跟踪目标4.实验A.感知模块的定量评估B.视觉引导反馈控制5.结论文章概括作者：MedericFourmy
墨绿色的摆渡人·2024-01-17 07:10

论文笔记（二十）VisuoTactile 6D Pose Estimation of an In-Hand Object using Vision and Tactile Sensor Data

VisuoTactile6DPoseEstimationofanIn-HandObjectusingVisionandTactileSensorData文章概括摘要1.介绍2.背景3.网络结构A.视觉触觉传感器融合B.姿势估计器C.损失函数4.数据集的生成A.触觉传感器不变的姿态估计B.数据收集设置C.数据集特征5.实验A.网络训练设置B.硬件部署6.结果A.量化评估B.定性评价C.消融研究D.与
墨绿色的摆渡人·2024-01-17 07:40

论文笔记（三十六）：6-DoF Pose Estimation of Household Objects for Robotic Manipulation: ... and Benchmark

6-DoFPoseEstimationofHouseholdObjectsforRoboticManipulation:AnAccessibleDatasetandBenchmark文章概括摘要1.介绍2.方法A.一组对象B.3D纹理物体模型C.捕捉真实图像D.用地面实况标注图像E.深度校准F.对称意识度量3.实验A.注释验证实验B.姿势预测基线C.BOP挑战赛D.详细实验4.与以前工作的关系5.
墨绿色的摆渡人·2024-01-17 07:40

论文笔记（十九）RGB-D Object Tracking: A Particle Filter Approach on GPU

RGB-DObjectTracking:AParticleFilterApproachonGPU文章概括摘要1.介绍2.贡献3.粒子滤波器4.可能性评估5.实施细节6.实验A.物体模型B.合成序列C.真实序列7.结论8.鸣谢文章概括作者：ChanghyunChoiandHenrikI.Christensen来源：CenterforRobotics&IntelligentMachines，Colle
墨绿色的摆渡人·2024-01-17 07:39

论文笔记（十四）：PoseRBPF: A Rao–Blackwellized Particle Filter for 6-D Object Pose Tracking

PoseRBPF:ARao–BlackwellizedParticleFilterfor6-DObjectPoseTracking文章概括摘要1.介绍2.相关工作3.用PoseRBPF进行六维物体姿势跟踪A.问题定式化B.PoseRBPF概述C.Rao–Blackwellized粒子滤波器的公式D.观察似然E.运动先验F.6维对象姿态跟踪框架G.PoseRBPF的RGB-D扩展H.快速PoseRB
墨绿色的摆渡人·2024-01-17 07:09

论文笔记（十八）：Object Detection and Spatial Location Method for ... Based on 3D Virtual Geographical Scen

ObjectDetectionandSpatialLocationMethodforMonocularCameraBasedon3DVirtualGeographicalScene文章概括摘要1介绍2方法框架3三维虚拟地理场景的融合构建算法A.三维地理场景的构建B.初始化虚拟摄像机C.生成三维虚拟地理场景4基于三维虚拟地理场景的坐标计算算法5使用Brax：解决运动和操作问题5.1与Brax捆绑的学
墨绿色的摆渡人·2024-01-17 07:09

论文笔记（四）：6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints

6-PACK:Category-level6DPoseTrackerwithAnchor-BasedKeypoints文章概括1.摘要2.介绍3.相关工作4.问题定义5.模型5.1基于锚的注意机制5.2无监督的3D关键点生成6.结论文章概括作者：ChenWang，RobertoMart´ın-Mart´ın，DanfeiXu，JunLv，CewuLu，LiFei-Fei，SilvioSavares
墨绿色的摆渡人·2024-01-17 07:08

论文笔记（七）：ROS Reality: A Virtual Reality Framework Using Consumer-Grade Hardware for ROS-Enabled Robot

ROSReality:AVirtualRealityFrameworkUsingConsumer-GradeHardwareforROS-EnabledRobots文章概括摘要1.介绍2.相关工作3.ROSRealityA.作为远程操作界面的VRB.系统概述C.ROSD.HTCViveE.UnityF.ROSReality1）WebSocket客户端2）URDF解析器3）TransformList
墨绿色的摆渡人·2024-01-17 07:08

论文笔记（一）：se(3)-TrackNet: Data-driven 6D Pose Tracking by ...... in Synthetic Domains

se（3）-TrackNet：Data-driven6DPoseTrackingbyCalibratingImageResidualsinSyntheticDomains文章概括1.摘要2.介绍3.相关工作3.1数据驱动的6D姿势估计：3.26D姿势跟踪：3.2.1概率跟踪：3.2.2基于优化的跟踪：3.3模拟到现实：4.方法4.1具有残差的SE（3）流形上的跟踪4.2神经网络的设计4.3通过PP
墨绿色的摆渡人·2024-01-17 07:38

论文笔记（二）：DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion

DenseFusion:6DObjectPoseEstimationbyIterativeDenseFusion文章概括1.摘要2.介绍3.相关工作3.1来自RGB图像的姿势：3.2来自深度/点云的姿势：3.3来自RGB-D数据的姿势：4.模型4.1结构概括4.2语义分割4.3Dense特征提取4.3.1密集的3D点云特征嵌入4.3.2密集的彩色图象特征嵌入4.4Pixel-wise密集融合4.4
墨绿色的摆渡人·2024-01-17 07:38

论文笔记（四十）Goal-Auxiliary Actor-Critic for 6D Robotic Grasping with Point Clouds

Goal-AuxiliaryActor-Criticfor6DRoboticGraspingwithPointClouds文章概括摘要1.介绍2.相关工作3.学习6D抓握政策3.1背景3.2从点云抓取6D策略3.3联合运动和抓握规划器的演示3.4行为克隆和DAGGER3.5目标--辅助DDPG3.6对未知物体进行微调的后视目标4.实验4.1模拟消融研究（AblationStudiesinSimul
墨绿色的摆渡人·2024-01-17 07:00

ImageNet Classification with Deep Convolutional 论文笔记

✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录标题和作者摘要创新点ReLU多GPUDropout其他网络结构输入层（Inputlayer）卷积层（C1）卷积层（C2）卷积层（C3）卷积层（C4）卷积层（C5）全连接层（FC6）全连接层（FC7）输
小嗷犬·2024-01-17 06:25

[论文笔记] PAI-Megatron 1、Qwen continuing pretrain(CT)千问预训练

通义千问开源模型在PAI灵骏的最佳实践-知乎https://github.com/alibaba/Pai-Megatron-Patch/blob/main/examples/megatron.md背景：目标：使用qwen基座来做CT。数据情况：预训练数据已经用qwen-tokenizer分过词。所以不需要准备数据。如果需没有数据，也可以从Pai-Megatron上拉数据。Megatron训练流程：
心心喵·2024-01-17 06:54

论文笔记：信息融合的门控多模态单元（GMU）

整理了GMU（ICLR2017GATEDMULTIMODALUNITSFORINFORMATIONFUSION）论文的阅读笔记背景模型实验论文地址：GMU背景  多模态指的是同一个现实世界的概念可以用不同的视图或数据类型来描述。比如维基百科有时会用音频的混合来描述一个名人；来自社交网络的用户用文本和多媒体附件(图像/视频/音频)评论音乐会或体育比赛等事件。医疗记录由图像、声音、文本和信号等的集合表
图学习的小张·2024-01-17 06:23

【论文笔记】基于强化学习的连续型机械臂自适应跟踪控制

文章目录摘要关键词0引言1空间连续型机器人动力学模型1.1场景假设(1)环境假设(2)模型假设1.2公式分析2空间连续型机器人滑模控制器3基于强化学习的滑模控制器4仿真校验5结论摘要【针对问题】空间主动碎片清除操作中连续型三臂节机器人系统跟踪【提出方法】一种基于强化学习的自适应滑模控制算法（强化学习+滑模控制）【具体内容】（1）基于数据驱动的建模方法，采用BP神经网络对三臂节连续型机械臂进行建模；
Ctrl+Alt+L·2024-01-16 22:23

模型优化论文笔记6----MobileNets采用深度可分离卷积在权衡精度的同时减小模型尺寸和时延

《MobileNets:EfficientConvolutionalNeuralNetworksforMobileVisionApplications》论文地址：https://arxiv.org/abs/1704.04861MXNet框架代码：https://github.com/miraclewkf/mobilenet-MXNet1.主要思想介绍了两种简单的全局超参数用以平衡时延和准确率，构建
JaJaJaJaaaa·2024-01-16 16:28

论文笔记-混合卷积MixConv: Mixed Depthwise Convolutional Kernels

Hello，今天是论文阅读计划的第9天啦～调整计划后，现在都趁着早上最安静最无打扰的时候看论文，完成每天的论文阅读任务。今天我们介绍一篇混合卷积的内容，我最初找到这篇论文呢，是因为我自己做的论文，在思考怎么能让它更好的补获时序信息。所以现在会有意识的培养自己论文阅读的习惯，不断累积更多的想法，在未来突然有需要的时候，脑袋里不会空空如也。一、题目关键词解读MixConv:混合卷积，思考怎么混合法？大
Lyndsey·2024-01-16 16:57

【论文笔记合集】卷积神经网络之深度可分离卷积（Depthwise Separable Convolution）

本文作者：slience_me我看的论文地址：MobileNets:EfficientConvolutionalNeuralNetworksforMobileVisionApplications内容1.标准卷积假设输入为DF×DF×M，输出为输入为DF×DF×N，卷积核为DK×DK×M，共有N个卷积核进行卷积操作下图为标准的卷积过程，每个卷积核对输入的向量进行卷积操作，得到一个特征映射，共有N个卷
slience_me·2024-01-16 16:52

【论文笔记】Effect of Attention Mechanism in Deep Learning-Based Remote Sensing Image Processing：A S...

注意机制在基于深度学习的遥感图像处理中的作用：系统文献综述综述：概述了已开发的注意力机制以及如何将它们与不同的深度学习神经网络架构集成。此外，它旨在研究注意力机制对基于深度学习的RS图像处理的影响。分析了相应的基于注意力机制的深度学习（At-DL）方法的进展。进行了系统的文献回顾，以确定出版物、出版商、改进的DL方法、使用的数据类型、使用的注意力类型、使用At-DL方法实现的总体准确度的趋势，并提
吃核桃用手夹·2024-01-16 09:54

超详细：VINS-Mono论文中文记录

VINS-Mono论文笔记题目0.摘要1.背景简介2.相关工作介绍2.1融合方式2.2摄像头数据处理2.3imu数据处理2.4初始化2.5里程计3.VINS-Mono系统总览4视觉和IMU测量的预处理步骤
尘归尘-北尘·2024-01-16 06:30

大模型听课笔记——书生·浦语（5）

常常需要对模型进行优化，例如模型压缩和硬件加速产品形态：云端、变韵计算端、移动端计算设备：CPU、GPU、NPU、TPU等大模型的特点：内存开销巨大庞大的参数量采用自回归生成token,需要缓存Attentiondek
亲爱的阿基米德^·2024-01-15 21:13

[2019CVPR论文笔记]Doodle to Search Practical Zero-Shot Sketch-based Image Retrieval

摘要文章地址：http[https://arxiv.org/pdf/1904.03451v1.pdf]在本文中，我们研究了基于零样本的草图图像检索（ZS-SBIR）的问题，其中人类草图被用作查询以从不可见的类别中检索照片。我们通过提出一种新颖的ZS-SBIR场景来进一步推进现有技术，该场景代表了其实际应用中的一步。新设置独特地认识到实际ZS-SBIR的两个重要但经常被忽视的挑战，（1）业余草图和照
qq_44932092·2024-01-15 15:50

论文笔记之Neural Factorization Machines for Sparse Predictive Analytics

NeuralFactorizationMachinesforSparsePredictiveAnalytics文中提到了对于稀疏特征交互的处理。FM以线性的方式进行特征交互，难以捕捉数据中非线性的复杂结构。也有很多deepneuralmodel，比如Wide&Deep和DeepCross等，但deepmodel训练起来比较困难。本文提出了一种新的模型NeuralFactorizationMachi
小弦弦喵喵喵·2024-01-15 04:17

【书生·浦语】大模型实战营——第五课笔记

tutorial/blob/main/lmdeploy/lmdeploy.md视频链接：https://www.bilibili.com/video/BV1iW4y1A77P大模型部署背景关于模型部署通常需要模型压缩和硬件加速大模型的特点
Horace_01·2024-01-14 19:03

[代码复现]BrainGNN: Interpretable Brain Graph Neural Network for fMRI Analysis

论文原文：BrainGNN：用于fMRI分析的可解释脑图神经网络-ScienceDirect（2）论文代码：GitHub-xxlya/BrainGNN_Pytorch：BrainGNN的初步实现（3）论文笔记
夏莉莉iy·2024-01-14 13:55

[论文笔记] Megatron LM 本地调试

本地要改成这样：exportGPUS_PER_NODE=8exportMASTER_ADDR=localhost#127.0.0.1exportMASTER_PORT=9988exportNNODES=1exportNODE_RANK=0exportWORLD_SIZE=8DISTRIBUTED_ARGS="--use-dummy-data\--nproc_per_node$GPUS_PER_NO
心心喵·2024-01-13 20:40

[论文笔记] Qwen-7B tokenizer

https://github.com/QwenLM/Qwen/blob/main/tokenization_note_zh.md#%E6%99%AE%E9%80%9Atokenhttps://huggingface.co/Qwen/Qwen-7B一、Qwen-7B介绍Qwen-7B采用UTF-8字节级别的BPEtokenization方式，并依赖tiktoken这一高效的软件包执行分词。Qwen-
心心喵·2024-01-13 20:09

[论文笔记] PAI-Megatron中qwen和mistral合并到Megtron-LM

一、千问关于tokenizer的改动：1.1、更改build_tokenizer中tokenizer类的加载。/mnt/nas/pretrain/code/Megatron-LM/megatron/tokenizer/__init__.py或者tokenizer.py在build_tokenizer.py函数中：​elifargs.tokenizer_type=="QwenTokenizer":a
心心喵·2024-01-13 20:08

YOLOv3剪枝压缩99.04%参数，精度不变

基于LearningEfficientConvolutionalNetworksThroughNetworkSlimming(ICCV2017)论文的模型压缩。
MidasKing·2024-01-13 19:32

YOLOv5 压缩剪枝

github：midasklr/yolov5pruneatv6.0(github.com)giithub作者讲解：(6条消息)yolov5模型压缩之模型剪枝_yolov5模型剪枝_小小小绿叶的博客-CSDN
PatrickStar8·2024-01-13 19:32

DiSparse: Disentangled Sparsification for Multitask Model Compression论文简读

这篇论文提出了一个名为DiSparse的方法，它专门针对多任务模型压缩问题设计了一种独特的剪枝和稀疏训练方案。
云雨、·2024-01-13 19:32

【FINN-R】论文笔记-3.2layers

是对论文FINN-R：AnEnd-to-EndDeep-LearningFrameworkforFastExplorationofQuantizedNeuralNetworks的3.2小节笔记，主要阅读目的是了解PE和SIMD的概念、神经网络各层的结构、P和Q参数的定义3.2层构成典型卷积层的主要元素是矩阵矢量阈值单元（MVU）和滑动窗口单元（SWU）。MVU处理计算方面：对于卷积层，卷积本身可以
Leonie_·2024-01-13 10:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他