论文笔记——模型压缩第13页

【多模态】AIGC论文笔记整理（持续更新）

AIGCDiffusionModels【202012】DenoisingDiffusionProbabilisticModels（DDPM）【202102】ImprovedDenoisingDiffusionProbabilisticModels（ImprovedDDPM）【202103】LearningTransferableVisualModelsFromNaturalLanguageSupe

Carl39·2023-09-29 17:31

论文笔记（整理）：轨迹相似度顶会论文中使用的数据集

0汇总数据类型数据名称数据处理出租车数据波尔图原始数据：2013年7月到2014年6月，170万条数据ICDE2023ContrastiveTrajectorySimilarityLearningwithDual-FeatureAttention过滤位于城市（或国家）区域之外的轨迹过滤包含少于20个点或超过200个点的轨迹——>137W轨迹CIKM2022EfficientTrajectorySi

UQI-LIUWJ·2023-09-29 11:47

Talk | ICCV’23 清华赵天辰：Ada3D-基于动态推理的3D感知模型压缩及软硬件协同优化

他与大家分享的主题是:“Ada3D-基于动态推理的3D感知模型压缩及软硬件协同优化”，他介绍了他们提出的动态推理框架Ada3D，并进一步介绍了在硬件测和应用侧利用数据冗余性的方案。

TechBeat人工智能社区·2023-09-29 05:21

【计算机视觉|人脸建模】PanoHead：360度几何感知的3D全头合成

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：PanoHead:Geometry-Aware3DFull-HeadSynthesisin360∘^{\circ}∘链接：[2303.13071

远哥挺乐·2023-09-28 15:41

【论文】如何记论文笔记

〇、前情提要论文笔记。参考：路得_Ruth-【学术干货】博士学姐的学术论文阅读方法|笔记格式https://www.bilibili.com/video/BV13E411W7u5?

绝不做九漏鱼·2023-09-28 12:27

#论文笔记# Demystifying Core Ranking in Pinterest Image Search

本文是Pinterest试验的图片检索算法，本文从：trainingdata，user/imagefeaturization和rankingmodels等角度进行解读，并做了性能和质量方面的测试Backgroud:1.Purpose:improvetheimagesearchqualitybyevolvingrankingtechniquesThefirstsearchsystemwasbuilt

YYrun·2023-09-28 06:00

韩松毕业论文笔记-第六章-EFFICIENT METHODS AND HARDWARE FOR DEEP LEARNING

本文转自tszs_song，原文链接：https://www.cnblogs.com/zhengmeisong/p/7685039.html，转载时请注明出处及相应链接。————————————————难得跟了一次热点，从看到论文到现在已经过了快三周了，又安排了其他方向，觉得再不写又像之前读过的N多篇一样被遗忘在角落，还是先写吧，虽然有些地方还没琢磨透，但是paper总是这样吧，毕竟没有亲手实现一

城外南风起·2023-09-28 03:52

论文笔记：SAITS: SELF-ATTENTION-BASED IMPUTATION FOR TIMESERIES

对time-series使用self-attention来进行补全1introduction传统的处理缺失数据的方式一般有两个分类直接删去只有部分观测值的样本使用数据补全，将合适的数据填入直接删去的不足直接删去会导致偏差；合适的数据补全是无偏的部分观测样本也是有一定的意义的目前一些模型的不足BRITS、GAIN、E2GAN等模型都是autoregressive模型（xt的数值取决于之前1~t-1中

UQI-LIUWJ·2023-09-27 21:53

面向弹载图像的深度学习网络压缩方法研究

关键词网络模型压缩;轻量化网络;弹

龙腾亚太·2023-09-27 04:22

【论文笔记】A Review of Motion Planning for Highway Autonomous Driving

文章目录I.INTRODUCTIONII.CONSIDERATIONSFORHIGHWAYMOTIONPLANNINGA.TerminologyB.MotionPlanningSchemeC.SpecificitiesofHighwayDrivingD.ConstraintsonHighwayDrivingE.WhatIsatStakeinthisPaperIII.STATEOFTHEARTA.T

yuan〇·2023-09-27 01:18

【论文笔记】Boros: Secure Cross-Channel Transfers via Channel Hub

原文：https://arxiv.org/pdf/1911.12929.pdf学习一下人家的论文怎么写的摘要：针对支付网络通道的主要问题——多条路由的交易需要路径上节点锁定一笔交易，来辅助完成这笔跟他无关的交易，这样的设计一方面限制了中间节点的资金流动性，一方面有时会导致死锁进而交易失败。多跳支付的路径越长，以上问题越明显。论文设计了一个channelhub，是paymenthub（Nocust）

Sal.·2023-09-26 23:47

linux一些常用的下载工具-aria2

从断点续传开始故事的过程是这样的，朋友是搞科研的，需要在一个国外的学术网站下载一个药物的模型压缩包，大概有23g。

·2023-09-26 21:30

论文笔记：ST2Vec: Spatio-Temporal Trajectory SimilarityLearning in Road Networks

2022KDD1intro现有的轨迹相似性学习方案强调空间相似性而忽视了时空轨迹的时间维度，这使得它们在有时间感知的场景中效率低下如上图，在拼车过程中，T1表示司机计划的行程，T2和T3是两个想要搭车的人。T1和T2在空间上更接近，因此仅考虑空间相似性的算法会推荐T2。然而，T1和T2的出发时间相去甚远。T3虽然距T1空间上较远，但却和T1是相近的出发时间。因此，从时空两方面考虑，应选择T3。实现

UQI-LIUWJ·2023-09-26 20:48

论文笔记：ViTGAN: Training GANs with Vision Transformers

20211intro论文研究的问题是：ViT是否可以在不使用卷积或池化的情况下完成图像生成任务即不用CNN，而使用ViT来完成图像生成任务将ViT架构集成到GAN中，发现现有的GAN正则化方法与self-attention机制的交互很差，导致训练过程中严重的不稳定——>引入了新的正则化技术来训练带有ViT的GANViTGAN模型远优于基于Transformer的GAN模型，在不使用卷积或池化的情况

UQI-LIUWJ·2023-09-26 20:16

论文笔记（4）

《基于Ｗｅｂ的问答系统综述》李舟军李水华（北京航空航天大学计算机学院北京１００１９１）2017年的论文一、基于Web的问答系统经典的WQA系统主要由以下3个模块构成。问题分析模块问题分类、关键词提取和扩展、问题重写信息检索模块获取并解析搜索引擎返回的搜索结果，从而得到结构化的网页片段列表。答案抽取模块候选答案抽取：手工编辑或自动生成名词词典，将词典中所有名词都作为候选答案、命名实体识别、根据手工编

一生太久只争朝夕·2023-09-26 19:59

论文笔记：Blockchain for AI: Review and Open Research Challenges

一、基本信息论文题目：《BlockchainforAI:ReviewandOpenResearchChallenges》发表时间：IEEEAccess论文作者及单位：二、摘要最近，人工智能（AI）和区块链已成为最流行和最具破坏性的两项技术。区块链技术具有自动以加密货币进行支付的能力，并能够以分散，安全和受信任的方式提供对共享的数据，交易和日志分类账的访问。同样，借助智能合约，区块链能够管理参与者之

塘朗老实人·2023-09-26 06:16

[论文笔记]P-tuning

引言今天带来第四篇大模型微调的论文笔记GPTUnderstands,Too。本篇工作提出的方法是P-tuning，使用可训练的连续提示嵌入，使GPT在NLU上表现比传统的全量微调的GPT更好的效果。

愤怒的可乐·2023-09-26 02:00

基于YOLOV5的DeepSort轨迹跟踪方法(一)

论文笔记：《基于YOLOv5和DeepSort的多目标跟踪算法研究与应用》-1YOLO系列基础知识作为一阶段经典算法，YOLO系列的算法由于省略了粗定位的过程，通过调整骨干网络可以实现速度比二阶段算法Faster-RCNN

椒椒。·2023-09-25 14:53

【论文笔记】PyramidFL: A Fine-grained Client Selection Framework for Efficient Federated Learning

PyramidFL:用于有效联邦学习的细粒度客户端选择框架摘要：联邦学习(FL)是一种新兴的分布式机器学习(ML)范例，具有增强的隐私，旨在为尽可能多的参与者实现“良好”的ML模型，同时消耗尽可能少的时间。通过在成千上万甚至数百万个客户端中执行，FL展示了广泛的参与者之间的异质性统计特征和系统差异，使得在采用传统的ML范式时，其训练更加重要。训练效率下降的根本原因是随机的客户选择标准。尽管现有的F

self--mockery·2023-09-25 00:55

强化学习应用到模型压缩

加油11dd23·2023-09-24 17:50

IMAGEBIND: One Embedding Space To Bind Them All论文笔记

论文https://arxiv.org/pdf/2305.05665.pdf代码https://github.com/facebookresearch/ImageBind1.Motivation像CLIP这一类的方法只能实现Text-Image这两个模态的Embedding对齐，本文提出的ImageBind能够实现六个模态（images,text,audio,depth,thermal,andIM

Nick Blog·2023-09-24 05:05

论文精读ResNet: Deep Residual Learning for Image Recognition

1512.03385Github链接：https://github.com/pytorch/vision/blob/master/torchvision/models/resnet.py知乎讲解：ResNet论文笔记及代码剖析

EEPI·2023-09-23 23:54

Pollux: Co-adaptive Cluster Scheduling for Goodput-Optimized Deep Learning（论文笔记）

文章目录问题DL训练的Goodput建模统计效益建模系统吞吐量建模TgradT_{grad}Tgrad建模TsyncT_{sync}Tsync结合TgradT_{grad}Tgrad和TsyncT_{sync}Tsync考虑梯度累积Pollux设计PolluxAgent：任务级别的优化PolluxSched：集群优化p的取值避免干扰问题如何分配资源，调整批量大小和学习率，对于深度学习集群的调度来说

可姆可汗·2023-09-23 20:35

[论文笔记]P-tuning v2

引言今天带来第五篇大模型微调论文笔记P-tuningv2:PromptTuningCanBeComparabletoFine-tuningAcrossScalesandTasks。

愤怒的可乐·2023-09-23 09:10

论文笔记：MTrajRec: Map-Constrained Trajectory Recovery via Seq2SeqMulti-task Learning

2021KDD1intro1.1背景现实中低采样率的轨迹十分常见以出租车为例，为了节约设备的通信成本，通常每2-6分钟才会上报一个位置信息——>这导致收集到的轨迹数据十分稀疏为了更好地挖掘低采样率的轨迹，一个直接的方式是先将低采样率轨迹在自由空间上恢复至高采样率，而后再将恢复的轨迹匹配至路网上，以支持后续的应用服务然而两步走的做法很可能会导致误差累积自由空间上的轨迹恢复可能会导致后续地图匹配选错路

UQI-LIUWJ·2023-09-22 21:47

【论文笔记】NeRF-RPN: A general framework for object detection in NeRFs

原文链接：https://arxiv.org/abs/2211.116461.引言 NeRF模型能直接从给定的RGB图像和相机姿态学习3D场景的NeRF表达。本文提出NeRF-RPN，使用从NeRF模型提取的辐射场和密度，直接生成边界框提案。3.方法如图所示，本文的方法有两个组成部分，特征提取器（从NeRF采样的辐射和密度网格）和RPN头（生成物体提案）。3.1从NeRF输入采样第一步是

byzy·2023-09-22 16:42

【论文笔记】NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection

原文链接：https://arxiv.org/abs/2307.146201.引言深度传感器在室内场景中（如VR、AR设备上）很少被使用，因此仅依赖相机进行3D目标检测充满挑战。最直接的几何建模方法是估计深度，但单目深度估计算法不能准确估计深度且不能实现多视图一致性。神经辐射场（NeRF）被证明能有效建模几何，但将其应用于3D目标检测比较复杂，因为渲染NeRF需要对空间的高频采样以避免混叠

byzy·2023-09-22 16:41

论文笔记之抓取：Learning 6-DOF Grasping Interaction via Deep Geometry-aware 3D Representations

Contributions:(1)learna6-DOFgraspingnetfromRGBDinput;(2)Webuildagraspingdatasetfromdemonstrationsinvirtualrealitywithrichsensoryandinteractionannotations,proposeadataaugmentationstrategyforeffectivele

eight_Jessen·2023-09-22 16:38

【论文笔记】Scene as Occupancy

原文链接：https://arxiv.org/abs/2306.028511.引言与传统的3D框物体表达相比，使用3D占用表达是几何感知的，因为3D框表达简化了物体的形状。此外，现有基于视觉的方法很少考虑时间信息；单阶段方法缺少从粗到细的细化过程。本文提出OccNet，一种基于多视图图像的方法，包含级联体素解码器，利用时间信息重建3D占用，接入任务头即可支持不同的自动驾驶任务。OccNet

byzy·2023-09-22 16:37

[论文笔记]Prefix Tuning

引言今天带来微调LLM的第二篇论文笔记Prefix-Tuning。

愤怒的可乐·2023-09-22 09:51

[论文笔记]Prompt Tuning

引言今天带来第三篇大模型微调论文笔记ThePowerofScaleforParameter-EfficientPromptTuning。

愤怒的可乐·2023-09-22 09:47

论文笔记：TEST: Text Prototype Aligned Embedding to ActivateLLM’s Ability for Time Series

1intro1.1背景时间序列TS和大模型LLM的结合设想了两种实现TS+LLM的范例LLM-for-TS针对TS数据，从头开始设计并预训练一个基本的大型模型，然后为各种下游任务相应地微调模型TS-for-LLM基于现有的LLM，使它们能够处理TS数据和任务。不是创建一个新的LLM，而是设计一些机制来为LLM定制TS。论文承认第一种方法是最基本的解决方案，因为预训练是向模型灌输知识的关键步骤。而第

UQI-LIUWJ·2023-09-22 00:41

【论文笔记】Slim-neck by GSConv

文章目录前言1.简介2.GSConv4.为什么要在Neck中使用GSConv3.Slim-NeckSlim-Neck中的模块Slim-Neck针对YOLO系列的设计一些问题总结References前言作者提出了一种新方法GSConv来减轻模型复杂度，保持准确性。GSConv可以更好地平衡模型的准确性和速度。并且，提供了一种设计范式Slim-Neck，以实现检测器更高的计算成本效益。实验过程中，与原

JehanRio·2023-09-21 20:22

NExT-GPT: Any-to-Any Multimodal LLM论文笔记

论文https://arxiv.org/pdf/2309.05519.pdf代码https://github.com/NExT-GPT/NExT-GPT/tree/main1.Motivation现有的多模态大模型大都只是支持输入端的多模态（Text、Image、Video、Audio等），但是输出端都是Text。也有一些现有的输入输出都是多模态的工作，如CoDi、Visual-ChatGPT、H

Nick Blog·2023-09-21 18:35

【论文笔记】Optimal trajectory generation for dynamic street scenarios in a Frenét Frame

文章目录AbstractI.INTRODUCTIONA.MotivationB.RelatedworkII.OPTIMALCONTROLAPPROACHIII.MOTIONPLANNINGINTHEFREŃETFRAMEIV.GENERATIONOFLATERALMOVEMENTA.HighSpeedTrajectoriesB.LowSpeedTrajectoriesV.GENERATIONOF

yuan〇·2023-09-21 17:55

国民级应用，怎么让14亿终端都用上AI？

除了追求大算力带来的智能涌现，如何把AI模型压缩，运用到各种智能终端上，也是工业界不断追求的“极限挑战”。在AI的各种世界顶会中，有一类顶会比赛的项目，就是如何将AI高性能又高效地使用到终端。

光锥智能·2023-09-21 16:55

论文笔记 DETR

detr摘要和引言2020论文facebook不需要proposal，不需要基于anchor的先验知识(比如预训练的模型)，也不需要NMS进行筛选，直接端到端不需要后处理利用transformer的全局建模能力，看成集合预测问题，不会输出很多冗余的框，直接端到端，不需要NMS，简化了训练和部署NMS:非极大值抑制，抑制掉冗余的框anchor:滑动窗口，需要手动设计特征并判断提取，会产生大量候选框；

Plusmile1·2023-09-21 10:34

论文笔记24：两篇注意力机制去噪文章

两篇注意力机制去噪文章EnhancedNon-LocalCascadingNetworkwithAttentionMechanismforHyperspectralImageDenoising-网络比较复杂引言方法实验代码ADRN:Attention-basedDeepResidualNetworkforHyperspectralImageDenoising-对比上文的通道注意力块引言方法Enha

love_lqz·2023-09-21 06:44

【论文笔记】MultiResUNet: Rethinking the U-Net Architecture for Multimodal Biomedical Image Segmentation

论文地址目录一、前言二、U-Net模型的分析1.为什么两次3×3的卷积近似于一次5×5的卷积呢？2.为什么后一种轻量级的结构可以近似于之前的结构？三、融合策略的分析四、整体架构参考文献一、前言近年来，深度学习在医学图像分割领域取得了很大的突破，其中基于全卷积网络的U-Net已经成为最流行、最引人瞩目的架构[1]。尽管如此，U-Net仍存在着一些不足之处，本文对经典U-Net做出了进一步改进，并经实

灵芙绿柳·2023-09-21 03:10

Heterogeneous Graph Structure Learning for Graph Neural Networks （HGSL）论文笔记

目标：异质网络（子图）的嵌入,用于节点分类任务方法：根据边（R）类型的的不同分解成多个子网络，对每个子网络使用GCN，进行联合优化，目标为是最小化交叉熵（目标是节点分类）具体流程如图：一、得到关系r1的子图对于一类关系r1，指的是连接两个节点的边，将这类关系的节点从异质图上挖下来构成一个子图。该子图的邻接矩阵为Ar1。另外还融入了节点属性信息和节点间的语义信息。二、得到融合节点属性的子图对于一个关

二流子学程序·2023-09-21 02:39

新闻推荐论文笔记(2):Neural News Recommendation with Attentive Multi-View Learning

IJCAI2019论文清北与微软亚研出品image.png本文为自己的论文阅读笔记，如有错误欢迎指正，转载请联系笔者最近在研究新闻推荐的新方法，本文为系列文章的第二篇，前文请见https://www.jianshu.com/p/2d7e261bc277摘要个性化的新闻推荐对于在线新闻平台帮助用户找到感兴趣的新闻并改善用户体验非常重要。新闻和用户表示学习对于新闻推荐至关重要.现有的新闻推荐方法通常基

阿瑟_TJRS·2023-09-20 20:49

《Self-Supervised Generative Adversarial Networks》论文笔记

说在前面的话，我认为这篇文章的核心思想是，使得G(z)与真实图片接近的保证，除了直接匹配比较两者，还有更多的保证手段，如在真实图像中捕捉到的某种特征，在G(z)中也能捕捉到。这些保证可以作为辅佐保证来提高G的生成质量。（在此文中，可检测旋转角度的一种特征便是我这里的某种特征。）文章核心思想实现的细节是，G和D都保留原始GAN损失函数项；另，D要以真实数据的旋转角度损失，去锻炼区分某种特征的能力（那

爱学习的Whitley·2023-09-20 18:30

论文笔记：Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Represent...

论文思想：在Auto-Encoder的训练中，加入一个L2normalizationconstraint，利用提取到特征用k-means进行聚类或者异常检测工作，都取得了更好的效果。1.Introduction深度学习兴起后人们把深度无监督学习的表征方法用于聚类分析当中，大多数方法都是利用自编码提取到的特征来进行聚类并在此基础上定义一个聚类损失来调整参数。先前的很多这方面的work不同之处就在于它

melo4·2023-09-20 13:15

【论文笔记】图神经网络采样相关工作整理9.19

RWLinno·2023-09-20 09:10

Three.js模型压缩和拆分加载

只能压缩几何体信息，贴图等材质信息不可压缩。1.gltf格式使用gltf-pipeline和DRACOLoaderhttps://github.com/CesiumGS/gltf-pipeline安装gltf-pipelineInstallNode.jsifyoudon'talreadyhaveit,andthen:npminstall-ggltf-pipeline通过命令行使用gltf-pipe

田苗苗_7785·2023-09-20 04:47

[论文笔记]Adapter turning

引言今天带来第一篇大语言模型高效微调的论文AdapterTuning笔记。预训练+微调的范式是一种高效的迁移学习机制。然而，当有很多下游任务时，微调参数并不高效：对于每个任务都要有一个全新的模型。作者提出了基于adapter模块的迁移学习方法，可以产生一个紧凑和可扩展的模型。只需要为每个任务增加少部分可训练参数，而固定原来模型的参数。作者说Adapter可以获取接近SOTA的表现。总体介绍在预训练

愤怒的可乐·2023-09-19 21:22

论文笔记：TILDE-Q: A TRANSFORMATION INVARIANT LOSS FUNCTION FOR TIME-SERIES FORECASTING

2023ICLR（未中）1intro最常见的时间序列预测损失函数是MSE、MAE等点误差函数，这类函数关注每个点的拟合是否准确。然而，这种损失函数完全忽略了不同点的关系，在时间序列中忽略了各个点的时序关系，导致了预测结果的形状和真实序列不匹配的问题。针对MSE等损失函数的问题，业内提出一种针对时间序列预测问题的DTW损失函数。DTW也有其缺点，对齐过程容易受到噪声影响，且对齐过程一定程度上丢失了序

UQI-LIUWJ·2023-09-18 14:55

论文笔记：Not All Images are Worth 16x16 Words: Dynamic Vision Transformers with Adaptive Sequence Length

21neurips1intro1.1背景以ViT：《AnImageisWorth16x16Words:TransformersforImageRecognitionatScale》为代表的视觉Transformer通常将图像数据划分为固定数目的patch将每个patch对应的像素值采用线性映射等方式嵌入为一维的token，作为Transformer模型的输入假设模型结构固定，即每个token的维度

UQI-LIUWJ·2023-09-18 14:54

论文笔记 | NIPS2017 | DropoutNet: Addressing Cold Start in Recommender Systems

dropoutnet-title.jpg论文地址：https://papers.nips.cc/paper/7081-dropoutnet-addressing-cold-start-in-recommender-systems官方代码：https://github.com/layer6ai-labs/DropoutNet一为什么读这篇第一次发现是在读《WarmUpCold-startAdvert

ktulu7·2023-09-18 07:00

[论文笔记]RE2

引言今天带来论文SimpleandEffectiveTextMatchingwithRicherAlignmentFeatures的笔记，论文标题为基于更丰富特征对齐结构的简单高效文本匹配模型。这篇工作是2019年发表的，在Bert出来之后发表的，在四个著名的文本匹配任务(SNLI,SciTail,QQP,WikiQA)上取得了SOTA的结果。该论文提出来的模型是RE2(Residualvecto

愤怒的可乐·2023-09-17 06:44

推荐频道

论文笔记——模型压缩