论文笔记——模型压缩

Farm3D- Learning Articulated 3D Animals by Distilling 2D Diffusion论文笔记

Farm3D:LearningArticulated3DAnimalsbyDistilling2DDiffusion1.Introduction最近的研究DreamFusion表明，可以通过text-imagegenerator提取高质量的三维模型，尽管该生成模型并未经过三维训练，但它仍然包含足够的信息以恢复三维形状。在本文中，展示了通过文本-图像生成模型可以获取更多信息，并获得关节模型化的三维对

Im Bug·2025-02-28 07:24

深度学习模型优化与医疗诊断应用突破

当前研究聚焦于迁移学习与模型压缩算法的协同创新，通过复用预训练模型的泛化能力与降低计算负载，有效解决了医疗数据样本稀缺与硬件资源受限的痛点问题。

智能计算研究中心·2025-02-28 02:44

跨框架模型演进与行业应用路径

同时，针对模型优化技术领域，深入探讨迁移学习、超参数调优及模型压缩等方法的创新突破，揭示其在降低计算资源消耗、提升推理效率方面的关键作用。在行业

智能计算研究中心·2025-02-28 02:44

论文笔记（七十二）Reward Centering（一）

RewardCentering（一）文章概括摘要1奖励中心化理论文章概括引用：@article{naik2024reward,title={RewardCentering},author={Naik,AbhishekandWan,YiandTomar,MananandSutton,RichardS},journal={arXivpreprintarXiv:2405.09999},year={202

墨绿色的摆渡人·2025-02-26 21:20

论文笔记：Enhancing Sentence Embeddings in Generative Language Models

2024ICIC1INTRO对于文本嵌入，过去几年的相关研究主要集中在像BERT和RoBERTa这样的判别模型上。这些模型固有的语义空间各向异性，往往需要通过大量数据集进行微调，才能生成高质量的句子嵌入。——>需要较大的训练批次，这会消耗大量的计算资源一些前沿的工作将焦点转向了最近开发的生成模型，期望利用其先进的文本理解能力，直接对输入句子进行编码，而无需额外的反向传播由于句子表示和自回归语言建模

UQI-LIUWJ·2025-02-26 20:17

大模型知识蒸馏：技术突破与应用范式重构——从DeepSeek创新看AI基础设施演进路径

一、知识蒸馏的技术哲学演进知识蒸馏（KnowledgeDistillation）作为模型压缩领域的核心技术突破，其发展轨迹折射出人工智能从"规模崇拜"向"效率优先"的范式转变。

大模型服务器厂商·2025-02-26 13:20

DeepSeek技术解析：降本增效的“双刃剑”如何重塑AI产业？

正面影响分析算力需求与成本大幅降低DeepSeek通过算法优化（如稀疏计算、知识蒸馏）和模型压缩技术，将云端训练算力需求降至传统大模型的35%，车端推理芯片需求减少至65%。

爱吃青菜的大力水手·2025-02-26 01:29

整理：4篇论文知识蒸馏引领高效模型新时代

知识蒸馏（KnowledgeDistillation）是当前机器学习研究中的一个重要方向，特别是在模型压缩和效率优化等任务中。传统的深度学习模型往往依赖于复杂的大型网络，以获取卓越的性能。

mslion·2025-02-23 14:31

LLM论文笔记 15: Transformers Can Achieve Length Generalization But Not Robustly

Arxiv日期：2024.2.14机构：GoogleDeepMind/UniversityofToronto关键词长度泛化位置编码数据格式核心结论1.实验结论：十进制加法任务上的长度泛化最佳组合：FIRE位置编码随机化位置编码反向数据格式索引提示（indexhints，辅助定位）2.在适当的配置下，Transformer模型可以泛化到训练序列长度的2.5倍（例如从40位加法训练成功泛化到100位加

Zhouqi_Hua·2025-02-23 14:30

深度学习框架与边缘计算融合驱动医疗金融模型优化新路径

这种技术协同不仅降低了医疗影像诊断中的数据传输延迟，还通过动态模型压缩策略（如量化与剪枝）将金融预测

智能计算研究中心·2025-02-23 11:10

多模态论文笔记——DiT（Diffusion Transformer）

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍Transformer架构图像生成方面的应用，将Diffusion和Transformer结合起来的模型：DiT。目前DiT已经成为了AIGC时代的新宠儿，视频和图像生成不可缺少的一部分。文章目录论文定义架构与传统(U-Net)扩散模型区别架构噪声调度策略与传统扩散的相同输入图像/条件信息的Patch化（Pat

好评笔记·2025-02-23 04:19

大模型量化概述

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。

AI领航者·2025-02-22 04:02

模型压缩-模型蒸馏、模型剪枝、模型量化

在模型压缩中，教师模型是一个预训练好的复杂的模型，而学生模型是一个规模较小的模型。

NLP的小Y·2025-02-21 08:39

LLM论文笔记 14: The Impact of Positional Encoding on Length Generalization in Transformers

Arxiv日期：2023.12.15机构：McGillUniversity/IBM/Facebook/ServiceNow关键词长度泛化位置编码CoT核心结论1.decoder-only中不显式使用位置编码（NoPE）可以提高长度泛化性能2.（证明了）decoder-onlytransformer如果NoPE同时具备绝对APE和RPE的能力3.暂存器（cot）对于长度泛化和任务相关，同时关注短期和

Zhouqi_Hua·2025-02-20 07:15

《DeepSeek模型压缩：在高效与性能间寻平衡》

DeepSeek作为其中的佼佼者，在模型压缩技术上不断探索，力求在减小模型体积的同时，最大程度保留模型性能，为更广泛的应用场景提供支持。

·2025-02-19 20:47

LLM论文笔记 9: Neural Networks and the Chomsky Hierarchy

Arxiv日期：2022.9.29机构：GoogleDeepMind/Stanford关键词transformer架构原理乔姆斯基体系长度泛化核心结论1.虽然Transformer理论上具有图灵完备性，但在实践中能力受到位置不变性和有限记忆的限制2.Transformer在一些任务中表现较差，例如正则语言任务（如ParityCheck），表明其与Chomsky层级的对齐性不佳3.Transform

Zhouqi_Hua·2025-02-19 02:47

[论文笔记] Cost-Effective Hyperparameter Optimization for Large Language Model Generation 大型语言模型生成推理超参优化

成本效益高的大型语言模型生成推理的超参数优化https://openreview.net/pdf?id=DoGmh8A39OChiWang1,SusanXueqingLiu2,AhmedH.Awadallah11微软研究院，雷德蒙德2史蒂文斯理工学院摘要大型语言模型（LLMs）因其生成能力引发了广泛关注，催生了各种商业应用。使用这些模型的高成本驱使应用构建者在有限的推理预算下最大化生成的价值。本文

心心喵·2025-02-19 02:45

边缘AI架构提升LLM应用的响应速度

边缘AI架构提升LLM应用的响应速度关键词边缘计算、边缘AI、LLM、响应速度、模型压缩、分布式计算摘要本文探讨了如何通过边缘AI架构提升大型语言模型（LLM）应用的响应速度。

AI天才研究院·2025-02-17 15:08

使用Python实现深度学习模型：知识蒸馏与模型压缩

知识蒸馏（KnowledgeDistillation）和模型压缩（ModelCompression）是两种有效的技术，可以在保持模型性能的同时减少模型的大小和计算需求。

Echo_Wish·2025-02-17 04:34

Deepseek详细的自我介绍

中国自研AGI大模型的深度解析**---####**1.技术背景与研发理念**DeepSeek由国内顶尖AI科学家团队领衔，核心技术成员来自清华大学、北京大学及国际顶级AI实验室，团队在NLP、分布式训练、模型压缩等领域发表顶会论文超

welcome_123_·2025-02-16 16:06

DeepSeek-R1 蒸馏 Qwen 和 Llama 架构企业级RAG知识库

DeepSeek-R1的输出，蒸馏了6个小模型”意思是利用DeepSeek-R1这个大模型的输出结果，通过知识蒸馏技术训练出6个参数规模较小的模型，以下是具体解释：-**知识蒸馏技术原理**：知识蒸馏是一种模型压缩技术

qq_25467441·2025-02-15 20:00

【deepseek】论文笔记--DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

DeepSeek-R1论文解析1.论文基本信息标题：DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning作者：DeepSeek-AI团队（联系邮箱：[email protected]）发表时间与出处：2024年，AIME2024（人工智能与数学教育国际会议）关键词：ReinforcementLe

大表哥汽车人·2025-02-15 02:40

论文笔记《基于深度学习模型的药物-靶标结合亲和力预测》

基于深度学习模型的药物-靶标结合亲和力预测这是一篇二区的文章，算是一个综述，记录一下在阅读过程中遇到的问题。文章目录基于深度学习模型的药物-靶标结合亲和力预测前言一、蛋白质接触图谱二、为什么蛋白质图谱的准确性对DTA模型预测结果没有影响1.对这段话的解释2.关于Alphafold3三、随机配体与随机配体节点属性（配体一般指药物）1.什么是随机配体与配体节点属性四、关于深度学习模型对特征的自动学习过

I_dyllic·2025-02-14 03:57

模型轻量化

影响神经网络推理速度主要有4个因素：FLOPs、MAC、计算并行度、硬件平台架构与特性（算力、GPU内存带宽）模型压缩工业界主流的模型压缩方法有：知识蒸馏（KnowledgeDistillation，KD

莱茶荼菜·2025-02-11 22:10

【NLP算法面经】NLP算法面经 -- 腾讯 VS 美团（附面题）

（LLMs）架构篇注意力机制（Attention）篇Transformer理论篇二、大模型微调面有监督微调（SFT）篇高效微调篇提示学习篇人类对齐训练（RLHF）篇Prompt工程篇三、大模型进阶面大模型压缩篇分布式训练篇大模型魔改篇四

青松ᵃⁱ·2025-02-11 13:37

TC-LLaVA论文笔记

RoPE介绍理解LLM位置编码:RoPE|LinsightMotivation在基于视频的multimodallargelanguagemodel中，更好地利用视频提供的时序信息。MethodTemporal-AwareDualRoPE之前的RoPE公式：A(qTm,kFnVz)=Re[qTmkFnVzei(P(Tm)−P(FnVz))θ]A_{(q_{T_m},k_{F_nV_z})}=Re[q

0yumiwawa0·2025-02-10 03:27

CNN-day5-经典神经网络LeNets5

经典神经网络-LeNets51998年YannLeCun等提出的第一个用于手写数字识别问题并产生实际商业（邮政行业）价值的卷积神经网络参考：论文笔记：Gradient-BasedLearningAppliedtoDocumentRecognition-CSDN

谢眠·2025-02-10 03:54

[论文笔记] llama3.2 蒸馏

参考链接：LLaMA3.2技术报告：GitHub-meta-llama/llama-stack:ModelcomponentsoftheLlamaStackAPIs[2407.21783]TheLlama3HerdofModelshttps://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/HuggingFac

心心喵·2025-02-10 03:24

超火的DeepSeek使用了大模型蒸馏技术嘛?

例如：蒸馏技术的定义与应用：蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）的技术，通过这种方式实现模型压缩和性能提升。

魔王阿卡纳兹·2025-02-08 14:28

【AI中数学-信息论-综合实例】缩小AI巨人：大模型神经网络的压缩与裁剪

模型压缩和裁剪技术能够使这些“AI巨人”变得更为可管理，同时在性能上不至于损失太多。我们将通过五个在实际应用中具有代表性的案

云博士的AI课堂·2025-02-07 22:03

大语言模型原理基础与前沿高效的MoE架构

大语言模型原理基础与前沿高效的MoE架构关键词：大语言模型，MoE架构，参数高效微调，分布式训练，模型压缩，推理加速1.背景介绍1.1问题的由来随着深度学习技术的飞速发展，大语言模型（LargeLanguageModels

AI架构设计之禅·2025-02-07 13:39

模型蒸馏、量化、裁剪的概念和区别

模型压缩概述1.1模型压缩的重要性随着深度学习技术的快速发展，神经网络模型在各种任务中取得了显著的成功。然而，这些模型通常具有大量的参数和复杂的结构，导致模型体积庞大、计算资源消耗高和推理时间长。

我就是全世界·2025-02-06 22:24

[论文笔记] Deepseek技术报告

1.总体概述背景与目标报告聚焦于利用强化学习（RL）提升大型语言模型（LLMs）的推理能力，旨在探索在不依赖大规模监督微调（SFT）的情况下，模型如何自我进化并形成强大的推理能力。介绍了两代模型：DeepSeek-R1-Zero（纯RL，无SFT冷启动数据）和DeepSeek-R1（在RL前加入少量冷启动数据和多阶段训练流程，提升可读性及推理表现）。核心思路直接在基础模型上应用大规模强化学习，利用

心心喵·2025-02-06 22:53

浅谈知识蒸馏技术

知识蒸馏（KnowledgeDistillation）是一种模型压缩技术，它的核心思想是将一个大型的、复杂的教师模型（teachermodel）的知识迁移到一个小型的、简单的学生模型（studentmodel

eso1983·2025-02-04 02:07

【论文笔记】基于图神经网络的多视角视觉重定位 GRNet CVPR 2020 论文笔记

GRNet:LearningMulti-viewCameraRelocalizationwithGraphNeuralNetworks驭势科技,北京大学机器感知重点实验室,北京长城航空测控技术研究所本文提出了一种使用多视角图像进行相机重定位的图神经网络。该网络可以使得不连续帧之间进行信息传递，相比于只能在相邻前后帧之间进行信息传递的序列输入和LTSM，其能捕获更多视角信息以进行重定位。因此LSTM

phy12321·2025-02-03 14:26

第三篇：模型压缩与量化技术——DeepSeek如何在边缘侧突破“小而强”的算力困局

——从算法到芯片的全栈式优化实践随着AI应用向移动终端与物联网设备渗透，模型轻量化成为行业核心挑战。DeepSeek通过自研的“算法-编译-硬件”协同优化体系，在保持模型性能的前提下，实现参数量与能耗的指数级压缩。本文从技术原理、工程实现到落地应用，完整解析其全链路压缩技术体系。第一章算法层创新：结构化压缩与动态稀疏化1.1非均匀结构化剪枝技术DeepSeek提出**“敏感度感知通道剪枝”（SAC

python算法(魔法师版)·2025-02-03 05:43

什么是“知识蒸馏”

为了解决这一问题，知识蒸馏技术应运而生，成为模型压缩和性能优化的重要手段。本节将详细介绍知识蒸馏的基本概念、工作原理和知识迁移机制。

清风AI·2025-02-02 19:55

什么是知识蒸馏技术？

知识蒸馏（KnowledgeDistillation）是一种模型压缩和加速技术，旨在将大型模型（通常称为教师模型）所学到的知识迁移到小型模型（通常称为学生模型）中，从而让小型模型在减少计算资源消耗和推理时间的同时

deepdata_cn·2025-02-01 09:41

大模型蒸馏与大模型微调技术有啥差别?

通过训练学生模型模仿教师模型的行为，实现模型压缩和性能保留的目标。蒸

kcarly·2025-02-01 08:37

论文笔记（七十）DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（二）

DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning（二）文章概括摘要：2.方法2.3.DeepSeek-R1：冷启动强化学习2.3.1.冷启动2.3.2.面向推理的强化学习2.3.3.拒绝采样与监督微调2.3.4.面向所有场景的强化学习2.4.蒸馏：赋予小模型推理能力文章概括引用：@article{g

墨绿色的摆渡人·2025-01-31 07:01

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

知识蒸馏是一种模型压缩技术，用于将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）。其核心原理是教师模型通过预测结果（如概率分布或推理过程）向学生模型传授知识，学生模

AI生成曾小健·2025-01-31 03:00

[论文总结] 深度学习在农业领域应用论文笔记14

当下，深度学习在农业领域的研究热度持续攀升，相关论文发表量呈现出迅猛增长的态势。但繁荣背后，质量却不尽人意。相当一部分论文内容空洞无物，缺乏能够落地转化的实际价值，“凑数”的痕迹十分明显。在农业信息化领域的顶刊《ComputersandElectronicsinAgriculture》中也大面积存在。众多论文在研究方法上存在严重缺陷，过于简单粗放。只是机械地把深度学习方法生硬地套用到特定农业问题中

落痕的寒假·2025-01-29 14:00

[论文笔记] llama-factory 微调qwen2.5、llama3踩坑

一、bug1、pre-tokenize的时候,会OOM解决：在yaml文件中添加streaming参数#tokenizestreaming:Truemax_steps:10000https://github.com/hiyouga/LLaMA-Factory/blob/3a023bca2a502810a436cfba7708df164754ea62/src/llamafactory/hparams

心心喵·2025-01-28 20:14

[论文笔记] Megatron: mistral sliding window（ImportError: /workspace/venv/lib/python3.10/site-packag报错解决）

pyTorch—TransformerEngine1.2.1documentation论文：https://arxiv.org/pdf/2310.06825.pdftransformerengine的slidingwindow是用了flashatttention（新版本2以上，这里用的最新版本2.5.2）里对sliding_window的实现。所以不需要用transformerengine。直接用

心心喵·2025-01-28 00:46

# AI计算模式神经网络模型深度神经网络多层感知机卷积神经网络循环神经网络长短期记忆网络图像识别、语音识别、自然语言轻量化模型和模型压缩大模型分布式并行

AI计算模式AI技术发展至今，主流的模型是深度神经网络模型。近20年来，神经网络模型经过多样化的发展，模型总体变得越来越复杂和庞大，对硬件设备的计算速度、存储能力、通信速度的要求越来越高。尽管学者已经提出了许多方法优化模型结构，降低模型的参数量，但是伴随着人们对AI能力的要求越来越高，模型变得更大是不可避免的。原先单CPU可进行模型的训练与推理，如今需要使用GPU、TPU等设备，并通过分布式并行的

EwenWanW·2025-01-24 16:59

[论文笔记]自监督sketch-to-image生成：Self-Supervised Sketch-to-Image Synthesis

前言：2020年顶会同时出现了两篇很有意思的论文《Self-SupervisedSketch-to-ImageSynthesis》和《UnsupervisedSketch-to-PhotoSynthesis》，分别用自监督和无监督的方法做sketch-to-image生成，可以说是GANs在这一任务中表现的巅峰。目录主要贡献主要工作域转换模型TOMPS：边缘图、铅笔画图、草图sketch之间的区别

沉迷单车的追风少年·2025-01-23 23:10

【论文笔记】：DuBox: No-Prior Box Objection Detection via Residual Dual Scale Detectors

&Title:DuBox:No-PriorBoxObjectionDetectionviaResidualDualScaleDetectorsGithubaddrNone&Summary介绍了一种新的一阶段检测方法Dubox，它可以在没有先验框的情况下检测物体。设计的双尺度残差单元具有多尺度特性，使双尺度检测器不再独立运行。高层检测器学习低层检测器的残差。Dubox增强了启发式引导的能力，进一步使

Activewaste·2025-01-23 23:40

模型压缩与优化技术——神经架构搜索（Neural Architecture Search, NAS）

模型压缩与优化技术中的神经架构搜索（NeuralArchitectureSearch,NAS）技术1.引言在深度学习领域，神经网络的架构设计对模型的性能至关重要。

DuHz·2025-01-23 18:37

【论文笔记】AutoML: A survey of the state-of-the-art（下篇）

目录4.ModelGeneration模型生成4.1SearchSpace搜索空间4.1.1Entire-structuredsearchspace基于整个架构的4.1.2Cell-basedsearchspace基于Cell的空间4.1.3Hierarchicalsearchspace层次化的空间4.1.3Morphism-basedsearchspace基于“态射”的空间4.2网络优化方法（搜

pip install USART·2025-01-22 18:31

论文笔记 U-Net: Convolutional Networks for Biomedical Image Segmentation

摘要：人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，该策略依赖于大量使用数据增强来更有效地使用可用的注释样本。该体系结构包括用于捕获上下文的收缩路径和用于实现精确定位的对称扩展路径。我们表明，这样的网络可以从很少的图像进行端到端训练，并且在ISBI挑战中优于先前的最佳方法（滑动窗口卷积网络）,用于分割电子显微堆栈中的神经元结构。使用在透射光显微

城南皮卡丘·2025-01-22 10:24

推荐频道