蒸馏）

WWW‘22 推荐系统论文之图神经网络篇

WWW'22推荐系统论文之图神经网络篇基于图网络的推荐系统论文，主要改进思路：无需使用给定的社交网络、局部和全局信息利用(本身local，主要是global)、高阶信息利用、结构邻居与语义邻居、互蒸馏、
spectre7·2022-07-04 07:59

GID：旷视提出全方位的检测模型知识蒸馏 | CVPR 2021

论文提出的GID框架能够自动选择可辨别目标用于知识蒸馏，而且综合了feature-based、relation-based和response-based知识，全方位蒸馏，适用于不同的检测框架中。
晓飞的算法工程笔记·2022-07-03 13:57

GID：旷视提出全方位的检测模型知识蒸馏 | CVPR 2021

论文提出的GID框架能够自动选择可辨别目标用于知识蒸馏，而且综合了feature-based、relation-based和response-based知识，全方位蒸馏，适用于不同的检测框架中。
·2022-07-01 12:11

CVPR2022 | 可精简域适应

此外，作者还开发了一种随机集成蒸馏方法，以充分利用模型库中的互补知识进行模型间交互。
CV技术指南(公众号)·2022-06-27 09:25

CVPR2022 | 可精简域适应

此外，作者还开发了一种随机集成蒸馏方法，以充分利用模型库中的互补知识进行模型间交互。在各种资源限制下，作者
CV技术指南（公众号）·2022-06-23 23:00

轻量化网络

：自动驾驶、机器人视觉、无人机、人脸识别、目标识别检测高频面试问题、薪资高完善知识结构体系个人学术研究：特征信息交流2、轻量化网络发展历程与前进方向模型精度与算力、存储空间的矛盾网络模型结构设计、知识蒸馏
冰雪棋书·2022-06-16 07:06

Deit：当Transformer与知识蒸馏结合起来

题目：训练面向数据高效的ViT和使用注意力的知识蒸馏提示：本篇文章是ViT经典解读系列的一个重要内容，解决原始的ViT依赖数据的短板，并结合知识蒸馏，将注意力灵活运用起来，值得参考与借鉴。
烧技湾·2022-06-14 10:33

《模型轻量化-剪枝蒸馏量化系列》YOLOv5无损剪枝（附源码）

今天文章代码不涉密，数据不涉密，使用的是网上开源代码，做了修改，主要介绍如何实现的，另外，数据使用开放数据VisDrone的小部分数据来测试~今天的文章很短，主要附带一个视频讲解运行过程，我修改的地方就不必说了，代码在文末，可以一键运行。环境：需要安装：protobuf==3.20.1其他库见官方yolo所需的环境；运行顺序：第一步原始训练，得到一个最优mAP等评价指标，记录在小本本上。第二步：通
cv君·2022-06-09 07:55

CVPR 2022 | 未知目标检测模块STUD：学习视频中的未知目标

文章提出了一种基于时空未知蒸馏(STUD)的未知目标检测框架，该框架从野外视频中提取（蒸馏出）未知目标，并对模型的决策边界进行有意义的正则化。
CV技术指南(公众号)·2022-06-07 12:48

目标检测-定位蒸馏：logit蒸馏与feature蒸馏之争

定位蒸馏（LD,CVPR2022）先上我们文章和代码：论文标题：LocalizationDistillationforDenseObjectDetection论文地址：https://arxiv.org
PaperWeekly·2022-06-03 07:11

WWW 2022 | CVR 预估去偏：不确定性约束的知识蒸馏模型 UKD

✍本文作者：一两、聆涛、渡叹、烈文丨目录：·背景·方法·实验验证·总结·关于我们·参考文献本文介绍阿里妈妈外投广告UD算法团队在CVR预估模型去偏上的实践与探索，该项工作论文已发表在WWW2022。论文：UKD:DebiasingConversionRateEstimationviaUncertainty-regularizedKnowledgeDistillation下载：https://arx
阿里妈妈技术·2022-05-27 07:33

深入浅出语言模型（四）——BERT的后浪们（RoBERTa、MASS、XLNet、UniLM、ALBERT、TinyBERT、Electra）

针对Bert的改进，主要体现在增加训练语料、增添预训练任务、改进mask方式、调整模型结构、调整超参数、模型蒸馏等。下面对近年来Bert的改进版本的关键点做叙述。深入浅出语言模型
fond_dependent·2022-05-23 07:34

知识蒸馏Knownledge Distillation

知识蒸馏源自Hintonetal.于2014年发表在NIPS的一篇文章：DistillingtheKnowledgeinaNeuralNetwork。
一位学有余力的同学·2022-05-21 10:10

Deep Learning炼丹经验总结——减少对设备性能消耗的方法

batchsize2、控制一个任务只加载一个dataloader3、控制数据增强策略4、控制shuffle的位置5、调整Linux分区6、控制多线程7、旧版本cudnn8、换电脑吧近期在拿paddlepaddle跑知识蒸馏
婴源·2022-05-20 15:19

Bert不完全手册5. 推理提速？训练提速!内存压缩！Albert

在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert主要用在模型参数（内存）压缩，以及训练速度优化
风雨中的小七·2022-05-13 09:00

知识蒸馏联邦学习的个性化技术综述

目录前言摘要I.引言II.个性化需求III.方法A.添加用户上下文B.迁移学习C.多任务学习D.元学习E.知识蒸馏F.基础+个性化层G.全局模型和本地模型混合IV.总结前言题目：SurveyofPersonalizationTechniquesforFederatedLearning
·2022-05-11 19:58

Focal and Global Knowledge Distillation for Detectors

一.概述论文地址：链接代码地址：链接论文简介：此篇论文是在CGNet上增加部分限制loss而来核心部分是将gt框变为mask进行蒸馏注释：仅为阅读论文和代码，未进行试验，如有漏错请不吝指出。
影醉阏轩窗·2022-05-10 10:00

CVPR 2022 | 腾讯优图实验室30篇论文入选，含场景文本语义识别、3D人脸重建、目标检测、视频场景分割和视频插帧等领域...

以下为腾讯优图实验室入选论文介绍：01面向评估的深度人脸识别知识蒸馏方法Evalua
OpenCV中文网公众号·2022-05-09 07:08

知识蒸馏Knownledge Distillation

知识蒸馏源自Hintonetal.于2014年发表在NIPS的一篇文章：DistillingtheKnowledgeinaNeuralNetwork。
Pr4da·2022-05-07 16:28

论文解读：Decoupled Knowledge Distillation

DecoupledKnowledgeDistillation地址：https://arxiv.org/pdf/2203.08679.pdf代码：https://github.com/megvii-research/mdistiller2.背景与摘要知识蒸馏花样繁多
littletomatodonkey·2022-05-06 07:17

轻量的神经网络

很久之前我觉得移动端应用几百兆的模型不切实际，在不考虑蒸馏、量化等压缩方法下，发现了MobileNet设计的很神奇，大小只有几MB，可以说是一股清流了。就整理发布了一下，然后今天发现找不到了，神奇。
·2022-04-30 20:00

对抗攻击与防御 (2)：对抗样本的反制策略

文章目录1引入2梯度屏蔽/混淆2.1防御性蒸馏(defensivedistillation)2.2散布梯度(shatteredgradients)2.3随机梯度(stochastic/randomizedgradients
因吉·2022-04-28 13:13

tensorflow利用for循环进行训练遇到的内存爆炸问题(OOM)

文章目录问题背景出现问题解决问题部分一部分二其他部分参考问题背景最近在用tensorflow学习模型的知识蒸馏，自己基于cifar10数据集训练得到的teacher模型，在对3种不同参数量的student
alphanoblaker·2022-04-27 16:28

知识蒸馏之DistilBERT

文章目录题目知识知识蒸馏DistilBERT题目知识蒸馏之DistilBERT知识这个概念很广，小到身边道理，大到天文地理，而这都不是今天的重点，我要学的是一个模型MODEL如何从“胖”变“瘦”，实现它的华丽变化
365JHWZGo·2022-04-11 07:42

预训练技术在美团到店搜索广告中的应用

本文对预训练技术在广告相关性的落地方案进行了介绍，既包括训练样本上的数据增强、预训练及微调阶段的BERT模型优化等算法探索层面的工作，也包括知识蒸馏、相关性服务链路优化等实践经验。
美团技术团队·2022-04-10 07:29

中国第一酒镇-茅台镇

【文字家园】1915年中国贵州茅台酒以其独具特色的“酱香突出、酒体淳厚、回味悠长、空杯余香”，在巴拿马万国博览会上荣获金奖，与苏格兰威士忌、法国白兰地并列为世界三大著名蒸馏白酒。
胡老太·2022-03-25 01:39

【Pytorch】使用Pytorch进行知识蒸馏_2

使用Pytorch进行知识蒸馏_2一、先训练老师网络查看教师的暗知识二、让老师教学生网络`关键，定义kd的loss`三、让学生自己学，不使用KD四、可视化五、完整源代码上一篇：[【Pytorch】使用Pytorch
码猿小菜鸡·2022-03-22 07:30

【Pytorch】使用Pytorch进行知识蒸馏

使用Pytorch进行知识蒸馏一、知识蒸馏原理1.使用`softmax`进行蒸馏：2.知识迁移：老师知识—>学生知识二、知识蒸馏实现1.导入各种包2.设置随机种子3.加载MNIST数据集4.定义教师模型
码猿小菜鸡·2022-03-22 07:28

用于异常检测的多分辨率知识蒸馏

论文地址：https://arxiv.org/pdf/2011.11108.pdf官方代码：https://github.com/Niousha12/Knowledge_Distillation_AD自实现代码：https://github.com/HibikiJie/Multiresolution-Knowledge-Distillation-for-Anomaly-Detection/tree
Hibiki阿杰·2022-03-16 19:47

Learning Without Forgetting 笔记及实现

LearningWithoutForgettingLWF简介方法对比LWF算法流程总结实现LWF简介LWF是结合知识蒸馏(KD)避免灾难性遗忘的经典持续学习方法。
juggle_gap_horse·2022-03-15 07:57

李沐在斯坦福开新课了！面向机器学习实战，课程全部免费，9月1日可报名

主讲人之一AlexSmola在推特上发文介绍，报名这门课就能学到AutoML、蒸馏、分
人工智能与算法学习·2022-03-13 07:45

模型蒸馏

模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。
风雨中的小七·2022-03-08 08:00

Yolov5更换backbone，与模型压缩（剪枝，量化，蒸馏）

项目地址（GitHub）：https://github.com/Ranking666/Yolov5-Processing~~~欢迎各位交流、star、fork、issues~~~项目介绍：本仓库是基于官方yolov5源码的基础上，进行的改进。目前支持更换yolov5的backbone主干网络为Ghostnet，以及采用eagleeye的剪枝方法支持对yolov5系列的剪枝。后续，将会添加更多更轻量
RANKING666·2022-03-07 07:28

Yolov5更换backbone，与模型压缩（剪枝，量化，蒸馏）续

后续，将会添加更多更轻量，更优秀的主干网络，比如swintranst等，其他剪枝方法，以及量化，蒸馏对于yolov5系列的支持。欢迎大家有问题，错误，想法都可以积极交
RANKING666·2022-03-07 07:28

TensorRT实现yolov5推理加速（一）

一、参考资料TensorRT实现yolov5推理加速（二）tensorrt_inferenceyolov5PyTorch模型转TensorRTyolov5剪枝蒸馏压缩二、实验环境系统环境EnvironmentOperatingSystem
花花少年·2022-03-07 07:11

ICCV2021 | 简单有效的长尾视觉识别新方案：蒸馏自监督(SSD)

前言本文提出了一种概念上简单但特别有效的长尾视觉识别的多阶段训练方案，称为蒸馏自监督(SelfSupervisiontoDistillation,SSD)。
CV技术指南(公众号)·2022-03-04 07:02

源自非凡 / 是谁在秉承自然馈赠，缔造卓越非凡的人头马优质香槟区干邑？

在上一期的文章“传统蒸馏和谐的生命之水”中，我们与大家分享了人头马的传统双蒸馏工艺，让大家了解得到和谐馥郁的“生命之水”，需要付出更多的时间与精力。那么“生命之水”是如何变成品质卓越的干邑呢？
SpeakBACH问酒世仓·2022-02-21 22:52

模型压缩综述

一卷积神经网络压缩中的知识蒸馏技术综述1.目前卷积神经网络压缩和加速的方法主要有以下五种：网络剪枝、参数量化、低秩分解、轻量化网络设计、知识蒸馏。
@少帅·2022-02-21 07:54

“抢茅台”有脚本开源了？要“发财了”!

与苏格兰威士忌、法国科涅克白兰地齐名的世界三大蒸馏名酒之一，同时是中国三大名酒“茅五剑”之一。也是大曲酱香型白酒的鼻祖，已有800多年的历史。
楷哥带你看世界·2022-02-21 05:20

基于TensorRT和onnxruntime下pytorch的Bert模型加速对比实践

由于业务需求上来了，需要对bert模型进行推理加速；现有的加速方案有很多，基于模型的压缩方向如模型蒸馏、模型量化、模型剪
colourmind·2022-02-20 10:03

【Knowledge Distillation】知识蒸馏总结

KnowledgeDistillation背景知识蒸馏（KD）是想将复杂模型（teacher）中的darkknowledge迁移到简单模型（student）中去，一般来说，teacher具有强大的能力和表现
Gaoyt__·2022-02-20 04:54

每日一香——橙花

每日一香——橙花英文俗名Neroli拉丁学名Citrusaurantuiumbigarade其他俗名苦橙花植物科属芸香科柑橘属主要产地摩洛哥、莫三比克、意大利萃取部位花存取方式蒸馏外观特性橙树开花时，纯白洁净的花瓣包围着鹅黄色的花心
曦曦格格·2022-02-19 21:16

12个酱酒未解之谜

和蒸馏酒有什么关系？不得而知。用以宣传，无非想借此说明两点：一是历史悠久，二是天子宠幸。活学活用，堪称最强大脑，这是运用”虚拟技
老江问酒·2022-02-19 08:45

味闻漫悟烈酒入门课——第8队 混迹酒圈不可不知的烈酒六大门派

烈酒我们可以称之为蒸馏酒，顾名思义蒸馏酒就一定要经过蒸馏这道工艺蒸馏酒跟发酵酒有什么区别？蒸馏酒的储存时间要远远的高于发酵酒，
老苏说酒·2022-02-19 08:08

家庭式酿酒设备：中国传统的酿酒器具、蒸馏器。

我国的蒸馏器具有鲜明的民族特征。其主要结构可分为四大部分：釜体部分，用于加热，产生蒸汽;甑体部份，用于酒醅的装载。在早期的蒸馏器中，可能釜体和甑体是连在一起的，这较适合于液态蒸馏。
转角遇见酒·2022-02-18 21:35

乙嫣与你一起用精油第64天

保卫复方使用小妙方1、用一喷瓶装30盎司的蒸馏水，加进50滴保卫复方，使用在厨房和浴室清洁消毒；2、可加入洗碗机内增强消毒；3、加入洗衣机内洗衣服，衣物更加洁净；4、孩子下课回家前，熏香空气，可抵御孩子身上从外待回来的病菌
乙嫣·2022-02-18 04:07

无极阴离子-氰化物

预处理原理：向水样中加入酒石酸和硝酸锌，在pH4的条件下，加热蒸馏，简单氰化物和部分络合氰化物以
WarmLikeYou·2022-02-18 03:01

人生就是一杯自己调配的咖啡

是冲泡还是蒸馏，又或是冷萃，会收获浓厚的，清淡的，或是酸苦的黑咖啡。就如同我们的学生时代，你有怎样的学习态度，就会有与之相匹配的成绩。聪明又勤奋的，会收获法式蒸馏，浓郁香醇。
专职茶水·2022-02-17 04:03

2019.4.14

～学习】书名：《活法》第六章；【经典名句分享】人的一切痛苦，本质上都是对自己的无能的愤怒【行～实践】一、修身：饭后散步半小时二、齐家：给家人打电话三、建功：（对工作)9号装置做侧线吸收，整理数据,分段蒸馏
奔波儿灞_87f6·2022-02-17 03:41

酿酒发酵, 多长时间可以蒸酒?

在接受了解酿酒设备的咨询中，朋友们问得多的问题之一就是：用你们的白酒酿酒设备和酿酒酒曲发酵，多长时间可以蒸馏?
酒的时光机·2022-02-16 17:46
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他