联邦学习+知识蒸馏第8页

提高LLaMA-7B的数学推理能力

数学推理在相对较小的语言模型中仍然是一个挑战，许多现有方法倾向于依赖庞大但效率低下的大语言模型进行知识蒸馏。

无数据不智能·2023-07-19 08:16

《Communication-Efficient Learning of Deep Networks from Decentralized Data》

Communication-EfficientLearningofDeepNetworksfromDecentralizedData这篇文章算是联邦学习的开山之作吧，提出了FedAvg的算法，文中对比了不同客户端本地训练次数

volcanical·2023-07-19 03:27

知识蒸馏-Distilling the knowledge in a neural network

知识蒸馏-Distillingtheknowledgeinaneuralnetwork作者：支广达1.概念介绍“很多昆虫在幼虫形态的时候是最擅长从环境中吸取能量和养分的，而当他们成长为成虫的时候则需要擅长完全不同能力比如迁移和繁殖

MomodelAI·2023-07-17 06:31

论文笔记--DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

论文笔记--DistilBERT,adistilledversionofBERT:smaller,faster,cheaperandlighter1.文章简介2.文章概括3文章重点技术3.1知识蒸馏3.2DistilBERT4

Isawany·2023-07-16 18:57

蚂蚁集团开源可信隐私计算框架「隐语」：开放、通用

据介绍，隐语内置MPC、TEE、同态等多种密态计算虚拟设备，提供多类联邦学习算法和差分隐私机制。

南七小僧·2023-07-16 08:37

python调用c++动态库.so和静态库.a

项目场景：隐私保护联邦学习代码实现我目前在实现一个隐私保护联邦学习论文的代码，其中联邦学习的模型训练用python写的代码，隐私保护用c++写的（一种同态加密算法）代码。

wujiahui3045·2023-07-14 20:16

基于SGX和联邦学习的电脑程序数据共享

为了解决这一问题，研究者们不断探索新的技术方法，其中包括英特尔的软件保护扩展（SGX）和联邦学习（FL）。

于小野·2023-07-14 13:14

如何编写联邦学习训练框架——Pytorch实现

联邦学习框架实现联邦学习训练过程由服务器和客户端两部分组成。客户端将本地数据训练得到的模型上传服务器，服务器通过聚合客户端上传的服务器再次下发新一轮的模型，原理很简单，那么我们开始动手写代码。

volcanical·2023-07-14 07:01

【论文阅读笔记】Attack-Resistant Federated Learning with Residual-based Reweighting

如有错误欢迎指出Arxiv2019[1912.11464]Attack-ResistantFederatedLearningwithResidual-basedReweighting(arxiv.org)问题：联邦学习容易受到后门攻击创新

MiaZX·2023-07-14 03:35

联邦学习数据集划分Dirichlet划分法——pytorch实现

联邦学习数据集Dirichlet划分做联邦学习数据集划分的时候，一般要考虑到数据的特异性，我们一般使用dirichlet分布来产生不同的客户端数据。

volcanical·2023-07-13 20:30

CIKM2022|中科院联合腾讯提出基于知识蒸馏的校准转化率预估

CalibratedConversionRatePredictionviaKnowledgeDistillationunderDelayedFeedbackinOnlineAdvertisingYuyaoGuo,HaomingLi,XiangAo,MinLu,DapengLiu,LeiXiao,JieJiang,QingHeChineseAcademyofSciences,Tencenthttps

frank_hetest·2023-06-24 05:30

Demo___ttf

#Demo:基于联邦学习的图像识别from__future__importabsolute_import,division,print_functionimportcollectionsimportwarningsfromsix.movesimportrangeimportnumpyasnpimportsiximporttensorflowastfimporttensorflow_federate

XJT_Big Data·2023-06-23 20:39

隐私增强计算，区块链结合联邦学习实现数据共享

目录区块链结合联邦学习实现数据共享隐私增强计算什么是隐私增强计算平台功能区块链结合联邦学习实现数据共享联邦学习为摆脱“数据孤岛”困境提供了有效技术手段,受到学术界和工业界的广泛

ZhangJiQun&MXP·2023-06-23 11:15

基于SSD算法的电动车头盔检测【附代码】

完整的项目是基于SSD的改进-->知识蒸馏-->自蒸馏-->剪枝-->trt推理。本想用来发论文的，但可能没那时间和精力了，这里仅选择项目中的一部分内容进行开源。

爱吃肉的鹏·2023-06-23 02:45

【自监督论文阅读 3】DINOv1

hjxu2016·2023-06-22 22:58

Knowledge Distillation of Large Language Models

大模型的知识蒸馏摘要1引言2方法2.1MiniLLM：利用逆向KLD进行知识蒸馏2.2策略梯度优化2.3训练算法3实验3.1实验设置3.2结果3.3分析3.4消融实验4相关工作5结论摘要知识蒸馏（KD）

UnknownBody·2023-06-21 00:43

【论文导读】- A vertical federated learning framework for graph convolutional network（一种用于图卷积网络的纵向联邦学习框架）

文章目录论文信息摘要ContributionsPreliminaries正交多项式最小二乘逼近Paillier同态加密Methodology无监督损失函数算法Conclusion论文信息Averticalfederatedlearningframeworkforgraphconvolutionalnetwork原文地址：Averticalfederatedlearningframeworkforg

1 + 1=王·2023-06-19 05:31

低延迟流式语音识别技术在人机语音交互场景中的实践

本方法将降低延迟问题转换成一个知识蒸馏过程，极大地简化了延迟优化的难度，仅通过一个正则项损失函数就使得模型在训练过程中自动降低出字延迟。

美团技术团队·2023-06-18 21:17

CVPR 2023 | 美团技术团队精选论文解读

这些论文既有自监督学习、领域自适应、联邦学习等通用学习范式方面的技术迭代，也涉及目标检测、跟踪、分割、Low-levelVision等典型视觉任务的性能，体现了美团在基础通用技术和垂直领域技术上的全方位创新

美团技术团队·2023-06-18 21:46

【AIGC】16、Vision-Language 模型在视觉任务中的调研

视觉任务的训练策略2.2VLM基础2.2.1网络结构2.2.2预训练目标函数2.2.3评估和下游任务2.3数据集三、迁移学习3.1使用prompttuning实现迁移学习3.2通过特征适应来进行迁移学习四、VLM的知识蒸馏

呆呆的猫·2023-06-18 12:24

【论文阅读笔记】BaFFLe: Backdoor Detection via Feedback-based Federated Learning

BaFFLe:BackdoorDetectionviaFeedback-basedFederatedLearning|IEEEConferencePublication|IEEEXplore问题：识别、防御联邦学习中的后门

MiaZX·2023-06-17 19:50

【论文阅读】Resisting Distributed Backdoor Attacks in Federated Learning: A Dynamic Norm Clipping Approach

2021IEEEInternationalConferenceonBigDataResistingDistributedBackdoorAttacksinFederatedLearning:ADynamicNormClippingApproach|IEEEConferencePublication|IEEEXplore问题：固定的范数裁剪防御对联邦学习来说仍然难

MiaZX·2023-06-17 19:19

【论文阅读笔记】Local Model Poisoning Attacks to Byzantine-Robust Federated Learning

Usenix2020[1911.11815]LocalModelPoisoningAttackstoByzantine-RobustFederatedLearning(arxiv.org)问题：模型攻击对拜占庭鲁棒性联邦学习的攻击效果尚未清楚创新点

MiaZX·2023-06-17 19:17

工业检测：基于密集尺度特征融合&像素级不平衡学习框架

作者：计算机视觉研究院编辑：3D视觉开发者社区知识蒸馏已成功应用于图像分类。然而目标检测要复杂得多，大多数知识蒸馏方法都失败了。

奥比中光3D视觉开发者社区·2023-06-17 14:41

深度学习实战——模型推理优化（模型压缩与加速）

starforprojectsthanks）目录系列文章目录一、实验思路综述1.实验工具及内容2.实验数据3.实验目标4.实验步骤二、模型压缩与加速综述1.模型压缩1.1紧凑（轻量化）模型设计1.2低秩近似/分解1.3知识蒸馏

@李忆如·2023-06-17 04:57

知识蒸馏方法的演进历史综述

作者：NishantNikhil编译：ronghuaiyang导读带你了解知识蒸馏的演进历史。历史2012年，AlexNet在ImageNet数据上的表现超过了所有现有模型。神经网络即将被广泛采用。

文文学霸·2023-06-17 03:26

【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解

因此，涌现出了大量的模型压缩和加速技术，知识蒸馏是其中的代表，可以有效的从大型的教师模型中学习到小型的学生模型。本

姚路遥遥·2023-06-16 21:33

FedReID: 联邦学习在行人重识别上的首次深入实践

联邦学习是一种保护隐私的分布式训练方法，可以应用到行人重识别上，以解决这个问题。但是在现实场景中，将联邦学习应用到行人重识别上因为数据异构性，会导致精度下降和收敛的问题。

闭眼卖布·2023-06-16 19:21

【FATE联邦学习】standalone版Fateboard修改配置

背景&做法很多其他程序（比如vscode的codeserver）也会使用这个127001:8080socket进行通信，这样就没办法远程用vscode去开发了，所以需要修改下Fateboard的socket配置。官方文档中也给出了如何修改配置ThedefaultdatabaseforFATEBoardforclusterversionismysql.Ifyouwanttousestandalone

·2023-06-16 15:22

知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例

因此，本专题采用主流的知识蒸馏的方案来压缩模型，在满足用户预测性能、预测效果的需求同时，不依赖海量未标注数据，提升开发效率。文心提供多种不同大小的

·2023-06-16 14:16

跟我学ModelArts丨探索ModelArts平台个性化联邦学习API

摘要：ModelArts提供了一个实现个性化联邦学习的API——pytorch_fedamp_emnist_classification，它主要是让拥有相似数据分布的客户进行更多合作的一个横向联邦学习框架

·2023-06-16 14:37

低延迟流式语音识别技术在人机语音交互场景中的实践

本方法将降低延迟问题转换成一个知识蒸馏过程，极大地简化了延迟优化的难度，仅通过一个正则项损失函数就使得模型在训练过程中自动降低出字延迟。

·2023-06-16 11:11

知识蒸馏、轻量化模型架构、剪枝…几种深度学习模型压缩方法

工业界的模型压缩方法有：知识蒸馏、轻量化模型架构、剪枝、量化。本文分享自华为云社区《深度学习模型压缩方法综述》，作者：嵌入式视觉。

华为云开发者联盟·2023-06-15 15:40

解读知识蒸馏模型TinyBert

摘要：本篇文章的重点在于改进信息瓶颈的优化机制，并且围绕着高纬空间中互信息难以估计，以及信息瓶颈优化机制中的权衡难题这两个点进行讲解。本文分享自华为云社区《【云驻共创】美文赏析：大佬对变分蒸馏的跨模态行人重识别的工作》，作者：启明。论文讲解：《FarewelltoMutualInformation:VariationalDistillationforCrossModalPersonRe-ident

·2023-06-14 18:08

Hinton：我对“青蛙”创造出“人”这件事的后果很紧张丨全文整理+视频

无论是反向传播、Dropout、知识蒸馏、胶囊网络，

智源社区·2023-06-14 14:22

深度学习模型精度与PyTorch模型量化

深度学习的模型压缩的主流方法有基于量化的方法、模型剪枝和知识蒸馏（teacher-student），模型量化，这是最广泛使用的模型压缩形式。

思考实践·2023-06-14 12:48

《横向联邦学习中 PCA差分隐私数据发布算法》论文算法原理笔记

论文地址：https://www.arocmag.com/article/01-2022-01-041.html论文摘要为了让不同组织在保护本地敏感数据和降维后发布数据隐私的前提下，联合使用PCA进行降维和数据发布，提出横向联邦PCA差分隐私数据发布算法。引入随机种子联合协商方案，在各站点之间以较少通信代价生成相同随机噪声矩阵。提出本地噪声均分方案，将均分噪声加在本地协方差矩阵上。一方面，保护本地

superY25·2023-06-11 22:57

自监督表征学习方法——DINO方法

（一种没有标签的知识蒸馏的形式）如上图所示：来自没有监督训练的8×8补丁的视觉变压器的自我注意。我们观察最后一层头部的[CLS]令牌的自我关注。此令

没用的阿鸡·2023-06-11 12:32

视觉大模型DINOv2:自我监督学习的新领域

如果你对自监督学习感兴趣，可能听说过Facebook人工智能的DINO(无标签知识蒸馏)。我们在以前的文章中也介绍过它。

deephub·2023-06-11 12:57

让BERT飞一会

[TOC]1.模型蒸馏1.DistilBERT（2019.10.2）知识蒸馏的基础原理：定义两个网络，teacher网络和student网络，teacher网络是预训练得到的大模型，student模型是想要学习和迁移得到的小模型

ColdCoder·2023-06-10 13:28

yolov5剪枝与知识蒸馏【附代码】

剪枝和知识蒸馏均属于模型轻量化设计，剪枝是将已有网络通过剪枝的手段得到轻量化网络，可分为非结构化剪枝和结构化剪，该技术可以免去人为设计轻量网络，而是通过计算各个权重或者通道的贡献度大小，剪去贡献度小的权重或通道

爱吃肉的鹏·2023-06-09 21:41

【FATE联邦学习】FATE联邦学习使用GPU、指定cuda下标

问题FATE框架1.x支持GPU训练吗？寻找先看了官网，搜官网，发现还是有的。打开第一个后，里面可以用trainingparam指定各个client的训练GPU，但是好像都是在largelanguagemodel的。而在文档中搜寻到的gpu，其实是release的版本说明，里面搜来搜去，也是只有跟LLM相关的。莫非是一开始就支持GPU？我希望找到具体什么地方验证了FATE支持/不支持GPU在官方群

·2023-06-08 18:17

【FATE联邦学习debug】 No module named ‘federatedml‘

·2023-06-08 17:12

【FATE联邦学习】FATE联邦学习使用GPU、指定cuda下标

问题FATE框架1.x支持GPU训练吗？寻找先看了官网，搜官网，发现还是有的。打开第一个后，里面可以用trainingparam指定各个client的训练GPU，但是好像都是在largelanguagemodel的。而在文档中搜寻到的gpu，其实是release的版本说明，里面搜来搜去，也是只有跟LLM相关的。莫非是一开始就支持GPU？我希望找到具体什么地方验证了FATE支持/不支持GPU在官方群

·2023-06-08 17:12

【FATE联邦学习】FATE 自定义Trainer

背景自己定义了模型后，需要自行定义训练方式。这里文档给了方法，但是大部分还是需要自己看源码摸索。https://fate.readthedocs.io/en/latest/tutorial/pipeline/nn_tutorial/Homo-NN-Customize-Trainer/https://fate.readthedocs.io/en/latest/tutorial/pipeline/nn

·2023-06-08 17:11

Reid strong baseline知识蒸馏【附代码】

本项目是在Reidstrongbaseline基础上进行的更新，实现的知识蒸馏。项目暂未加入目标检测部分，后期会不定时更新，请持续关注。

爱吃肉的鹏·2023-06-08 14:30

【论文】通过基准分析优化联邦人员重新识别的性能

unseven·2023-06-07 18:38

NLP中的知识蒸馏论文 Distilled BiLSTM解读

论文题目：DistillingTask-SpecificKnowledgefromBERTintoSimpleNeuralNetworks论文链接：https://arxiv.org/pdf/1903.12136.pdf摘要在自然语言处理文献中，神经网络变得越来越深入和复杂。这一趋势的苗头就是深度语言表示模型，其中包括BERT、ELMo和GPT。这些模型的出现和演进甚至导致人们相信上一代、较浅的语

致Great·2023-06-07 09:01

CVPR 2023 | DisWOT：给老师找个好学生？KD和NAS的高效组合

PaperWeekly·2023-04-20 19:55

推荐频道

联邦学习+知识蒸馏

提高LLaMA-7B的数学推理能力

《Communication-Efficient Learning of Deep Networks from Decentralized Data》

知识蒸馏-Distilling the knowledge in a neural network

论文笔记--DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

蚂蚁集团开源可信隐私计算框架「隐语」：开放、通用

python调用c++动态库.so和静态库.a

基于SGX和联邦学习的电脑程序数据共享

如何编写联邦学习训练框架——Pytorch实现

【论文阅读笔记】Attack-Resistant Federated Learning with Residual-based Reweighting

联邦学习数据集划分Dirichlet划分法——pytorch实现

CIKM2022|中科院联合腾讯提出基于知识蒸馏的校准转化率预估

Demo___ttf

隐私增强计算，区块链结合联邦学习实现数据共享

基于SSD算法的电动车头盔检测【附代码】

【自监督论文阅读 3】DINOv1

Knowledge Distillation of Large Language Models

【论文导读】- A vertical federated learning framework for graph convolutional network（一种用于图卷积网络的纵向联邦学习框架）

低延迟流式语音识别技术在人机语音交互场景中的实践

CVPR 2023 | 美团技术团队精选论文解读

【AIGC】16、Vision-Language 模型在视觉任务中的调研

【论文阅读笔记】BaFFLe: Backdoor Detection via Feedback-based Federated Learning

【论文阅读】Resisting Distributed Backdoor Attacks in Federated Learning: A Dynamic Norm Clipping Approach

【论文阅读笔记】Local Model Poisoning Attacks to Byzantine-Robust Federated Learning

工业检测：基于密集尺度特征融合&像素级不平衡学习框架

深度学习实战——模型推理优化（模型压缩与加速）

知识蒸馏方法的演进历史综述

【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解

FedReID: 联邦学习在行人重识别上的首次深入实践

【FATE联邦学习】standalone版Fateboard修改配置

知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例

跟我学ModelArts丨探索ModelArts平台个性化联邦学习API

低延迟流式语音识别技术在人机语音交互场景中的实践

知识蒸馏、轻量化模型架构、剪枝…几种深度学习模型压缩方法

解读知识蒸馏模型TinyBert

Hinton：我对“青蛙”创造出“人”这件事的后果很紧张丨全文整理+视频

深度学习模型精度与PyTorch模型量化

《横向联邦学习中 PCA差分隐私数据发布算法》论文算法原理笔记

自监督表征学习方法——DINO方法

视觉大模型DINOv2:自我监督学习的新领域

让BERT飞一会

yolov5剪枝与知识蒸馏【附代码】

【FATE联邦学习】FATE联邦学习使用GPU、指定cuda下标

【FATE联邦学习debug】 No module named ‘federatedml‘

【FATE联邦学习】FATE联邦学习使用GPU、指定cuda下标

【FATE联邦学习】FATE 自定义Trainer

Reid strong baseline知识蒸馏【附代码】

推荐系统遇上深度学习(九十九)-[华为]多教师网络知识蒸馏来提升点击率预估效果

【论文】通过基准分析优化联邦人员重新识别的性能

NLP中的知识蒸馏论文 Distilled BiLSTM解读

CVPR 2023 | DisWOT：给老师找个好学生？KD和NAS的高效组合