联邦学习+知识蒸馏

联邦学习 Federated learning Google I/O‘19 笔记

FederatedLearning:MachineLearningonDecentralizeddatahttps://www.youtube.com/watch?v=89BGjQYA0uE文章目录FederatedLearning:MachineLearningonDecentralizeddata1.DecentralizeddataEdgedevicesGboard:mobilekeyboa

努力搬砖的星期五·2024-09-15 11:55

SAFEFL: MPC-friendly Framework for Private and Robust Federated Learning论文阅读笔记

SAFEFL:MPC-friendlyFrameworkforPrivateandRobustFederatedLearning适用于私有和鲁棒联邦学习的MPC友好框架SAFEFL，这是一个利用安全多方计算

慘綠青年627·2024-09-06 10:44

《BERT基础教程：Transformer大模型实战》读书笔记

知识蒸馏(knowledged

johnny233·2024-08-31 19:39

英伟达如何通过剪枝和蒸馏技术让Llama 3.1模型“瘦身“?

英伟达研究团队通过结构化权重剪枝和知识蒸馏技术，成功将Llama3.18B模型压缩为4B参数的小型语言模型，并取得了不俗的效果。让我们一起来深入探讨这项技术的原理和

蒜鸭·2024-08-30 19:28

【机器学习】机器学习与大模型在人工智能领域的融合应用与性能优化新探索

3BERTResNetTransformer机器学习与大模型的融合应用自然语言处理文本生成文本分类机器翻译图像识别自动驾驶医学影像分析语音识别智能助手语音转文字大模型性能优化的新探索模型压缩权重剪枝量化知识蒸馏分布式训练数据并行模型并行异步训练高效推理模型裁剪缓存机制专用硬件未来展望跨领域应用智能化系统人

E绵绵·2024-08-26 06:25

探索联邦学习：保护隐私的机器学习新范式

探索联邦学习：保护隐私的机器学习新范式前言联邦学习简介联邦学习的原理联邦学习的应用场景联邦学习示例代码结语前言在数字化浪潮的推动下，我们步入了一个前所未有的数据驱动时代。

洋葱蚯蚓·2024-08-25 11:54

网络安全: 模型的脆弱性，鲁棒性和隐私性

隐私性问题在联邦学习和其

不当菜鸡的程序媛·2024-08-22 16:30

Transformer视频理解学习的笔记

站视频理解沐神系列串讲视频上（24.2.26未看完,明天接着看）这里面更多论文见：https://github.com/mli/paper-reading/B站视频理解沐神系列串讲视频下（明天接着看）上面这张图中的知识蒸馏

LinlyZhai·2024-02-28 14:26

大模型量化技术原理-LLM.int8()、GPTQ

模型压缩主要分为如下几类：剪枝（Pruning）知识蒸馏（KnowledgeDistillation）量化之前也写过一些文章涉及大模型量化相关的内容。

吃果冻不吐果冻皮·2024-02-20 21:39

知识蒸馏实战代码教学一（原理部分）

一、知识蒸馏的来源知识蒸馏（KnowledgeDistillation）源自于一篇由Hinton等人于2015年提出的论文《DistillingtheKnowledgeinaNeuralNetwork》

业余小程序猿·2024-02-20 08:44

知识蒸馏实战代码教学二（代码实战部分）

一、上章原理回顾具体过程：（1）首先我们要先训练出较大模型既teacher模型。（在图中没有出现）（2）再对teacher模型进行蒸馏，此时我们已经有一个训练好的teacher模型，所以我们能很容易知道teacher模型输入特征x之后，预测出来的结果teacher_preds标签。（3）此时，求到老师预测结果之后，我们需要求解学生在训练过程中的每一次结果student_preds标签。（4）先求h

业余小程序猿·2024-02-20 08:35

实践案例｜孟宪超：基于隐语深度学习在保险联合定价中的应用（附演讲视频）

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。

·2024-02-19 23:04

——知识蒸馏中即插即用的对抗性调度器以及调整向量Vector

在常规的知识蒸馏中，一般不会考虑知识的难度先后，按照我们人类的思维，肯定是先学习容易的再学习难一点的知识（总不能小学就学高数吧哈哈）。一个模型的理想状态也应该如此。

时光诺言·2024-02-14 01:23

【论文解读】Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation

1Introduction1Docre任务比句子级任务更具挑战性：2现有的Docre方法：3现有的Docre方法存在三个局限性2Methodology1使用轴向注意力模块作为特征提取器：2第二，提出适应性焦距损失3第三用知识蒸馏相关知识类别不平衡问题长尾类分布交叉熵损失和二元交叉熵损失二元交叉熵损失定义为知识蒸馏全文翻译

Queen_sy·2024-02-11 14:19

【Deep Dive:AI Webinar】联邦学习-数据安金性和隐私性分析的思维转换

【深入探讨人工智能】网络研讨系列总共有17个视频。我们按照视频内容，大致上分成了3个大类：1.人工智能的开放、风险与挑战（4篇）2.人工智能的治理（总共12篇），其中分成了几个子类：a.人工智能的治理框架（3篇）b.人工智能的数据治理（4篇）c.人工智能的许可证（4篇）d.人工智能的法案（1篇）3.炉边对谈-谁在构建开源人工智能?今天发布的是第11个视频，亦即第二个大类别“人工智能的治理”里的第二

开源社·2024-02-09 12:36

知识蒸馏之Knowledge Distillation: A Survey

InternationalJournalofComputerVision2021JianpingGou1·BaoshengYu1·StephenJ.Maybank2·DachengTao11UBTECHSydneyAICentre,SchoolofComputerScience,FacultyofEngineering,TheUniversityofSydney,Darlington,NSW200

Diros1g·2024-02-07 11:39

Apache Pulsar 在腾讯 Angel PowerFL 联邦学习平台上的实践

腾讯AngelPowerFL联邦学习平台联邦学习作为新一代人工智能基础技术，通过解决数据隐私与数据孤岛问题，重塑金融、医疗、城市安防等领域。

StreamNative·2024-02-07 11:24

联邦学习-安全树模型 SecureBoost之Desicion Tree

联邦学习-安全树模型SecureBoost之DesicionTree1联邦学习背景鉴于数据隐私的重要性，国内外对于数据的保护意识逐步加强。

秃顶的码农·2024-02-06 17:26

最新论文笔记(+21)：Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems/ TIFS2022

Privacy-PreservingByzantine-RobustFederatedLearningviaBlockchainSystems可译为“利用区块链实现隐私保护的拜占庭鲁棒性联邦学习”这篇是今年八月份被

cryptocxf·2024-02-05 10:24

知识蒸馏综述---代码整理

1、KD:KnowledgeDistillation链接：https://arxiv.org/pdf/1503.02531.pd3f发表：NIPS14最经典的，也是明确提出知识蒸馏概念的工作，通过使用带温度的

qq_41920323·2024-02-05 01:58

pysyft框架中WebsocketClientWorker与WebsocketServerWorker的消息传输

引言pysyft是基于pytorch的一个联邦学习框架（虽然用起来很难受），通过内存管理实现联邦学习的模拟。

一只特立独行的猫·2024-02-01 14:18

知识蒸馏（paper翻译）

paper：DistillingtheKnowledgeinaNeuralNetwork摘要：提高几乎所有机器学习算法性能的一个非常简单的方法是在相同的数据上训练许多不同的模型，然后对它们的预测进行平均[3]。不幸的是，使用整个模型集合进行预测非常麻烦，并且计算成本可能太高，无法部署到大量用户，尤其是在单个模型是大型神经网络的情况下。Caruana和他的合作者[1]已经证明，可以将集成中的知识压缩

蓝羽飞鸟·2024-01-31 23:18

论文解读-Agglomerative Federated Learning: Empowering Larger Model Training

联邦学习新探：端边云协同引领大模型训练的未来｜INFOCOM2024联邦学习（FederatedLearning）就是一种能够在不损害用户隐私的前提下，训练人工智能模型的技术。

MCRG·2024-01-31 12:23

第二十九周：文献阅读笔记（ResMLP）+ pytorch学习（Resnet代码实现）

ResMLP1.1文献摘要1.2文献引言1.3ResMLP方法1.3.1整体流程1.3.2残差多感知机层1.4实验1.4.1数据集1.4.2超参数设置1.4.3主要结果1.4.4监督设置1.4.5自监督设置1.4.5知识蒸馏设置

@默然·2024-01-30 03:01

2019年3月18日

之后开虚拟机打算研究一下联邦学习，结

真昼之月·2024-01-29 20:23

我的隐私计算学习——联邦学习（3）

（五）纵向联邦学习—安全树思路可以通过以下脉络学习：决策树--------->集成方法Bagging&Boosting--------->GBDT--------->XGBoost--------->SecureBoostTree

Atara8088·2024-01-28 00:24

我的隐私计算学习——联邦学习（4）

（六）横向联邦学习—梯度更新聚合云端数据中心的分布式机器学习可以有成百上千的节点，对比横向联邦学习有一定的借鉴意义，都存在着节点更新的同步与异步的问题，节点梯度更新之后的问题、节点掉线的问题、数据的NonIID

Atara8088·2024-01-28 00:54

我的隐私计算学习——联邦学习（5）

笔记内容来自多本书籍、学术资料、白皮书及ChatGPT等工具，经由自己阅读后整理而成。（七）联邦迁移学习相关研究表明，联邦迁移学习不需要主服务器作为各参与方间的协调者，旨在让模型具备举一反三能力，在各参与方样本空间以及特征空间均存在较少交叉信息的情况下，使用迁移学习算法互助地构建模型，可解决标签样本少和数据集不足的问题，例如，某国电商平台与其他国家银行间的数据迁移场景，联邦迁移学习可以很好地解决数

Atara8088·2024-01-28 00:24

vit细粒度图像分类（三）TRS-DeiT 学习笔记

1.摘要细粒度图像分类任务由于自身存在的细微的类间差别和巨大的类内差别使其极具挑战性，为了更好地学习细粒度图像的潜在特征，该算法将知识蒸馏引入到细粒度图像分类任务中，提出基于知识蒸馏与目标区域选取的细粒度图像分类方法

无妄无望·2024-01-27 13:38

全同态加密的硬件加速：让机器学习更懂隐私保护

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。

PrimiHub·2024-01-27 09:18

2024年深圳市工业和信息化局软件产业高质量发展技术创新体系扶持计划产业链关键环节提升项目申请指南

（一）大数据:重点支持数据采集、数据清洗、数据分析发掘、数据可视化、大数据行业应用、联邦学习、隐私计算等领域。（二）云计算：重点支持平台即服务（PaaS）、软件即服务（SaaS）等领域。

高新技术企业认定条件·2024-01-27 00:46

【Image captioning】论文阅读七—Efficient Image Captioning for Edge Devices_AAAI2023

EfficientImageCaptioningforEdgeDevices）文章目录1.引言2.相关工作3.方法3.1ModelArchitecture（模型结构）3.2ModelTraining(模型训练)3.3KnowledgeDistillation（知识蒸馏

安静到无声·2024-01-26 11:30

和GPT讨论知识蒸馏的基本概念

User帮我解释一下知识蒸馏、教师学生网络、逆向蒸馏等概念ChatGPT知识蒸馏（KnowledgeDistillation）是一种模型压缩技术。

Mighty_Crane·2024-01-24 10:52

联邦学习：密码学 + 机器学习 + 分布式实现隐私计算，破解医学界数据孤岛的长期难题

联邦学习：密码学+机器学习+分布式提出背景：数据不出本地，又能合力干大事联邦学习的问题联邦学习架构分布式机器学习：解决大数据量处理的问题横向联邦学习：解决跨多个数据源学习的问题纵向联邦学习：解决数据分散在多个参与者但部分特征重叠的问题联邦

Debroon·2024-01-23 11:31

阿里巴巴开源联邦学习框架FederatedScope

5月5日，阿里巴巴达摩院发布新型联邦学习框架FederatedScope，声称可以在不共享训练数据的情况下开发机器学习算法，从而保护隐私。，其源代码现已在Apache2.0许可下发布在GitHub上。

魏铁锤爱摸鱼·2024-01-23 06:09

联邦学习框架：FedAdapt: Adaptive Offloading for IoT Devices in Federated Learning 框架的部署实现

目录虚拟机的安装简化版（三台）环境配置安装Anaconda创建环境安装pytorch关闭防火墙代码代码下载数据集下载代码修改上传到虚拟机虚拟机测试修改虚拟机的主机名运行FedAdapt是一个全面的物联网边缘环境的框架，克服了加速联合学习资源有限的设备上的挑战，减少散兵游勇所产生的物联网设备的计算异质性和适应不同的设备和边缘服务器之间的网络带宽的影响。虚拟机的安装简化版（三台）三台centos7虚拟

我要成果·2024-01-21 19:15

联邦学习论文阅读：Federated collaborative filtering

摘要作者将一个隐形反馈的CF模型修改成了联邦学习的框架，隐私性用Fed-Avg算法保证。总的来说，没什么创新。问题在保护用户隐私的情况下利用隐性反馈进行推荐框架一个横向联邦的框架，和goo

thormas1996·2024-01-19 07:12

边缘计算和联邦学习的联系

1.什么是边缘计算？边缘计算（EdgeComputing）是一种计算模型，其主要思想是将计算、存储和数据处理能力推送到离数据源近的边缘设备，而不是依赖于远程的云服务器。这样做的目的是减少数据传输延迟、提高响应速度，同时降低对云计算中心的依赖性。边缘计算通常在物理临近设备的位置进行数据处理，以满足实时性、安全性和隐私性的要求。例如：考虑一个城市的智能监控摄像头系统，用于监测交通、公共场所和安全状况。

slomay·2024-01-18 22:47

Knowledge Distilling，知识蒸馏

Distillingtheknowledgeinaneuralnetwork1.Motivationknowledge_distilling_title.jpg论文作者比较大名鼎鼎了。Motivation一部分来自模型压缩[2]，一部分源自作者认为大部分机器学习采用ensemble方法或者学习一个很大的模型来取得比较好的结果，但会给实际应用预测带来很大的压力，而且实际上模型之间也是有信息冗余的。希

FeynmanMa·2024-01-18 18:57

高级分布式系统-第15讲分布式机器学习--联邦学习

联邦学习两种常见的架构：客户-服务器架构和对等网络架构联邦学习在传统的分布式机器学习基础上的变化。

十有久诚·2024-01-15 19:31

【论文阅读】异构联邦学习综述：最新进展与研究挑战

目录前言Background什么是联邦学习什么是异构联邦学习AbstractIntroductionSurveyResearchChallenges（研究挑战）StatisticalHeterogeneity

鸿鹄一夏·2024-01-14 11:29

分裂联邦学习论文-混合联邦分裂学习GAN驱动的预测性多目标优化

PredictiveGAN-PoweredMulti-ObjectiveOptimizationforHybridFederatedSplitLearning》期刊：IEEETransactionsonCommunications,2023一、论文介绍背景：联邦学习作为一种多设备协同训练的边缘智能算法

梦灯·2024-01-13 13:03

AI芯片：神经网络研发加速器、神经网络压缩简化、通用芯片 CPU 加速、专用芯片 GPU 加速

AI芯片：神经网络研发加速器、神经网络压缩简化、通用芯片CPU加速、专用芯片GPU加速神经网络研发加速器神经网络编译器各自实现的神经网络编译器神经网络加速与压缩（算法层面）知识蒸馏低秩分解轻量化网络剪枝量化通用芯片

Debroon·2024-01-12 11:24

使用MistNet在COCO128数据集上协作训练Yolo-v5

本案例介绍如何在MNIST手写数字分类场景中，使用名为MistNet的聚合算法训练联邦学习作业。数据分散在不同的地方（如边缘节点、摄像头等），由于数据隐私和带宽的原因，无法在服务器上聚合。

星星失眠️·2024-01-12 10:03

迈向可持续人工智能：通过拍卖实现云边缘系统中的联邦学习需求响应

（原文：TowardSustainableAI:FederatedLearningDemandResponseinCloud-EdgeSystemsviaAuctions）摘要：云边缘系统时紧急需求响应EDR的重要参与者，有助于维持电网稳定和供需平衡。然而，UI这用户越来越多的在云边缘系统中执行人工智能工作负载，现有的ERD管理并不是针对al工作负载而设计的，因此面临着能源消耗和al模型准确性之间

zhy2267291213·2024-01-12 10:15

联邦学习的联合参与激励和网络定价设计

（原文：JointParticipationIncentiveandNetworkPricingDesignforFederatedLearning）摘要：由于当大量用户通过联邦学习训练大型机器学习模型时

zhy2267291213·2024-01-12 10:09

PrimiHub·2024-01-12 08:35

2024年1月10日最热AI论文Top5：DebugBench、AI智能体对齐、开放域问答系统、谈判游戏、联邦学习

本文整理了今日发表在ArXiv上的AI论文中最热门的TOP5。论文热度排序、论文标签、中文标题、推荐理由和论文摘要均由赛博马良平台（saibomaliang.com）上的智能体「AI论文解读达人」提供。如需查看其他热门论文，欢迎移步saibomaliang.com^_^TOP1DebugBench:EvaluatingDebuggingCapabilityofLargeLanguageModels

夕小瑶·2024-01-12 05:44

《FITNETS: HINTS FOR THIN DEEP NETS》论文整理

Hint-BasedTraining思想1、hint层与guided层：2、核心思想：三、Fitnet训练过程及效果1、FItnet训练过程可以分为三个阶段：2、需要注意的问题：3、具体流程：4、损失函数：（1）预训练阶段：（2）知识蒸馏阶段

LionelZhao·2024-01-11 08:40

Federated Unlearning for On-Device Recommendation

WSDM2023CCF-BFederatedUnlearningforOn-DeviceRecommendation本文工作的主要介绍本文主要介绍了一种名为FRU（FederatedRecommendationUnlearning）的联邦学习框架

jieHeEternity·2024-01-11 00:33

推荐频道