联邦学习+知识蒸馏

联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10

目录Client端Server端扩展Client.pyServer.pyDataset.pyModel.py分享一种实现联邦学习的方法，它具有以下优点：不需要读写文件来保存、切换Client模型不需要在每次
ZhangJiQun&MXP·2023-09-27 00:27

pandas数据处理之构建联邦学习数据

本文以天池比赛《车辆贷款违约预测》的数据为例，通过pandas处理数据，构建联邦学习数据，用于FATE框架联邦学习。
AI算法札记·2023-09-26 23:36

基于KubeFATE的FATE-LLM任务实战

随着大型语言模型的不断蓬勃发展，相关新模型，新应用和新范式也在不断涌现，自4月发布以来，FATE-LLM已经迭代发布了多个版本，不断完善大语言模型在联邦学习场景下的支持，以解决构建、使用大模型时的数据隐私保护问题以及公域数据短缺
VMware中国研发中心·2023-09-25 16:55

基于知识蒸馏的两阶段去雨去雪去雾模型学习记录（一）

前面完成了基于知识蒸馏的去雨去雪去雾模型大的部署与训练，下面则进行代码的学习。使用debug的方式进行代码的学习。首先是网络结构展示：轻易不要打开，这个模型太复杂了。
彭祥.·2023-09-25 07:05

【论文笔记】PyramidFL: A Fine-grained Client Selection Framework for Efficient Federated Learning

PyramidFL:用于有效联邦学习的细粒度客户端选择框架摘要：联邦学习(FL)是一种新兴的分布式机器学习(ML)范例，具有增强的隐私，旨在为尽可能多的参与者实现“良好”的ML模型，同时消耗尽可能少的时间
self--mockery·2023-09-25 00:55

REFL: 联邦学习中智能的设备选择方法

原创齐天宇隐私计算研习社收录于合集#联邦学习54个现有的FL方案使用随机的参与者选择来提高选择过程的公平性，但是这会导致资源的低效利用和较低的训练质量。
aK031999·2023-09-25 00:22

知识蒸馏，知识迁移

1什么是知识蒸馏，知识迁移我们有一个训练好的教师网络TeacherModel和数据和一个未训练好的学生网络StudentModel。我们需要学生网络有着与教师网络相似的，相近的能力。
朱小丰·2023-09-23 17:00

联邦学习框架 FederatedScope（1）快速入门

文章目录简介快速入门下载安装文档的坑安装依赖时独立模式运行时准备数据集和模型独立模式训练分布式模式参考简介官网：https://federatedscope.io/FederatedScope采用事件驱动的编程范式，用于支持现实场景中联邦学习应用的异步训练
游星凌·2023-09-23 13:04

终于有人把联邦学习讲明白了

导读：本文将详细介绍联邦学习的概念、架构思想、应用场景等内容，帮助大家全面认识联邦学习。
大数据v·2023-09-23 13:04

联邦学习基础介绍

目录一、联邦学习二、联邦学习的分类三、联邦学习的架构四、联邦学习的精度损失五、联邦学习的应用六、总结一、联邦学习联邦学习（FederatedLearning）是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练
唯余木叶下弦声·2023-09-23 13:33

联邦学习

目录联邦机器学习（Federatedmachinelearning）联邦学习重要节点及里程碑举例说明名词解释迭代模型平均(iterativemodelaveraging)：非独立同分布（non-IID）
Glory Man-United·2023-09-23 13:00

联邦学习基础知识和概念（入门）

联邦学习基础知识和概念（入门）联邦学习介绍联邦学习分类横向联邦学习客户-服务器架构对等网络架构纵向联邦学习迁移联邦学习联邦迁移学习的分类**基于实例的联邦迁移学习****基于特征的联邦迁移学习****基于模型的联邦迁移学习
aYao1224·2023-09-23 13:00

联邦学习的架构思想

目录联邦学习介绍（非常详细）联邦学习的由来联邦学习的发展历程1)机器学习2)分布式机器学习3)隐私保护技术4)联邦学习联邦学习的规范与标准联邦学习的架构思想联邦学习的社区与生态联邦学习介绍（非常详细）联邦学习是一种带有隐私保护
ZhangJiQun&MXP·2023-09-23 13:29

联邦学习系统攻击与防御技术

摘要联邦学习作为一种使用分布式训练数据集构建机器学习模型的新兴技术，可有效解决不同数据用户之间因联合建模而导致的本地数据隐私泄露问题，从而被广泛应用于多个领域并得到迅速发展。
a soldiers·2023-09-23 11:30

模型优化技术 —— 知识蒸馏

【经典简读】知识蒸馏(KnowledgeDistillation)经典之作神经网络中的蒸馏技术，从Softmax开始说起
dataloading·2023-09-20 22:39

联邦学习中一种低成本的从攻击中恢复的办法——FedRecover: Recovering from Poisoning Attacks 的背景与相关工作、问题定义、FEDRECOVER、评估 研读报告

目录II.背景与相关工作A.联邦学习(FL)背景B.联邦学习中的投毒攻击C.检测恶意客户端D.机器遗忘III.问题定义A.威胁模型B.设计目标C.服务器要求IV.FEDRECOVERA.概述B.估计客户端的模型更新运用
MikingG·2023-09-20 07:11

USI-0002 SDI-1624 HONEYWELL ，用于工业和物流4.0的人工智能

有了FLAIROP(机器人采摘的联邦学习)项目费斯托来自卡尔斯鲁厄理工学院(KIT)的研究人员与来自加拿大的合作伙伴一起，希望使用分布式人工智能方法让采摘机器人变得更智能。为此，他们正在
zhang13365909307·2023-09-20 01:03

FATE单机部署

简要说明FATE是微众银行发出的联邦学习（FL）开源框架，目前在GITUB上有源码，本文对用docker部署的单机部署的代码做效果展示【源码地址：FATE/standalone-deploy】环境配置dockerrecommendedversionis18.09docker-composerecommendedversionis1.24.0
沿哲·2023-09-19 07:54

2019年3月22日

虽然今天下午终于正常发了工资，但是周五终究是没心情认真工作的（x）所以也就各种摸摸鱼，顺便继续跑了下联邦学习的范例程序。
真昼之月·2023-09-19 06:59

【知识蒸馏】Deep Mutual Learning

【GiantPandaCV导语】DeepMutualLearning是KnowledgeDistillation的外延，经过测试（代码来自Knowledge-Distillation-Zoo),DeepMutualLearning性能确实超出了原始KD很多，所以本文分析这篇CVPR2018年被接受的论文。同时PPOCRv2中也提到了DML，并提出了CML，取得效果显著。引言首先感谢：https:/
pprpp·2023-09-19 06:56

【Mo 人工智能技术博客】联邦学习鲁棒性及相关论文分享

【技术博客】联邦学习鲁棒性及相关论文分享叶寅1背景知识联邦学习系统比较容易受到各种错误的影响。
Momodel平台·2023-09-18 22:57

《META KNOWLEDGE CONDENSATION FOR FEDERATED LEARNING》

全文简介作者说，现在的联邦学习都是交换模型参数，但是，这会在服务器和多个客户机之间产生严重的通信负担。
volcanical·2023-09-18 17:30

【技术博客】通过量化知识来解释知识蒸馏

【技术博客】****通过量化知识来解释知识蒸馏知识蒸馏介绍知识蒸馏（KnowledgeDistillation）最早是在2006年由Bulica提出的，在2014年Hinton对知识蒸馏做了归纳和发展。
MomodelAI·2023-09-16 15:41

知识蒸馏学习

知识蒸馏----教师和学生模型：将已训练完善的模型作为教师模型，通过控制“温度”从模型的输出结果中“蒸馏”出“知识”用于学生模型的训练，并希望轻量级的学生模型能够学到教师模型的“知识”，达到和教师模型相同的表现
魔法橘子·2023-09-11 12:14

联邦学习：对“数据隐私保护”和“数据孤岛”困境的破局

作者：vivo互联网安全团队-TuDaxi随着计算力、算法和数据量的巨大发展，人工智能迎来第3次发展高潮，开始了各行业的落地探索。然而，在“大数据”兴起的同时，更多行业应用领域中是“小数据”或者质量很差的数据。“数据孤岛”现象广泛存在，例如在信息安全领域的应用中，虽然多家企业推出了基于人工智能技术的内容安全审核、入侵检测等安全服务，但出于用户隐私和商业机密的考虑，企业之间很难进行原始数据的交换，各
·2023-09-11 11:54

Ensemble distillation for robust model fusion in federated learning论文笔记

  本文将集成蒸馏运用在联邦学习的模型融合中，并且可以通过未标记的数据或者生成器生成的数据（例如gan）来进行进行模型融合。这让不同客户端的模型异构的前提下，降低了数据隐私泄露的程度。
Zoran_卓·2023-09-11 06:04

"联邦学习"和它的朋友们

最近，我们所从事的行业领域“联邦学习”异常火热，“上云用数赋智”、“数据成为生产要素之一”、“新基建之一的大数据”……我有时候给同行和非同行讲述各行各业都需要用到我们这个技术，来保证企业生产提效过程中使用数据的安全
hellompc1·2023-09-10 08:06

深度学习概念（术语）：Fine-tuning、Knowledge Distillation, etc

文章目录1.Fine-tuning(微调)2.TransferLearning(迁移学习)3.KnowledgeDistillation(知识蒸馏)4.MetaLearning(元学习)这里的相关概念都是基于已有预训练模型
猛码Memmat·2023-09-10 01:23

IJCAI 2023 直播预告| 8月31日

哔哩哔哩直播通道扫码关注AITIME哔哩哔哩官方账号预约直播15:00—15:20廖馨婷基于双曲空间探索的非独立同分布联邦学习15:20—15:40吴南楠面向不平衡医学数据的联邦带噪学习15:40—16
AITIME论道·2023-09-09 13:29

AI+计算病理学：从前沿技术到临床应用|明晚19:30 【PhD Debate-18】

日19:30—21:3019:40-19:50侯文太图卷积网络驱动的组织病理图像智能分析方法19:50-20:00林天成基于因果干预的全景病理图多实例学习方法20:00-20:10曲麟昊基于双向弱监督知识蒸馏的全切片病理图像分类方法
AITIME论道·2023-09-09 13:58

AI+计算病理学：从前沿技术到临床应用|8月24日预告 【PhD Debate-18】

日19:30—21:3019:40-19:50侯文太图卷积网络驱动的组织病理图像智能分析方法19:50-20:00林天成基于因果干预的全景病理图多实例学习方法20:00-20:10曲麟昊基于双向弱监督知识蒸馏的全切片病理图像分类方法
AITIME论道·2023-09-09 13:28

论文周报 | 推荐系统领域最新研究进展

嘿，记得给“机器学习与推荐算法”添加星标本周精选了10篇最新推荐系统相关的论文，方向主要包括基于表示学习、联邦学习以及自动机器学习等的推荐算法，应用涵盖会话推荐、序列推荐以及组推荐等。
机器学习与推荐算法·2023-09-09 12:42

读书笔记：多Transformer的双向编码器表示法(Bert)-1

架构的入门学习：介绍Transformer架构，理解编码器和解码器的工作原理；掌握Bert模型架构的各个部分，了解如何进行模型的预训练、模型微调（将预训练的结果用于下游任务）；学习Bert的不同变体、基于知识蒸馏的变
baby_hua·2023-09-09 05:52

3种轻量化框架总结

知识蒸馏也是不错的办法，用大模型作为老师，通过知识蒸馏让大模型教导出小模型来实现参数量和计算量的减少
博观而约取,厚积而薄发·2023-09-08 07:05

联邦学习：对“数据隐私保护”和“数据孤岛”困境的破局

作者：vivo互联网安全团队-TuDaxi随着计算力、算法和数据量的巨大发展，人工智能迎来第3次发展高潮，开始了各行业的落地探索。然而，在“大数据”兴起的同时，更多行业应用领域中是“小数据”或者质量很差的数据。“数据孤岛”现象广泛存在，例如在信息安全领域的应用中，虽然多家企业推出了基于人工智能技术的内容安全审核、入侵检测等安全服务，但出于用户隐私和商业机密的考虑，企业之间很难进行原始数据的交换，各
vivo互联网技术·2023-09-07 18:26

视觉大模型高效应用方法盘点（内附论文代码）

例如，可以使用剪枝算法去除冗余参数、使用量化技术将模型参数量化为低精度数值、或者使用知识蒸馏技术将大模型的知识转移至小模型中。
PaperWeekly·2023-09-05 23:40

深入理解联邦学习——联邦学习与现有理论的区别与联系

分类目录：《深入理解联邦学习》总目录作为一种全新的技术，联邦学习在借鉴一些成熟技术的同时也具备了一定的独创性。下面我们就从多个角度来阐释联邦学习和其他相关概念之间的关系。
von Neumann·2023-09-05 07:26

深入理解联邦学习——联邦学习的分类：基础知识

分类目录：《深入理解联邦学习》总目录在实际中，孤岛数据具有不同分布特点，根据这些特点，我们可以提出相对应的联邦学习方案。下面，我们将以孤岛数据的分布特点为依据对联邦学习进行分类。
von Neumann·2023-09-05 04:17

知识蒸馏实战：使用CoatNet蒸馏ResNet

学生网络步骤导入需要的库定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和Loss蒸馏学生网络步骤导入需要的库定义蒸馏函数定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和Loss结果比对总结摘要知识蒸馏
静静AI学堂·2023-09-04 13:23

Privacy-Preserving federated learning An application for big data load forecast in buildings

S0167404823001219loadforecastinbuildings-ScienceDirect摘要：说明背景：大数据分析和预测的重要地位存在问题：负荷预测模型需要消耗大量的关键词：足够种类的数据才能达到高精度，同时这些数据是敏感的;带宽消耗提出使用联邦学习
白兔1205·2023-09-04 08:15

知识蒸馏综述：代码整理

全称：DistillingtheKnowledgeinaNeuralNetwork链接：https://arxiv.org/pdf/1503.02531.pdf发表：NIPS14最经典的，也是明确提出知识蒸馏概念的工作
pprpp·2023-09-03 18:52

最详细完整版综述论文翻译“Advances and Open Problems in Federated Learning”

AdvancesandOpenProblemsinFederatedLearning”翻译分享AdvancesandOpenProblemsinFederatedLearning这篇论文全面调研和概述了联邦学习中的最新进展和开放问题
YWENROU-·2023-09-02 10:58

Paper推荐｜「隐私集合求交PSI系列」奖励升级，有机会提名隐语社区之星

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-09-01 11:39

隐语纵向联邦 SecureBoost Benchmark白皮书

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-08-31 17:33

移动边缘网络中联邦学习效率优化综述

摘要：联邦学习将模型训练任务部署在移动边缘设备，参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据，提高了数据隐私性．解决效率问题是关键设备与服务器之间的通信消耗——通信——通信具体来说
Zh1N1an·2023-08-31 05:04

001 A Comprehensive Survey of Privacy-preserving Federated Learning（便于寻找：FedAvg、垂直联邦学习的基本步骤）

这是我看的第一篇关于联邦学习的论文，综述文章，让我对联邦学习有了初步的了解。
联邦调查局石大分局·2023-08-31 05:30

联邦学习FedAvg-基于去中心化数据的深度网络高效通信学习

为解决上述问题，谷歌提出了联邦学习（FL，federatedlearni
山科智能信息处理实验室·2023-08-31 05:56

联邦学习fate框架入门

1.拉取镜像dockerpullfederatedai/standalone_fate:1.7.02.启动容器dockerrun-d-it--namefate-p8080:8080federatedai/standalone_fate:1.7.0/bin/bash3.进入容器dockerexec-itfate/bin/bash4.训练模型4.1准备一份csv文件也可以用容器内的样例数据，目录在/d
Young_____Hu·2023-08-30 01:49

开源 SD-Small 和 SD-Tiny 知识蒸馏代码与权重

最近，人工智能社区在开发更大、更高性能的语言模型方面取得了显著的进展，例如Falcon40B、LLaMa-270B、Falcon40B、MPT30B;以及在图像领域的模型，如SD2.1和SDXL。这些进步无疑推动了人工智能的发展，使其具有高度多功能和最先进的图像生成和语言理解能力。然而，在我们惊叹于这些模型的强大和复杂性之余，必须认识到一个日益增长的需求:使人工智能模型体量更小、运行更高效、更易于
·2023-08-29 21:24

隐语小课｜两方安全计算ABY2.0 高效的2PC协议

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-08-29 10:30
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他