联邦学习+知识蒸馏

分布式机器学习（上）-并行计算与机器学习

本视频来源于ShusenWang讲解的《分布式机器学习》，总共有三讲，内容和连接如下：并行计算与机器学习（上）并行计算与机器学习（下）联邦学习：技术角度的讲解这一节讲解《并行计算与机器学习（上）》，这节课的主要内容
差分隐私·2023-12-27 05:33

2023年3月份隐私计算市场洞察

3月份隐私计算、联邦学习的市场概览摘要：在隐私计算市场中，三股信息流如清风拂面，流转不息。
小夏 科技·2023-12-24 06:34

华为数据分类管理框架和经验

我们云原生实验室在这段时间一直从事联邦学习的项目研发，联邦学习解决的是机器学习中企业数据联合使用的问题，因此我们也很关注各类数据管理框架和技术。
公众号:肉眼品世界·2023-12-24 02:15

Federated Learning with Personalization Layers

这种统计异质性可能会损害机器学习训练算法在个性化、推荐、欺诈检测等应用中的性能，因为传统的机器学习训练算法是为可以严格控制数据分区的中央或分布式计算环境设计的研究个性化设置作为深度前馈神经网络联邦学习中统计异质性
白兔1205·2023-12-23 21:13

Federated Continual Learning with Weighted Inter-client Transfer

掩码：掩码（Mask）的作用是用于在联邦学习中实现客户端之间的知识转移。具体来说，掩码用于加权客户端之间的知识转移，以平衡不同客户端之间的模型更新。
白兔1205·2023-12-23 21:40

Featured Based知识蒸馏(3): Focal and Global Knowledge (FGD)

文章目录1.摘要2.FocalandGlobal蒸馏的原理2.1常规的featurebased蒸馏算法2.2FocalDistillation2.3GlobalDistillation2.4totalloss3.实验论文：https://arxiv.org/pdf/2111.11837.pdf
@BangBang·2023-12-23 19:55

联邦学习框架FATE学习笔记

联邦学习分为横向学习和纵向学习两类1横向联邦学习解决数据不够多的问题。双方各自有样本（特征值和标签），拥有共同的数据特征和数据标签，FedAverage算法，支持深度学习。
HJ很忙·2023-12-23 10:21

我们谈一下标签正则化（标签平滑、知识蒸馏、知识精炼）

0.引言关于正则化，大家都非常熟悉。深度神经网络由于其强大的特征提取能力，近年来在各种任务中得到了广泛而成功的应用。然而，DNN通常包含数以百万计的可训练参数，这很容易导致过拟合问题。为了解决这个问题，已经开发了许多正则化方法，包括参数正则化（例如dropout）、数据正则化（例如数据增强）和标签正则化（例如标签平滑），以避免过度拟合问题。1.为什么需要标签正则化技术简单说一下传统的one-hot
fond_dependent·2023-12-23 02:50

联邦学习-安全树模型SecureBoost之Decision Tree

联邦学习-安全树模型SecureBoost之DesicionTree文章目录联邦学习-安全树模型SecureBoost之DesicionTree1联邦学习背景2DecisionTree2.1决策树的定义
秃顶的码农·2023-12-22 22:49

2023 英特尔On技术创新大会直播 |探索视觉AI的无限可能

释放视觉AI真正潜力二·AI技术突破、视觉Al挑战及前沿研究创新三·全尺度视觉学习全尺度视觉学习示例1.GridConv实现三维人体姿态估计更高准确率2.KW预训练及迁移模型性能3.无数据增强稠密对比知识蒸馏
以山河作礼。·2023-12-22 12:37

联邦学习（pytorch）的损失值为负值解决办法

在用pytorch运行联邦学习程序时，损失值出现负值，如下：出现这种情况，我们可以用以下解决方法：方法一:在定义的模型里把self.softmax=nn.Softmax(dim=1)改成self.softmax
沉睡中的主角·2023-12-22 08:15

数据脱敏和数据加密，它们有什么不同？

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-22 03:45

数据隐私治理所面临的四大挑战

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-22 03:45

全球隐私计算技术发展概览

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。目前，数字经济正面临着一个巨大的问题。
PrimiHub·2023-12-22 03:13

知识蒸馏与应用

何为蒸馏想解决的问题现在谁家不整个大模型，条件好了吃喝都不差钱了，大模型一般都效果好但是应用可能麻烦点，费资源，可能下游任务设备一般般，那咋整？那你就用小一点的模型呗，比如resnet152用不了那咱们就用resnet18也行但是现在咱们两边都想要，既要用小的18层的也要让它效果尽可能进阶152的模型参数越大越好？模型参数量越大，效果一定越好吗？不一定，越来越平稳的曲线，有上限；而且参数越大越难收
十有久诚·2023-12-21 16:45

隐私计算综述

熟悉我的朋友大抵都知道我最初是做纯工程的，做搜广推的架构工程，后续转到了算法领域（机器学习框架与算法都涉及），后来由于项目需要，临危受命负责了京东的联邦学习，又开始搞隐私计算，这一路走来
秃顶的码农·2023-12-20 18:38

隐私计算介绍

作为入门了解即可目录隐私计算概述隐私计算概念隐私计算背景国外各个国家和地区纷纷出台了围绕数据使用和保护的公共政策国内近年来也出台了数据安全、隐私和使用相关的政策法规隐私计算技术发展隐私计算技术安全多方计算不经意传输混淆电路秘密分享同态加密可信执行环境功能介绍联邦学习功能介绍算法对比最后隐私计算概述隐私计算概念隐私计算
鲲志说·2023-12-20 18:05

（2021|ICCV，DINO，ViT，自监督学习，知识蒸馏）自监督视觉 Transformer 的新特性

EmergingPropertiesinSelf-SupervisedVisionTransformers公纵号：EDPJ（添加VX：CV_EDPJ或直接进Q交流群：922230617获取资料）目录0.摘要1.简介2.相关工作3.方法3.1.自监督学习与知识蒸馏
EDPJ·2023-12-19 19:51

使用PyTorch进行知识蒸馏的代码示例

使用PyTorch进行知识蒸馏的代码示例deephub随着机器学习模型的复杂性和能力不断增加。
baidu_huihui·2023-12-19 08:35

联邦学习在视觉领域的应用，揭秘AI人工智能创新应用奖获奖案例

联邦学习是如何应用在视觉领域的？本文会通过一个获得了2020年AAAI人工智能创新应用奖（也是第一个基于联邦学习的人工智能工业级奖项）的案例来向大家介绍！
博文视点·2023-12-17 19:22

联邦学习在视觉领域的应用，揭秘2020年AAAI人工智能创新应用奖获奖案例！

联邦学习是如何应用在视觉领域的？本文会通过一个获得了2020年AAAI人工智能创新应用奖（也是第一个基于联邦学习的人工智能工业级奖项）的案例来向大家介绍！
文文学霸·2023-12-17 19:52

CNN的五脏六腑

CNN的五脏六腑思路大纲1）手动设计网络结构->NAS搜索；2）固定感受野->引入空间注意力做感受野自动调节；3）效果提升不上去->换个思路做实时分割来对比结果；4）自监督太热门->引入弱监督（GAN,知识蒸馏
FMsunyh·2023-12-16 10:05

[DistilBERT]论文实现：DistilBERT：a distilled version of BERT: smaller, faster, cheaper and lighter

文章目录一、完整代码二、论文解读2.1介绍2.2知识蒸馏2.3三重损失2.4DistilBERT三、整体总结论文：DistilBERT,adistilledversionofBERT:smaller,faster
Bigcrab__·2023-12-15 20:04

联邦边缘学习中的知识蒸馏综述

联邦边缘学习中的知识蒸馏综述移动互联网的快速发展伴随着智能终端海量用户数据的产生。如何在保护数据隐私的前提下,利用它们训练出性能优异的机器学习模型,一直是业界关注的难点。
MCRG·2023-12-15 11:09

联邦学习新探：端边云协同引领大模型训练的未来 | INFOCOM 2024

联邦学习新探：端边云协同引领大模型训练的未来|INFOCOM2024在人工智能领域，无论是从理论还是实践的角度，如何在保护用户隐私和数据安全的前提下，提高模型训练的效率和质量，都是一个重要的研究焦点。
MCRG·2023-12-15 11:38

联邦蒸馏中的分布式知识一致性 | TIST 2024

联邦蒸馏中的分布式知识一致性|TIST2024联邦学习是一种隐私保护的分布式机器学习范式，服务器可以在不汇集客户端私有数据的前提下联合训练机器学习模型。通信约束和系统异构是联邦学习面临的两大严峻挑战。
MCRG·2023-12-15 11:38

2023年AI领域行业洞察，看这30个统计数据就够了！

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-15 05:51

什么是全同态加密（FHE）中的自举（Bootstrapping）？

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-15 05:51

全同态加密正在改变行业游戏规则？

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。隐私专业人士正在见证隐私技术的一场革命。
PrimiHub·2023-12-15 05:51

元宇宙——虚拟世界中的隐私问题

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-15 05:20

PrimiHub 联邦学习大模型开源，打破数据限制，保护数据隐私安全

联邦学习是一种分布式的机器学习范式，能够在保护各自数据隐私的同时，有效地利用用户设备上的海
PrimiHub·2023-12-15 05:20

量子计算对密码学的威胁及应对方式

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。当量子计算机问世时，许多加密方式将慢慢失去效果。
PrimiHub·2023-12-15 05:42

基于联邦学习的分布式农业组织

基于此，提出一种结合联邦学习与区块链技术的分布式农业人工智能框架，使得在数据不共享的情况下，能达到训练模型的目的，并可建立参与方的激励机制。
罗思付之技术屋·2023-12-14 22:15

知识蒸馏KL-loss解读

文章目录前言一、KLloss原理二、logit蒸馏网络图示三、KL代码四、运行结果显示前言本文简单介绍知识蒸馏教师模型与学生模型使用KLloss方法。
tangjunjun-owen·2023-12-06 18:44

知识蒸馏去雾：Distilling image dehazing with heterogeneous task imitation

知识蒸馏使得利用教师网络训练学生网络成为可能。然而，大多数的知识蒸馏方法都是应用于图像分类、语义分割或者目标检测的，很少有研究将知识蒸馏应用于不同图像恢复任务之间的知识转移。
lishuoshi1996·2023-12-05 19:07

知识蒸馏测试(使用ImageNet中的1000类dog数据，Resnet101和Resnet18分别做教师模型和学生模型)

当教师网络为resnet101,学生网络为resnet18时：使用蒸馏方法训练的resnet18训练准确率都小于单独训练resnet18，使用蒸馏方法反而导致了下降。当hard_loss的alpha为0.7时，下降了1.1当hard_loss的alpha为0.6时，下降了1.7说明当学生网络和教师网络训练准确率相差不多时，要给hard_loss权重大一点。VanillaKD:RevisittheP
computer_vision_chen·2023-12-03 09:11

《PFL》论文阅读笔记

一、概要随着联邦学习的发展，简单的聚合算法已经不在有效。但复杂的聚合算法使得联邦学习训练时间出现新的瓶颈。
superY25·2023-12-03 09:07

联邦学习--论文汇集（二）

这次总结两篇文章去中心化的联邦学习Hu,Y.,Xia,W.,Xiao,J.,andWu,C.,“GFL:ADecentralizedFederatedLearningFrameworkBasedOnBlockchain
35岁北京一套房·2023-12-02 01:29

基于 PSI 的纵向联邦学习数据隐私安全技术

摘 要：联邦学习系统较好地解决了“数据孤岛”问题，也在一定程度上保护了私密训练数据，然而目前联邦学习仍然存在一些隐私安全风险。
罗思付之技术屋·2023-12-01 10:59

联邦学习面临的瓶颈与挑战

摘要联邦学习（FederatedLearning，FL）是Google公司于2016年首次提出的概念，是一种在隐私约束下进行模型训练的机器学习训练范式。
罗思付之技术屋·2023-12-01 10:59

知识蒸馏（深度学习模型压缩）

模型压缩大体上可以分为5种：模型剪枝：即移除对结果作用较小的组件，如减少head的数量和去除作用较少的层，共享参数等，ALBERT属于这种；量化：比如将float32降到float8；知识蒸馏：将teacher
猿代码_xiao·2023-11-30 21:33

深度学习：什么是知识蒸馏

1概况1.1定义知识蒸馏（KnowledgeDistillation）是一种深度学习技术，旨在将一个复杂模型（通常称为“教师模型”）的知识转移到一个更简单、更小的模型（称为“学生模型”）中。
智慧医疗探索者·2023-11-30 21:29

用了这个方法，两周没变过的模型精度居然提升了（附资源）

作者|DerrickMwiti译者|刘畅编辑|Jane出品|AI科技大本营（ID：rgznai100）【导语】知识蒸馏是一种模型压缩技术，它利用训练好的大网络（教师网络）去教小网络（学生网络）。
AI科技大本营·2023-11-30 19:57

全网最细图解知识蒸馏(涉及知识点：知识蒸馏训练过程，推理过程，蒸馏温度，蒸馏损失函数)

二.为什么要用知识蒸馏把大模型学习到的东西迁移到小模型呢呢？因为大的模型很臃肿，而真正落地的终端算力有限，比如手表，安防终端。所以要把大模型变成小模型，把小模型部署到终端上。
computer_vision_chen·2023-11-30 19:53

分布式机器学习、联邦学习、多智能体的区别和联系——一文进行详细解释

1分布式机器学习、联邦学习、多智能体介绍最近这三个方面的论文都读过，这里写一篇博客归纳一下，以方便搞这几个领域的其他童鞋入门。我们先来介绍以下这三种机器学习范式的基本概念。
别出BUG求求了·2023-11-30 18:28

2022BCS——AI安全论坛

安全研究发现AI安全研究主要集中于：模型鲁棒性（对抗样本攻击）、机密性（成员推理攻击）、完整性（模型后门攻击）e.g.人脸识别身份认证协议的安全威胁：传输过程、感知器件、终端系统、宿主软件、业务代码、识别模型联邦学习
TARO_ZERO·2023-11-30 09:17

知识蒸馏—原理+代码实战(Distillation CNN 和 Progressive Distillation Diffusion)

ProgressiveDistillationDiffusion生成代码实战3.1ProgressiveDistillation原理3.2v-parameterization3.2渐进蒸馏cifar代码实战1.Distillation基本概念知识蒸馏被广泛的用于模型压缩和迁移学习
Yuezero_·2023-11-29 09:58

2022全球隐私计算专利排行榜发布，微众银行位居全球银行业第一

作为国内首家互联网银行，微众银行自成立以来，一直以科技为核心驱动力，在区块链、安全多方计算、联邦学习等方面积极开展
微众区块链·2023-11-29 01:02

什么是隐私计算？隐私计算技术路线

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
隐语SecretFlow·2023-11-27 10:27

阅读记录【arXiv2020】 Adaptive Personalized Federated Learning

AdaptivePersonalizedFederatedLearning论文地址：https://arxiv.org/abs/2003.13461摘要对联邦学习算法个性化程度的研究表明，只有最大化全局模型的性能才会限制局部模型的个性化能力
furoto_·2023-11-26 08:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他