联邦学习+知识蒸馏

2024年1月9日学习总结

目录学习目标学习内容联邦学习基础：why,what,howwhy？what？how？
郭小儒·2024-01-10 17:25

YOLO蒸馏原理篇之---MGD、CWD蒸馏

MGD蒸馏论文地址：https://arxiv.org/abs/2205.01529论文翻译：https://mp.weixin.qq.com/s/FSvo3ns2maTpiTTWsE91kQ1.1摘要知识蒸馏已成功应用于各种任务
qq_41920323·2024-01-08 22:35

深度学习模型压缩方法：知识蒸馏方法总结

本文将介绍深度学习模型压缩方法中的知识蒸馏，内容从知识蒸馏简介、知识的种类、蒸馏机制、师生网络结构、蒸馏算法以及蒸馏方法等六部部分展开。
qq_41920323·2024-01-08 22:35

我的隐私计算学习——联邦学习（1）

六、联邦学习笔记分享|组队学习密码学——密码学在联邦学习中的应用根据前文已经知道，隐私计算与联邦学习的结合是当前的一个热点，联邦学习原本是机器学习领域里的一个概念，但常常把它当作单独一个板块。
Ataraxia8088·2024-01-08 15:32

我的隐私计算学习——联邦学习（2）

笔记内容来自多本书籍、学术资料、白皮书及ChatGPT等工具，经由自己阅读后整理而成（三）联邦学习的算子------------------------算子是什么？
Ataraxia8088·2024-01-08 15:59

使用知识蒸馏提升模型推理性能

目录知识蒸馏介绍LogitsTemperature理论介绍实验代码实验结果知识蒸馏介绍首先，我们先简单地了解下知识蒸馏概念[2]。
之乎者也··2024-01-07 23:25

深度学习中的知识蒸馏

一.概念知识蒸馏（KnowledgeDistillation）是一种深度学习中的模型压缩技术，旨在通过从一个教师模型（teachermodel）向一个学生模型（studentmodel）传递知识来减小模型的规模
Algorithm_Engineer_·2024-01-06 23:02

【多模态】ALBEF

VisionandLanguageRepresentationLearningwithMomentumDistillation作者：JunnanLi（SalesforceResearch）期刊：NeurIPS2021发布时间与更新时间：2021.07.162021.10.07主题：多模态、预训练、图像、文本、对比学习、知识蒸馏
不牌不改·2024-01-06 23:28

【AI】一文读懂大模型套壳——神仙打架？软饭硬吃？

2.2内核的发展历程和万流归宗2.3套壳不是借壳三、软饭硬吃，套壳真的不行吗四、神仙打架，百姓吃瓜4.1自研的佼佼者4.2模仿也不丢人4.3读书人偷书不算偷模仿学习（ImitationLearning）知识蒸馏
giszz·2024-01-06 04:47

联邦学习将如何影响您的日常生活？

人工智能(AI)被认为是下一次工业革命的最大创新之一，其中包括机器学习。另一方面，随着原油和电力成为现代工业的基础资源，数据成为人工智能和机器学习的关键要素。数据隐私与需求之间的冲突训练的数据样本的大小决定了可用于增强AI性能的机器学习(ML)结果的可靠性和准确性。然而，从互联网上获取有用的数据并不总是一件容易的事。Web爬取通常用于为饥饿的ML算法提供最新的数据。然而，网络爬行有时会变成一个道德
CyberVein·2024-01-05 08:25

【数据集】-独立同分布

然而，在联邦学习中，每个客户端（client）都拥有自己的本地数据集。这些本地数据集通常是由客户端的用户生成的，因此每个客户端可能具有不同的数据分布。这些数据分布的差异可以是由于
ihan1001·2024-01-05 02:47

SplitFed: When Federated Learning Meets Split Learning

（1）联邦学习和拆分学习都具有隐私保护，二者都存在各自缺点，进行结合（2）同时添加差分隐私PixeIDP架构联邦学习对数据进行训练，但从模型隐私角度看，服务器和客户端对本地和全局模型拥有完全访问权——&
白兔1205·2024-01-04 21:51

大数据背景下基于联邦学习的小微企业信用风险评估研究

本项目将开展以下具体课题研究：基于联邦学习的中小企业信用评估模型研究，包括联邦学习参与方价值贡献度评价方法研究
白兔1205·2024-01-04 21:49

知识蒸馏 Knowledge Distillation（在tinybert的应用）

蒸馏（KnowledgeDistillation）是一种模型压缩技术，通常用于将大型模型的知识转移给小型模型，以便在保持性能的同时减小模型的体积和计算开销。这个过程涉及到使用一个大型、复杂的模型（通常称为教师模型）生成的软标签（概率分布），来训练一个小型模型（通常称为学生模型）。具体而言，对于分类问题，教师模型生成的概率分布可以看作是对每个类别的软标签，而学生模型通过学习这些软标签来进行训练。这种
不当菜鸡的程序媛·2024-01-02 01:04

yolov8知识蒸馏代码详解：支持logit和feature-based蒸馏

文章目录1.知识蒸馏理论2.yolov8蒸馏代码应用2.1环境配置2.2训练模型(1)训练教师模型(2)训练学生模型baseline(3)蒸馏训练3.知识蒸馏代码详解3.1蒸馏参数设置3.2蒸馏损失代码讲解
@BangBang·2024-01-01 23:13

地球物理中的深度学习理论（DNN的架构、反向传播、梯度消失、梯度爆炸）

在未来地球物理学中涉及到DL的研究提供了几个有希望的方向，例如无监督学习（聚类）、迁移学习（利用之前标记好的数据）、多模态DL（通过DL实现和处理多元模态）、联邦学习、不确定性估计和主动学习。
hhhhhhhhhhyyyyyy·2024-01-01 12:56

AI的智慧精华：解锁知识蒸馏的秘密

而知识蒸馏就是把一个大的模型，称之为教师模型
散一世繁华，颠半世琉璃·2023-12-31 15:20

Knowledge Distillation from A Stronger Teacher（NeurIPS 2022）论文解读

paper：KnowledgeDistillationfromAStrongerTeacherofficialimplementation：https://github.com/hunto/dist_kd前言知识蒸馏通过将教师的知识传递给学生来增强学生模型的性能
00000cj·2023-12-29 19:05

yolov5知识蒸馏

参考代码：https://github.com/Adlik/yolov5https://cloud.tencent.com/developer/article/2160509yolov5间的模型蒸馏，相同结构的。配置参数parser.add_argument('--t_weights',type=str,default='./weights/yolov5s.pt',help='initialtea
cv-daily·2023-12-27 19:24

分布式机器学习（上）-并行计算与机器学习

本视频来源于ShusenWang讲解的《分布式机器学习》，总共有三讲，内容和连接如下：并行计算与机器学习（上）并行计算与机器学习（下）联邦学习：技术角度的讲解这一节讲解《并行计算与机器学习（上）》，这节课的主要内容
差分隐私·2023-12-27 05:33

2023年3月份隐私计算市场洞察

3月份隐私计算、联邦学习的市场概览摘要：在隐私计算市场中，三股信息流如清风拂面，流转不息。
小夏 科技·2023-12-24 06:34

华为数据分类管理框架和经验

我们云原生实验室在这段时间一直从事联邦学习的项目研发，联邦学习解决的是机器学习中企业数据联合使用的问题，因此我们也很关注各类数据管理框架和技术。
公众号:肉眼品世界·2023-12-24 02:15

Federated Learning with Personalization Layers

这种统计异质性可能会损害机器学习训练算法在个性化、推荐、欺诈检测等应用中的性能，因为传统的机器学习训练算法是为可以严格控制数据分区的中央或分布式计算环境设计的研究个性化设置作为深度前馈神经网络联邦学习中统计异质性
白兔1205·2023-12-23 21:13

Federated Continual Learning with Weighted Inter-client Transfer

掩码：掩码（Mask）的作用是用于在联邦学习中实现客户端之间的知识转移。具体来说，掩码用于加权客户端之间的知识转移，以平衡不同客户端之间的模型更新。
白兔1205·2023-12-23 21:40

Featured Based知识蒸馏(3): Focal and Global Knowledge (FGD)

文章目录1.摘要2.FocalandGlobal蒸馏的原理2.1常规的featurebased蒸馏算法2.2FocalDistillation2.3GlobalDistillation2.4totalloss3.实验论文：https://arxiv.org/pdf/2111.11837.pdf
@BangBang·2023-12-23 19:55

联邦学习框架FATE学习笔记

联邦学习分为横向学习和纵向学习两类1横向联邦学习解决数据不够多的问题。双方各自有样本（特征值和标签），拥有共同的数据特征和数据标签，FedAverage算法，支持深度学习。
HJ很忙·2023-12-23 10:21

我们谈一下标签正则化（标签平滑、知识蒸馏、知识精炼）

0.引言关于正则化，大家都非常熟悉。深度神经网络由于其强大的特征提取能力，近年来在各种任务中得到了广泛而成功的应用。然而，DNN通常包含数以百万计的可训练参数，这很容易导致过拟合问题。为了解决这个问题，已经开发了许多正则化方法，包括参数正则化（例如dropout）、数据正则化（例如数据增强）和标签正则化（例如标签平滑），以避免过度拟合问题。1.为什么需要标签正则化技术简单说一下传统的one-hot
fond_dependent·2023-12-23 02:50

联邦学习-安全树模型SecureBoost之Decision Tree

联邦学习-安全树模型SecureBoost之DesicionTree文章目录联邦学习-安全树模型SecureBoost之DesicionTree1联邦学习背景2DecisionTree2.1决策树的定义
秃顶的码农·2023-12-22 22:49

2023 英特尔On技术创新大会直播 |探索视觉AI的无限可能

释放视觉AI真正潜力二·AI技术突破、视觉Al挑战及前沿研究创新三·全尺度视觉学习全尺度视觉学习示例1.GridConv实现三维人体姿态估计更高准确率2.KW预训练及迁移模型性能3.无数据增强稠密对比知识蒸馏
以山河作礼。·2023-12-22 12:37

联邦学习（pytorch）的损失值为负值解决办法

在用pytorch运行联邦学习程序时，损失值出现负值，如下：出现这种情况，我们可以用以下解决方法：方法一:在定义的模型里把self.softmax=nn.Softmax(dim=1)改成self.softmax
沉睡中的主角·2023-12-22 08:15

数据脱敏和数据加密，它们有什么不同？

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-22 03:45

数据隐私治理所面临的四大挑战

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-22 03:45

全球隐私计算技术发展概览

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。目前，数字经济正面临着一个巨大的问题。
PrimiHub·2023-12-22 03:13

知识蒸馏与应用

何为蒸馏想解决的问题现在谁家不整个大模型，条件好了吃喝都不差钱了，大模型一般都效果好但是应用可能麻烦点，费资源，可能下游任务设备一般般，那咋整？那你就用小一点的模型呗，比如resnet152用不了那咱们就用resnet18也行但是现在咱们两边都想要，既要用小的18层的也要让它效果尽可能进阶152的模型参数越大越好？模型参数量越大，效果一定越好吗？不一定，越来越平稳的曲线，有上限；而且参数越大越难收
十有久诚·2023-12-21 16:45

隐私计算综述

熟悉我的朋友大抵都知道我最初是做纯工程的，做搜广推的架构工程，后续转到了算法领域（机器学习框架与算法都涉及），后来由于项目需要，临危受命负责了京东的联邦学习，又开始搞隐私计算，这一路走来
秃顶的码农·2023-12-20 18:38

隐私计算介绍

作为入门了解即可目录隐私计算概述隐私计算概念隐私计算背景国外各个国家和地区纷纷出台了围绕数据使用和保护的公共政策国内近年来也出台了数据安全、隐私和使用相关的政策法规隐私计算技术发展隐私计算技术安全多方计算不经意传输混淆电路秘密分享同态加密可信执行环境功能介绍联邦学习功能介绍算法对比最后隐私计算概述隐私计算概念隐私计算
鲲志说·2023-12-20 18:05

（2021|ICCV，DINO，ViT，自监督学习，知识蒸馏）自监督视觉 Transformer 的新特性

EmergingPropertiesinSelf-SupervisedVisionTransformers公纵号：EDPJ（添加VX：CV_EDPJ或直接进Q交流群：922230617获取资料）目录0.摘要1.简介2.相关工作3.方法3.1.自监督学习与知识蒸馏
EDPJ·2023-12-19 19:51

使用PyTorch进行知识蒸馏的代码示例

使用PyTorch进行知识蒸馏的代码示例deephub随着机器学习模型的复杂性和能力不断增加。
baidu_huihui·2023-12-19 08:35

联邦学习在视觉领域的应用，揭秘AI人工智能创新应用奖获奖案例

联邦学习是如何应用在视觉领域的？本文会通过一个获得了2020年AAAI人工智能创新应用奖（也是第一个基于联邦学习的人工智能工业级奖项）的案例来向大家介绍！
博文视点·2023-12-17 19:22

联邦学习在视觉领域的应用，揭秘2020年AAAI人工智能创新应用奖获奖案例！

联邦学习是如何应用在视觉领域的？本文会通过一个获得了2020年AAAI人工智能创新应用奖（也是第一个基于联邦学习的人工智能工业级奖项）的案例来向大家介绍！
文文学霸·2023-12-17 19:52

CNN的五脏六腑

CNN的五脏六腑思路大纲1）手动设计网络结构->NAS搜索；2）固定感受野->引入空间注意力做感受野自动调节；3）效果提升不上去->换个思路做实时分割来对比结果；4）自监督太热门->引入弱监督（GAN,知识蒸馏
FMsunyh·2023-12-16 10:05

[DistilBERT]论文实现：DistilBERT：a distilled version of BERT: smaller, faster, cheaper and lighter

文章目录一、完整代码二、论文解读2.1介绍2.2知识蒸馏2.3三重损失2.4DistilBERT三、整体总结论文：DistilBERT,adistilledversionofBERT:smaller,faster
Bigcrab__·2023-12-15 20:04

联邦边缘学习中的知识蒸馏综述

联邦边缘学习中的知识蒸馏综述移动互联网的快速发展伴随着智能终端海量用户数据的产生。如何在保护数据隐私的前提下,利用它们训练出性能优异的机器学习模型,一直是业界关注的难点。
MCRG·2023-12-15 11:09

联邦学习新探：端边云协同引领大模型训练的未来 | INFOCOM 2024

联邦学习新探：端边云协同引领大模型训练的未来|INFOCOM2024在人工智能领域，无论是从理论还是实践的角度，如何在保护用户隐私和数据安全的前提下，提高模型训练的效率和质量，都是一个重要的研究焦点。
MCRG·2023-12-15 11:38

联邦蒸馏中的分布式知识一致性 | TIST 2024

联邦蒸馏中的分布式知识一致性|TIST2024联邦学习是一种隐私保护的分布式机器学习范式，服务器可以在不汇集客户端私有数据的前提下联合训练机器学习模型。通信约束和系统异构是联邦学习面临的两大严峻挑战。
MCRG·2023-12-15 11:38

2023年AI领域行业洞察，看这30个统计数据就够了！

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-15 05:51

什么是全同态加密（FHE）中的自举（Bootstrapping）？

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-15 05:51

全同态加密正在改变行业游戏规则？

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。隐私专业人士正在见证隐私技术的一场革命。
PrimiHub·2023-12-15 05:51

元宇宙——虚拟世界中的隐私问题

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2023-12-15 05:20

PrimiHub 联邦学习大模型开源，打破数据限制，保护数据隐私安全

联邦学习是一种分布式的机器学习范式，能够在保护各自数据隐私的同时，有效地利用用户设备上的海
PrimiHub·2023-12-15 05:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他