'FEDERATED'

浅谈联邦学习Federated Learning

最近人工智能、大数据领域的公众号疯狂给我推送“联邦学习”相关的文章，使得本来并不好奇的我，有了一丝丝揭开它神秘面纱的冲动。公众号的每篇推文写得都很好，但同时也十分学术，作为刚上路的我，当然是基本没能看懂（写得真好，下次不许再写了）。于是在我的穷追猛击下，这篇文章诞生了，从新手小白的角度阐述一下我眼中的联邦学习。联邦学习的本质先说结论，联邦学习本质上就是一种机器学习/深度学习方法。为什么这么说呢？你
廿半·2023-04-18 19:59

联邦学习(联合学习) Federated Learning(FL)

联邦学习，是联邦机器学习的简称,也叫联合学习，联盟学习谷歌公司和微众银行分别提出了不同的“联邦学习”(FederatedLearning)算法框架FederatedLearning:CollaborativeMachineLearningwithoutCentralizedTrainingData联邦学习是一种机器学习设定，其中许多客户端在中央服务器的协调下共同训练模型，同时保持训练数据的去中心化
hxxjxw·2023-04-18 19:28

【联邦学习（Federated Learning）】- 横向联邦学习与联邦平均FedAvg

文章目录横向联邦学习的定义横向联邦学习架构客户-服务器架构对等网络架构联邦平均算法横向联邦学习的定义横向联邦学习也称为按样本划分的联邦学习，可以应用于联邦学习的各个参与方的数据集有相同的特征空间和不同的样本空间的场景，类似于在表格视图中对数据进行水平划分的情况。例如，两个地区的城市商业银行可能在各自的地区拥有非常不同的客户群体，所以他们的客户交集非常小，他们的数据集有不同的样本ID。然而，他们的业
1 + 1=王·2023-04-18 19:53

MySQL跨服务器数据映射

MySQL跨服务器数据映射环境准备1.首先是要查看数据库的federated引擎开启/关闭状态2.打开任务管理器，并重启mysql服务3.再次查看FEDERATED引擎状态，引擎已启动映射实现问题总结在日常的开发中经常进行跨数据库进行查询数据
只因妮泰妹·2023-04-18 14:38

存储过程：字符串拼接数字循环插入表

CREATEorreplacePROCEDUREXXXASinumber;BEGINforiin0..10loopINSERTINTOXXX(id,name,client_id,client_secret,federated_protocol
捉虫__羊羊·2023-04-16 17:51

《CRFL:Certifiably Robust Federated Learning against Backdoor Attacks》

CRFL:CertifiablyRobustFederatedLearningagainstBackdoorAttacksCRFL：针对后门攻击的可验证的鲁棒性联邦学习后门攻击：后门攻击是深度学习中的一种新兴安全威胁。当深度神经模型被注入后门时，它会在标准输入上正常运行，但一旦输入包含特定的后门触发器，就会给出对手指定的预测。当前的文本后门攻击在一些棘手的情况下攻击性能较差。相关术语：user：等
梦码城·2023-04-15 16:52

【k8s完整实战教程6】完整实践-部署一个federated_download项目

系列文章：这个系列已完结，如对您有帮助，求点赞收藏评论。读者寄语：再小的帆，也能远航！【k8s完整实战教程0】前言【k8s完整实战教程1】源码管理-Coding【k8s完整实战教程2】腾讯云搭建k8s托管集群【k8s完整实战教程3】k8s集群部署kubesphere【k8s完整实战教程4】使用kubesphere部署项目到k8s【k8s完整实战教程5】网络服务配置（nodeport/loadbal
ERROR_LESS·2023-04-14 21:52

python项目微服务化并部署在k8s上

demo#进入之前创建好的tf虚拟环境root@master:/home/hqc#sourceactivatetf#进入含源码所在地址(tf)root@master:/home/hqc#cd自然基金项目/Federated
ERROR_LESS·2023-04-14 21:50

Personalized Federated Learning with Moreau Envelopes论文阅读+代码解析

（好久没更新文章啦，现在开学继续肝）论文地址点这里一.介绍尽管FL具有数据隐私和减少通信的优势，但它面临着影响其性能和收敛速度的主要挑战：统计多样性，这意味着客户之间的数据分布是不同的（即非i.i.d.）。因此，使用这些非i.i.d.数据训练的全局模型很难在每个客户的数据上得到很好的推广。因此，个性化联邦学习在改变传统追求全局一个较好模型做到了平衡——全局与局部的调整，以适应本地数据集。二.相关工
编程龙·2023-04-09 22:01

【论文阅读】Vertically Federated Graph Neural Network for Privacy-Preserving Node Classification

【论文阅读】VerticallyFederatedGraphNeuralNetworkforPrivacy-PreservingNodeClassification文章目录【论文阅读】VerticallyFederatedGraphNeuralNetworkforPrivacy-PreservingNodeClassification1.来源2.摘要&介绍2.1摘要2.2介绍2.2.1提出问题2.
笃℃·2023-04-09 21:21

mysql高级之存储引擎

文章目录查看分类InnoDB存储引擎MyISAM存储引擎InnoDB与MyISAM对比Archive引擎Blackhole引擎CSV引擎Memory引擎Federated引擎大公司专栏目录请点击查看查看
youhebuke225·2023-04-06 04:09

MySQL架构_存储引擎简介

目录一、查看命令二、各种引擎介绍1.InnoDB存储引擎2.MyISAM存储引擎3.Archive引擎4.Blackhole引擎5.CSV引擎6.Memory引擎7.Federated引擎三、MyISAM
Knight_AL·2023-04-03 15:30

mysql本地连接远程库dblink

修改my.ini：[mysqld]federated#设置3306端口port=3306查看是否生效：第一种方案：CREATETABLE`t_table`(#此处省略内容)ENGINE=FEDERATEDAUTO_INCREMENT
zhangjunli·2023-04-02 20:54

4.MySQL 隔离级别与事务隔离级别

MySQL有InnoDb、MyISAM、NDB、Memory、Archive、Federated、Maria共计7种常见的存储引擎，但是只有InnoDb引擎支持数据库事务，下面介绍的数据库隔离级别讲的就是
爱欧米·2023-04-01 14:52

Federated learning for drone authentication

摘要：在物联网时代，无人机的应用日益广泛，带来了许多机遇和挑战。由于无人机的能力(静音飞行，捕捉照片和视频等)，人们普遍关注无人机认证以及无人机允许哪些飞行。在这方面，物联网网络中有几种用于身份验证的机器学习(ML)建议。这种基于ml的模型应用于无人机认证时，在数据安全性、隐私保护和可扩展性等方面存在不足。基于ml的方法收集所有数据并集中训练身份验证模型，将模型暴露在对抗情况下。针对物联网中无人机
白兔1205·2023-03-31 09:39

2、mysql存储引擎

MyISAM存储引擎5、MERGE存储引擎6、MEMORY存储引擎7、ARCHIVE存储引擎8、CSV存储引擎9、BLACKHOLE存储引擎（黑洞引擎）10、PERFORMANCE_SCHEMA存储引擎11、Federated
starmoonXL·2023-03-29 14:33

MySQL跨服务器数据映射的实现

在数据超出服务器承载的时候，往往需要把数据分服务器存放，这时候就涉及到了跨服务器进行操作的业务跨服务器进行查询mysql提供了FEDERATED引擎进行映射表，然后进行查询。
·2023-03-29 00:51

mysql dblink跨库关联查询的实现

当我们创建一个以FEDERATED为存储引擎的表时，服务器在数据库目录只创建一个表定义文件。文件由表的名字开始，并有一个frm扩展名。无其它文件被创建，因为实际的数据在一个
·2023-03-23 20:43

linux mysql启动_Linux下MySQL服务启动报错常见的现象详解

配置文件修改错误导致的1、修改mysql配置文件，故意修改错，重启mysql会起不来，日志报错如下20032923:16:06[Note]Plugin'FEDERATED'isdisabled.20032923
weixin_39963096·2023-03-22 11:36

mysql跨库关联查询（dblink）

当我们创建一个以FEDERATED为存储引擎的表时，服务器在数据库目录只创建一个表定义文件。文件由表的名字开始，并有一个frm扩展名。无其它文件被创建，因为实际的数
hmb↑·2023-03-22 11:34

跨数据库查询（join）

1.默认federated引擎是不开启的#mysql-uname-p#mysql>showengines;2.开启mysql存储federated引擎#vi/etc/my.cnf在文件的[mysqld]
心无执着·2023-03-20 03:41

联邦学习实战：用python从零实现横向联邦图像分类

本文主要参考了杨强教授的《联邦学习实战》https://github.com/FederatedAI/Practicing-Federated-Learning/tree/main/chapter03_
IFRᝰএ᭄·2023-03-13 14:36

2020-07-07：mysql如何实现跨库join查询？

使用federated引擎。在机器A上的数据库A中建一个表B。建表语句示例：CREATETABLEtable_name(…)ENGINE=FEDERATEDCONNECTION=‘mysq
福大大架构师每日一题·2023-02-17 04:08

联邦持续学习——Federated Weighted Inter-client Transfer(FedWeIT)

联邦持续学习的目的联邦持续学习意在将联邦学习和持续学习相结合，以解决“每个客户端从私有本地数据流中学习一系列任务，不同客户端之间也可以互相借鉴彼此已有的知识以增强自身的学习效果”的场景，目前这方面的研究还很少。联邦持续学习的挑战和持续学习类似的，联邦持续学习也面临“灾难性遗忘”；此外，由于不同客户端训练的任务可能存在很大的差别，联邦持续学习训练过程中每个客户端还面临“来自其他客户端的干扰”；再者，
联邦学习小白·2023-02-04 11:51

联邦学习(Federated Learning)概述

概念本质：联邦学习本质上是一种分布式机器学习技术，或机器学习框架。目标：联邦学习的目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升AI模型的效果。前身：联邦学习最早在2016年由谷歌提出，原本用于解决安卓手机终端用户在本地更新模型的问题。有人说，联邦学习=分布式+加密技术（存疑）。分类我们把每个参与共同建模的企业称为参与方，根据多参与方之间数据分布的不同，把联邦学习分为三类：横向联邦
flyzer·2023-02-02 17:32

横向联邦学习（Horizontal Federated Learning）VS 纵向联邦学习（Vertical Federated Learning）

1.横向联邦学习：适用于参与者的数据特征维度重叠较多的情形：目的：增加训练数据的数据量例如甲医院有患者：A，B，C；乙医院有患者C，D，F这六位患者，甲乙医院都有患者的身高，体重，血压，心跳等信息，那么进行联邦学习一个判断患者健康状况的模型时，就可以使用横向联邦学习：示例：2.纵向联邦学习：适用于参与者数据ID特征重叠较多的情形：目的：增加参与者数据的数据维度例如甲医院有患者：A，B，C；乙医院有
归遇卿·2023-02-02 14:02

【论文阅读】一种包含同态加密、差分隐私、多方安全计算的FL隐私保护框架 Efficient and Privacy-Enhanced Federated Learning for Industrial

本文来自：EfficientandPrivacy-EnhancedFederatedLearningforIndustrialArtificialIntelligence本文提出了一种包含同态加密、差分隐私、多方安全计算的FL隐私保护框架。目录FLrelatedworkpreliminariesDeeplearning的差分隐私MethodologyFL大家都知道，就不写了~relatedwork
学渣渣渣渣渣·2023-01-28 14:04

【论文导读】- SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks（去服务器的多任务图联邦学习）

文章目录论文信息摘要SpreadGNNFramework用于图层次学习的联邦图神经网络图神经网络的联邦多任务学习SpreadGNNDPA-SGD的收敛性质实验总结论文信息SpreadGNN:ServerlessMulti-taskFederatedLearningforGraphNeuralNetworks原文链接：SpreadGNN:ServerlessMulti-taskFederatedLe
1 + 1=王·2023-01-24 23:36

论文阅读-FDA Federated Defense Against Adversarial Attacks for Cloud-Based IIoT Applications

FDA:FederatedDefenseAgainstAdversarialAttacksforCloud-BasedIIoTApplications（这里的对抗攻击都有哪儿些-基于数据Or-基于模型）IEEETransactionsonIndustrialInformatics,2020Abstract在AI与IoT技术普及下，对抗攻击激增，用于欺骗IIoT应用的深度神经网络。由于偏见的训练数据
Zwp&Zyy·2023-01-12 06:42

联邦学习(FL，Federated Learning) 之FedAvg算法

Communication-EfficientLearningofDeepNetworksfromDecentralizedData论文地址：[1602.05629]Communication-EfficientLearningofDeepNetworksfromDecentralizedData(arxiv.org)FL主要瓶颈：1.通信速率不稳定，且可能不可靠2.聚合服务器的容量有限，同时与s
bit_100·2023-01-11 19:36

基于 TensorFlow Federated 的 X 射线图像分类用于 COVID-19 识别

这段时间学习了联邦学习的一些知识，完成了基于TensorFlowFederated实现的X射线图像分类用于COVID-19识别的一个例子，与大家分享。项目完整代码的github链接：GitHub-zzl2022/TFF_Image_Classification:X-rayimageclassificationbasedonTensorFlowFederatedforCOVID-19identifi
AI Medicine·2023-01-11 15:07

mysql跨服务查询之FEDERATED存储引擎的实现

目录一、FEDERATED存储引擎1.1、说明：1.2、局限性1.3、跨服务的方式二、开启FEDERATED存储引擎1.1、查看存储引擎三、跨服务连接示例1.1、目标：1.2、创建关系1.3、成功效果1.4
·2023-01-11 05:35

论文阅读:How to Put Users in Control of their Data in Federated TopN Recommendation with Learning toRank

Author：VitoWalterAnelli,YasharDeldjoo,TommasoDiNoia,AntonioFerrara,FedelucioNarducci∗论文地址Motivation：推荐服务被大量应用在一些以用户为中心的应用程序中，它缓解信息过载和帮助用户在大量可能性中做出选择。数据所有权是一个关键问题，**因为用户可能不愿意与中央服务器共享他们的敏感偏好。**但是现存的推荐模型
aaHua_·2023-01-10 14:08

纵向联邦线性回归实现-Federated Machine Learning Concept and Applications论文复现

本实验的算法实现思路来自这篇论文FederatedMachineLearningConceptandApplications文章目录场景介绍同态加密算法python的phe库实现了加法同态加密角色1角色2传统的线性回归纵向联邦线性回归纵向联邦线性回归代码实现导入工具包准备数据使用普通线性回归训练搭建训练过程纵向联邦线性回归实现垂直切分数据集客户端父类实现客户端A类实现客户端B类实现调度发C类实现搭
fun. 逗~·2023-01-10 14:56

【一种数据异构的FL迁移学习框架】Privacy-preserving Heterogeneous Federated Transfer Learning

原文：Privacy-preservingHeterogeneousFederatedTransferLearning本文讲了数据异构（区别于模型结构异构）下的FL训练框架，此外还有隐私保护的作用。这里的数据异构是指不同的featurespaces，因此本文使用了迁移学习进行解决。数据异构heterogeneousdata数据异构有两种情况：homogeneousfeaturespaceorhet
学渣渣渣渣渣·2023-01-10 11:41

FedMD: Heterogenous Federated Learning via Model Distillation论文笔记

  本文提出使用迁移学习和知识蒸馏开发了一个联邦学习框架FedMD，此框架允许不同的客户端根据其计算能力设计不同的网络结构，并且保护数据集的隐私安全和模型的隐私安全条件下联合训练出一个模型。论文地址：FedMD:HeterogenousFederatedLearningviaModelDistillation2019NIPS算法细节本文设有一个共享数据集D0D_{0}D0，每个客户端有本地的数据集
Zoran_卓·2023-01-10 11:41

《Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning》

《PreservationoftheGlobalKnowledgebyNot-TrueSelfKnowledgeDistillationinFederatedLearning》Abstract1⃣️FederatedLearning’sconvergencesuffersfromdataheterogeneity.2⃣️forgettingcouldbethebottleneckofglobalc
旅行者tru-th·2023-01-10 11:40

【论文阅读】Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation

异构联邦学习的设备采样:理论，算法，实现一、文章介绍二、背景和目的三、建模1、边缘设备模型2、网络拓扑3、联邦学习模型4、建模总结四、方法1、数据分流2、设备采样（1）核心思想（2）GCN训练过程3、联邦学习训练过程五、总结一、文章介绍这篇文章被INFOCOM2021接收，解决的是异质联邦学习的设备采样问题。基于网络拓扑和设备性能限制，作者尝试在“节点采样”和“数据分流”中寻找一个最优组合。通过理
九九喵99·2023-01-10 11:40

论文阅读笔记--Federated Continual Learning with Weighted Inter-client Transfer

本文提出了一种新的场景，联邦学习（FL）的每个client各自执行一系列的持续学习（ContinualLearning）任务，为了说明这个场景的实际意义，文章给出了这样一个场景：若干个医院要通过一个联邦学习框架交流自己的知识，每个医院的模型都在进行自己的一系列的疾病预测任务。作者以一个持续学习算法（AdditiveParameterDecomposition，APD）为基础，加上了client之间
Shawn2134123·2023-01-10 11:10

论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）

链接：https://arxiv.org/abs/2105.10056v2这篇文章发表在ICML2021，讲的是如何解决联邦学习中的数据异构问题。作者认为现有的知识蒸馏（KnowledgeDistillation，K-D）的方法大多都需要server有一批代理数据（proxydata），协助K-D完成知识传授的过程，这有时候是做不到的。而且只修改全局模型并不能解决用户之间的异质性，反过来这还会影响
Shawn2134123·2023-01-10 11:09

windows下anaconda创建新环境出现InvalidArchiveError巨简单有效方法

最近在安装tensorflow和tensorflow-federated,安装教程创建anaconda的环境总是出现InvalidArchiveError，对应的是visualstudio报错InvalidArchiveError
Tainya_·2023-01-09 11:53

(windows)超轻松的anaconda下tensorflow与tensorflow-federated联邦学习环境安装

所需软件：anacondanavigator网上的大部分都是使用cmd安装，会遇到特别多问题（解决了半天还是有的跳不过去TT），摸索了很久找到了巨简单的安装方法一、配置环境需要创建一个新的虚拟环境，常见做法宜遇到InvalidArchiveError等一系列问题，下面我写的文章有一种极简单方法绕过这些问题无痛创建。https://blog.csdn.net/Tainya_/article/deta
Tainya_·2023-01-09 11:52

Collaborative Fairness in Federated Learning论文阅读笔记

论文地址：https://arxiv.org/abs/2008.121611.介绍大多数现有的分布式或FL框架忽略了参与的一个重要方面：协作公平性。特别是，所有参与者都可以收到相同或类似的模型，而不管他们的贡献如何。为了解决这个问题，本文研究了FL中的协作公平性，并提出了一个新的协作公平联合学习（CFFL）框架，该框架利用声誉强制参与者收敛到不同的模型，从而在不影响预测性能的情况下实现公平性。在基
kkcodeer·2023-01-09 10:47

【论文笔记】A survey on federated learning （综述）

AuthorChenZhang,YuXie,HangBai,BinYu,WeihongLi,YuanGaoKeywordsFederatedlearning;Privacyprotection;MachinelearningAbstract联邦学习是在一个中央聚合器的协调下多客户协作解决机器学习问题的机制。它还允许数据分散训练以确保每个设备的数据隐私。联邦学习基于两个主要思想：本地计算、模型传输，
你的莽莽没我的好吃·2023-01-09 10:37

联邦学习和Analyzing User-Level Privacy Attack Against Federated Learning阅读报告

联邦学习所具有的特点支持非独立同分布的数据不同客户端中的样本产生可能有差别。特征分布倾斜：不同的人写相同的字但字迹不一样。标签分布倾斜：不同地区的人用的表情不一样。标签相同，特征不同：两个不同的文字，但表示的意义一样。特征相同，标签不同：有的地方点头表示yes，有的地方点头表示no。数据不平衡。通信高效快速收敛安全性和隐私性用户构成复杂联邦学习的安全，隐私保护方向1.优势在保护数据隐私的前提下，实
mentalps·2023-01-07 10:21

论文阅读：Cluster-driven Graph Federated Learning over Multiple Domains

Cluster-drivenGraphFederatedLearningoverMultipleDomains（1）动机:为了解决统计异质性,到目前为止，统计异质性已经用不同的方法来处理，但没有一种方法能模拟领域之间的直接知识共享。（2）创新点：聚类用于修饰统计异质性，而图卷积网络(GCNs)则实现了不同域之间的知识共享,FedCG是第一个通过GCN来建模领域-领域交互的，GCN连接特定领域的模型
爱吃肉der小兔叽·2023-01-07 02:28

【论文导读】- Cluster-driven Graph Federated Learning over Multiple Domains（聚类驱动的图联邦学习）

文章目录论文信息摘要主要贡献聚类驱动的图联邦学习问题定义联邦聚类聚类模型聚类模型的联系FedCG框架论文信息Cluster-drivenGraphFederatedLearningoverMultipleDomains原文链接：Cluster-drivenGraphFederatedLearningoverMultipleDomains：https://openaccess.thecvf.com/
1 + 1=王·2023-01-07 02:55

文献阅读--FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping

本文设计了一个Byzantine-robust（能够抵御投毒攻击）的联邦学习框架。在此Fed框架中，每一轮梯度聚合前，server端会先计算global模型在rootdataset（server额外收集的干净的数据集，大小为100即可）上的梯度，然后通过计算该梯度和各client上传的梯度的角度获取TS（信任分数），并进行幅值的缩放，有效地降低了上传投毒梯度的client所造成的影响。目录1问题2
学渣渣渣渣渣·2023-01-06 09:27

【联邦学习论文阅读】FedProx（2018）Federated Optimization in Heterogeneous Networks

【FedProx】论文链接：https://arxiv.org/abs/1812.06127摘要联邦学习面临两个关键挑战：系统异构性；统计异构性。本文的FedProx可以解决联邦学习的异构性，可看作FedAvg的泛化和再参数化。理论上保证了当数据为非独立同分布时模型的收敛性，同时通过允许每个参与设备执行可变的工作量，保证了设备级别的系统约束。实验证明，广义FedProx框架相对于FedAvg，在异
Momahe·2023-01-04 18:29

阅读笔记：FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation

FedGNN:FederatedGraphNeuralNetworkforPrivacy-PreservingRecommendationICML’21|隐私保护下的图神经网络推荐系统(qq.com).重点是看GNN与联邦学习怎么结合的？？1.Whatdoesliteraturestudy?a.提出基于GNN的隐私保护联邦推荐框架，在隐私保护下利用高阶user-item交互协同训练GNN模型。2.
缄默的天空之城·2022-12-30 20:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他