Federated联邦学习第10页

EAIDK学习日记—DAY1

边缘VS云3.边缘智能的类型①边缘收集数据，云端训练+推理（适用于大部分智能音箱，部分收音机）②边缘收集数据+推理，云端训练（端云结合，适用于大部分智能设备③边缘收集数据加推理，分布式边缘训练（适用于联邦学习

正太man·2023-01-09 11:57

联邦学习（六）：Tensorflow 实现联邦迁移学习

文章目录项目说明方法说明代码说明1、导入需要的库2、为每个客户端制作数据集2.1导入并处理MNIST数据2.2定义相关变量2.3为每个客户端制作训练集和测试集3、建立模型3.1建立服务器模型3.2建立客户端模型4、定义训练过程5、模型训练项目说明本项目旨在使用Tensorflow2.0模拟实现论文FederatedTransferLearningforIntelligentFaultDiagnos

cofisher·2023-01-09 11:55

联邦学习（三）：Tensorflow2.0 实现联邦学习

文章目录项目说明代码实现1、导入需要的库2、定义相关的类2.1Data2.2Aggregator2.3Model2.4Bank3、导入并处理原始数据4、联邦学习4.1划分数据并重采样4.2模型训练4.2.1

cofisher·2023-01-09 11:54

[tensorflow]联邦学习框架TFF安装记录(基于docker)

1.介绍tensorflowfederated(下面简称为TFF)是谷歌开发的一款开源联邦学习框架,该框架基于tensorflow(下面简称为TF)运行.安装这个框架花了我两天时间,现在对安装过程进行总结

一骑红尘荔枝来·2023-01-09 11:53

windows下anaconda创建新环境出现InvalidArchiveError巨简单有效方法

最近在安装tensorflow和tensorflow-federated,安装教程创建anaconda的环境总是出现InvalidArchiveError，对应的是visualstudio报错InvalidArchiveError

Tainya_·2023-01-09 11:53

(windows)超轻松的anaconda下tensorflow与tensorflow-federated联邦学习环境安装

所需软件：anacondanavigator网上的大部分都是使用cmd安装，会遇到特别多问题（解决了半天还是有的跳不过去TT），摸索了很久找到了巨简单的安装方法一、配置环境需要创建一个新的虚拟环境，常见做法宜遇到InvalidArchiveError等一系列问题，下面我写的文章有一种极简单方法绕过这些问题无痛创建。https://blog.csdn.net/Tainya_/article/deta

Tainya_·2023-01-09 11:52

Collaborative Fairness in Federated Learning论文阅读笔记

论文地址：https://arxiv.org/abs/2008.121611.介绍大多数现有的分布式或FL框架忽略了参与的一个重要方面：协作公平性。特别是，所有参与者都可以收到相同或类似的模型，而不管他们的贡献如何。为了解决这个问题，本文研究了FL中的协作公平性，并提出了一个新的协作公平联合学习（CFFL）框架，该框架利用声誉强制参与者收敛到不同的模型，从而在不影响预测性能的情况下实现公平性。在基

kkcodeer·2023-01-09 10:47

【论文笔记】A survey on federated learning （综述）

YuXie,HangBai,BinYu,WeihongLi,YuanGaoKeywordsFederatedlearning;Privacyprotection;MachinelearningAbstract联邦学习是在一个中央聚合器的协调下多客户协作解决机器学习问题的机制

你的莽莽没我的好吃·2023-01-09 10:37

联邦学习和Analyzing User-Level Privacy Attack Against Federated Learning阅读报告

联邦学习所具有的特点支持非独立同分布的数据不同客户端中的样本产生可能有差别。特征分布倾斜：不同的人写相同的字但字迹不一样。标签分布倾斜：不同地区的人用的表情不一样。

mentalps·2023-01-07 10:21

论文阅读：Cluster-driven Graph Federated Learning over Multiple Domains

Cluster-drivenGraphFederatedLearningoverMultipleDomains（1）动机:为了解决统计异质性,到目前为止，统计异质性已经用不同的方法来处理，但没有一种方法能模拟领域之间的直接知识共享。（2）创新点：聚类用于修饰统计异质性，而图卷积网络(GCNs)则实现了不同域之间的知识共享,FedCG是第一个通过GCN来建模领域-领域交互的，GCN连接特定领域的模型

爱吃肉der小兔叽·2023-01-07 02:28

【论文导读】- Cluster-driven Graph Federated Learning over Multiple Domains（聚类驱动的图联邦学习）

文章目录论文信息摘要主要贡献聚类驱动的图联邦学习问题定义联邦聚类聚类模型聚类模型的联系FedCG框架论文信息Cluster-drivenGraphFederatedLearningoverMultipleDomains

1 + 1=王·2023-01-07 02:55

文献阅读--FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping

本文设计了一个Byzantine-robust（能够抵御投毒攻击）的联邦学习框架。

学渣渣渣渣渣·2023-01-06 09:27

机器学习（一）

目录一、联邦学习（目标：解决数据的协作和隐私问题）1、特点：2、联邦学习体系3、联邦学习应用案例二、机器学习集合Fate框架一、基本概念：1、Fate概念：2、Fate设计原则：3、Fate框架的由来二

I Want To IT Master·2023-01-06 09:19

联邦学习系列---读书个人总结

联邦学习系列----1引言1人工智能面临的挑战2联邦学习的来源和挑战2.1联邦学习的由来2.2联邦学习的挑战3联邦学习的定义引言最近刚开源了FedML，对于这个领域挺好奇，觉得好好读一读。

35岁北京一套房·2023-01-05 12:40

我的创作纪念日

日常养成了记录的习惯，对于日常用到的python中一些问题，以及联邦学习中开源平台等小众问题进行分享。憧憬未来继续写，将自己的历程记录下来，记录一路的心路历程。

35岁北京一套房·2023-01-05 12:10

全程回顾 | 隐私计算与联邦学习专场 AI MEETUP

9月4日，由FATE开源社区和白玉兰开源联合主办，众多社区大力支持的隐私计算与联邦学习专场AIMEETUP（线上直播）圆满落幕。

FedAI Ecosystem·2023-01-05 12:09

联邦学习：保护用户数据隐私

对数据保护通常是对数据做加密或移除敏感信息，但实际上即使移除了敏感信息，有足够多的真实的信息，还是可以通过算法是找到对应的人的，如：卡内基梅隆大学的LatanyaSweeney的将匿名化的GIC数据库（包含每位患者的出生日期、性别和邮政编码）与选民登记记录相连后，可以找出马萨诸塞州州长的病历。2006年的Netflix的机器学习比赛，虽然可识别单个客户的所有个人信息已被删除，并且所有客户ID已用随

查里王·2023-01-05 12:09

从联邦学习角度聊人工智能隐私

活动详情地址：话题挑战赛第2期参赛话题地址：人工智能的隐私保护探讨人工智能是个广泛而火爆的概念，隐私保护是重中之重，效率和隐私仿佛是一对矛盾体，需要找到最佳的平衡点，从我的研究方向出发，联邦学习是一种不需要将个人数据集中的传输到云服务端

35岁北京一套房·2023-01-05 12:38

联邦学习论文阅读笔记

目录一、前缀基础知识二、论文笔记ATheoreticalPerspectiveonDPFederatedMTL-preprint'20FederatedMulti-TaskLearning-NIPS'17FLTrust_Byzantine-robustFederatedLearningviaTrustBootstrapping-NDSS'21ProvablySecureFederatedLearn

RouTineD·2023-01-04 18:08

FedProx论文阅读笔记

《FEDERATEDOPTIMIZATIONINHETEROGENEOUSNETWORKS》这篇文章提出了一个基于FedAvg的优化框架Fedprox，主要在于解决FedAvg未曾处理的联邦学习中的异构性问题

联邦学习小白·2023-01-04 18:35

联邦学习知识初探——FedProx

概要FederatedOptimizationinHeterogeneousNetworks一文中，针对我们最长使用的FedAvg提出了一些改进，使得面对边缘设备上数据不稳定等异构问题。核心思想FedProx针对FedAvg算法的两个方面进行了调整。一个是不同设备计算能力存在差异,单纯的迭代会让部分设备承受压力过大。同时想让本地模型不偏离全局模型，影响全局模型收敛。针对这两个方面，改进算法如下：引

编程龙·2023-01-04 18:02

联邦学习原始论文解读

目录前言AbstractIntroductionFederatedLearningPrivacyFederatedOptimizationTheFederatedAveragingAlgorithmExperimentalResultsIncreasingparallelismIncreasingcomputationperclientCanweover-optimizeontheclientda

Cyril_KI·2023-01-04 18:59

【联邦学习论文阅读】FedProx（2018）Federated Optimization in Heterogeneous Networks

【FedProx】论文链接：https://arxiv.org/abs/1812.06127摘要联邦学习面临两个关键挑战：系统异构性；统计异构性。

Momahe·2023-01-04 18:29

联邦学习经典算法总结

看过很多联邦学习分类分割的文章了，现在来个总结吧。

抹茶生活·2023-01-01 17:48

联邦学习代码调试

联邦学习代码解读前面一篇文章对联邦学习的代码进行了详细的解读，这篇文章主要是通过调试，更深入地了解一下联邦学习代码是如何运行的，促进后续我们对于其他和联邦学习的相关文章的阅读，以及在本代码基础之上进行修改

一只揪°·2023-01-01 17:45

联邦学习FedAvg自编写代码

联邦学习中，联邦平均算法获得了很大的使用空间，因此常常被用于进行同步训练操作不多废话了，以下为Fedavg代码由于使用场景为NonIID场景，因此我使用了别人的一个MNIST数据集自定义的代码（见附录）

「已注销」·2023-01-01 17:43

联邦学习基本算法FedAvg的代码实现

目录I.前言II.数据介绍1.特征构造III.联邦学习1.整体框架2.服务器端3.客户端4.代码实现4.1初始化4.2服务器端4.3客户端4.4测试IV.实验及结果V.源码及数据I.前言联邦学习(FederatedLearning

Cyril_KI·2023-01-01 17:11

【联邦学习】联邦学习算法分类总结

【联邦学习】联邦学习算法分类总结横向联邦学习、纵向联邦学习和联邦迁移学习横向联邦学习纵向联邦学习联邦迁移学习基于机器学习算法的联邦学习分类联邦线性算法联邦树模型联邦支持向量机联邦深度学习基于优化方法进行分类从通信成本角度优化的联邦学习算法增加客户端训练压力模型压缩从客户端选择入手的联邦学习算法从异步聚合角度优化的联邦学习算法联邦学习作为目前研究的热点

十了个九·2023-01-01 17:11

联邦学习代码解读，超详细

参考文献：[1]BrendanMcMahan,H.,Moore,E.,Ramage,D.,Hampson,S.,andAgüerayArcas,B.,“Communication-EfficientLearningofDeepNetworksfromDecentralizedData”,arXive-prints,2016.参考代码：https://github.com/AshwinRJ/Fede

一只揪°·2023-01-01 17:40

阅读笔记：FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation

FederatedGraphNeuralNetworkforPrivacy-PreservingRecommendationICML’21|隐私保护下的图神经网络推荐系统(qq.com).重点是看GNN与联邦学习怎么结合的

缄默的天空之城·2022-12-30 20:35

Federated Graph Neural Networks

FederatedGraphNeuralNetworksSurvey:FederatedGraphNeuralNetworks:Overview,TechniquesandChallenges1.TaxonomyinFedGNN2.DataOwnersRelatedbyaGraphFedGNNswithaCentralServer如何聚合不同client上的图结构信息是关键。（1）通过FLserv

zclfe·2022-12-30 20:35

论文笔记：ICML‘21 FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation

目录一、论文背景二、目前存在的问题和解决方案1、问题一和解决方案问题：解决方案不足之处2、问题二和解决方案问题解决方案不足之处3、问题三和解决方案问题解决方案三、相关工作1、联邦学习相关论文2、图神经网络相关论文四

探索计算机知识的边缘·2022-12-30 20:04

时空数据建模的跨节点联邦图神经网络：KDD21 Cross-Node Federated Graph Neural Network for Spatio-Temporal Data Modeling

前言联邦学习（FL）虽然已经被广泛研究，但是对复杂的时空依赖关系进行建模以提高预测能力仍然是一个开放的问题。此外目前最优的时空预测模型假定对数据的访问不受限制，忽略了对数据共享的限制。

no one847·2022-12-30 20:04

论文笔记-FedGraphNN: A Federated Learning Benchmark System for Graph Neural Networks

1.简述GNN已经在业界有了很广泛的应用且很多领域已有SOTA的效果，但是在隐私安全日渐趋严的背景下，如何通过FL实现gnn的跨域联邦学习是一个有益的结合，本文通过联邦环境下对于Graph数据的如何在不同

cruise-tang·2022-12-30 20:04

【论文导读】-Vertically Federated Graph Neural Network for Privacy-Preserving Node Classification纵向联邦图神经网络

文章目录论文信息摘要主要贡献verticallyfederatedGNN(VFGNN)执行过程1.生成初始节点嵌入2.生成局部节点嵌入3.生成全局节点嵌入4.采用DP增强隐私论文信息原文地址：https://www.ijcai.org/proceedings/2022/0272.pdf摘要GraphNeuralNetwork(GNN)hasachievedremarkableprogressesi

1 + 1=王·2022-12-30 20:31

MySQL存储引擎InnoDB与Myisam的优缺点

MySQL有多种存储引擎，每种存储引擎有各自的优缺点，可以择优选择使用：MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、FEDERATED

·2022-12-30 07:11

联邦学习原理-分类-python代码实现

1、介绍联邦学习其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。

蜡笔大新home·2022-12-30 01:31

论文阅读 - Domain-Aware Federated Social Bot Detection with Multi-Relational Graph Neural Networks-CCF C

无脑敲代码，bug漫天飞·2022-12-29 22:38

FedRecover: Recovering from Poisoning Attacks inFederated Learning using Historical Information

0、摘要联邦学习很容易在中毒攻击上中招，恶意客户端通过向服务器发送恶意模型更新来毒害全局模型。

友好的Spider-man·2022-12-29 14:22

关于gpu使用不了bug的修复

Gpu老是使用不上，导致联邦学习、深度学习等训练缓慢，多半是python环境和torch包不配对造成的，下载的Anaconda自带python.exe，你必须把环境也换到那里，把torch包也下在那里，

雾淞沆砀·2022-12-29 12:49

3节点Fate集群实战记录 -- 纵向联邦学习

前一篇博客记录了3节点fate集群实现横向联邦学习的实践过程link，本篇接着记录纵向联邦学习的实践过程，其中有些简单步骤未详细列出，具体执行方法可以参考上篇博客。

Acecai01·2022-12-28 23:12

经典同态加密算法Paillier解读 - 原理、实现和应用

同态加密，是解决云计算和分布式机器学习中数据安全问题的关键技术，也是隐私计算中，横跨多方安全计算，联邦学习和可信执行环境多个技术分支的热门研究方向。

京东云开发者·2022-12-28 13:34

多方安全计算（MPC）发展脉络及应用实践

隐私计算技术中，多方安全计算（MPC）、联邦学习（FL）与可信执行环境（TEE）是三大主流技术派系，此前洞见君为大家介绍过联邦学习的前世今生，解读过可信执行环境，今天为大家带来多方安全计算的相关简介及应用

洞见科技InsightOne·2022-12-27 16:24

FedALA | 用于个性化联邦学习的自适应本地聚合方法

该论文提出了一种用于联邦学习的自适应本地聚合方法，通过从全局模型中自动捕获客户机所需信息的方式来应对联邦学习中的统计异质性问题。作者对比了11个

aK031999·2022-12-27 14:23

微软研究院：如何在机器学习的框架里实现隐私保护？

本文介绍了目前机器学习中隐私保护领域的最新研究进展，讨论了机密计算、模型隐私和联邦学习等不同层面的隐私保护方法。在大数据和人工智能的时代，人们能够更方便高效地获取信息。

智能推荐系统·2022-12-27 10:10

IJCAI‘22 推荐系统论文梳理

AI算法札记·2022-12-26 11:25

联邦学习：MOCHA框架

1.概述:MOCHA主要是为了解决联邦学习中的系统难题和统计难题而提出的联邦学

咫尺云烟·2022-12-26 07:54

联邦学习：FedProx框架

1.概述：联邦学习不同于传统的分布式优化的两个关键挑战:高度的系统和统计异构性。引入了一个框架，FedProx以解决联邦网络的异构