联合学习:分布式共享的机器学习方法

文摘

联合学习(FL)是一个分布式机器学习(ML)框架。在FL,多个客户端协作解决传统分布式毫升问题的协调下中央服务器不与他人分享当地的私人数据。本文主要整理FLs的基于机器学习和深入学习。首先,本文介绍了开发过程,定义、体系结构和FL分类的概念并解释FL通过比较它与传统分布式学习。然后,它描述了典型的FL,需要解决的问题。古典FL算法的基础上,一些联邦简要介绍了机器学习算法,强调深度学习和分类算法进行比较。最后,论述了基于深度学习FL的未来可能的发展。

1。介绍

在大数据的时代,人们越来越多的关注数据安全和用户的隐私;保护数据已成为企业和个人关注的焦点。此外,数据泄漏引起了政府的关注,近年来公共媒体。世界大国和主要工会的监督执行公民的数据安全和隐私法律;一般的数据保护法规(GDPR)发布了由欧盟(12018年5月25日)生效。中国网络安全法律,在2017年颁布,要求互联网公司不披露或篡改他们收集来自用户的个人信息,与第三方进行交易数据的时候,他们需要确保互联网公司和第三方遵守用户数据保护义务(2- - - - - -4]。保护数据隐私在不同的国家变得更加严格,这使得大规模用户的私人数据传输在不同公司之间未来不再允许。这些法律法规的颁布,一方面,保护用户的隐私,另一方面,禁止任意挖掘大数据,这限制了人工智能的发展。大数据是大规模分布式毫升的基础。根据上述法律法规的限制,数据往往存在形式的不同企业之间的孤岛;即使在不同子公司的一组。

“联合学习”一词是由麦克马汉et al。5)在2016年说:“我们打电话给我们的方法FL因为学习任务是通过一个松散的联邦参与设备(我们称之为客户)通过一个中央服务器进行协调。“FL最初被定义为一个分布式毫升方法,使用多个用户数据训练中心模型(6]。FL的目的是进行有效的分布式毫升multiparticipants或multicomputing节点之间在保证信息安全的前提下的大数据交换,保护移动数据和个人隐私,并确保遵守法律。FL的框架使用经典分布式毫升和采用分布式毫升技术,但中央服务器的控制是分布式毫升不同。研究人员可以挖掘和利用数据在不违反法律法规。从广义上讲,指的是一个方法,数据所有者可以实现模型的训练没有上传本地数据(2]。FL的建模是基于局部模型由每个参与者上传,然后联合训练模型返回给每个参与者获得类似的结果与传统ML没有违反法律;这使得FL保密的优势。

然而,FL的经典算法有一些缺点在处理nonindependent和恒等分布的数据,通信传输,和模型建立,他们的最终解决方案是不胜枚举。因此,咨询了相关文献后,本文介绍了古典FL和FL算法在某些方面被提升。此外,在大数据时代,FL的影响基于深度学习更有效。本文联合深学习算法的最新发展;整理和总结。我们希望这篇文章能让读者更容易快速回顾整个FL领域,特别是联合深度学习领域。

本文包括以下的内容:部分2介绍了FL的基本知识;部分3介绍了FL的尚未解决的问题;部分4介绍了FL算法基于ML;部分5介绍了基于pan-deep FL算法学习;部分6介绍了FL的攻击;部分7FL描述未来的挑战;最后,8日总结了这篇论文。

2。联邦的基础知识学习

2.1。机器学习

毫升的快速发展,其模型变得越来越复杂和有效7,8]。毫升的核心理念是电脑学习输入和输出之间的映射根据现有数据样本: ,在哪里x是输入,y是输出,f是相应的规则,然后呢参数是习得的。根据相应的关系,模型预测下一个输入的输出值。毫升的目的是使预测值和真实值之间的差距尽可能小。数学表示为

在传统ML,如反向传播神经网络(摘要)和卷积神经网络(cnn),此参数的学习过程都是集中在一个计算机上,常用的方法是梯度下降法和一系列的改进算法。FL的核心算法非常类似于随机梯度下降法(SGD)方法(7]。SGD,样本是随机选择从所有样品在每一次迭代时参与操作。

2.2。分布式机器学习

分布式机器学习结合多台计算机进行计算。其核心目标是分解计算任务分成多个小任务和多个本地处理器上执行计算。最终的培训需要一个中心服务器来处理由当地客户上传的数据;因此,通信和隐私安全难以保证。算法1显示了分布式机器学习算法。

2.3。联合学习

FL不同于分布式毫升;在FL,每个参与者到服务器上传的信息不再是原始数据,但训练有素的子模型。同时,FL还允许异步传输(9),可以适当减少通信需求。在此基础上,可以更新联邦机器学习的公式如下: 在哪里k是客户的数量的重量值吗k客户,FL是分散的多用户场景 。每个客户端用户当前用户的数据集 。在深入学习,这些数据都整理到一个数据集 。FL的做法不再是简单地聚合形成一个新的数据集完成下一阶段的培训任务。假设全球模型完成后一个联邦建模任务聚合后模型和相应的培训 。一般来说,全球模式功能是由于交换和聚合的操作参数。将会有一个精确度损失在整个培训过程;也就是说,全局模型的性能不如骨料的性能模型 。量化这种差异,我们定义全局模型的性能在测试集 ,和骨料的性能模型在测试集 。此时,δ损失精度(10模型的定义为 在哪里δ是一个非负数字。然而,在实际情况下,聚合模型不能获得最后,因为FL是隐私保护的基本要求。据杨教授的书“联合学习”(10),联邦FL的平均算法可以表示算法2。

2.4。联合学习分类

在FL,参与者之间的数据分布在孤岛的形式,和每个参与者可以用一个矩阵来表示自己的数据。目前,根据样本数据特征空间和ID的分布空间,研究人员把FL分成三类:横向联合学习,垂直联合学习,和联邦转移学习(11,12]。

2.4.1。横向联合学习

横向联合学习是类似传统的分布式毫升。它的目标是在每个客户端在FL的重叠数据特点。也就是说,参与者有相同的数据特征,但不同的数据样本;它主要用于企业对企业(B2B)场景(10]。

2.4.2。垂直联合学习

垂直联合学习旨在与重叠的数据样本训练数据的每个客户端FL。也就是说,参与者之间的样本数据是相同的,但数据特征是不同的;它主要用于经营的业务)——客户(B2C)的场景13]。

2.4.3。联邦转移学习

联邦转移学习时使用每个参与者的训练数据特征和样本数据的重叠是相对较小的。有三种类型的联邦转移学习:案例,基于特征和基于模型。它主要用于零售电子商务、金融投资、和医学研究10]。

图1显示了联邦学习的三个类别。

横向联合的主要差异和问题学习、垂直联合学习,和联邦转移学习如表所示1。

3所示。尚未解决的问题

上面描述的FL的定义和分类。本节主要是对其5尚未解决的问题。

3.1。Nonindependent和恒等分布的数据样本的问题

在分布式ML,本地数据样本通常是独立同分布。尽管FL是一种分布式毫升,大部分数据是nonindependent和均匀分布。此外,它不同于批量培训在传统分布式毫升;有一些不同的训练数据得到FL在每一轮的培训。一些学者尝试本地数据共享或模型迁移到解决它,如联邦semisupervised学习和无监督学习,我们在第四章提到。

3.2。的问题,不同的参与者有不同的大量的数据

由不同客户不同的数据量;它是由参与者自己和无法控制。有一个类似的问题在企业对企业(B2B);一些大公司占据了大量的数据资源。如何让这样的大公司参与联合建模是第一个问题。关键是要建立一个合理的激励机制与参加者分享利润生成的公正、公平。联邦区块链技术可以解决激励机制的问题。文献[13)描述的集合FL和区块链技术以及如何奖励参与者。

3.3。鲁棒性的参与者

在FL,许多参与者移动设备,不同的参与者有不同的数据通信网络结构。参与联合建模时,需要采用一些方法,以确保模型的鲁棒性。此外,将会有一些假的参与者攻击在全球模型建立了FL,我们称之为假当地客户。一些学者提出了基于联合卷积神经网络的入侵检测方法。深度学习的一部分,他们将具体介绍如何使用深度学习来提高模型的鲁棒性。

3.4。通信和计算问题

当地FL意味着大规模数据训练,大部分实际应用情况下通过无线通讯,所以它的交换过程需要一个稳定的沟通情况。但任务模型和数据分布会经常改变随着时间的推移,联合网络的结构,目标数据特征,特征提取器,业务标签,等也会改变,这将导致通信和计算问题。目前,大量的论文提出了这一领域,包括提高通信的带宽,增加传输的稳定性,确保通信的安全。在本文中,我们将介绍一些深刻的学习算法,提高了问题在第5章。

3.5。隐私和安全的联合学习

尽管FL的目的是为了保护用户的隐私和安全,在参与的过程中FL的联合训练,即使没有需要获得本地用户信息,用户的隐私不能100%保证。当构造联合模型,参与设备或梯度值需要上传模型参数,这些参数来自当地的模型,和部分训练数据的本地设备包含的所有信息。有许多攻击模型和部分或全部原始数据可以从模型参数推导出或渐变14,15),一些当地设备攻击或伪装模型训练的参与者。因此,许多加密方法已经提出,常见的加密方法是安全多方计算(SMC) (16];同态加密(他)17];数据扰动(DD);微分隐私(DP) [18];等等。

鉴于上述问题,不同的研究者提出了不同的解决方案。在本文中,每个方法分为两类:一是基于ML,另一个是基于pan-deep学习。

4所示。基于机器学习的联合学习算法

最经典的联合学习平均(FedAvg)是由麦克马汉提出et al。5];这证明FedAvg能达到预期结果在测试基准图像分类数据集(如MNIST [19]和CIFAR-10 [20.])。从那时起,许多FL。以下是几种常见FL算法基于ML;他们是根据联邦监督学习分类,联邦semisupervised学习,联合无监督学习。图2显示了联邦毫升的分类(21]。

4.1。联邦监督学习

监督学习是一个典型的ML方法,推断功能毫升任务从训练数据。训练数据包括一组训练的例子。在监督学习中,每个实例包含一个输入对象和所需的输出值。

以下4.4.1。联合线性算法

杨et al。22]提出的逻辑回归方法基于垂直FL,在垂直的学习,实现逻辑回归和目标函数如下: 在哪里 损失函数,模型的参数,模型的特性,是模型的标签, 的数据量。在这个联合优化算法的框架,添加同态加密加密数据和双方的梯度。整个培训过程的数据可以被描述为无标号数据持有人是 ,在那里代表了模型参数的无标号数据持有人圆的状态。代表的同态加密 。无标号数据持有人第一次发送 , ,和带安全标签的数据持有人 ,和计算梯度和损失和同态加密后发送回去。在收到加密的梯度和 ,中央服务器助攻和更新他们的模型。

4.1.2。联合支持向量机

联合提出的支持向量机是哈特曼et al。232019年)。方法优化和保护本地模块的参数通过更新块,将特征散列和其他方法。目标函数如下: 在哪里N训练数据,模型的参数, 损失点吗 , 损失函数的正则项,是hyperparameter控制惩罚。目标函数的支持向量机对传统ML如下:

支持向量机(SVM)进行降维散列处理的特征值来隐藏实际的特征值。联邦支持向量机可以通过更新更新模型的参数的梯度中央服务器,它可以更好的保护你的隐私的参数模型。在实际应用情况下,联邦支持向量机不会增加计算,所以它的实际表现更好。

4.1.3。联合决策树算法

刘等人。24)提出了一个面向树的决定垂直联合学习法,随机森林基于集中式FL框架的实现方法,称为联合决策树(FDT)。其本地参与者上载的排名表现他们的模型参数,模型参数,原FL不断上传。因此,它可以极大地减少沟通频率,大量的存储和计算资源消耗的加密。在联合建模,模型机制的随机森林是分散和存储,中央服务器保存原始的完整的结构信息,和每个参与节点只有自己的信息(25]。当使用联合决策树模型时,首先获得当地树的节点信息,然后另一个本地节点信息树的模型被称为共同由中央服务器。在联合决策树模型,安全增强模型(26)是一个分散的垂直FL框架基于梯度提升决策树。根据常见的梯度提升决策树算法,目标函数如下: 在哪里是目标函数的最小损失值,是th迭代回归树的, 每棵树的叶子节点上的损失函数,然后呢是一阶导数和二阶导数的和预测的剩余。为了防止过度拟合,正则项通常是添加到损失函数: 在哪里γ和λhyperparameters。为了调整的特点和树木的数量,价值和重量吗是原来的损失函数。在最初的分布式毫升,联合建模是实现通过发送参与者,但分布式毫升可以使用计算数据标签落后,导致数据泄漏,不符合基本要求的FL原则上[27]。联合树模型是基于安全的提高(26加密算法,模型的训练样本,需要联合训练,第一个样本,第二个样本训练得到决策树的预测模型。根据决策树的预测模型基于样本的标签,它可以确保数据不会反向推导和计算。

李等人。28)提出了一种分散水平FL框架多党,名叫梯度提高决策树(GBDT)建模学习模型基于数据之间的相似程度。哈希表加密的加密程度不高,不如,微分隐私和联邦区块链(29日),但它给一些补偿上下沟通效率建模时传播。这是一个新的研究联合树模型算法的研究方向。如果数据添加干扰,它的机密性可以与微分隐私保护和联合区块链技术。

4.2。联邦Semisupervised学习

Semisupervised学习领域的一个关键问题是毫升。它可以使用尽可能多的无标号数据完成任务(30.]。FL添加semisupervised学习后,一方面,FL可以用来确保足够的训练数据是可用的,,另一方面,semisupervised学习可以用来减轻客户端分散的高成本的问题数据标签。

宋et al。31日)提出了一个联合semisupervised学习框架根据数据标签的数量。其生成模型主要是获得数据重建从概率的角度,如 ,所以它可以被混合估计模型。最近,VAE (32和氮化镓33semisupervised)生成更复杂的模型学习,进一步提高semisupervised学习的效率。

根据不同的分割的位置样本识别和特征空间,联合semisupervised学习可以分为两类:学习和垂直水平联合semisupervised联邦semisupervised学习(31日]。

在水平联合semisupervised学习,参与聚会 有相同的特征空间但是不同的ID标识每个参与者的空间数据;也就是说, ,由各方在联邦semisupervised学习水平。对于每一个参与者,有其自己的数据 ,在哪里

垂直联合semisupervised学习相同的ID标识各方,但每一方 持有不同的特征空间 ;也就是说, 。对于每一个参与者,有其自己的数据 ,在哪里

杨et al。34)提出了一个逻辑回归的方法分散纵向FL事实上,标签数据取代中央服务器。在分散的垂直FL,数据分为标记数据和未标记数据,标记数据占主导地位。假设有一个无标号数据持有人之间的协议和标记数据持有人合作在建模、第一次发送建模的关键 , 和初始化参数分别计算 ,在哪里 。后计算,结果被发送到吗 。 平均两个计算结果,然后使用逻辑回归方程来得到最终的。最后,标记和未加标签的政党都是更新的梯度。表2显示了三种类型的联合机器学习算法的文章。

4.3。联合无监督学习

无监督学习是一个毫升方法主要用于发现数据中潜在的模式。其输入数据没有标签,只有输入变量(X),没有相应的输出变量(Y)。

在无监督学习算法需要找到模式结构在数据本身(35]。FL的数据在每个参与客户基本上是收集nonindependent和均匀分布的方式,所以有一个问题域的客户之间的迁移。这个问题域迁移很难扩展模型和新设备的培训。基于框架FL和无需用户监督,知识就是从分散的节点转移到新节点具有不同的数据域。彭et al。36)定义了一个无监督联邦域自适应(UFDA)方法;它可以使不同节点之间的交涉学习与目标节点的数据分布。域自适应系统的FL、模型在不同的节点有不同的收敛率。此外,域源域和目标域之间的迁移是不同的;因此,一些节点不可能导致目标域,甚至显示负贡献(36]。

5。联合学习算法基于Pan-Deep学习

联邦学习结合深入学习是学习联邦的主流之一。本章着重于这个区域;图3显示了一个联邦pan-deep分类学习。

5.1。联合神经网络

麦克马汉et al。37)提出了一个联合神经网络模型和神经网络进行测试MINST数据集。摘要(37),介绍了五组实验,本节只介绍了神经网络(NN)的一部分。但是网络结构模型,包括一个输入层,两个隐藏层和输出层;每个隐层有200个神经元。MINST数据集被分配给每个客户端,这些客户不相交。然后进行联合训练和实验进行了两组:实验1使用相同的随机种子初始化局部模型参数分配给两个客户。实验2使用不同的随机种子初始化局部模型参数分配给两个客户。不同地方的两组实验的模型参数和综合加权比例获得最终的联合神经网络模型,即

在他们中间是一个联邦模型参数,和模型参数分布在不同的节点,然后呢重量,在0和1之间变化。本文中的实验表明,当使用FL,联邦模型相同的随机初始化种子的效果最好,而且,与此同时,实现最佳的损失当模型参数的比例是1:1。

5.2。联合卷积神经网络

朱et al。38)提出了一个联合CNN;它使用了一个简单的CNN网络文字识别工作在非机密的情况下,和整个模型建立基于TensorFlow PySyft测试FL基础设施和当地客户的影响(39]。内置的文献[38)是一个简单的CNN和四个褶积层,两层完全连接,使用ReLU激活函数,和四个输出层定义的作者。卷积神经网络描述在图的结构4。CNN分类器是用于dictionary-free文字识别汉字语料库,在CNN和参数优化,以减少总负对数似然的字符序列: 在哪里N训练数据集,米分类的总数,和的概率吗kth的样本被标记为 。在他们的实验中,我们比较两个普遍联合学习框架,即联邦和PySyft TensorFlow。联邦文字识别结果表明,模型精度可以达到类似的甚至高于模型训练的深度学习框架。图4显示了卷积神经网络图(38]。

荣et al。40)提出了一种基于联合CNN的入侵检测方法。本文使用多个参与者的数据联合训练模型,扩大本地参与者的数量。基于原FL框架,设计了基于深度学习的入侵检测模型。首先,数据维度是重建的数据填充,形成一个二维数组。然后,Diffusion-Convolutional (DCNN)用于提取和神经网络学习特性参数的机制下FL。最后,它是结合将Softmax检测分类器训练模型。这种方法大大减少了培训时间和维护一个高检测率。此外,与通用入侵检测模型相比,改进的模型也保证了数据的安全性和隐私(40]。联合卷积神经网络通常由一个简单的CNN模型实现。参考文献(38- - - - - -40)使用一个CNN模型四个褶积层和两层完全连接。这个模型适用于水平FL。样本的ID作为基础,然后是数据集随机分配到不同的客户形成不同的子集来模拟分布式数据。培训期间,客户端首先进行梯度计算和参数更新在本地数据集。在每个迭代训练,积累参数更新为每个客户端更新最终的联合模型进行了总结。

三组实验是在纸上进行的40]。在实验1中,该方法的有效性,将一维数据转换为二维数据入侵检测网络验证。该方法不仅提高了模型的精度,还降低了模型的运行成本。在实验2中,DCNN模型确定的深度。实验结果表明,两种不同的模型训练和测试时间几乎没有变化,但在精度方面,模型的准确性和两个隐藏层平均提高了1%。当增加到三个隐藏层,性能没有显著提高,所以简单地增加隐藏层的数量影响不大的性能改进。在实验3中,FC算法的入侵检测模型,以及智能化实验进行NSL-KDD标准数据集。测试集的准确性没有明显的变化;优化在召回率和误警率,但在训练时间优化的效果是显而易见的。因为FC模型只需要传输少量的参数训练数据时,它具有一定的优势其他集中训练模型的数据安全。一般来说,联邦CNN不能仅仅提高深度学习的安全性能也提高模型利用GPU的计算能力。

为模型参数传输客户端和服务器之间,为了减少带宽的占领,CNN一般压缩。解决et al。41)提出了一种新的框架备用三元压缩(STC)),这是特别设计来满足FL。FL的训练过程包括下载模型,在本地培训模型,训练模型和更新到服务器进行聚合。在数据传输的比特数 在哪里的总数是训练迭代执行的每个客户端,是一种交流的频率,模型的尺寸,是重量更新的熵交换在上传和下载,然后呢是编码的效率低下,区别真正的更新尺寸和最小更新大小(由熵)。STC)扩展了现有top-k梯度稀疏压缩技术通过一个新的机制来实现下游压缩、内化,重量优化Golomb编码更新。现有的压缩算法假定本地数据独立同分布,而且大部分的训练数据在FL nonindependent和恒等分布的数据。在独立同分布数据,认为当地的梯度是一个全球梯度的无偏估计;也就是说, 在哪里数据分布的客户吗和是整个数据的经验风险功能,但这种假设的独立同分布数据很难在FL,我们只能期望分布是无偏的平均值;也就是说,

单个客户机的梯度将偏向于本地数据集:

实验表明,如果每条边设备看到一个独特的数据分布,模型训练的质量会下降。神经网络训练的高度倾斜non-IID数据,FL的准确性显著减少了约55%。它进一步证明了精度减少体重差异可以解释,可以量化的经验模态分解(EMD)之间的每个类别的分布和总体分布在每个设备上。作者提出了一种策略:提高训练non-IID数据通过创建的一小部分全球所有边缘设备之间共享的数据。实验表明,CIFAR-10数据集包含的准确性只有5%的全球共享数据可以提高30%。

5.3。联合贝叶斯网络

Yurochkin et al。42)提出了应用贝叶斯网络下基于FL。假设本地数据和本地模型是可用的,概率FL框架是开发和研究,特别强调训练神经网络模型和聚合。估计本地模型参数(在神经网络的情况下,一组权重向量)与数据源之间建立一个全球网络(43,44]。当数据是可用的,提出的方法是训练当地的并行模型为每个数据源。然后,估计当地的模型参数(权向量组的神经网络)之间的匹配的数据源建立一个全球网络。参数匹配由后Beta-Bernoulli过程的控制(BBP),这是一个贝叶斯非参数(BNP)模型,该模型允许本地参数匹配现有的全局参数。或者现有的全局参数不匹配,创建新的全局参数(42]。

联邦贝叶斯结构提供了几个优势现有方法(40]。首先,联邦贝叶斯将局部模型的学习与融合当地的客户成为全球联合模型。这种分离让我们仍然不知道当地的学习算法,它可以根据需要调整,甚至每个数据源可能使用不同的学习算法。其次,由于只有pretrained模型,BBP信息匹配过程可以组合成联席全球模型没有额外的数据或生成pretrained模型的学习算法。最后但并非最不重要,联合贝叶斯可以有效地学习压缩pretrained本地网络的联合网络,在一个温和的沟通预算,它可以超越FL使用神经网络的最先进的算法。为了应用联合概率神经FL的匹配方法,多层感知器(MLP)集的特征提取器必须分组和结合的过程中构建全球特征提取器(神经元)。贝叶斯非参数机制的目标是识别神经元的子集J当地神经元模型相匹配的其他模型。然后,匹配的神经元组合起来形成一个全局模型。假设我们的火车多层感知器(MLP) ,和每个感知器都有一个隐藏层,每个传感器都有一个隐藏层。让 和 分别表示隐藏层的重量和抵消 和 代表将softmax层的重量和抵消。D代表数据维度,隐藏层神经元的数目 ,和k代表类的数量。我们考虑一个简单的架构: 在哪里是一个非线性激活函数。一组权重和偏差学习全球神经网络权值和偏差。图5的贝叶斯网络图显示一个隐藏层,单层概率联合神经匹配算法。图中的节点代表神经元,神经元相同的颜色相匹配。本文运用相应的输出层神经元方法将每个神经元J批处理成一个参考输出层的权向量。图5显示与隐藏的贝叶斯网络层。

5.4。联邦LSTM

LSTM [45)于1997年提出。以其独特的设计结构,LSTM适用于处理和预测重要事件与长间隔和延迟时间序列。一些研究人员应用LSTM centralization-based FL模型来预测这个角色MINST [46,47]。LSTM是专门设计来避免长期依赖问题。长期记忆信息的默认行为LSTM在实践中(48]。LSTM添加到本地模型训练。其输入门决定下一个输入参数,忘记门失去了一些参数,并输出门输出所需的参数,使得迭代效果更好。在LSTM,第一左边的激活函数忘记门;第二个中间和双曲正切是激活函数输入的门;最右边的和中间的双曲正切的激活函数输出门;是输入,是输出,是输出前面的时候,是前面的时候,国家在当前时间。图6显示LSTM网络单元的内部结构。

这项研究在45)提出了多个参与客户的数据集。当LSTM放置在FL框架,nonindependent和恒等分布的数据,并选择适当的hyperparameters。nonindependent和恒等分布的数据模型是适应传统的模型精度情况(46,47]。李等人。49)在联邦LSTM分类器训练数据集和提出了FL框架联合近端术语(FedProx)来解决情绪分析统计学异质性和字符的预测。与传统FedAvg相比,FedProx有更快的收敛速度。系统的异构性,每一个本地客户端基于FedAvg框架不能完成工作变量根据当地客户的变化。FedProx框架提出了文献[49]介绍了正则项改善整个框架的稳定性。修改后的词的本质是提高参数之间的差异的限制在当地模型和全局模型中的参数,提供了理论依据来解释全球和本地信息之间的异质性。传统FedAvg目标函数 在哪里意味着有样品上的设备。一般情况下,它被设置为 ,在哪里n的总和吗 ,和本地函数最小化 。EFedAvg扮演重要的角色在全球目标函数的收敛性。越高E少,更多的本地计算和设备之间的通信,从而有效地提高整体的全球目标函数的收敛速度。另一方面,为异构的局部目标 ,的E值太大,可能会导致每一个设备,努力实现其本地目标函数的优化,而不是全球目标函数的优化,这将影响全球目标函数的收敛,甚至导致分歧。本文提出的框架FedProx (49)是类似于FedAvg,它选择一个子集的设备参加每一轮的更新,执行本地更新,然后平均这些更新,形成全球更新。然而,FedProx使得收敛一些简单的和重要的修改。的目标函数改进的FedProx:

一个两层LSTM分类器与100年隐藏单位和80年FedProx嵌入层使用。

它的任务是预测下一个字符,共有80个类别的字符。模型需要一个80个字符序列作为输入,每个字符嵌入一个八维空间,为每一个训练样本和输出一个字符后两个LSTM层和致密连接层(46]。实验结果表明,FedProx比FedAvg更快的收敛速度。特别是,在一个高度异构环境,FedProx展示了一个更加稳定和准确收敛比FedAvg行为,提高了绝对平均测试精度22%。

5.5。联合强化学习

Nadiger et al。50)首次提出的总体框架联合强化学习(FRL),其中包括分组策略,学习策略和联合的策略。强化学习(RL)和其他artificial-intelligence-based技术最近被用来实现个性化。然而,强化学习面临的挑战是实现个性化。摘要(50],作者提出了一种联合加固技术,它的主要目标是提高个性化。FL,应用于强化学习技术,是一个分层的例子学习,使下级代理商沟通他们的发现。本地客户提供类似的环境中可以加入更有效(51]。本文提出了利用深问网络强化学习算法在联邦环境中更快地实现个性化。客户端模型和共享模型被视为一个大问网络和优化的贝尔曼方程。然而,在当前的工作中,在每个客户端有一个单独的q学习,联合战略决定了共享的模型参数。这篇文章的个性化实现方案如下: 点是指一组游戏有更多个性化的措施,是一组游戏长途大于或等于4轮,然后呢是聚会的总数不同长度的游戏。服务器将全局模型发送给所有客户。这提供了一种“热启动”方法为每个客户。全局模型是建立离线。然后,客户端更新Nonplayer字符(NPC)模型的重量根据当地RL算法。服务器启动等到全国人大模型收到所有客户群体。全球模型 在哪里是全球模型,是客户端模型,是全球模型正则化因子,篮板与长度的比例大于或等于4客户 ,和是客户的数量。实验结果表明,本文提出的方法加速的个性化代理通过使用联合强化学习。它也提出了分组策略,学习策略,和联合的策略,这使得整个FRL架构。显示了该方法的有效性通过测试3日,4日和5人的球员,个性化的时间加速了约17%。

安瓦尔et al。52]分析了多任务联合强化学习从对抗的角度,分析了攻击性能的许多常见的攻击方法,并提出一种自适应的攻击方法。一般对策不足以有效攻击移动终端,所以中毒模型基于最小化攻击方法提出了培训信息的获得。在FL,我们有多个当地客户。除了防止数据中毒和政策中毒,我们还必须考虑模型是攻击。因为我们有不止一个本地客户端,一个完整的本地客户端可以扮演一个攻击者的角色。

攻击者可以输入错误数据和故意破坏联邦模型。在联合模型的攻击,攻击者试图直接修改了模型参数通过提供错误信息,故意损害全球模式53,54]。因为古典FL使用平均算法合并单个客户机的本地模型参数学习,这样的攻击会严重影响全局模型的性能。在多任务联合强化学习(MT-FedRL),每个客户端运行在自己的环境中,可表现为不同的马尔可夫决策过程(MDP)。每个代理操作和观察只在自己的环境。MT-FedRL的目的是学会一个统一的策略,联合最优n环境。每个代理与集中式服务器共享其信息。在每一个n环境中,国家和行动空间不需要是相同的。如果状态空间不相交的环境,共同的问题是解耦为一组n独立的问题。MT-FedRL问题的目标是找到一个统一的策略最大化长期折扣回报的总和为所有环境,即

求解上述方程将产生一个统一的 ,从而实现平衡性能在所有环境。在哪里价值函数的策略 ,在美国的th环境,我们使用表示初始状态分布的行动空间环境。在这篇文章(55),证明了多任务联合强化学习可以收敛于一个统一的策略,可以在每个环境中实现最佳性能。如果客户的目标是呈正相关,这个联合最优策略在每个环境评估时效果最好。如果客户的目标并不呈正相关,一个统一的策略可能不产生算法策略为单个环境。在本文中,详细讨论了三种常见的攻击模式:随机策略攻击模型,反向目标策略攻击模型,和反击模型与最小信息增益。最后,我们提出一个修改的联合强化学习算法来解决antiattack问题,同样有效,并没有攻击。联邦强化学习过程和联合强化学习算法给出了文献[52),几个合作模型试图最大化贴现回报的总和的敌意模型在不同的环境中。图7显示了联邦强化学习的流程图。

5.6。联邦元学习

陈等人。56]提出了联邦元学习(FedMeta)框架,股票参数而不是先前的全球模型。本文评估了叶数据集和实际数据集和证明FedMeta所需的沟通成本降低2.82 - -4.33倍,及其收敛速度更快,与FedAvg相比,3.23%∼14.84%。领域的FL,当地模型使用SGD训练来实现高精度,同时平衡计算和通信成本;领域的元学习,MAML算法快速收敛的新任务和展示良好的泛化;在此基础上,联合建于元学习框架。FedMeta框架集成MAML算法和meta-sgd FL,使联合训练模型的准确性,减少了通信开销。元学习算法是使用一组任务更新meta-training过程,和任务测试meta-training由一个支持组 和查询设置 既包含标记数据点(57]。算法训练模型支持组和输出内部更新评估模型设置的查询 ,并计算测试的损失以反映培训的能力(58]。最后,更新测试损失减小到最低限度,这被称为外部更新。每一集的元学习算法将样本从一组meta-training一批任务,所以meta-train的优化目标可以表示为

为每一个任务T,该算法使 ,这样算法的参数相等的模型 。的参数模型f被训练在支持设置和更新根据损失函数:

最后,测试查询设置模型参数,然后计算损失函数的测试:

叶子上的实验验证数据集,这表明,收敛速度更快,精度大大提高传统FL。同时,它也降低了沟通的成本。元学习的目标是训练算法。联邦元学习意味着许多设备一起火车meta-learner相同。每个设备都有自己的meta-learner,但参数在服务器上聚合,然后全球meta-learner训练。全局模型的训练,FL在每个设备都是一样的。因为每个设备的强劲数据异构性,有必要利用元学习个性化模型。元学习在本地生成一个元模型,然后在本地元模型生成个性化模型,适用于本地异构数据。图8显示了联邦元学习框架。

5.7。联邦残余网络

黄等。59)提出了一种新的压缩策略残余池网络(RPN) [60)为了提高通信效率FL。相比之下,传统的FL,减轻项沟通的问题通过选择适当的参数和计算开销能保持原来的性能,同时减少数据传输。项是一个端到端的过程,它也可以应用于CNN-based模型训练场景来提高沟通效率的联合模型。的比特总数必须在模型训练是由传播 在哪里T迭代的总数,米是客户的数量的服务器选择更新吗T圆的,代表了全球模型后t聚合,是可选参数的下载客户端。同样的,所选参数的客户吗用于上传服务器。本文从四个方面提高沟通效率:迭代频率,修剪,importance-based更新和量化。被定义为一个残余网络,并给出剩余网络的定义在以下公式: 在哪里是参数化;也就是说, 。本文中的实验包括分类、目标检测和语义分割。他们证明RPN不仅有效地减少了数据传输,也达到了几乎相同的性能与传统FL。最重要的是,项是一个端到端的过程,这使得它容易部署在实际应用程序而无需人工干预。联邦残余网络学习工作流程包括(1)选择客户为当地模型更新,恢复局部模型,(2)(3)培训当地模型基于本地数据集,(4)计算剩余网络,(5)空间聚合,(6)向服务器发送的RPN和聚合,并(7)发送的RPN回选择客户端和重复循环。图9是一个联邦残余网络的示意图。

表3显示当前联邦基于深度学习的学习方法。

6。联邦学习的隐私和安全问题

尽管FL可以确保数据被训练在本地客户端,它仍然有隐私和安全问题事件的恶意攻击,这主要体现在以下三个方面。首先,私人数据收集器收集用户数据未经许可,导致直接数据泄漏在数据收集;其次,有间接的隐私泄漏由于模型的泛化能力不足;最后,该模型可能被污染的缺乏安全措施(61年]。本节讨论预防和FL的攻击方面。

6.1。拜占庭预防联合学习

近年来,FL的安全问题引起了广泛的关注;特别是在一些分散的环境中,一些不稳定的客户行为异常,甚至可能有拜占庭failures-arbitrary和潜在的敌对行为62年]。Byzantine-robust FL旨在准确了解全局模型在服务器端当有限数量的客户是有恶意的。现有Byzantine-robust FL的关键思想是,服务提供者执行统计数据在客户端的本地模型更新和删除可用模型聚合前更新全局模型(63年]。目前,FL的主要弱点是SGD的担忧。如何确保分布式SGD的鲁棒性和发送有毒敌意拜占庭客户在训练阶段是一个热门研究课题(64年]。学习过程的敌意拜占庭客户,学习模型可能有偏见由于数据损坏,沟通失败,或恶意发送错误信息到服务器端(65年]。学习防御拜占庭问题,布兰查德(53)提出了克鲁姆,第一个可证明的拜占庭SGD分布的算法,满足弹性聚合规则。面对潜在客户异常,阴et al。62年]提出两个健壮的分布式梯度下降算法基于中值和修剪锋利的平均操作分析和证明了基于中值的分布式算法是健壮的,拥有相同的最优分布的梯度下降算法的容错率。李等人。65年)提出了Byzantine-Robust随机聚合(RSA)方法。RSA的目标函数,以提高鲁棒性的学习任务。与大多数算法相比,RSA方法可以适应独立且同分布FL,所以它适用于更广泛的应用。Shejwalkar和Houmansadr66年)提出了“分而治之”(DnC)和证明了DnC优于所有现有Byzantine-robust FL算法在击败模型中毒攻击。

6.2。当地联邦学习模型的攻击

此外,一些研究人员研究FL的攻击方法的鲁棒性。FL的恐怖袭击主要来自内部的攻击者参与FL过程和独特的模型训练策略。恶意对手可能会干扰或后门分布式学习的过程。巴鲁克et al。67年)提出了一种新的攻击方法,通过有限的许多参数变化,莫兰的纸,一个变种的修剪的意思是选择在现有的防御,产生最好的结果收敛攻击平均扣除天真的选择,显然是容易受到其他简单的攻击(67年]。

Bhagoji et al。68年]探索模型中毒的威胁攻击联合学习,由一个单一的、noncolluding恶意代理的敌对目标是使模型分类的一组选择输入高的信心。他们使用一套可解释性技术生成的视觉解释模型决策良性和恶意模型和显示解释视觉上几乎是没有区别的。他们的研究结果表明,即使是一个高度限制对手可以执行模型中毒攻击的同时保持隐形,从而突出的脆弱性FL设置,开发有效的防御策略(68年]。Bagdasaryan et al。69年)用FL和添加异常数据的隐私保护机制进行恶性攻击模型,使现有拜占庭异常检测面目全非。所以如何设计健壮FL系统为未来的研究是一个重要的话题。方等。70年)第一个系统研究本地模型执行中毒攻击FL。他们认为攻击者已经妥协一些客户端设备,和攻击者操纵破坏客户端设备上的本地模型参数学习过程中,全局模型有大量测试错误率。实验证明它是有价值的未来工作设计新的防御当地模型中毒攻击,检测受损局部模型的新方法,新的不利健壮的聚合规则(70年]。

7所示。未来的挑战

7.1。数据隐私问题

FL的框架下,尽管用户的本地数据不需要上传到服务器,它将直接用于当地的建模。如果你不独立添加噪声对这些本地数据保护他们的安全,恶意用户的攻击可能发生(71年]。的攻击有两种模式:一种是主动攻击,另一个是一个被动的攻击。

当设置FL算法协议,如果我们假设活跃的参与者是恶意攻击,破坏模型的安全性能,我们所说的积极参与者主动攻击者的恶意攻击FL。服务器可以获得各种设备的模型更新参数,它可以执行FL模型的攻击模型参数的分析每一轮的更新。

我们称之为semihonest但好奇端被动攻击者的攻击。之间的主要区别主动攻击和被动攻击者的攻击行为是由不同的恶意用户,初始用户的主动攻击者是客户端,和启动用户被动攻击的服务器。这两种类型的攻击伤害的机密性、完整性和可用性的FL模型(72年,73年]。攻击联邦模型和联合训练模型将失去平衡。在最坏的情况下,共同建立模型不能返回到本地客户端。

7.2。数据通信问题

在FL的框架中,客户端和服务器端设备进行交流和传播模型参数或渐变,及其通信速率比传统的分布式机器更频繁的传输速率。但是每个模型参与联合训练不能有相同的计算能力和稳定的传输速度,往往会导致通信不稳定。例如,手机的输入法用FL,一些手机使用移动数据和手机进行联合建模在无线状态下,数据传输的稳定性在移动数据通常比在无线状态下,很容易导致通信中断时上传或下载模型参数。即使相同的手机是在同一个网络状态,通信将不稳定的传播由于不同数量的参数。因此,FL的建模,数据通信问题是一个值得各种研究人员思考的问题。此外,通信带宽的问题提出(74年),联合训练的收敛模型,云服务提供商之间的通信都是需要研究的问题。

7.3。数据异构性问题

分布式毫升的数据通常是独立同分布,但FL是不同于传统的分布式毫升。设备在FL通常存在于网络nonindependent和均匀分布。数据参与培训通常nonindependent和同分布。例如,银行和网上购物,尽管它们有相同的客户在某种程度上,他们的数据存储结构异构。此外,跨设备数据持有人持有的不均匀分布的数据也将导致数据的异质性。因此,许多常见算法为独立同分布数据不能直接使用。如何研究算法,更兼容FL异构数据也是一个非常重要的发展方向FL。

7.4。数据开销问题

应用场景的FL,大多数当地模型,参与培训需要在移动终端执行计算和通信任务。因为当地模型所涉及的数量是非常大的,它不仅是一种挑战的通信也是一个伟大的测试计算。FL不仅是技术标签也是一种商业模式。加密是一个非常重要的环节在金融行业,和原来的云计算模型一直在挑战加密。添加加密算法的云计算数据传输是一种常见的加密方法。一些研究人员提出安全混合(74年混合)和安全(75年)方法,但这增加了沟通的成本。在添加加密方法之后,它需要解密,数据模型的计算成本进一步增加。文献[76年]提出的问题保持沟通成本和准确性之间的平衡和导游之间的平衡通过评估分布式统计和学习速率一定的带宽。目前,没有研究人员应用FL,没有最新的方法来解决高数据计算开销的问题,所以这个领域需要人们开放和提高。数据计算开销的问题是迫切等待解决。

7.5。缺乏信任的中央服务器

FL的过程中,需要一个信任的中央服务器,以确保用户的隐私和安全。一些学者提出了分散算法,基于异构数据分散的地方更新计划培训。FL需要一个中央服务器协调培训过程和接收模型上传的所有客户。因此,服务器是一个中央的参与者,它也可能有一个单点故障。尽管大型企业或组织可在某些应用场景,扮演好这个角色更协作学习场景,一个可靠和强大的中央服务器可能并不总是可用的。即使采用集中式微分隐私保护的数据时,必须由用户信任的中央服务器。否则,它将导致数据泄漏。未来的研究可以从如何构建一个可信的中央服务器FL的服务器结构进一步改善,使它更不容易遭受攻击和失败。现有的信任服务器转换主要包括ARM的Trust-Zone架构和英特尔SGX-enabled CPU架构(59]。表4显示了联邦学习问题。

8。结论

探讨FL的分类和发展和一些存在的问题FL。它从的角度阐述了FL算法,专注于联合深度学习的基础上引入联合毫升。在联邦深度学习的章,现有深学习算法从沟通的角度,讨论数据异构性、隐私保护、和受信任的服务器在FL。目前,FL仍处于快速发展的阶段,还有许多尚未解决的问题毫升和深度学习算法的框架下进一步扩张的FL。将来的数据量,深入学习算法的实现不仅是一种可行的方案练习在人工智能领域也更高效全面的方法使用分布式毫升和边缘数据。在未来,FL将在多个领域发展不协调,如边缘计算、区块链,隐私保护,以及其他协调发展提高FL的性能,同时,让商业价值更好。为了方便读者理解常见的符号在这篇文章中,我们已经添加了一个符号表,表中所示5。

数据可用性

没有数据被用来支持本研究。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

所有作者起草、阅读和批准最终的手稿。

确认

这项研究得到了国家自然科学基金(42075130,42075130,61701244)和国家重点研发项目的关键特殊项目(2018 yfc1405703)。

引用

1. c . Tikkinen-Piri a Rohunen j·马库拉,”欧盟通用数据保护规定:变化和对个人数据收集公司”计算机法律和安全报告,34卷,不。1,第153 - 134页,2018。视图:出版商的网站|谷歌学术搜索
2. 刘问:杨,y, t·陈,y,”联合机器学习:概念和应用程序”,ACM智能交易系统和技术,10卷,不。2 - 2019页。视图:出版商的网站|谷歌学术搜索
3. 刘j . x, x f·孟。”调查隐私保护机器学习,”计算机研究与发展》杂志上卷,57号2,页346 - 362,2020年,在中国。视图:谷歌学术搜索
4. x·g·李和f·h·李”,调查不同需要隐私,”《网络安全,3卷,不。5,页92 - 104,2018年,在中国。视图:谷歌学术搜索
5. h·b·麦克马汉e·摩尔·d·拉梅奇,美国芬和b Aguera y阿尔卡斯,“Communication-efficient学习深度网络从分散的数据,”第1282 - 1273页,2017年,https://arxiv.org/abs/1602.05629。视图:谷歌学术搜索
6. j . Konečny h·b·麦克马汉f . x, p . Richtarik a Theertha苏雷什,和d·培根”联合学习:策略提高沟通效率,”2016年,https://arxiv.org/abs/1610.05492。视图:谷歌学术搜索
7. g·杨和z s . Wang“隐私保护联邦调查学习,”南京邮电大学学报(自然科学版),40卷,不。5,204 - 221年,2020页。视图:谷歌学术搜索
8. z陈和刘,“终身机器学习,第二版。”综合课程人工智能和机器学习,12卷,不。3、1 - 207、2018页。视图:出版商的网站|谷歌学术搜索
9. r .负责人和诉Shmatikov”,保护隐私深度学习,”22 ACM SIGSAC学报》关于计算机和通信安全的会议蒙蒂塞洛,页1310 - 1321年,2015年9月,美国。视图:谷歌学术搜索
10. 问:杨和刘y”,联合学习:最后一公里的人工智能,”《智能系统,15卷,不。1,第186 - 183页,2020。视图:谷歌学术搜索
11. t·李,a . k . Sahu a . Talwalkar和诉史密斯,”联合学习:挑战、方法和未来的发展方向,”IEEE信号处理杂志,37卷,不。3,50 - 60,2020页。视图:出版商的网站|谷歌学术搜索
12. p . Kairouz h·b·麦克马汉b .新安怡et al .,“联合学习进步和开放问题,”2019年,https://arxiv.org/abs/1912.04977。视图:谷歌学术搜索
13. j . h . Kim公园,m·班尼斯和S.-L。金,“设备内置Blockchained联合学习。”IEEE通信信,24卷,不。6,1279 - 1283年,2019页。视图:出版商的网站|谷歌学术搜索
14. r·帕沙克和m·j·温赖特,”美联储分割:一个算法框架,用于快速联合优化,”2020年,https://arxiv.org/abs/2005.05238。视图:谷歌学术搜索
15. 朱l和s .汉”,从梯度深层渗漏,”课堂讲稿在计算机Science-Federated学习施普林格,柏林,德国,2020年。视图:出版商的网站|谷歌学术搜索
16. n . Kilbertus吹牛的人,m . Kusner m . Veale k . Gummadi和a·韦勒,“盲目的正义:公平与加密敏感属性,”美国第35届国际会议上机器学习,页2630 - 2639,斯德哥尔摩,瑞典,2018年7月。视图:谷歌学术搜索
17. r . Gilad-Bachrach n . Dowlin k·莱恩,k .清澈的m . Naehrig和j . Wernsing”Cryptonets:将神经网络应用于加密的数据吞吐量和高准确性,”美国第33机器学习国际会议,页201 - 210,纽约,纽约,美国,2016年6月。视图:谷歌学术搜索
18. c . Dwork“微分隐私:一项调查的结果,”国际会议程序模型计算的理论和应用,页-施普林格,西安,中国,2008年4月。视图:谷歌学术搜索
19. y LeCun (l . Bottou y Bengio, p . Haffner“Gradient-based学习应用于文档识别,”IEEE学报》,卷86,不。11日,第2324 - 2278页,1998年。视图:出版商的网站|谷歌学术搜索
20. a . Krizhevsky g·辛顿,“学习”多层小图像的特性,手册的系统性自身免疫性疾病,1卷,不。4、2009。视图:谷歌学术搜索
21. 林y,汉族,h .毛y . Wang和w·j .磨磨蹭蹭的,快“深度梯度压缩:减少通信带宽用于分布式训练,”2017年,https://arxiv.org/abs/1712.01887。视图:谷歌学术搜索
22. 施k, t .江,y,和z叮,“联邦通过无线计算,学习”IEEE无线通信,19卷,不。3、2022 - 2035年,2020页。视图:出版商的网站|谷歌学术搜索
23. 诉哈特曼,k莫迪,j . m . Pujol和r .西方,“保护隐私与秘密向量机分类,”学报》第29届ACM国际会议信息和知识管理,页475 - 484,纽约,纽约,美国,2020年10月。视图:谷歌学术搜索
24. 刘y, y, z . et al .,“联邦森林,”IEEE大数据,2020年。视图:谷歌学术搜索
25. l·w·j . z . Wang, z黄et al .,“联合学习算法的研究回顾,”大数据研究》第六卷,没有。6,70 - 88年,2020页。视图:谷歌学术搜索
26. t . k . Cheng粉丝,y金et al .,“安全促进:无损联合学习框架,”2019年,https://arxiv.org/abs/1901.08755。视图:谷歌学术搜索
27. m·a·p·Chamikara p . Bertok哈利勒,d . Liu和s . Camtepe“隐私保持与联合分布式联合学习学习,”2021年,https://arxiv.org/abs/2004.12108。视图:谷歌学术搜索
28. 问:李,z温家宝,他“实际联合梯度提高决策树,”人工智能学报AAAI会议,34卷,不。4、4642 - 4649年,2020页。视图:出版商的网站|谷歌学术搜索
29. j . h . Kim公园、m·班尼斯和s . l .金”块链接设备内置联合学习”,2019年,https://www.arxiv-vanity.com/papers/1808.03949/。视图:谷歌学术搜索
30. e . m .你和j·杨,”回顾semi-supervised学习理论和最新进展,”上海交通大学学报,52卷,不。10日,1280 - 1291年,2018页。视图:谷歌学术搜索
31. w·宋,j . Yoon e·杨,s . j .黄“联邦semi-supervised学习与客户机间的一致性,”2020年,https://arxiv.org/abs/2006.12097。视图:谷歌学术搜索
32. d . p . Kingma和m·威林”Auto-encoding变分贝叶斯,”2013年,https://arxiv.org/abs/1312.6114。视图:谷歌学术搜索
33. d . p . Kingma d . j . Rezende s穆罕默德和m·威林“Semisupervised学习与深生成模型,”2014年,https://arxiv.org/abs/1406.5298。视图:谷歌学术搜索
34. s .杨任,x周,l .刘”并行分布式逻辑回归对垂直联合学习没有第三方协调,”2019年,https://arxiv.org/abs/1911.09824。视图:谷歌学术搜索
35. 彭,异常检测技术研究基于无监督学习的监控录像,北京科技大学,北京,中国,2019。
36. 彭x, z黄、朱y和k . Saenko“联合对抗的领域适应,”2019年,https://arxiv.org/abs/1911.02054。视图:谷歌学术搜索
37. b·麦克马汉e·摩尔·d·拉梅奇,美国芬和b Aguera y阿尔卡斯,“Communication-efficient学习深度网络从分散的数据,”20人工智能国际会议的程序和统计(AISTATS),页1273 - 1282,劳德代尔堡,佛罗里达州,美国,2017年。视图:谷歌学术搜索
38. z . x朱,j . Wang, t·夏和j·肖,”联合学习不分段的中国文字识别模型,”学报2019年IEEE 31日国际会议与人工智能工具(ICTAI)IEEE,页1341 - 1345年,波特兰,或美国,2019年11月。视图:谷歌学术搜索
39. m·夏x张w·a·刘,l .翁和y徐,“多级特征约束学习年龄估计,”IEEE取证和安全信息,15卷,不。1,第2428 - 2417页,2020。视图:出版商的网站|谷歌学术搜索
40. w·荣·m·a·Chunguang, p . Wu”基于联邦入侵检测方法学习和卷积神经网络,”Netinfo安全,20卷,不。4,p。2020。视图:谷歌学术搜索
41. f .解决美国魏德曼,k·r·穆勒和w·Samek“健壮和communication-efficient联合学习non-iid数据,”IEEE神经网络和学习系统没有,卷。31日。9日,第3413 - 3400页,2019年。视图:谷歌学术搜索
42. m . Yurochkin m . Agarwal s Ghosh k . Greenewald n .黄平君y Khazaeni,“贝叶斯非参数联合学习神经网络,”机器学习的国际会议长滩,页7252 - 7261年,CA,美国,2019年。视图:谷歌学术搜索
43. m . b . Chen夏,j .黄”MFANet:多层次功能聚合网络的语义分割土地覆盖,“遥感,13卷,不。4 p。731年,2021年。视图:出版商的网站|谷歌学术搜索
44. m·夏崔y, y, y, y徐,j . Liu”DAU-net:小说水域为遥感影像分割结构,”国际遥感杂志》上,42卷,不。7,2594 - 2621年,2021页。视图:出版商的网站|谷歌学术搜索
45. ,的Hochreiter和j。施密德胡贝尔表示“长短期记忆。”神经计算,9卷,不。8,1735 - 1780年,1997页。视图:出版商的网站|谷歌学术搜索
46. t . Chilimbi y Suzue、j . Apacible和k . Kalyanaraman”项目亚当:构建一个高效的和可伸缩的深度学习培训制度,”学报11日{USENIX}研讨会上操作系统设计与实现({OSDI} 14)页571 - 582,公司的布鲁姆菲尔德,美国,2014年10月。视图:谷歌学术搜索
47. j . Konečny h·b·麦克马汉d .鲸和p . Richtarik”联合优化:分布式设备内置智能机器学习,”2016年,https://arxiv.org/abs/1610.02527。视图:谷歌学术搜索
48. m·夏w·刘。k . Wang w .歌曲,c .陈和李y,“非侵入性的负载变革,基于复合深度长期短期记忆网络”专家系统与应用程序文章ID 113669卷,160年,2020年。视图:出版商的网站|谷歌学术搜索
49. t·李,a . k . Sahu m·查希尔·m·Sanjabi a . Talwalkar和诉史密斯,“联合优化在异构网络中,”2018年,https://arxiv.org/abs/1812.06127。视图:谷歌学术搜索
50. c . Nadiger a·库马尔,s . Abdelhak“联邦快速个性化,强化学习”学报2019年IEEE第二国际人工智能与知识工程会议(科)IEEE,页123 - 127年,撒丁岛,意大利,2019年6月。视图:谷歌学术搜索
51. h·b·麦克马汉e·摩尔·d·拉梅奇,美国芬和b Aguera y阿尔卡斯,“Communication-efficient学习深度网络从分散的数据,”第1282 - 1273页,2017年,https://arxiv.org/abs/1602.05629。视图:谷歌学术搜索
52. 安瓦尔和a . Raychowdhury“多任务与对手联合强化学习,”2021年,https://arxiv.org/abs/2103.06473。视图:谷歌学术搜索
53. ·布兰查德·e·m·Mhamdi r . Guerraoui j .色料,“机器学习的敌人:拜占庭宽容的梯度下降法,”31日学报》国际会议上神经信息处理系统长滩,页118 - 128年,CA,美国,2017年12月。视图:谷歌学术搜索
54. a . n . Bhagoji s Chakraborty·米塔尔和美国卡洛,“分析联合学习通过对抗性的镜头,”美国第36届国际机器学习会议长滩,页634 - 643年,CA,美国,2019年。视图:谷歌学术搜索
55. 美国曾庆红,安瓦尔,t . Doan A . Raychowdhury和j·伯格,“分散的多任务强化学习策略梯度方法,”2020年,https://arxiv.org/abs/2006.04338。视图:谷歌学术搜索
56. f . Chen m·罗z咚,,x, z . Li“联邦元学习和快速收敛性和高效沟通,”2018年,https://arxiv.org/abs/1802.07876。视图:谷歌学术搜索
57. c·芬恩,p . Abbeel和s . Levine”Model-agnostic元学习快速适应网络,深”美国第34机器学习(ICML 17)国际会议上澳大利亚悉尼,页1126 - 1135,,2017年8月。视图:谷歌学术搜索
58. z, f, f·陈,h·李”Meta-SGD:学会学习很快few-shot学习,”2017年,https://arxiv.org/abs/1707.09835。视图:谷歌学术搜索
59. 陈黄,y, y, t . Chen,问:杨”RPN:残余池网络高效联合学习,”2020年,https://arxiv.org/abs/2001.08600。视图:谷歌学术搜索
60. y . m .夏t . Wang, j . Liu, y,“云/阴影分割基于全球关注的特性为遥感图像融合残余网络,”国际遥感杂志》上,42卷,不。6,2022 - 2045年,2021页。视图:出版商的网站|谷歌学术搜索
61. j·史和y周”,隐私保护技术研究联合学习。”现代信息技术,5卷,不。1,第142 - 138页,2021。视图:谷歌学术搜索
62. d .阴y陈、Kannan r和p . Bartlett”Byzantine-robust分布式学习:对最优统计率,”美国第35届国际会议上机器学习斯德哥尔摩,瑞典,2018年7月。视图:谷歌学术搜索
63. 曹x m .方j·刘,n . z锣”FLTrust: byzantine-robust联合学习通过信任引导,”2020年,https://arxiv.org/abs/2012.13995。视图:谷歌学术搜索
64. r . Guerraoui和美国鲁阿尔分布式学习拜占庭的隐藏的弱点,”https://arxiv.org/abs/1802.07927。视图:谷歌学术搜索
65. w . l . Li, t . Chen g . b . Giannakis和凌问:“RSA: byzantine-robust随机分布式异构数据集学习、聚合方法”人工智能学报AAAI会议,33卷,不。1,第1551 - 1544页,2019。视图:出版商的网站|谷歌学术搜索
66. 诉Shejwalkar和a . Houmansadr”操纵拜占庭:优化模型中毒为联邦学习,攻击和防御”互联网协会,18页,2021年。视图:谷歌学术搜索
67. m·巴鲁克·g·巴鲁克,y . Goldberg”一点就够了:绕过防御分布式学习,”2019年,https://arxiv.org/abs/1902.06156。视图:谷歌学术搜索
68. a . n . Bhagoji s Chakraborty·米塔尔和美国卡洛,“分析联合学习通过对抗性的镜头,”2019年,https://arxiv.org/abs/1811.12470。视图:谷歌学术搜索
69. e . Bagdasaryan a . Veit y华,d·埃斯特林和诉Shmatikov”如何后门联合学习”,2020年,https://arxiv.org/abs/1807.00459。视图:谷歌学术搜索
70. m .方x曹、j·贾和n z锣,”当地模型中毒攻击byzantine-robust联合学习”,2019年,https://arxiv.org/abs/1911.11815。视图:谷歌学术搜索
71. Truex和n . Baracaldo“保护隐私联合学习的混合方法,”第12届ACM学报》研讨会上人工智能和安全,页1 - 11,伦敦,英国,2019年11月。视图:谷歌学术搜索
72. r·c·盖尔·t·克莱恩,m·纳比”不同私人联合学习:客户水平的角度来看,“2017年,https://arxiv.org/abs/1712.07557。视图:谷歌学术搜索
73. s . g .徐h . Li Liu k .杨和x林,“Verifynet:安全的和可核查的联合学习,”IEEE取证和安全信息15卷,第926 - 911页,2019年。视图:出版商的网站|谷歌学术搜索
74. k .博纳h . Eichner w . Grieskamp et al .,“向大规模联合学习:系统设计”,2019年,https://arxiv.org/abs/1902.01046。视图:谷歌学术搜索
75. a . Bittau U。Erlingsson, p .则et al .,“Prochlo:强烈的隐私分析在人群中”学报》第26届研讨会上操作系统的原则,第459 - 441页,上海,中国,2017年10月。视图:谷歌学术搜索
76. 美国说,美国Gorbunov, c·w·弗莱彻,“ZeroTrace:遗忘的记忆原语从英特尔新交所/ / nds,”《网络和分布式系统安全(nds)研讨会2018美国圣地亚哥CA, 2018年2月。视图:谷歌学术搜索

版权

版权©2021 Kai胡锦涛等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。