一种基于区块链的委员会共识去中心化联邦学习框架(译文)

原文标题:A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus

原文作者:Yuzheng Li, Chuan Chen, Nan Liu, Huawei Huang, Zibin Zheng and Qiang Yan

作者单位:中山大学数据科学与计算机学院;中山大学国家数字家庭工程技术研究中心;微众银行

摘要

联邦学习已经被广泛研究并应用于各种场景。在移动计算场景中,联邦学习保护用户不暴露他们的私有数据,同时为多种现实世界的应用协同训练全局模型。然而,由于恶意客户端或中心化服务器对全局模型或用户隐私数据的不断攻击,联邦学习的安全性越来越受到质疑。为了解决这些安全问题,我们提出了一种基于区块链的分布式联邦学习框架,即基于区块链的委员会共识联邦学习框架(BFLC)。该框架使用区块链进行全局模型存储和本地模型更新交换。为了实现BFLC,我们还设计了一个创新的委员会共识机制,该机制可以有效地减少共识计算量,减少恶意攻击。然后我们讨论了BFLC的可扩展性,包括理论安全性、存储优化和激励。最后,我们使用真实世界的数据集进行了实验来验证BFLC框架的有效性。

1 绪论

随着GDPR的推出,无论是工业界还是学术界都开始更加关注机器学习的隐私保护问题。用户生成的私人数据不应公开或上载到中心化服务器。谷歌在2016年提出联邦学习(FL),以解决隐私保护的协同训练问题。FL提出了一种分布式训练模型,该模型具有两个角色:参与设备和中心服务器。节点不上传私有数据,而是本地更新全局模型,然后上传模型更新(即本地梯度)。中心化服务器收集这些更新,并将其整合以形成更新后的模型。由于这种隐私特性,近年来FL正受到越来越多研究者的关注。

在FL设置中,服务器执行更新聚合、客户端选择、全局模型维护等中心操作。服务器需要收集众多客户端的更新来完成聚合操作,还需要向这些客户端广播新的全局模型,这对网络带宽提出了很高的要求。还有,基于云的服务器受到云服务提供商稳定性的影响[1]。中心化服务器可能通过偏向某些客户端而扭曲全局模型。而且,一些恶意的中心化服务器可以毒害模型,甚至从更新中收集客户端的隐私数据。因此,中心服务器的稳定性、公平性和安全性对FL至关重要。

一个直接的想法是移除服务器,在分布式客户机节点上执行中心任务。区块链被看作是去中心化存储,可以作为维护FL的基础。具体来说,我们可以设计在客户端上执行聚合任务的协议。BAFFLE[2]提到使用区块链来存储和共享全局模型,并使用智能合约执行聚合。随着中心化服务器的移除,上述挑战无需考虑。而这个任务的计算量和网络传输压力都转移到了节点上。特别是当所有节点都要处理共识任务时,每轮的计算开销是巨大的。

Zhou等人[3]提出使用区块链在社区内维护全局模型并达成共识,利用规约协议在多个社区间传输和更新模型。全局模式不断更新,由各个社区推广。Chen等人[4]建议利用区块链来记录来自节点的更新以及对这些更新的评估。被低估的节点可能会被踢出社区,作为对恶意设备的防御。但同时维护多个区块链[3]不利于模型共享,不同社区的节点几乎无法获取模型或更新其他社区的记录。如果一个社区作为一个整体是恶意的,那么其他诚实的社区很难发现和抵抗,那么可能需要一个可信的全局检测。

通过文献综述,我们认为区块链作为一种有效的去中心化存储,取代中心化的FL服务器是一种有效的方法。但是,共识的效率亟待提高。虽然在区块链中存储模型和模型更新带来了许多安全优势,但这也是区块链节点上存储容量的巨大负担。因此,如何降低一个基于区块链的FL的消耗也是一个关键的挑战。

在本文中,我们提出了一个去中心化的,自治的,基于区块链的FL架构来解决这些挑战(如图1所示)。在FL节点的管理方面,基于联盟链的体系结构保证了节点的权限控制。在存储方面,设计了基于模型和更新链的存储模式,通过该模式,节点可以快速得到最新的模型。每个经验证的更新都被记录下来,并且在区块链上保持不被篡改。考虑到区块链上巨大的存储消耗,部分节点可以舍弃历史区块来释放存储空间。在区块共识机制方面,提出了一种新的委员会共识机制,该机制在恶意攻击下只增加少量的验证消耗,并获得更高的稳定性。在每一轮FL中,更新由少量节点(即委员会)进行验证和打包。委员会共识机制让大多数诚实的节点相互强化,不断完善全局模型。少量不正确或恶意的节点更新将被忽略,以避免损坏全局模型。同时,BFLC训练社区是灵活的,节点可以随时加入或离开,而不会破坏训练过程。再结合有效的激励机制,让做出贡献的节点获得实际的奖励,从而促进整个培训社区良性循环发展。

我们的贡献摘要如下。

  • 我们提出了一个基于区块链的FL框架BFLC,它详细定义了模型存储模式、训练过程和一个新的委员会共识。
  • 从技术上讨论了BFLC的可扩展性,包括社区中节点的管理、恶意节点攻击的分析和存储优化。
  • 我们通过在真实世界的FL数据集上的实验证明了BFLC的有效性。通过模拟恶意攻击,验证了BFLC的安全性。

2 相关工作

Konecn等人提出了联邦学习,其目标是训练一个高质量的中心化模型,同时训练数据仍然分布在大量的客户端上[1]。FL的网络状况不可靠,速度较慢,客户端也不是一直在线的。近年来,FL在保证个人数据敏感性安全的前提下,被广泛应用于视频分析、信息检测和分类、信用卡欺诈检测等领域。此外,关于网络收敛性、网络延迟、恶意攻击等方面的理论研究也是一个活跃的领域。

近年来,中心化联邦服务器受到了越来越多的挑战和质疑。将服务器的概念保持在最低限度,甚至完全避免它是一种自然而然的思想。[5]的研究假设数据保留在边缘设备上,但它不需要聚合服务器或任何中心组件。Hu等人[6]提出了一种分段的gossip方法,充分利用了节点间的带宽,实现了有效的收敛。

同时,去中心化可能是规避上述风险的最直接方式。区块链是一种分布式账本技术,可以存储历史操作并保持其不可篡改性。以区块链为目的,协同机器学习方法可以摆脱中心化服务器,提高安全性。Blaz等人[7]提出了一种基于机器学习的方法,在加快交易签名过程的同时,对异常交易进行个性化识别。深度强化学习还应用于基于区块链的场景,如工业物联网、移动边缘计算、认知无线电网络和车联网。

FL是近年来区块链系统的一个新兴研究热点,可以合理地假设FL中的客户可能是恶意的。因此,来自所有客户端的本地更新应记录在基于区块链的FL环境下。You等人[8]重点研究了FL的稳定性和收敛速度,并提出了一种基于区块链的方法来应对这些挑战。Umer等人[9]提出了一种基于区块链的架构,可以对多个全局模型进行并行学习。Bao等人[10]提出了一种基于公共区块链的FL架构,该架构根据节点的数据量和历史性能提供可信共识。

这些基于区块链的学习方法可以有效地记录节点的性能,减少恶意攻击。 然而,目前仍存在三个主要挑战:

(1)共识效率。对于基于区块链的方法来说,为每个打包的区块达成共识是一个不可避免的过程,考虑到FL环境中的大量学习节点,一个广播共识是非常耗时的,因此降低共识成本是非常重要的,有一个相关工作[10]选择一个领导者来执行共识,但是该准则依赖于很多外部数据。

(2)模型安全性。该框架应防止全局模型暴露于未经授权的设备和中毒。在基于区块链的FL环境下,系统的安全性很少被研究。

(3)框架的可扩展性。当将这些训练框架应用于现实世界的应用时,我们总是需要添加细节规则以适应不同的场景,因此框架的可扩展性决定了它们的应用范围。

在下面的章节中,我们将描述我们提出的应对这些挑战的方法。

3 提出的框架

联邦学习(FL)使得机器学习算法能够在多个分布式客户端之间进行训练,而不需要交换数据样本。在最初的FL环境中,一个中心化服务器控制训练过程,包括客户端管理、全局模型维护和梯度聚合。在每个训练轮期间,服务器向一些参与节点广播当前模型。节点收到模型后,用自己的本地数据对其进行本地更新,并将更新梯度提交给服务器。然后,服务器聚合并将本地梯度应用到下一轮的模型中。

区块链的去中心化特性可以替代中心化服务器的位置。如上所述,中心化服务器的功能可改为由智能合约(SC)实现,并由区块链上的交易驱动。为了解决这一愿景,我们提出了BFLC,这是一个基于区块链的委员会共识联邦学习框架。在没有任何中心化服务器的情况下,参与节点通过区块链执行FL,区块链维护全局模型和本地更新。考虑到FL的通信开销,我们采用了一种新的委托共识机制来解决梯度选择和区块生成的任务。在下面的小节中,我们将详细介绍框架的各个组成部分。

3.1 区块链存储

为了实现权限控制,BFLC的存储是一个联邦区块链系统,只有经过授权的设备才能访问FL训练内容。在区块链上,我们设计了两个不同的区块来存储全局模型和本地更新(如图2所示),它们统称为学习信息。为了简单起见,我们假设在一个区块中只放置一个学习信息。

在开始时,一个随机初始化的模型被放置到区块#0中,然后开始第0轮训练。节点访问当前模型并执行本地训练,将经过验证的本地梯度放到新的更新区块中。当不断有足够多的更新区块时,智能合约触发聚合,产生下一轮的新模型并放在链上。我们要注意的是,FL训练只依赖于最新的模型区块,历史区块被存储用于失败回退和区块验证。

我们将每一轮所需更新的次数表示为k,将轮数表示为t=0,1,…。然后我们有:区块#t×(k+1)包含第t轮的模型,称为模型区块;区块#[t×(k+1)+1,(t+1)×(k+1)−1]包含第t轮的更新,称为更新区块。从实现的角度来看,一个模型区块应该包括:区块头、轮数t和全局模型,而一个更新区块应该包括:区块头、轮数t、本地更新梯度、上传者地址和更新分数。

3.2 委员会共识机制

区块链的链式结构保证了不变性。因此,将正确的区块添加到链中是共识机制工作的一个关键组成部分。基于竞争的共识机制首先在链上附加区块,然后,达成共识。相反,基于通信的生成机制在附加区块之前达成一致。

考虑到共识的计算和通信开销,我们提出了一种高效安全的委员会共识机制(CCM),在将本地梯度添加到链中之前对其进行验证。在这种环境下,几个诚实的节点将组成一个委员会,负责本地梯度的验证和区块的生成。同时,剩余节点执行本地训练并将本地更新发送给委员会。然后,委员会对更新进行验证,并对其进行评分。只有符合条件的更新才会打包到区块链上。在下一轮开始时,以上一轮节点的得分为基础选举出新的委员会,这意味着该委员会将不再连任。值得注意的是,更新验证是CCM的一个关键组成部分,因此,我们描述了一种可行的方法:委员会成员将他们的数据作为一个验证集来验证本地更新,并且验证的准确性成为分数。这是一种最小化的方法,它不需要委员会的进一步操作,而只需要运行学习模型的基本能力。综合来自各个委员的分数后,中位数将成为本次更新的分数。

使用这种机制,BFLC可以实现以下优点:

(1)效率高:只有少数几个节点对更新进行验证,而不是对每个节点进行广播并达成一致意见。

(2)K折交叉验证:委员会成员不参加该轮的本地培训,因此将委员会的本地数据作为一个验证集,随着每轮委员会成员的交替,验证集也会发生变化,在此设置下,实现了对FL的K折交叉验证。

(3)反恶意:根据验证分数,智能合约将选出性能较好的相应节点,组成下一轮训练的新的委员会,这意味着所选的本地数据分布是经常交流的,节点不是恶意的。

3.3 模型训练

委员会以外的节点每轮执行本地训练。在FL中,出于安全和隐私的考虑,原始数据会在本地保存在节点中,这些节点只将梯度上传到区块链。此外,还有两个主要挑战:

(1)本地数据分布可能不是独立同分布的(非IID)。

(2)设备并非总是可用的。

为了解决第一个挑战,每一轮只需进行一定数量的本地更新,委员会共识机制可以通过利用委员会成员的数据分布验证本地更新,最大限度地提高全局模型的泛化能力[1]。针对第二个挑战,我们设计了一个主动的节点本地学习过程。

节点可以随时主动获取当前全局模型,并进行本地训练。梯度将发送给委员会并加以验证。当符合条件的更新被打包到区块链上时,作为奖励,代币可以附加到其中。我们将在下一节讨论激励问题。

如前所述,每轮需要一定数量的有效更新。因此,当委员会验证了足够的本地更新时,聚合处理被激活。这些经验证的更新由委员会汇总成一个新的全局模型。聚合可以在本地梯度上进行[11],也可以在本地模型上进行[12],这两种方法的网络传输消耗是相等的。新的全局模型在区块链上打包后,将再次选举委员会,下一轮培训开始。

4 讨论

4.1 节点管理与激励

BFLC的训练过程依赖于节点的相互促进,节点管理也是BFLC的关键部分。参与节点不仅可以访问全局模型,还可以上传更新以影响全局模型。为了控制权限,我们指定了组成训练社区的初始节点来负责节点管理,即成为管理者。在加入训练社区之前,每个设备都必须经过管理者的验证。这种验证是在黑名单模式下:如果设备已经因为不当行为(如提交误导性更新、传播私密模型)而被踢出社区,设备将被拒绝。

依赖于所提出的区块链存储结构,在新节点加入后,可以在链上快速找到最新的全局模型。节点可以立即使用模型完成其本地任务,也可以使用本地数据更新模型,经过共识委员会验证后在链上获得分数。值得注意的是,每轮聚合只需要一定数量的有效更新,并且也只有部分节点在线参与。因此,只要节点主动提交更新,它就有可能参与全局模型更新并获得分数。同时,部分离线节点不会阻碍FL的进行。

社区中的节点可以始终使用模型而无需提交更新,因此需要一个有效的激励机制来鼓励节点向全局模型提供更新。为了解决这一问题,我们提出了一种激励机制,称为按贡献分享利润。

  • 许可费:每个设备都应该为全局模型的访问许可付费,这些费用由管理者保管。然后节点就可以无限制地访问社区中的最新模型。
  • 利润分享:每轮汇总后,管理者根据其提交更新的分数向相应节点分配奖励。

因此,频繁地提供更新可以获得更多的奖励,而不断更新的全局模型将吸引更多的节点参与。这种激励机制具有很高的可扩展性,以适应不同的现实世界应用。例如,许可费的配置、利润分享比例、分红方式等都值得研究。

4.2 委员会选举

在每一轮结束时,从已验证更新的提供者中选出一个新的委员会。在分散训练设置中,这种选择显著影响全局模型的性能,因为委员会决定将聚合哪些本地更新。委员会选举方式包括以下几类:

  • 随机选举:新的委员会成员从经过验证的节点中随机选出。从机器学习的角度来看,这种方法提高了模型的泛化能力,减少了过拟合。然而,恶意节点伪装成正常节点,对恶意攻击的抵抗力较弱。
  • 按分数选举:获得最高验证分数的提供者组成新的委员会。这可能会由于没有部分节点进入委员会而加剧样本分布的不均匀。但对于恶意节点攻击,这种方式显著增加了攻击的代价,带来了更多的安全性和稳定性。
  • 多因素优化:该方法为优化选择而考虑设备的多个因素(即网络传输速率)和验证分数。但是,这种优化会带来额外的计算开销。因此,应根据实际情况和相关要求应用此方法。

4.3 恶意节点

恶意节点定义为提交不正确、恶意模型更新的节点。在最初的FL环境中,FedAvg[12]将所有更新聚合到一个新的全局模型中。如果有恶意更新,全局模型就会被污染,获得较低的性能。如前所述,在CCM下,更新将在汇总之前由委员会核实。在这一小节中,我们从理论上分析了恶意攻击的因素和成功的可能性。

我们将所有节点的数量表示为N,其中委员会成员的数量为M,其余N-M个节点为训练节点。显然,当且仅当多于M/2个委员会成员在合作时,恶意更新才被接受到聚合中。然而,委员会成员是上一轮中表现最好的M个成员,这意味着这些恶意的委员会成员的更新被上一轮委员会中的其他M/2个恶意节点所接受。它是一个无限依赖循环,因此,只要第一轮委员会中有超过M/2个诚实的节点,就不可能有恶意的节点进入委员会而危害全局模型。

考虑到另一种极端情况:恶意节点串通一气,通过冒充正常节点来赚取委员会席位。当恶意节点占据一半席位时,攻击开始。为了分析这种攻击模式,我们将参与节点的数量表示为A,A中恶意节点的百分比为q∈(0,1),委员会的百分比为p∈(0,1)。攻击目标在委员会中拥有超过A×P/2个席位。我们假设每个节点的性能是相似的。因此,攻击成功概率可以计算为该事件发生的概率:从A个节点中提取A×P个节点,其中一半以上来自A×Q个。通过固定A=1000,我们在图3中绘制了沿P和Q的概率变化。需要注意的是,只有当恶意百分比大于50%时,攻击的成功概率才会显著大于0。这一结论与PoW区块链系统中的51%攻击类似。也就是说,在一个去中心化的社区中,恶意节点应该掌握51%的计算资源来攻击系统,在这里成本远远大于收益。此外,历史模型和更新都存储在区块链上,因此,在攻击发生后,故障恢复始终是一种选择。

4.4 存储优化

在实际应用中,存储开销是决定训练设备硬件需求的一个重要因素。基于上述区块链存储方案(如图2所示),可以快速找到最新的全局模型。历史模型和更新虽然可以提供灾后恢复功能,但也占用了巨大的存储空间。在这里,我们给出了一个简单可行的降低存储开销的方案:容量不足的节点可以在本地删除历史区块,只保留当前轮的最新模型和更新。这样可以解决部分节点上存储空间不足的问题,同时在核心节点上保留了灾后恢复和区块验证的能力。但是,这种方式的缺点也很明显。区块链的可信度随着节点的删除而降低。在一个相互不信任的训练社区中,每个节点出于安全考虑可能不会使用这种方案。

因此,可信可靠的第三方存储可能是更好的解决方案。区块链只维护每个模型或更新文件所在的网络地址和修改操作的记录。其他节点与中心化存储交互以获取最新模型或上传更新。这个中心化存储将负责灾难恢复备份和分布式文件存储服务。

5 实验

5.1 环境和正常训练

为了证明BFLC的有效性,我们在真实世界的联邦数据集FEMNIST[13]上执行了它。这个数据集包含805263个样本和3550个用户,用于手写字符图像分类任务,包含62个不同的类(10个数字、26个小写、26个大写)。按照数据集的指示,我们在训练社区中模拟了900台设备,其中本地数据集数量不平衡,分布不独立。在随机选择主动节点后,通过内存进行本地训练和聚合。我们在Intel Core CPU i9-9900X上使用了一个具有PBFT共识的区块链系统FISCO,时钟速率为3.50 GHz,有10个内核,每个内核有2个线程。SC层使用Solidity编程语言进行开发。该学习模型用Python 3.7.6和Tensorflow 1.14.0编写,并在Geforce RTX 2080Ti GPU上执行。

我们将BFLC与基本FL[12]框架和作为基准的单机训练框架进行比较。每个框架执行经典的图像分类模型AlexNet[14]作为全局模型,并固定一组模型超参数以保证公平性。在实验环境方面,我们将每轮活动节点的比例定义为k%,其中40%将在下一轮BFLC中被选为委员会成员。基本FL的训练节点比例也是k%。同时,单机训练将利用整个数据集。在不同k值的条件下,我们将它们的表现记录在表I中。

从表I中可以看出,随着活动节点比例的增加,BFLC的性能不断接近基本FL框架的效果,与数据集完整的单机训练相比仅略有损失。我们应该提到,BFLC可以通过委员会共识机制显著减少共识的消耗。例如,如果训练节点的数目为P,委员会的大小为Q,则活动节点为P+Q。对于BFLC,每轮共识的计算量可以表示为P×Q,而广播方法为(P+Q)^2。与单机训练相比,BFLC还具有联邦学习的隐私数据保护功能,且不需要可信的中心化服务器进行管理,显著降低了隐私泄露的风险。

5.2 在恶意攻击下

训练社区中的恶意节点会产生有害的更新,如果被整合的话会显著降低全局模型的性能。在这一小节中,我们模拟恶意节点攻击,以演示在活动节点之间不同的恶意比例下,所提出的BFLC、基本FL和CwMed[15]将如何受到影响。我们假设恶意节点的攻击模式是带有点态高斯随机噪声的随机扰动。

基本的FL将不执行任何防御措施,由随机选择的活动节点生成的模型更新将被整合。CwMed构造了一个全局梯度,其中每个条目是具有相同坐标的本地梯度中条目的中位数。BFLC依靠上文提到的委员会共识来抵抗攻击。每次更新将从委员会获得一个分数(例如,本地预测精度的中位数)。

为了增强攻击的有效性,我们假设恶意节点是共谋的,即恶意委员会成员会对恶意更新给出随机的高分(例如,90%~100%)。活跃节点的比例固定为10%,其中20%将在下一轮选举中当选委员会。如图4所示,BFLC能够抵抗比所比较的方法高得多的恶意节点比例。这表明了BFLC在委员会机制帮助下的有效性。

6 结论

联邦学习的安全性面临着越来越大的挑战。恶意的FL训练节点会破坏全局模型,而恶意的中心化服务器也会泄露节点的私有数据。基于可信区块链系统,我们提出了BFLC,这是一个利用委员会共识的去中心化联邦学习框架。这样的委员会共识可以有效地避免恶意中心化服务器或恶意节点的影响。在实验部分,我们通过采用真实世界的数据集来验证BFLC框架的有效性,它可以得到类似于联邦学习框架中中心化训练的全局模型。我们还讨论了BFLC的可扩展性,它在安全性、数据存储、激励机制等方面具有广阔的研究前景。

7 致谢

本文的研究工作得到了国家重点研究发展计划(2016YFB1000101)、国家自然科学基金(11801595, 61722214)、广东省自然科学基金(2018A030310076, 2019A1515011043)和CCF-腾讯开放基金WeBank专项基金的资助。

参考文献

[1] J. Konecný, H. B. McMahan, F. X. Yu, P. Richtárik, A. T. Suresh, and D. Bacon, “Federated learning: Strategies for improving communication efficiency,” CoRR, vol. abs/1610.05492, 2016. [Online]. Available: http://arxiv.org/abs/1610.05492

[2] P. Ramanan, K. Nakayama, and R. Sharma, “BAFFLE: Blockchain based aggregator free federated learning,” CoRR, vol. abs/1909.07452, 2019. [Online]. Available: http://arxiv.org/abs/1909.07452

[3] S. Zhou, H. Huang, W. Chen, Z. Zheng, and S. Guo, “PIRATE: A blockchain-based secure framework of distributed machine learning in 5g networks,” CoRR, vol. abs/1912.07860, 2019. [Online]. Available: http://arxiv.org/abs/1912.07860

[4] X. Chen, J. Ji,C. Luo, W. Liao, and P. Li, “When machine learning meets blockchain: A decentralized, privacy-preserving and secure design,” in 2018 IEEE International Conference on Big Data (Big Data), Dec 2018, pp. 1178–1187.

[5] I. Hegedüs, G. Danner, and M. Jelasity, “Gossip learning as a decentralized alternative to federated learning,” in Distributed Applications and Interoperable Systems - 19th IFIP WG 6.1 International Conference, DAIS 2019, Held as Part of the 14th International Federated Conference on Distributed Computing Techniques, DisCoTec 2019, Kongens Lyngby, Denmark, June 17-21, 2019, Proceedings, 2019, pp. 74–90. [Online]. Available: https://doi.org/10.1007/978-3-030-22496-75

[6] C. Hu, J. Jiang, and Z. Wang, “Decentralized federated learning: A segmented gossip approach,” CoRR, vol. abs/1908.07782, 2019. [Online]. Available: http://arxiv.org/abs/1908.07782

[7] B. Podgorelec, M. Turkanovic, and S. Karakatic, “A machine learning-based method for automated blockchain transaction signing including personalized anomaly detection,” Sensors, vol. 20, no. 1, p. 147, 2020. [Online]. Available: https://doi.org/10.3390/s20010147

[8] Y. J. Kim and C. S. Hong, “Blockchain-based node-aware dynamic weighting methods for improving federated learning performance,” in 20th Asia-Pacific Network Operations and Management Symposium, APNOMS 2019, Matsue, Japan, September 18-20, 2019. IEEE, 2019, pp. 1–4. [Online]. Available: https://doi.org/10.23919/APNOMS.2019.8893114

[9] U. Majeed and C. S. Hong, “Flchain: Federated learning via mec-enabled blockchain network,” in 20th Asia-Pacific Network Operations and Management Symposium, APNOMS 2019, Matsue, Japan, September 18-20, 2019. IEEE, 2019, pp. 1–4. [Online]. Available: https://doi.org/10.23919/APNOMS.2019.8892848

[10] X. Bao, C. Su, Y. Xiong, W. Huang, and Y. Hu, “Flchain: A blockchain for auditable federated learning with trust and incentive,” in 5th International Conference on Big Data Computing and Communications, BIGCOM 2019, QingDao, China, August 9-11, 2019. IEEE, 2019, pp. 151–159. [Online]. Available: https://doi.org/10.1109/BIGCOM.2019.00030

[11] R. Shokri and V. Shmatikov, “Privacy-preserving deep learning,” in Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, Denver, CO, USA, October 12-16, 2015, I. Ray, N. Li, and C. Kruegel, Eds. ACM, 2015, pp. 1310–1321. [Online]. Available: https://doi.org/10.1145/2810103.2813687

[12] B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, “Communication-efficient learning of deep networks from decentralized data,” in Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, AISTATS 2017, 20-22 April 2017, Fort Lauderdale, FL, USA, ser. Proceedings of Machine Learning Research, A. Singh and X. J. Zhu, Eds., vol. 54. PMLR, 2017, pp. 1273–1282. [Online]. Available: http://proceedings.mlr.press/v54/mcmahan17a.html

[13] S. Caldas, P. Wu, T. Li, J. Konecný, H. B. McMahan, V. Smith, and A. Talwalkar, “LEAF: A benchmark for federated settings,” CoRR, vol. abs/1812.01097, 2018. [Online]. Available: http://arxiv.org/abs/1812.01097

[14] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” Commun. ACM, vol. 60, no. 6, pp. 84–90, 2017. [Online]. Available: http://doi.acm.org/10.1145/3065386

[15] D. Yin, Y. Chen, K. Ramchandran, and P. L. Bartlett, “Byzantine-robust distributed learning: Towards optimal statistical rates,” in Proceedings of the 35th International Conference on Machine Learning, ICML 2018, Stockholmsmässan, Stockholm, Sweden, July 10-15, 2018, ser. Proceedings of Machine Learning Research, J. G. Dy and A. Krause, Eds., vol. 80. PMLR, 2018, pp. 5636–5645. [Online]. Available: http://proceedings.mlr.press/v80/yin18a.html

本作品采用 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议 进行许可。