文摘
联合学习机器学习(FL)是一种新兴的子域名(ML)在分布式和异构的设置。它提供了高效的培训架构,充分的数据,和保护隐私的交流促进ML算法的性能和可行性。在这种环境下,产生的合成全局模型平均各种培训客户端模型是至关重要的。在每一轮的FL,模型参数从每个客户端设备转移到服务器时,服务器等待所有的模型才能平均。在现实的场景中,等待所有客户沟通他们的模型参数,客户端模型训练在低功耗物联网(物联网)设备,可能导致死锁。在这篇文章中,一个新的异步时序模型平均算法联合学习(AFL)。我们的方法使用一个动态期望函数,计算客户端模型预期的数量在每一轮和加权平均算法连续全局模型的修改。这将确保联邦体系结构不是陷入了僵局,增加服务器的吞吐量和客户。在网络安全涉及到异步性的重要性,该算法使用NSL-KDD入侵检测系统的数据集进行了测试。全局模型的性能精度约为99.5%的数据集,优于传统FL在异常检测模型。 In terms of asynchronicity, we get an increased throughput of almost 10.17% for every 30 timesteps.
1。介绍
信息的数字化和货币已经给我们的生活带来了巨大的简单性。在这个现代化的成本,这些数字资产(即。,information, digital money, and intellectual property) are continuously in danger from cyberattacks and intrusions. To protect the privacy, confidentiality, and availability of these assets, protective security layers like firewalls, intrusion detection systems (IDSs), and, most importantly, security protocols are being used. Among these layers, IDSs have been researched extensively in recent years. Their contribution to the field of cybersecurity is immense. Figure1显示了id的总体结构的部署。一方面,精心选择和优化IDS可以防止网络甚至未知的威胁(1]。另一方面,一个糟糕的选择id不能防止或分类未知流量和警报频繁的假警报。在这种背景下,IDS可以分为两大类型:协议为基础的入侵检测系统(pid)和anomaly-based入侵检测系统(艾滋病)。
艾滋病(2)使用统计模型训练对现有入侵检测数据分析和分类的传入流量。随着机器学习的发展(毫升)和深度学习(DL)算法和高可用性的数据,艾滋病显示了巨大的希望。通常,DL-based id是训练集中分布数据集收集的各种边缘设备,服务器和计算机网络。工作(3,4)检查DL算法的实施各种部署的id:网络入侵检测系统(nids),主机入侵检测系统(hids),等等。在DL,卷积神经网络(cnn), autoencoders [5递归神经网络(RNNs) [],6),生成对抗网络(甘斯)7),和其他架构用于入侵检测系统训练。各种体系结构来自于不同的数据集,可用于IDS的训练:NSL-KDD数据集(8],CICIDS数据集[9],Bot-IoT数据集[10),等最先进的DL模型取得了98 - 99%的准确率在大多数可用的数据集。尽管他们的成功,DL模型在现实场景中失去他们的可行性。在IDS在医疗中心的部署,数据不能被运送到了中央位置,因为它可以很容易地嗅了嗅。另外,数据传输造成的延迟可以减少id和引入网络延迟的效率。为了克服DL的局限性,一个名为联邦的新保护隐私毫升架构学习(FL) [11)是用于id。
FL [12)提供了一个协作学习设置客户端边缘设备火车ML / DL模型基于自己的本地数据和更新后的模型进行聚合,以形成一个全局模型。这个重复迭代,直到获得所需的应用程序的输出。这种架构的FL适合部署anomaly-based id (13),特别是脆弱的环境中网络安全是必须的14- - - - - -16]。异构客户的参与和丰富的数据导致IDS检测和较低的误警率高。它也促进边缘计算(17),使系统更有效地从四面八方攻击。甚至传统FL的实现是容易受到高通信开销和延迟。考虑一个联邦环境与1000客户端和服务器。与不同参数的边缘设备如计算能力、网络带宽、等等,每个设备所花费的时间来训练模型和传递这些参数会有所不同。在某些情况下,由于传输失败,服务器可能会在一个僵局。澳式足球联盟(18,19提出了解决这一问题。它确保持续的全球模型的修改,无论从客户接收的传输。
在本文中,我们提出一个新颖的时间加权平均算法实现AFL的id。服务器等待期为我们AFL算法所描述的一个期望函数之后,继续下一轮的联合训练。算法还包括一个加权平均算法,考虑了客户的身份。时间加权平均支持和最佳吞吐量连续通信服务器和客户端。网络延迟执行基于模型的仿真培训次入侵检测环境更好的部署网络安全系统。本研究的主要目的是开发有效的id与高吞吐量和最大性能精度。本文的主要贡献如下:(1)异步联合学习算法为有效的入侵检测系统的实现。该算法利用一种新颖的时间加权平均的方法修改全球客户。(2)一个期望函数定义决定服务器的等待时间后发起新一轮的广播。(3)实验进行一个入侵检测环境的帮助下NSL-KDD数据集。模拟计算差异和沟通滞后在客户端模型的训练,和算法的性能测量的时间复杂性和准确性。
论文的结构如下。部分2评论DL的域,FL, AFL的实现通过强调其重要性id和一定的局限性。部分3该算法提供了一个详细的解释。节4,算法的性能评估是进行,部分5总结了纸。
2。文献调查
在本节中,一项调查的最先进的DL和FL算法的实施执行id。某些传统DL算法的局限性以及FL架构确定。为了克服这些局限性,综述了异步FL。描写的重点是联邦系统延迟和死锁由各种通信和计算因素引起的。
2.1。深上优于id
近年来,研究anomaly-based IDS使用深度学习增加了[20.,21]。J48树木,多层感知器(MLP)和贝叶斯网络算法应用于(22]。这些算法解决低精度的问题使用ANN与模糊聚类检测IDS时常见的攻击。提高准确性,的方法22)将异构的训练数据集分为均匀的子集,可以减少数据的复杂性。这些算法的主要缺点是,他们无法应用特征选择恢复价值的特性和减少冗余和不必要的功能。Bhavani et al。23)使用一个随机森林分类器在NSL-KDD数据集获得95.323%的准确性。智能特征选择使用基尼重要性一直在利用(23)减少特征的数量,从而降低了模型的复杂性。这种分类器的缺点是,它提出了一个问题的检测低频攻击和假阳性率高。偶尔低频攻击可能威胁到网络离开系统脆弱。这些假阳性利率可以成为公害,同时部署模型在实时环境。一个ensemble-based学习方法(24]随着k - means,再邻居,模糊c均值,朴素贝叶斯、支持向量机和径向基函数算法是基于六算法用于网络流量异常检测(25]。在[25),无数的监督和非监督算法的结果集中使用投票。它有放大电流的精度和性能id。这里的陷阱是,回忆很低在少数情况下,规定一个高价值的假阴性率。XGBoost [26)和演算法使用和不使用集群(27训练一个网络入侵检测模型。时et al。27]NSL-KDD数据集训练模型。84.253%的精度。这里的问题是,仍有改进的空间的性能可以通过使用混合动力或合奏机器学习分类器。假阳性利率可以最小化,最终将导致提高准确度和精密度。多个毫升模型上使用各种ML算法实现NSL-KDD数据集(28]。他们使用包装器部署特征选择方法,有助于提高精度比其他作品在同一数据集。的工作28只关注基于签名的攻击,从而使小说攻击未被发现这是一个重大挫折;另一个问题是,新攻击或零日攻击检测仍是尚未解决的由于假阳性率较高(28]。Ganapathy et al。29日)提出了一个智能条件随机场(CRF)的特征选择算法来优化特征的数量。此外,一个分层的方法算法被用来对这些减少特征进行分类。
2.2。联邦上优于id
在过去的几年里,联合学习一直在支持解决数字问题应用毫升。毫升的应用仅限于本地系统,从而抑制其可伸缩性。毫升集中存储的数据,也会影响数据的隐私和使它容易受到攻击。FL更加可伸缩,可以部署在一个网络,可以根据系统需求个性化。FL分散的数据,而不是交换数据,模型是用于交流。这使它更安全,有助于保护隐私。此外,区别FL-based id和ML-based IDS可以观察到表1。
联合学习是一个新兴的人工智能技术。的工作提出30.]谈到采用联合学习法获得一异常检测模型。各分摊方在联邦学习可以被追究责任,他们的模型更新审计。的缺点30.)是模型与异构硬件和相处无法应付不可靠的网络连接和间歇性连接的节点。自主学习分布式系统检测泄漏物联网设备设计(31日使用联合学习入侵检测。但[的挫折31日)是它未能发现中毒攻击。陈等人。32)提出了一个联合深autoencoding高斯混合模型(FDAGMM)执行网络异常检测任务比传统的深autoencoding高斯混合模型(DAGMM)由于数据有限的可用性。在给出的模型中的弱点32)是它只能工作在数据记录具有相同特性的结构,从而使它更少的部署在其他应用领域。一心多用深神经网络联合学习(MT-DNN-FL)提出了33执行网络异常检测任务。它提供同步执行任务的网络异常检测、VPN (Tor)流量识别和交通分类,为网络管理员提供更多信息。然而,训练性能(33是相当低的。
2.3。异步联合学习
保护隐私异步联合学习机制优势网络计算(PAFLM)提出了34),允许节点加入或退出任何学习的过程,这使它适合高度移动边缘设备。这允许多个边缘节点获得更多的联邦学而不共享私有数据的麻烦。陈等人。18)提出了异步联合学习框架;这里的分布式客户不断到达的数据从一个高效协作共享模型。ASO-fed在计算上更有效比同步FL ASO-fed不需要等待其他客户进行梯度更新。陈等人。35)提出了一个增强的联合学习技术通过部署一个异步学习方法在客户端和服务器上的暂时的局部模型的加权聚合。
这些结论从现有文献帮助承认这个问题最好的方法就是使用异步联合学习模型,因为它使这个过程更有效率,在入侵检测提供了更好的性能。基于深度学习的入侵检测系统通常局限于本地系统实现的约束范围和规模。然而,联合学习模型是可扩展的,可以部署在一个网络作为一种有效的入侵检测系统。这个系统是受到客户延迟和过度服务器空闲时间(36]。异步学习联合打击高服务器空闲时间通过消除等参数和聚合反应模型。然而产生歧义在客户端响应的重要性的基础上,它的起源。这个限制是由提出解决的时间加权平均算法。
3所示。时间加权平均算法
在本节中,我们提供了一个详细的描述和流动的时间加权平均算法。完整的算法可以被观察到在图2。实现可分为2中的新奇主要配方:期望函数AFL的空闲时间和时间加权平均计算。不同的特点制定本节讨论之后,实验结果在几个hyperparameters:客户比例、学习速率( ),初始阈值时间(C)等。提出了客户端和服务器程序,制定本算法1。
|
在一个常规联合学习框架,服务器对服务器初始化权重。这一步后,整个框架经历一系列步骤在多轮循环。这些轮由三大phases-server体重的广播,客户机模型训练,重量和聚合客户更新。在服务器重量广播阶段,服务器的权重模型广播到每个客户端设备。这些权重是由客户在他们的接收缓冲区接收。为下一阶段,客户端设备列车收到模型和列车在本地数据。训练得到的权重更新客户端模型发送回服务器和服务器权重积累在聚合阶段。一个标准衡量的集中趋势意味着(方程(1)用于客户机的聚合体重更新服务器。 在哪里C是最初的等待时间分配一开始根据观察到的培训时间,模型的复杂性,和平均通信成本。虽然C不是随机选择,定相,这样它不会显著影响算法。这是因为实时环境是不可预知的和某些参数不能总是测量。轮0后,它的值是由一个期望函数动态地修改F(r)所示以下方程: 在哪里P(x)代表的比例x客户收到的n。所以,如果e预计8 10-client设置,然后呢P(e)0.8。在每一轮,如果客户能够传输数据少于预期的(e)的价值P(e)变得积极而如果更多的传播,那么P(e)成为负数。这个期望函数定义中央服务器的等待时间。最初,阈值等待时间( )之前的服务器等待聚合=C。后圆的,这个值是计算使用以下方程:
这个方程是不直接依赖于边缘设备参数的沟通成本,但仍然保证了稳定的等待最大化吞吐量。其适应性仅仅来自客户收到的数量保持它简单而有效。
聚合客户数量的重量已经收到的更新发生在每个步伐。在聚合阶段,客户端模型遇到属于重量更新起源于不同的步伐。这种差异在起源的步伐需要解决确保全局模型地址最新更新的重要性和不落后,对时间敏感数据表现不佳。煽动的注意在这个方向,使用(5)的聚合端重量更新提出了。在这里, ,和代表重量为服务器更新模型,重量更新产生的步伐,从客户机和重量更新采购设备,分别。
方程(5)用于聚合是一个小学的集中趋势指标加权的意思。然而,在这种情况下,权重的加权平均代替了原点重量更新的步伐。这个分数 代表的比例模型有助于体重更新。因此,更高的或最近的步伐,更大的贡献权重更新在服务器的整体学习模型。
4所示。结果与讨论
这部分处理数据的预处理,实验结果和分析结果的观察。数据集和数据预处理部分描述数据集和数据的预处理步骤。模型架构部分讨论模型的体系结构和它的各种参数之后,训练和测试部分专注于训练范例。最后,分析趋势和建议的体系结构的性能相比,通用学习联邦体系结构和近期其他文学绩效评估部分所示。
测试、实现和仿真的目的,Python 3.8.10 Ubuntu 20.04.2 LTS本地机器上使用。TensorFlow测试盒框一直主要用作深度学习框架配合CUDA 11.0和cuDNN 8.1.0 NVIDIA GeForce RTX 2070 GPU上运行。
4.1。数据集和数据预处理
中使用的数据集的实现联合学习框架NSL-KDD数据集。NSL-KDD数据集是由加拿大研究所生成的网络安全。这个数据集有43个列和125年973条记录的数据。列中的数据都是分类和连续数据;因此,预处理每一列数据需要定制的基于数据的性质。分类数据使用的协议类型(FTP、HTTP、SMTP等)和自然的连接(TCP, UDP等)进行编码的编码向量代表记录所属的类。然后分类数据被编码向量所取代。连续数据对应的数据列Min-Max比例(6)。这降低了连续数据的范围,使神经元兼容的数据。最后一列数的数据集预处理是123。列数的增加是由于编码向量的作用。
目标观测攻击标签或正常。攻击标签分为以下类型的攻击:访问特权,调查,和DoS,减少目标大小的id。IDS的高目标大小可能导致更多的被关注识别攻击本身而不是分类包是否有异常。分组的攻击后,标签的数据集的分布如图3。这种级别的抽象数据中是最优的IDS检测攻击,并提供简要信息类型的攻击。这些信息可以帮助定制对异常数据包的行动。
4.2。模型架构
模型用于客户端和服务器模型是一个基础课深层神经网络如图4。一个小型和轻型模型在这个场景中使用的id。这是由于这样的事实,一个较小的模型实现了更少的参数的数量,从而减少需要传达的信息在服务器模型广播和客户端模型聚合阶段。此外,较轻的模型是更快的训练和占用更少的能量和要求更少的计算在边缘设备。输入层有123个神经元,宽层对应于每个输入参数的数据集。这个输入连接到一个隐藏层的大小265个神经元。这一层的输出连接到下一个隐藏层的大小512个神经元。这一层最终连接到一个输出层的大小5神经元对应每种类型的小节中提到的攻击4.1。模型训练与亚当优化器叉作为损失函数。
4.3。培训和测试
初始化服务器模型与随机权重接近于零。常数设置为4秒基于一个简短的初步运行确定近似时间播出,培训客户模型,和聚合。这提供了一个很好的起点的阈值。这个阈值适应情况根据客户的数量模型聚合。此外,它确保服务器不会无限期地等待一个预期响应客户端设备,确保一个体面的客户数量得到聚合在一个单一的步伐。这个阈值也可以防止巨大闲置时间服务器在等待客户的反应。在这个特定的实验装置中,我们使用30客户运行15轮/步伐为通用FL和拟议的架构。
一旦服务器广播服务器的权重模型,它开始一个计时器的阈值。一旦达到阈值时,服务器接收缓冲区中汇集了所有模型。的价值基于方程(也更新4)。客户的服务器然后重播服务器模型的定时器,开始新的阈值。这个过程重复所需数量的步伐。然而,在部署这个系统可以运行永远由于自适应阈值函数的性质。由于函数的自适应特性,模型聚合/步伐的数量会在一定范围内左右如图5。
它也可以观察到在图5的时间阈值往往停滞不前,当客户机的数量模型聚合与期望。然而,当客户聚集的数量低于预期值(如在步伐),函数4自动纠正这种不正常现象,增加了时间阈值(如观察到的步伐)。同样,当服务器等待时间是如此之高,以至于它聚集很多客户重量更新,时间阈值下降,带来超过应对期望水平(可以观察到这种行为和步伐)。系统自动对积极和消极偏差纠正。这些修正偏差是独立的时间尺度。
模型的权重比例的聚合权重的步伐。这确保更高的重要性给出的数据聚合在最近的步伐是重要的步伐。由于服务器的空闲时间减少,联邦体系结构实现时间加权平均收敛比较快。图6描述了预测与实际标签的攻击。显然,调查攻击相似特征是良性的网络数据包。这种行为是著名的高贴错标签混淆矩阵的包。
4.4。绩效评估
时间加权平均使用NSL-KDD测试数据集与联邦和non-IID设置。算法的性能测量的预测准确性,服务器的吞吐量,,最重要的是,懒惰的系统作为一个整体。
预测评估能力,验证使用的准确性。图7显示了实现精度和训练后损失值15步伐人口30客户。达到99.46%的精度的数据与最近的一些在入侵检测领域的工作。统计算法和其他近期作品之间的比较如表所示2。这是完成尽管少比例的客户导致聚合全球每轮模型。
(一)
(b)
的时间复杂度,我们实现吞吐量增长10.17%相比通用联合平均算法。这将导致更好的服务器的时间效用和删除任何死锁的可能性。培训30客户30轮,通用FL大约需要69.1秒的时间加权平均大约需要62年代。不仅训练,而且使用轻量级模型降低了预测时间的边缘设备。在更现实的环境中,增加10%的吞吐量特别是在IDS应用将大大影响网络。尽管异步算法极大地提高性能,在罕见的情况下,他们可以引入一定的差异,可以阻碍系统的镇定。缺乏凝聚力在异步算法会导致忽略某些交通甚至误解他们的本性。其他风险包括减少休息时间服务器,重载的几率增加,和不平衡响应的准确性。时间加权平均也认为这些风险通过提供一个作息平衡。
5。结论
本文的主要目标是实现异步联合学习的时间加权平均。该算法利用一种新颖的时间加权平均的方法修改全球客户。这种架构部署与传统联合学习算法是高度限制由于沟通成本和延迟。建议的解决方案是模拟一个入侵检测环境使用NSL-KDD数据集和执行实验模型。结果的准确性99.5%是平价与当前先进的联合学习算法,但很容易超过他们对高系统吞吐量。
虽然目前的工作已被证明成功的尝试提高入侵检测系统的效率,仍有改进的余地。用于实验的数据集可能是多元化的,包括更多的异构数据。也可以使用其他入侵检测数据集在未来验证该算法。参数的数量在一个联邦体系结构是巨大的,和每个不是可行的微调。更多的工作效率可以通过优化参数。
数据可用性
这项工作中所使用的数据集,可在“NSL-KDD数据集,”https://www.unb.ca/cic/datasets/nsl.html。
的利益冲突
作者宣称没有利益冲突。