归因分类方法的恰当的恶意软件在物联网中使用机器学习技术

文摘

近年来,物联网的普及(物联网)应用程序和服务带来了极大的方便人们的生活,但无处不在的物联网也给城市带来了许多安全问题。其中,高级的持续威胁(APT)是最具代表性的攻击之一,和它的连续爆发了前所未有的大规模部署物联网的安全挑战。然而,重要分析恰当的恶意软件样本的归因研究还相对较少。因此,我们提出一个分类方法与恰当的归因组织恶意软件在物联网中使用机器学习。它旨在标志着真正的进攻组织实体,以更好地确定恰当的攻击活动和保护物联网的安全。这个方法执行特性表示和特征选择基于APT行为数据从设备物联网和选择特性与高度分化的组织。然后,火车一个名为SMOTE-RF的多级模型,可以更好地处理不平衡和multiclassification问题。我们真正的动态行为数据结合实验来验证方法的有效性提出了恰当的恶意软件样本的归因分析和实现良好的性能。我们的方法可以识别组织袭击事件背后复杂的恰当的物联网设备和服务。

1。介绍

作为物联网的应用程序和服务传播到我们生活的每一个角落,物联网设备的数量正在迅速增加,然而,大部分的设备是不考虑安全问题,以及不能更新,这使得网络罪犯容易受到攻击时发现一些错误或安全问题。无处不在的物联网带来了许多安全问题1,2]。VPNFilter事件是2018年最严重的物联网设备的攻击,和美国司法部已经联系APT28的事件。该事件影响50 w设备至少在全球54个国家和地区,影响和破坏无处不在的物联网环境。2019年8月,微软称其威胁情报中心检测到攻击物联网设备,包括VoIP电话,打印机,和视频解码器。两三个设备受攻击影响工厂的安全设置,而在第三没有更新软件。微软将此次袭击事件归咎于俄罗斯本土集团俗称APT28。随着人工智能的进步,黑客也使用它推出更复杂的攻击计算机系统。在物联网的攻击中,先进的持续威胁(APT)是最具代表性的攻击之一,和它的连续爆发了前所未有的安全挑战。因此,恰当的攻击已经吸引了各种研究人员和许多国家政府的关注。一个恰当的攻击是一种长期而持续的网络攻击由个人或组织,使用先进的攻击技术的具体目标。 The difference between the APT attack and the traditional network attack is that the APT attack has the characteristics of concealment, pertinence, persistence, and organization [3]。它的攻击手段多变,攻击效果是显著的,很难避免,如著名的恰当的攻击,“震网”病毒(4]。2010年爆发的病毒。病毒的技术是复杂和隐蔽,这使得发现和分析过程需要长时间。其感染是主要针对伊朗的核设施,这里有一个巨大的对伊朗核项目的影响。这一事件被认为是一个有组织的国家行动。此外,2016年,黑客发起了DDOS攻击通过操纵物联网设备被称为Mirai感染恶意软件。恰当的背后攻击,通常有组织与政府背景或情报机构背景,提供资金与政治或经济目的5];国家和企业信息安全系统面临的威胁越来越严重,和恰当的报告的数量逐年增加。各种国家安全机构披露数以百计的恰当的组织,通常活跃的俄罗斯APT28 APT29,朝鲜的拉撒路,等等。恰当的样本的归因分析一直是最重要的一个环节的分析恰当的攻击,也是一个方法来检测(APT攻击6]。目前,工业分析恰当的样本的归因主要依赖于手工分析安全专家,由专家经验极大地影响。除此之外,它不能满足的需要大量的样本,这是低效率和浪费时间。有相对较少的研究在学术界归因的攻击样本。快速增加的数量多态病毒和变形木马,恶意软件已经成为常见的方法,恰当的攻击(7]。FireEye执行恰当的组织提出了基于恶意代码样本的相似性聚类(8]。恶意软件的特征主要分为静态特性(二进制文件的特点,拆卸功能等)(9)和动态特性(执行行为特性等)10]。静态特性通常是拆卸等等。通常很难提取有效特征由于多态性,变形和炮击。动态特性通常是通过监控程序在运行时的行为,是不受混淆技术(11- - - - - -14]。

进行了相同的组织有一定的相似之处他们的行为,实现自动分类恰当的恶意软件样本,也就是说,分类和识别的样本相同的组织。行为数据的基础上,从物联网设备获得恰当的恶意软件攻击,提出了一种分类恰当的进攻组织基于机器学习的方法。本文的主要贡献如下:(我)我们建议一个合适的组织基于机器学习的分类方法和恶意软件。旨在有效的方法确定恰当的攻击活动已被实验验证,性能稳定,效率高,可马克真正攻击组织实体保护物联网的安全。(2)我们进行特征表示和选择过滤的特征具有更高学位的区别不同组织根据收购行为数据的恶意软件,降低了特征维数,提高了计算速度。(3)由于恰当的组织不平衡的数据集,我们设计了SMOTE-RF模型来解决这个multiclassification问题。

1.1。相关的工作

恰当的攻击是一个复杂的网络攻击的目的非常明显。它一步一步攻击目标网络通过多个阶段并维护长期访问目标(15]。借助恰当的恶意软件,远程攻击者可以控制受感染的机器和窃取敏感信息。恰当的恶意软件,比如特洛伊木马和后门,防火墙杀毒软件和目标网络。不仅仅是用于远程控制受感染的机器在恰当的攻击,也用于窃取敏感信息从长期受感染的主机16]。

目前,常用的检测方法与恰当的主要研究方面的恶意代码检测、攻击检测和网络流量检测。Abomhara和前17)提出了物联网基础设施面临的威胁和攻击。除了分析和描述入侵者和攻击所面临的物联网设备和服务,他们还试图威胁类型进行分类。唱et al。18)提出了一种新的实用的安全体系结构模型,保护每一层和界面。保护包括数据保护、访问控制、预防的威胁和防范网络攻击。通过映射这些分析保护控制每个部门的风险及其资源,公司可以运用强大的多层防御任何攻击,包括先进的持续威胁。李和刘易斯(19]证明可以使用无向图副攻击不同攻击之间基于共同的目标。基于这些信息,恰当的活动可以建立和集群的地图,可能代表一个团队的活动的恶意软件作者可以被识别。此外,还有一些其他的检测方法(20.,21]。

检测的恶意软件,恶意软件可以识别的智能分析恶意样本的特征(22]。恶意软件已经成为一种必要的战略工具APT攻击,恶意软件的特征也可以使用APT攻击的特点组织(23]。提取恶意软件特征的方法主要包括静态特征提取和动态特征提取(24]。静态特征提取方法使用文件结构的分析,反编译,拆卸,控制流、数据流分析技术提取静态特性,比如组件指令、控制流、函数调用序列的程序没有运行程序。例如,乔et al。25)提出了一个基于API调用自动恶意软件同调识别方法。这个方法获得其API通过静态分析的恶意样本,然后使用Jaccard相似系数计算的同源程度不同的恶意软件类型基于六调用行为定义的编程习惯,建立一个与同源程度通过经验阈值比较,并做了一个结论是否样品相似。该方法可用于确定恰当的样本之间的同源程度并确定的组织样本。动态特征提取是用于监视程序运行时的行为,然后提取代码的动态行为特征如API操作、文件系统操作,函数访问和系统调用。例如,陈等人。5)提出了一种新的遗传模型结合知识地图的恶意软件的行为。他们的方法是建立一个基于节点的内容的遗传模型,提取所有恶意软件的基因序列属于每个恰当的组织,然后计算相似性的恶意软件和基因文库和用预设阈值比较恰当的恶意软件组织所属。

,恰当的组织识别是更倾向于分析恶意代码结构及其之间的关系攻击链。例如,FireEye实验室(26]分析了11于2013年袭击,发现恶意代码攻击中使用的基于相同的代码段,时间戳、数字证书,等。基于这些收集到的特征,进行相关分析,相信这些攻击都被同一个组织。北京Venustech Inc . (27]分析了shellcode函数和代码相似的一些样品的漏洞相关分析的特点,然后跟踪海德薇格组织的来源。洛克希德·马丁公司提出了一个先进的持续威胁杀死链模型(28],它恰当的攻击活动划分为侦察、武器化,交付、开发、安装、指挥控制、目标和行动,他们执行这些7步骤,指出只要捍卫党检测和街区之一这些步骤,可以阻止攻击发生。主教法冠公司采取了类似的想法,提出了一个更详细的ATT&CK框架(29日]。ATT&CK集成了已知的历史和实际的先进的威胁攻击战术和技术形成一种共同的语言黑客描述和抽象为黑客攻击知识库框架。其官方网站公布了87个恰当的进攻组织的描述,包括软件、战术、技术和程序(TTP)使用的进攻组织。

2。该方法

提出了一种分类方法,基于机器学习的归因组织恰当的恶意软件。基于恶意软件样本在恰当的攻击,这种方法首先动态分析样本,进行预处理获得的行为数据,构造一组行为数据的恶意软件样本,然后使用TF-IDF方法执行功能表示一个向量矩阵形式,并计算卡方值的高纬度地区特征向量进行特征选择。基于SMOTE-RF模型本文设计多级模型训练的最后,测试集预测和输出。本文的总体设计框架是如图1。

2.1。特征表示

在本文中,我们使用行为特性数据集NSFOCUS提供的恰当的数据集。他们收集和获得大量的动态信息的恶意软件在沙箱,标志着它所属的组织。这个实验选定的样本数据7恰当的组织形式的原始数据集,和信息如表所示1。

行为数据的样本数据集包含很多冗余数据,包括路径数据时生成恶意软件执行操作,各种文件的恶意软件,api,操作对象数据和其他信息(见图2)。

行为数据的文本形式的恶意软件样本,图中所示的示例行为数据的恶意软件样本。因此,在模型训练之前,文本数据必须量化。根据我们的统计,大多数样本的文本字符长度低于10000,所以前10000个字符是截获每个示例的文本数据(见图3)。然后,我们选择使用TF-IDF(术语frequency-inverse文档频率),也就是说,这个词频率和逆文档频率法对体重每个单词的文本进行向量化。TF-IDF方法包括两个部分:术语频率(TF)和逆文档频率(IDF)。前者代表的频率在文档中一个术语,用于描述一个术语到文档的重要性。后者表示文档,包含一定的比例,是用来测量项是否常见或罕见的所有文档。

如果代表这个词的频率在文档中 ,这个词的词频代表作为

逆文本词的频率表示为 在哪里代表了语料库和所有文件的总数 代表总数中的文档包含这个词的语料库 。因此,频率和逆文本频率这个词的在文档中表示为

如果一个单词的TF价值从行为中提取数据很高但IDF值很低,这表明,这个词可能是重要的攻击。

当使用TF-IDF算法来识别关键字在行为数据,对所有数据提取相同的示例作为一个独立的文档 ,和所有构成一个语料库。计算每个单词TF-IDF值在 。节约成本,提高效率,减少假警报,构造一组“停止“白名单。默认情况下,这些词使用非常广泛,不影响分类。这组包括操作系统中常见的英语单词,如“文件,微软桌面。”这句话在这个设置会自动消除,和TF-IDF值将不再计算。此外,过滤掉一些数据出现的太频繁,太多。

最后,在上述计算,数据集的行为数据被表示为一个特征矩阵年代,其中包括超过一千的特性。此外,我们分析了前20名特性TF-IDF价值大小的大小分布在每个组织和一些功能在每个组织不同,表明我们的特征表示是有效的,该方法可以获得一些功能(参见图与一定程度的差异4- - - - - -10)。

2.2。特征降维

自功能表示生成许多特征维度和稀疏的特征矢量值在前面的步骤中,降维的特征向量是一个更可行的方法来提高检测的速度和效率,提高模型的拟合效果。在这里,卡方检验用于特征降维。卡方检验(CHI)也被称为统计,用于测试两个变量的独立性。卡方检验特征选择算法主要用于确定特征项之间的相关性和类别 。遵守时间分布和价值反映了程度的相关性和 。如果一个词有更高相对于一个特定的类别,它表明这个词有一个伟大的相关类别。所示的计算方法

其中,一个意味着文本属于类别的数量并包含功能项 ;B意味着文本包含的数量但不属于 ;C意味着不包含文本的数量但属于 ;D代表文本的数量不属于和不含功能项目,N=一个+B+C+D。选择的特征项卡方检验文本的类别,有很强的关联和特征项代表类别的信息。根据计算公式,第一个k词选为每个类别的特征按照一定的要求。计算统计每个特性和分类标准,最后选择k得分最高的特性 。

我们计算卡方值超过一千的特性后生成特性表示。卡方值越大,越好区分样本的能力特征。卡方值的排名前20位的特征尺寸如图11。

2.3。分类模型

处理问题的不平衡的分类和multiclassification恰当的数据集,本文设计了SMOTE-RF模型。模型集成了击杀和随机森林算法。击杀算法是一种简单而有效的过采样方法提出的拉et al。30.]。这种方法随机选择k最近的邻居在少数样本和少数样本通过插值的数量增加k最近的邻居来改善不平衡数据集分布。随机森林是一个集成的基于决策树学习算法。它使用引导重采样技术的自助方法随机选择k样品从原始训练样本集N与替代生成一个新的训练样本集。一些样品可能多次被选中,和一些可能不被选择一次,然后生成k分类树形成一个随机森林基于自助样本集。最后的分类结果是投票分类树在森林里,并且该算法具有良好的泛化能力。

SMOTE-RF模型是第一个基于样本的数量N最大的类别中的样本数量数据集S′和使用击打算法生成N新样本的样本类别。然后,multiclassification培训执行基于随机森林算法得到分类模型,最后,输出类别预计。

SMOTE-RF模型施工过程分为七个步骤。

原始训练集 ,类最大的数量的样品N、其他类被归类为少数类少数类样本集米,我是少数类的一个示例,其特征向量是什么 :第一步:计算每个样本之间的欧氏距离在少数民族米样品和少数样本米。得到了k最近的邻居的样本。步骤2:随机选择N样本k最近的邻居,每个样本及其选择N最近邻样本组合成N新样品根据以下方程: 其中,代表了新添加的少数样本表示j最近的邻居的样本 。步骤3:将新合成的样品放入原始训练集形成新的平衡的训练集 。步骤4:使用随机选择引导重采样技术T所有的样本T在新的训练集样本 ,并选择T样本训练决策树。步骤5:假设每个样本都有F功能,决策树的每个节点分裂时,随机选择f特性(f<F)从这些F功能作为候选人特性,然后选择从候选人的特性。功能,收益最好的价值将决策树的节点。第六步:遵循步骤4 - 5生成T决策树构造一个随机森林。第七步:通过所有的树投票分类目标,分类得票最多的是最后的分类结果。

3所示。实验结果和分析

3.1。模型评价指标

摘要实验multiclassification。为了全面调查各种分类、性能指标选择精度,回忆,和F1-score。另外,混淆矩阵用于表示这种分类的结果,如表所示2。

为我th类别( ),精度( ),召回率( ),和f值( ),分别是

最后,算术平均每个类别的指标计算得到宏观平均,这是用来测量每个算法的总体效果分类:

3.2。实验结果

比较预测结果,经常执行的算法在分类任务,如资讯算法,DT算法,和XGBoost算法,选择这里的SMOTE-RF模型相比,本文通过实验和验证。每个类别中的每个模型的预测结果如表所示3。可以看出APT29,大象,资讯和沙虫有更好的分类效果,DT, XGB,分别和SMOTE-RF模型。操作沙虫SMOTE-RF模型的分类效果最好,f值达到0.939。的分类效果下降大象组织DT模型是最好的,与一个f值达到0.903。分类操作c大调组织对这四种模式的影响是相同的。拉撒路,APT28 APT29, Naikon组织都达到了最高在SMOTE-RF f分数模型。拉撒路的f值组和APT 28相对较低。经过数据分析,主要原因是一些样品文本数据较少,导致很少有效的特征提取。此外,结合每个模型的性能在训练集(见图12)和测试集(见图13),可以看出,DT模型是最不稳定,SMOTE-RF模型有最好的整体分类效果和稳定性。我们的实验结果证明了我们的特征提取方法的有效性和模型的优越性。

4所示。结论

近年来,网络攻击是被各国和情报机构的重要手段来达到他们的政治、外交、军事、和其他用途。恰当的检测信息安全与学术研究已引起广泛关注。归因的恰当的恶意软件样本的分类有利于构建攻击场景,追踪攻击者和有效识别恰当的进攻组织的后续事件。本文提出了基于机器学习的分类方法的恰当的组织和恶意软件。这个方法是基于行为数据和恰当的组织标记从动态分析获得恰当的恶意软件获得的物联网设备,和相对强劲的特征向量是通过特征表示和特征降维。考虑到样本不平衡数据集,本文设计一种SMOTE-RF模型,集成了击杀和随机森林算法。最后,该方法的有效性的归因分析恰当的恶意软件是由多组验证实验。其中,特征提取方法可以达到超过80%的精度一般模型和SMOTE-RF模型表现良好,并在恰当的恶意软件的分类性能稳定。接下来,我们将结合non-APT恶意软件样本进一步研究恰当的攻击和每个组织的特点,更好地识别恰当的袭击活动,保护下一代的复杂网络的安全。

数据可用性

没有数据被用来支持本研究。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

Shudong李和张Qianqing同样这项工作。

确认

这项研究是由广东省的关键R D程序(2019号b010136003),国家自然科学基金委(62072131和62072131号),在广州科技项目(202102010442),中国国家重点研发项目(2019号qy1406),国家工程实验室的开放项目为移动互联网系统和应用的安全,和广东省高校珠江学者计划(2019)资助。作者感谢NSFOCUS公司提供的数据。

引用

1. l·肖x Wan, c .戴杜x, x Chen和m . Guizani“安全与强化学习移动边缘缓存,”IEEE无线通信,25卷,不。3,第122 - 116页,2018年6月。视图:出版商的网站|谷歌学术搜索
2. h, s .李、吴x h . Lu和w·汉”小说恶意代码检测和家庭集群解决方案基于机器学习,”IEEE访问,7卷,不。1,页148853 - 148860。视图:谷歌学术搜索
3. 即Ghafir诉Prenosil,“先进的持续威胁攻击检测:概述”,国际期刊的发展计算机网络及其安全,4卷,不。4、154 - 158年,2014页。视图:谷歌学术搜索
4. t·m·陈“Stuxnet,真正的网络战争的开始?【编者按】。”IEEE网络,24卷,不。6、2 - 3,2010页。视图:出版商的网站|谷歌学术搜索
5. c·w·陈x姆•赫鲁金et al .,“先进的持续威胁组织识别基于软件基因的恶意软件,”交易新兴电信技术2020年,卷。31日。视图:出版商的网站|谷歌学术搜索
6. 李,赵,吴x, z, a·李和z . Wang”功能免疫网络基于消息传递的,”应用数学和计算文章ID 124728卷,366年,2020年。视图:出版商的网站|谷歌学术搜索
7. a . s .阿拉伯学者和美国塔拉”,确定变形病毒[C],”学报2014年IEEE国际预先计算会议(IACC)的古尔加翁,页1163 - 1168年,印度,2014年2月。视图:出版商的网站|谷歌学术搜索
8. “原子:聚类和关联攻击者活动规模,”2019年,https://www.fireeye.com/blog/threat-research/2019/03/clustering-and-associating-attacker-activity-at-scale.html。视图:谷歌学术搜索
9. f .土库曼福利,b . O ' sullivan, w·菲茨杰拉德,t·哈季奇和m . s . Basagiannis”解释和物理访问控制,计划生育政策放宽的政策冲突”学报》第25届IEEE国际会议上与人工智能工具IEEE出版社,页330 - 336年,荷顿,弗吉尼亚州,美国,2013年11月。视图:出版商的网站|谷歌学术搜索
10. r .小池百合子:Nakaya y锦鲤,”开发的系统自动生成的未知病毒灭绝软件”《2007年国际研讨会上应用和互联网2007年1月,日本广岛。视图:出版商的网站|谷歌学术搜索
11. l . s . Li江,吴x, w·汉,d .赵和z王,“加权网络社区检测算法基于深度学习,”应用数学和计算文章ID 126012卷,401年,2021年。视图:出版商的网站|谷歌学术搜索
12. 沈,h .周盛f . et al .,“HSIRD:恶意软件扩散的模型来描述动态异构网络,”网络和计算机应用》杂志上,146卷,2019年。视图:出版商的网站|谷歌学术搜索
13. s . Li w·汉,x, y . Li m . Guizani z .田,“恶意矿业整体学习代码检测基于云计算环境中,“仿真建模实践和理论,2021年文章ID 102391。视图:出版商的网站|谷歌学术搜索
14. 李s, m .风扇,吴x, w•汉z顾,z .田,“一种新型恶意软件检测框架基于加权heterograph,”《国际2020:2020国际会议网络创新的先进技术,4 - 6卷,页39-43、广州中国,2020年12月。视图:谷歌学术搜索
15. d·贾·朱x Wang y .郭、李,和c·楚,“调查节点的共同进化的声誉和edge-strategy在“囚徒困境”游戏中,“应用数学和计算文章ID 125474卷,386年,2020年。视图:出版商的网站|谷歌学术搜索
16. g .赵k, l .徐,b . Wu”检测恰当的恶意软件感染恶意DNS和交通分析的基础上,“IEEE访问,3卷,第1142 - 1132页,2015年。视图:出版商的网站|谷歌学术搜索
17. m . Abomhara和通用汽车前,“网络安全物联网:漏洞,威胁,入侵和攻击,”网络安全与流动性,4卷,不。1,第88 - 65页,2015。视图:出版商的网站|谷歌学术搜索
18. y唱,p . k . Sharma e·m·洛佩兹和j .公园,“Fs-opensecurity:安全威胁的分类建模sdn未来可持续的计算,”可持续性,8卷,不。9日,2016年。视图:出版商的网站|谷歌学术搜索
19. m·李和刘易斯“集群不同的攻击:映射的活动先进的持续威胁,”2013年,https://www.virusbulletin.com/uploads/pdf/conference/_slides/2011/Lee-VB2011.pdf访问。视图:谷歌学术搜索
20. s .沈黄l . h .周余,e .风扇和曹问:“多级信号基于游戏的最佳检测策略抑制恶意软件扩散在fog-cloud-based物联网网络”IEEE物联网,5卷,不。2、1043 - 1054年,2018页。视图:出版商的网站|谷歌学术搜索
21. m·沙菲克z, a·k·巴希尔x,和m . Guizani”CorrAUC:恶意bot-IoT流量检测方法在物联网网络使用机器学习技术,”IEEE物联网,8卷,2020年。视图:谷歌学术搜索
22. 沈,h·马,大肠风扇et al .,“非合作博弈基于游戏的可靠性评估的异构网络恶意软件扩散,”网络和计算机应用》杂志上卷。91年,26 - 35周不等,2017页。视图:出版商的网站|谷歌学术搜索
23. s, g .顾a . Barnawi s .郭和Stojmenovic,“恶意软件传播在大规模网络中,”IEEE工程知识和数据,27卷,不。1,第179 - 170页,2015。视图:出版商的网站|谷歌学术搜索
24. 彭s, s . Yu, a .杨”智能手机恶意软件及其传播建模:一项调查,“IEEE通信调查和教程,16卷,不。2、925 - 941年,2014页。视图:出版商的网站|谷歌学术搜索
25. y俏,x Yun, y,“如何自动识别不同的恶意软件的同源性,”《2016年IEEE Trustcom / BigDataSE /当前天津,页929 - 936年,中国,2016年8月。视图:出版商的网站|谷歌学术搜索
26. n·莫兰和j·班尼特,”供应链分析:从舵工sunshop,“火EyeLabs, 2013年,技术报告https://www.fireeye.com/content/dam/fireeye-www/global/en/current-threats/pdfs/rpt-maware-supply-chain.pdf。视图:谷歌学术搜索
27. http://www.freebuf.com/news/92945.html。
28. e·哈钦斯m . Cloppert, r·阿明”实施计算机网络防御分析对手的活动通知和入侵杀死链,”信息战的主要问题和安全性研究,1卷,2011年。视图:谷歌学术搜索
29. “公司冠冕,ATT&cK矩阵[EB / 0 l],”2020年,https://attack.mitre.org/。视图:谷歌学术搜索
30. n . v .拉k·w·鲍耶l . o .大厅,和w·p·Kegelmeyer“击杀:少数over-sampling合成技术,”人工智能研究杂志》上,16卷,不。1,第357 - 321页,2002。视图:出版商的网站|谷歌学术搜索

版权

版权©2021 Shudong李等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。