文摘
近年来,信息安全事件的频繁爆发引起的信息安全漏洞给国家和企业带来了巨大的损失。因此,研究相关的信息安全漏洞已经吸引了许多学者,特别是研究信息安全漏洞的识别。尽管有些组织已经建立了信息描述数据库信息安全漏洞,漏洞的描述和理解的差异增加了信息安全预防措施的难度。本文研究安全漏洞识别系统的建设,总结了系统需求,建立了一个漏洞基于机器学习的文本分类器。介绍了分词、特征提取、分类、和验证漏洞描述文本的处理。本文的贡献主要在两个方面:一是标准化的统一描述漏洞信息,这对脆弱性分析奠定了坚实的基础。另一种是探索研究方法的漏洞识别系统信息安全,建立脆弱性基于机器学习的文本分类器,可以为类似系统的研究提供参考。
1。介绍
互联网的快速发展,各种应用程序和信息系统基于互联网带来便利和效率给个人和企业。与此同时,它也带来了大量的信息安全问题(1]。发布的一份报告显示,中国国家计算机病毒应急中心,共有7478639个病毒被发现在2018年12月,和病毒的主要传播途径是一个钓鱼网站,木马病毒,和信息安全漏洞(2]。从本质上讲,信息安全是指软件的缺陷。一旦这些缺陷被发现和攻击者所使用的,很容易造成信息窃取和泄露和系统的损害,这常常会导致巨大损失(3]。例如,幽灵和崩溃的黑客攻击行为引起的CPU芯片的弱点(4),其中包括许多智能手机、个人电脑和服务器(5]。作为一个重要的保证系统的稳定运行,信息安全涵盖了广泛的安全协议,如SSH, SSL,并设置(6)和网络安全身份验证机制,如数字认证、数字签名、数字时间戳、和计算机安全操作系统(7]。因为软件本身不可避免的缺陷,它会导致安全漏洞。如何检测和防止安全漏洞一直是信息安全领域的研究热点。
近年来,世界各国越来越多的关注安全漏洞。大量的安全漏洞被发现,这使得脆弱性管理面临许多的问题有待解决,如脆弱的判断和处理冗余数据。最直接的表现是,虽然有很多漏洞,这些漏洞都有相同的特征,应该归类为类似的漏洞。然而,缺乏一个统一的脆弱性识别规则使上述漏洞数据库中存在漏洞,导致漏洞冗余。此外,脆弱性的相关分析,描述和识别漏洞的脆弱性管理的重要内容,这是非常重要的信息安全建设。
本文的其余部分组织如下:在部分2文献综述介绍。节3脆弱性分类和机器学习方法。节4介绍了系统框架和设计。节5TextRank关键词提取的关键技术和属性提取基于频率显示。部分6本文的结论和讨论。
2。文献综述
2.1。漏洞库和检测技术
目前,世界各地的一些安全服务组织建立了自己的漏洞库。常见的网络漏洞库主要包括CVE(常见的漏洞和风险),NVD(美国国家漏洞数据库),CNVD(中国国家漏洞数据库)8]。其中,每个CVE漏洞都有一个唯一的名称对应CVE字典,它可以帮助用户区分漏洞和弱点数据库和检测工具(9]。如果信息安全的脆弱性监测报告属于CVE数据库表中的一个漏洞,那么相应的补丁解决方案可以通过漏洞名称解决信息安全问题。例如,CVE漏洞号码是CVE - 2008 - 1046。NVD是指美国国家漏洞数据库(10];其漏洞的描述包括15个属性,如漏洞数量、发布日期、漏洞描述、风险类型、攻击路径,漏洞类型。广泛用于全球信息安全漏洞的服务。CNVD是中国国家信息安全漏洞共享平台。作为中国大陆的官方“脆弱性释放和安全预警平台,它扮演着一个重要的角色在中国信息安全的基本服务。公布的漏洞的数量cnvd - 2019 - 0282。此外,一些安全保护公司在中国也投资于漏洞信息资源建设的库,如天空的镜子脆弱性信息资源图书馆,这是一个资源图书馆公告和保护计算机安全漏洞建立的公司。它收集了各种各样的漏洞和保护工具为用户提供漏洞检测、修补,并攻击验证,提高了取证和验证水平(11]。
从时间的角度来看,信息安全漏洞通常显示时间生命周期的特点。它会通过漏洞的创建和消亡的过程。在上述过程中,脆弱性呈现阶段特征。出于这个原因,一些学者把信息安全漏洞根据时间的特点,如0-day漏洞和脆弱性(以12]。脆弱性研究的技术,更代表技术主要包括恰当的检测技术,基于数据的网络漏洞扫描技术,集群脆弱性分析技术和智能漏洞挖掘技术。目前,网络安全漏洞检测系统包括了商业和开源免费的漏洞扫描系统,如360保安人员在中国,诺顿,停住,IBM Rational AppScan。恰当的检测和防御是信息安全的一个重要内容。中国学者开展了研究用户行为和网络流量和应用社会工程提出baseline-based恰当的检测、跟踪和确认了恰当的攻击(13]。有些学者提出了一个基于APT预测入侵检测事件的方法和功能的配置方法,并实现了一个基于入侵检测事件预测模型通过测试在学习的阶段,预测和评估(14]。逐渐增加的软件类型和信息技术的发展,它将成为一种趋势进行大规模的漏洞检测基于大数据、人工智能和机器学习技术在未来。
2.2。对机器学习在网络安全
近年来,随着大数据和人工智能技术的发展,基于机器学习识别已广泛应用于数据分析。机器学习在本质上,是通过计算机来模拟人类学习行为。经验是作为输入,通过不断学习和迭代训练和构建学习行为模型,识别和预测,以满足人类的标准(15]。常见的机器学习算法包括回归算法,关联规则,支持向量机,聚类算法、决策树算法,人工神经网络,深度学习。有些学者分析和机器学习的应用技术软件缺陷相比发现,恶意代码检测,入侵检测,包括线性判别分析、决策树分析、多元线性回归、粗糙集、支持向量机、人工神经网络(16]。
机器学习算法在网络安全中的应用包括安全入侵检测垃圾邮件检测,以及域名检测(17]。例如,通过使用一个随机森林算法和SVM支持向量机算法,中国学者采取KDD Cup 99数据集作为入侵检测的样品上面算法的仿真分析,得到数据误警率,培训时间、内存模型职业,和未知的攻击检测能力,以及每个算法的优点和缺点18]。一些学者使用Weka和RapidMiner评估机器学习算法的性能在Twitter垃圾邮件检测(19]。他们的研究结果提供了一个参考反垃圾邮件。为了更好的监控,一些学者提出了MLH-IDS机器学习框架,它包含三层:监督学习层,无监督学习层和异常值检测层。不同的机器学习方法的优点是全面描述,这样的框架可以显示更大的灵活性和良好的性能20.]。此外,一些学者分层数据,结合SVM支持向量机和榆树算法,并建立了一个多层混合入侵检测模型。KDCUP99数据集上的模型进行了测试,取得了95.75%的准确性(21]。
3所示。理论和技术
3.1。脆弱性分类
脆弱性分类指的是漏洞的分类。从数学的角度思考,脆弱性分类过程是一个映射过程。它将漏洞需要现有脆弱性分类根据一定的映射关系。漏洞类别指脆弱性的类型,分为类别基于属性,如脆弱性的原因,行动的范围,所使用的技术,和位置特征。
有许多形式的信息安全漏洞及其变形。因此,许多国家已经建立了一个特殊的信息安全漏洞数据库。作为一种重要的信息安全维护的世纪,中国建立了中国国家信息安全漏洞数据库(CNNVD),全面描述了漏洞的分类。它主要包括一般脆弱,事件的脆弱性和公众的脆弱性。具体地说,它将漏洞分为26个类别,包括配置错误,输入验证代码问题,和SQL注入。脆弱的样本类型如图1(22]。
从图可以看出1第一级的脆弱性分为三大类,即配置错误,代码问题,和足够的信息。其中,类别可分为分段类别代码问题。在上面的漏洞,配置错误漏洞是指漏洞软件配置的过程中,这是由于不合理的配置使用的软件。
3.2。机器学习
机器学习,意味着提供一些数据到个人电脑,服务器,和其他机器,让他们学习和通过数学发现的逻辑数据建模和self-iterative方法,然后,它可以自动完成预测、分类和识别一旦面临类似的数据。目前,机器学习已广泛应用于模式识别、视觉可视化和网络入侵检测等领域(23]。从机器学习的应用的角度来看,它可以分为五类:监督学习,semisupervised学习、无监督学习,转移学习,强化学习(24]。机器学习的完整过程包括业务理解、数据收集、数据预处理、数据建模和模型评价(25]。其中,业务理解是指理解任务的需求和背景知识在执行任务之前的机器学习。数据收集主要包括原始数据的收集和存储,后续工作的前提,为未来的工作提供了基础。数据预处理是清洁和变换原始数据,在机器学习是一个非常重要的过程。在这个过程中,需要将有效信息提取尽可能为后续建模做准备。数据建模是指建立数据模型通过机器学习方法如监督学习、无监督学习,强化学习。传统的监督学习算法包括人工神经网络、朴素贝叶斯、和决策树分析,和经典的无监督学习算法包括聚类和降维。模型评价指的是一些相关的使用方法和指标来评估模型的优点和缺点得到一种机器学习算法,及其常见的评价指标包括精度,记得, - - - - - -价值,和准确性。
SVM(支持向量机)是一种典型的机器学习算法。其核心思想是找到最合适的分离超曲面在样本空间中,可以明显区分的样品。支持向量机的常见形式包括线性可分,线性支持和非线性支持向量机。其中,支持向量机的线性回归是表示如下。
设置样本集 ,并使用一个线性方程代表了回归函数。
公式的本质(1)可以被视为一个约束优化问题,及其表达式如下。
在公式(2),指的是惩罚因子和和代表上限和下限的松弛变量,分别。公式(2拉格朗日)是解决约束方程,如下所示。
在公式(3),是一个内核函数。如果 ,它代表了一个线性支持向量机;否则,它是一个非线性支持向量机。解表达式的系数之和确定,回归系数和常数项如下。
高斯核函数,内核被广泛使用。它也被称为内核径向基(RBF内核),和它的表达式如下:
在公式(5),指的是高斯函数的方差的高斯核函数。
4所示。系统设计
4.1。系统设计目标
安全漏洞识别系统是一个信息安全建设的重要组成部分。基于机器学习系统的设计具有重要意义的及时和准确测定漏洞类别和危险程度,为研究人员提供一个完整的数据源。在全面调查的基础上,系统目标设计的原则如下。(1)系统需要遵循的原则,灵活性和可扩展性。它应该具有良好的可扩展性,满足未来升级的需要(2)系统需要遵循适应性原则,它应该有环境适应性,并考虑用户的需求,以适应不同的用户操作(3)系统应该有权威的功能评分。系统中,访问控制权限的用户有不同的权限级别是不同的,并需要严格控制用户的权利的添加、删除、修改、搜索(4)系统应该遵循稳定性原则,考虑操作的安全性和稳定性。它应该有相应的措施防病毒攻击,数据备份和数据恢复(5)系统设计应遵循的原则,模块化,并合理地划分系统的功能。例如,数据预处理模块,负责清理脏数据和处理扭曲数据或数据集成。它有漏洞规则管理的功能,负责添加、删除、修改和查询的规则。它有漏洞数据标识和分类的功能
4.2。系统需求分析
安全漏洞识别系统的目的是集成和统一管理各种漏洞数据库的数据和信息。它可以收集、总结、脆弱性和显示数据。现状调查和分析后,安全漏洞识别系统的需求进行了总结如下。
4.2.1。准备要求建立一个统一的漏洞数据库描述
漏洞知识库是一个重要的积累当前漏洞在网络安全领域的知识。对于不同的漏洞数据库,可能有相同的漏洞信息,但漏洞的规则都是定制的,这就增加了脆弱的知识管理困难。国内外有许多安全漏洞数据库如CVE漏洞数据库,CNNVD, CNVD。不同的安全漏洞数据库有不同的命名和编号规则。例如,典型的CVE漏洞数据库的编号方法是“CVE - 2014 - 4664”,这是一个漏洞。因此,当前主要的编号规则漏洞数据库名称+发现年+漏洞序列号。另一个例子是一个漏洞标识为“CNVD - 2017 - 17486”CNVD漏洞数据库。这个漏洞是缓冲区溢出漏洞,发生在基本的应用程序,比如数据库,导致数据库服务中断。的范围和伤害这个漏洞将相对较宽。然而,发现漏洞“cnvd - 2017 - 17486”在中国的公司。 There is no corresponding vulnerability number in CVE. In order to better conduct vulnerability analysis, it is necessary to form a relatively unified vulnerability database.
4.2.2。数据质量要求
因为数据分析是基于一个数据集,当数据从多个数据集,需要一个统一的多个数据的预处理是提高数据的质量,这样后来的分析可以更好地表现[28]。为了提高数据质量,本文建立了识别管理和制定规则。获得原始数据后,需要对原始数据有效地解决之前根据识别可用于后续分析。通常情况下,第一步是标准化数据。由于数据处理是基于识别数据,数据分析和数据跟踪的效率可以大大提高。
与此同时,为了提高各种数据的综合利用效率,有必要收集、过程,和集成不同的数据的数据提供者。摘要开放接口是用于管理漏洞的规则,和收集的数据分为预处理数据按照指定的格式。系统需要识别规则作为一种重要的基本数据处理和提供服务的过程规则管理,数据分析,和表示的漏洞,从而实现集中控制和分析各种数据,特别是控制数据复制和失真,提高数据质量。
4.3。系统框架
根据系统的需求,系统分为四层:业务表示层、应用系统层、应用支撑层和数据资源层。系统框架如图2。
业务表示层显示每个应用程序的业务功能管理模块根据登录人员的地位和权威,权威等添加、删除、修改和查询规则管理功能模块。
应用系统层主要依赖于各种应用程序提供的服务支持层,为用户提供应用软件模块的漏洞安全系统根据实际需要,包括规则管理、任务管理、数据处理、结果查询,数据显示功能。
应用支持层完成系统功能相关的接口服务和管理服务,包括统一的数据接口,消息中间件、分布式存储管理和安全日志审计,以及各种基本信息在线查询和综合查询服务和综合分析服务。
数据资源层封装了数据相关内容,包括文本文件,Excel文件,XML文件,和JSON文件。
5。关键技术
5.1。TextRank关键字提取
在文本分类的研究,支持向量机算法具有良好的泛化能力,它有一个显著的影响在小样本非线性分类。因此,本文采用支持向量机来实现文本分类。文本分类的过程是复杂的,主要包括文本预处理、特征选择、分类器的选择,和性能评估,如图所示3。
从图可以看出3脆弱性分类描述的过程如下:首先,文本对训练数据进行预处理,包括文本分割,和一个文本模型用于描述删除后停止与小分类词汇意义,如标点符号和字符特征;然后,进行特征选择的文本选择模型和特征匹配的重量,然后,构造一个分类模型,使用测试数据集对分类模型的性能进行评估。如果它满足要求,文本分类的分类器选择。例如,下面的漏洞描述信息分类和实现如图4。
分割后,感叹词、助动词和连词是移除,然后,特点等词语“SQL数据库、欺骗、服务器和恶意”选择模型训练和输出。在SVM分类、惩罚参数的选择和内核参数支持向量机分类器的性能密切相关。它们分别控制经验风险和风险投资的信心。在这项研究中,惩罚参数 和内核参数 通过持续优化的内核函数。
TextRank关键词提取的概念是基于PageRank的主意。PageRank,顾名思义,网页的重要性。其核心理念有两个要点。一个是,如果一个网页有大量与其他web页面的链接,这意味着这个web页面的重要性相对较高,和它的pr值相对较大;另一种是,如果一个网页有一个很大的PageRank值与另一个页面,链接,页面的网页排名值与这个大的PageRank值会相应增加。PageRank的优点是,所有页面的网页排名值可以离线计算统计,但它也有缺点,旧的PageRank值高于新的。因为关键字的文本类似于网页,网页排名可以用来提取关键词的文本通过修改TextRank。TextRank值的计算如下。
在公式(6),是关键词的重要性, 单词之间的联系,的词集是单词 , 的词集是单词 ,和阻尼因子是0.85。例如,CNNVD的描述信息安全漏洞。是cnnvd - 201905 - 408。“有一个弱点在Microsoft Windows安全特性。漏洞是由于缺乏身份验证、访问控制、权限管理,网络系统或产品的其他安全措施。“分词后,我们得到了“微软Windows /业务/安全/功能/问题/缺陷/网络系统/没有/认证/访问/控制/权力/管理/安全措施。“然后,我们提取关键字和过滤器根据词性。滑动窗口期是5和7。评价结果如表所示1。
在表1中,精度是指实际的积极数据预测积极的数据,用于描述预测是否准确。召回率是指所有真正的正面数据检测到的概率作为正面例子,代表一切积极数据的完整性的程度。F1-measure结合上述两个指标的精度和召回,代表分类的性能。如果F1-measure值较高,分类器的性能会更好。
5.2。基于频率属性提取
Frequency-based属性提取是识别和提取实体属性信息通过词频统计漏洞描述文本。首先,中间的名词评论句子是由POS尾随者。这个想法是,单词的起始点与高频词汇是重要的属性。因此,低频词通常不被视为重要的单词,和短语通常是重要的命名实体在这个领域。
这种方法的基本假设是,有许多文本描述信息的脆弱性,并针对相同的漏洞,如SQL注入。例如,互信息(PMI)得分是用来计算候选短语和实体类的部分整体关系,“采购经理人指数的计算公式如下。
在上面的公式中,发现的候选属性词词频统计方法,指示词,搜索引擎计算词语出现的频率信息和共存。当PMI值太小,这意味着和不会经常共存,这可能不是一个组件。
例如,对于CNNVD(中国国家信息安全漏洞数据库)信息安全漏洞描述编号CNNVD - 201903 - 843,这个词频率提取。第一个16个单词的提取结果如表所示2。表中重量计算基于漏洞描述信息和现有记录在数据库中。
网络管理包括两个方面:网络设备管理和网络性能管理。远程管理和维护网络设备管理需要通过监控和参数调整的主要操作设备,确保网络的可用性和安全性;网络性能管理保证网络的可靠性和效率,优化网络的质量通过各种性能指标的监控和调整。为了实现一个统一的、高效的管理,有必要进行全面的分析,整个系统中存在的问题和分析网络事件的系统,数据库,和应用程序事件,分析问题的根源。它可以很容易地管理通过图形界面交换网络,包括远程监控、管理和配置的设备,VLAN的划分和配置,监控网络流量。
6。结论和讨论
首先,本文介绍了信息安全脆弱性的研究现状和国内外机器学习识别,包括在美国,NVD CNVD国家信息安全漏洞共享平台在中国,网络安全漏洞检测系统和机器学习在网络安全中的应用,并阐述了信息安全的相关概念和技术脆弱性识别,包括漏洞类型,文本分类和机器学习算法。然后,分析漏洞识别系统的要求,包括识别模型、系统需求和功能需求,并介绍一个安全漏洞识别系统的设计,包括总体框架设计、功能模块设计、数据库设计、安全设计错误宽容,和文本分类设计基于上述设计;它使信息安全漏洞。系统实现的识别系统和脆弱性介绍了文本分类的关键技术。
随着网络信息化的不断发展,信息安全漏洞识别将面临更大的挑战。这篇文章进行了一些探索和研究安全漏洞识别系统。未来的研究工作可以从以下方面改进。(1)脆弱性的描述文本特性可以改善。因为漏洞描述文本功能是信息安全漏洞识别的基础上,是否表示是普遍的和准确的安全脆弱性识别系统是至关重要的。因此,深入研究将在未来进行脆弱性文本的特点,能够过滤掉更精确的文本特征项和提高识别的准确性和效率。(2)可以提高分类器的设计和实现。特征选择是一个关键的内容文本分类过程中,和质量的选择往往直接决定了最终的分类结果。因此,除了使用共同特征算法,也可以尝试一些新的算法和组合算法,如应用深度学习分类器或组合多个算法的实现(26),提取更准确和有效,识别漏洞文本的特点。
数据可用性
使用的数据来支持本研究的结果包括在本文中。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作是支持的上海哲学社会科学规划项目(2018号bgl023)。