文摘
关系抽取是信息提取研究领域的重要研究课题。解决语义变异的问题在传统semisupervised关系提取算法,提出了一种新型semisupervised提取算法基于集成学习的关系(LXRE)。新算法主要使用两种支持向量机分类器基于树内核集成和集成的策略限制扩展种子集。新算法可以削弱关系提取的不准确,这是造成的语义变异的现象。数值实验研究基于两个基准数据集(PropBank和目的)表明,在报纸上LXRE算法优于其他两种常见关系提取方法的四个评价指标(精度,记得,测量和准确性)。它表明,新算法具有良好的萃取能力的关系与他人相比。
1。介绍
关系抽取任务是通过消息的理解MUC-7会议上正式提出(中央)由国防高级研究项目委员会(DARPA)在1998年。提取的发展关系研究是由中央然后ACE成型后所取代。在这两个会议,提出了各种先进的信息提取方法。他们提供的数据平台测试参与者之间的会议和讨论。年度评估会议的发展起到了指导和推动作用关系提取。
作为研究的一个重要的任务在自然语言处理领域的研究,提取interentity关系在许多领域具有良好的应用价值。在问答系统,自动提取伙伴关系相关的问题和答案。在检索系统中,它可以实现语义检索的功能。在本体学习过程,它可以找到新的interentity丰富本体结构的关系。在语义web的注释任务,它可以自动关联的知识单元。
目前,semisupervised关系抽取的研究主要集中在初始种子集的选择和模式排序问题。然而,在semisupervised关系提取,由于小数量的标注语料,来识别大量的无标号全集的关系,有必要延长种子集的算法操作。如果扩展过程不是有限的,它可能导致语义变异现象由于分类错误的新种子种子集。换句话说,全集成分类错误的种子,种子分类其他标记全集时,错误不断扩大,从而影响分类精度。因此,为了解决语义变异的现象,提出了一种支持向量机整体学习策略基于树核函数,介绍了子树和子集semisupervised关系提取方法基于约束机制种子集扩展策略。
2。方法和材料
2.1。方法
2.1.1。相关的方法
在当前的研究中,提取的关系主要包括三种方法(1,2]:监督关系提取、semisupervised关系提取,提取无人监督的关系。其中,semisupervised学习方法是指一台机器学习系统的学习方式学习自动与几个标签样本和大量的未标记样本而无需人工干预。Semisupervised关系提取方法(3- - - - - -9)通常为几语料库集已经被贴上关系类别标记作为种子,诱发模式从这些标注语料。然后,这个模式应用于句子集没有获得新的双标记关系范畴。这些种子将继续添加新组对诱导模式,以便完成关系提取任务在所有标记全集。格林伍德,史蒂文森(10]在文献中指出,尽管取得了良好效果,semisupervised方法预处理信息提取的任务只是有限的任务,如识别事件参与者和开始衰老的过滤不清楚地揭示semisupervised方法的影响的程度关系提取的任务。他们提出了一个基于semisupervised关系提取方法的学习。该方法使用更复杂的模式,决定了基于内核之间的相似关系。许等人开发一个基于semisupervised敢系统关系提取方法(11- - - - - -14]。在此系统中,种子集(关系实例集)是由用户指定的第一个总结提取的关系模式。然后,语料库的应用模式可以提取提取更多的关系实例,直到没有更多的模式和关系实例。在中国,他et al。15]提出一种基于种子自我提升,命名实体关系抽取方法找出命名实体对,出现在相同的句子,和他们的距离是一定值,和他们的上下文转换成向量。选择一双几命名实体实例,成为初始种子集的关系。种子集的关系在自学过程中自动扩展。陈和霁(16]提出了基于semisupervised关系提取方法创新使用标签传播算法来指导计算机自动识别interentity关系从非结构化文本。该方法首先建立战略关系提取的图模型图。在图模型中,所有的标记和未标记示例表示为节点和他们的距离图中边的权值。然后,提取的任务关系转化为估计这个图表上标记函数来满足全球一致性假设。崔et al。17]提出提取interprotein SVM和主动学习策略的关系。此外,王et al。18,19]提出应用监督和semisupervised学习机制成的提取的蛋白质关系。陈等人。20.结合传统语法分析的特点蟋蟀特点使协作训练,以提高关系提取的准确性。陈和朱21]研究undefined-type semisupervised关系基于维基百科的信息提取问题。
将提取的关系转化为分类任务,采用机器学习的分类算法成为一个重要的研究想法解决关系提取的任务。提取研究领域的关系,支持向量机(以下简称SVM)基于核函数的分类算法在关系抽取的研究备受关注。semisupervised关系提取算法具有良好的实用价值,在解决问题的几个标注语料,太多的无标号全集,其中bootstrapping-based semisupervised学习算法是一个重要的方法。其算法过程可以被描述在以下方式(22]。假设两个数据集(一个数据集和少量的标签)(一个数据集与大量的未标记数据),它需要标签样本的类别标记的数据集根据信息标记数据集。根据引导的训练步骤,首先是训练分类器在好。然后,样本的类别判断与结果纳入的原始数据集。接下来,训练和其他数据的再次分类,直到所有数据吗已经标记出来。然而,当添加新标签样本数据集的分类标准,样品中添加经常错误地标记由于错误分类的样本训练分类器,从而导致标签的错误分类其他样品在什么时候然后生成一个语义变异现象(23]。这种现象对分类结果的影响逐渐增加而未标记样本的大小。
semisupervised关系提取算法基于集成学习(LXRE算法)提出了本文主要使用了两个基于树核函数的支持向量机分类算法训练的标签数据集和分类数据集合中的数据准备标签。只有和样品一致的培训结果可以被纳入标签数据集。它使用种子数据集约束扩张的策略来增加的准确性关系提取和削弱误差关系提取语义变异现象造成的传统semisupervised关系提取算法。
2.1.2。树的内核
柯林斯和达菲(24)首先介绍树核函数为自然语言处理领域的语法分析和词性标注。之后,其他一些学者将其应用于提取和命名实体识别的关系(25,26]。Moschitti et al。27]提出几个内核函数在基于机器模型解析树属性,例如,感知器或支持向量机。特别是,他们定义不同的内核树一般特性工程自动语义角色标注方法。板材和Moschitti28)提出了句法树内核丰富了词汇语义相似度处理关系的可移植性器不同的领域。败坏和Moschitti29日]介绍了一个简单的方法来提取弱监督关系。它利用句法信息和词汇特征与特征向量,然后通过结合树内核应用SVM处理更重叠的关系问题。树内核的主要优势是,它可以产生大量的语法对象的特性和选择一些特定任务的相关功能。通常,树内核有两种结构:一个被称为子树(ST) (30.),另一个是被称为子集树(SST) (24]。子树包含一个完整的树从一个节点下面。子集树不包含某个节点下的所有叶节点树结构。它是更一般的子树。
斯坦福解析器是用来解析句子从语料库。斯坦福解析器是一个统计解析器和作为开源软件可供下载http://nlp.stanford.edu/software/lex-parser.shtml。例如,这个电荷将出现在你的语句。它的语法解析树如图1。部分的子树和部分子集树示例所示的数据2和3,分别。
子树的例子在图2下面,所有叶节点从一个节点和被视为一个部分的子集树中的子树集。在图示例3,任何子集树不一定包括所有节点下面。
内核计算解析树的主要概念之间的相似性树通过计算两个解析树之间常见的子树的数量。例如,有两个解析树和。他们的相似之处可以通过以下公式计算22]:
在这里,是节点集的;是常见的子树的数量和作为根。
2.1.3。LXRE算法
LXRE算法表达形式的算法伪代码所示1。
|
||||||||||||||||||||||||||||||||||||||||||
2.2。材料
为了验证新算法的性能,两个基准测试集(主张银行和目的)是用来评估算法的性能。原命题银行项目(PropBank),由王牌,创建了一个语料库的文本注释信息基本语义命题。PropBank项目极具影响力的最近的研究在自然语言处理。针对语料库[31日,32)是由Bunescu等。主要采用199医学文献摘要PubMed识别根据倾斜蛋白质之间的互动关系。这是显示在表1这些摘要包含共4026句,包括与积极的关系(即951。,有一个蛋白质之间的关系)和3075年(即负关系。,没有蛋白质)之间的关系。
3所示。结果与讨论
3.1。数值实验PropBank语料库
验证LXRE算法的性能,论文中第一个测试数据集选择PropBank [33]数据集。三个算法可以检测LXRE, N-LXRE,和N-RE LXRE semisupervised关系提取的算法基于种子集约束扩展机制提出了论文;N-LXRE semisupervised算法不使用约束机制种子集扩展;N-RE监督算法不是完全延长种子集。
3.1.1。算法流程
步骤1。选择几个句子从PropBank数据集随机种子标签和采取其他数据集设置为文本设置准备标签;让每个句子的语法解析处理获得语法解析树的所有文本集;把标签文本短信I1和I2同样分为两部分。
步骤2。火车在I1核函数支持向量机基于ST或海温和I2海温核函数支持向量机基于ST或stProp得到分类模型。模型或者sstProp.model。
步骤3。做第一个标签处理与训练stProp标记文本集二世。模型或者sstProp.model。
步骤4。将两个模型的文本一致的分类到初始标记文本集我形成候选人,然后去下一个步骤。
第5步。新添加的文本之间的相似度计算和文本设置我通过语法解析树;保存新添加的文本,如果相似度不小于初始标记文本之间;否则删除它们,形成新的标签文本集。
步骤6。如果所有标记文本二世是标记,退出算法;否则,请继续步骤1来5。
3.1.2。实验结果和分析
三种算法的LXRE N-LXRE,分别和N-RE独立运行10次。这些算法的程序写的Matlab R2014b和2.0 GHz CPU计算机上运行,2 GB的DDR内存。表2列出了这些参数的适当的值在三个算法。10次运行的结果如表所示2,3,4根据不同数据集的能力。测试指标中选择纸精度,记得,测量,准确性。
数据4和5显示三种算法的实验结果比较三个数据集具有不同能力基于ST和SST内核函数,分别。它可以直观地发现从提取算法的实验结果基于圣核函数图4LXRE最佳性能,其次是N-LXRE和N-RE。实验结果的提取算法基于海温核函数图5也反映出LXRE是最好的的测试结果数据集。除了表现不佳100年数据集的能力,N-LXRE有更好的性能比N-RE其他两个数据集。
可以得出两个结论的分析数据4和5:(1)semisupervised提取算法基于约束机制种子集扩展可以获得性能稳定,效果良好。(2)因为没有约束机制的算法种子集扩展没有约束添加到种子,有些句子不符合原始种子设置模式(他们可能被错误地)合并到种子集和训练,这可能会降低性能测试无标号时句子。结果,种子集扩张算法的性能没有约束机制可能穷比N-RE算法在数据集的能力100。它还表明,语义变化的现象N-LXRE对结果有一定的影响。
数据6,7,8做横向比较不同算法的性能在三个数据集基于ST和SST树核函数,分别。
数据显示6,7,8,测试数据集上的能力50显示,核函数算法基于风场结构可以获得类似的甚至更好的性能比基于圣结构。随着容量的增加数据集,三个算法基于圣内核函数优于基于风场结构。这一结果表明,核函数算法基于圣结构具有良好的性能与大容量的数据集,基于风场结构具有良好的结果与小容量的数据集。这一结论表明,数据集的大小将直接影响算法的性能基于ST和场结构。在实际的应用程序中,它通常是可行的选择树核函数算法根据数据库的大小。
进一步分析LXRE算法的性能优势和N-LXRE N-RE相比,这里的百分比增加了比较最好的和最贫穷LXRE和其他两种算法之间的实验结果如表所示5。
从表可以看出4与其他两种算法相比,精度LXRE指数有一定的改进三个数据集范围的增加(1.28%,9.23%)。其中,LXRE算法基于海温有明显的改善效果的增加容量的数据集。来相比,它的百分比增加了近3%的最佳结果,近4%最贫穷的结果。与此同时,它可以发现,随着容量的增加的数据集,该算法的性能改善效果更明显。
因此,这个实验的数据集,semisupervised学习方法(LXRE)使用约束扩展种子设置提出了在报纸上优于其他两种方法在四个索引(精度,记得,测量和准确性)。N-LXRE semisupervised学习方法有更好的效果比N-RE方法完全不扩大种子集。
3.2。数值实验语料库
为了进一步验证LXRE算法的性能,第二常见的语料库的目的是用来评估算法的性能。在实验中,1000个样本随机选择从语料库目标形成一个测试集,包括与积极的关系,500年,500个样本呈负相关。三种算法的结果比较的目的是显示在表6。实验结果表明,除了回忆Mitsumori算法之间的一致性和LXRE,的值测量和LXRE精度优于其他两种算法,在其中指标反映了算法的综合效应增加了44.79%和1.38%与其他两种算法相比,分别。
在提出的算法Erkan et al。36),自测量结果在包含1000个采样点的数据集是由图形显示,使直接比较是不可能的。然而,它可以从它找到目的测量图,数据集,当容量是1000,最好的不同算法得到的测量值接近50%,这是本文的结果(数据9和10)。
4所示。结论
本文进行了semisupervised关系提取的基于树核函数的支持向量机分类算法。解决常见问题的现有关系提取方法提取的关系,它集成了两个关系提取算法基于树核函数子树和子集,分别利用种子集的扩张战略的初步分类结果的算法完成关系抽取任务的新算法通过迭代。LXRE算法在文章中显示了良好的性能在三个数据集从PropBank不同的能力。同时,针对新算法的测试结果,互动关系数据集医疗蛋白质,也表明,与其他三个已知的关系提取算法相比,LXRE具有良好的识别性能的关系。关系识别复杂结构的关系提取困难。因此,本文提出的新算法将用于未来的研究这个问题。
利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作已经从项目赠款支持优秀青年学者在大学广东省(Yq2013108)。作者在一定程度上支持的重点资助项目从广东省委宣传部、中国(LLYJ1311)、广东省自然科学基金(没有。2015 a030313664)、广州科技项目(没有。201510020013)、特殊项目应用研究在超级计算NSFC-Guangdong联合基金(第二阶段),和特殊应用广东省科学技术发展基金会(没有。2015 b010131017)。