文摘

本体是健康信息管理系统的重要组成部分。因此,其内容的质量是至关重要的。它已经被证明是实用的开发质量保证(QA)方法基于自动识别集的概念将错误的可能性更高。等四种集(称为QA-sets)围绕的主题复杂和非同寻常的介绍了建模的概念。基于这些QA-sets不同的调查方法和应用他们的结果不同本体。总的来说,下面这些方法导致更高的QA收益率和更好的利用QA人员。制定额外的QA-set方法将进一步提高可用的本体QA工具套件。

1。介绍

本体是生物医学信息管理系统的中心组件,其层次结构的概念定义服务标准化知识,促进交流。本体已经成功地部署在数据注释,语义集成、知识发现领域词汇表,和自然语言处理等领域(1- - - - - -6]。考虑到这些重要的角色,它是至关重要的本体中的概念知识是准确的,一致的,尽可能的完成对它的应用程序。然而,保证这是很困难的因为通常广泛本体的大小,通常的成千上万成千上万的概念,概念的服务员复杂性表现在它们连接数以百万计的潜在关系。事实上,并不是不寻常的发现各种类型的错误在一个大的本体,包括错误和遗漏是(包容)关系,不正确的横向(即。目标、无)关系,错误的关系。

在本文中,我们专注于为QA本体的方法7]。事实上,本体质量保证是一个成熟的研究领域。回顾QA医学本体可以找到的8]。另一个评论扩展主题材料测试方法适用于所有形式的控制生物医学术语(7]。测试方法有针对性的各种现有本体包括snom CT (9,10),美国国家癌症研究所的同义词典(NCIt) [11,12),和基因本体论(去)13,14]。为例,分析了snom CT对其遵守七个重要的本体论原则(15]。形容词的修饰是用来评估的一致性条件在snom CT (16]。基于语义Web技术的方法被用来判断的一致性等级和关联关系NCIt [17]。进化的术语审计方法应用于测量的质量去(18]。

具体而言,在本文中,我们目前的指导方针成功雇佣作为质量保证的基础技术,源自分类法,交替高层紧凑本体的观点。在以前的工作(例如,19]),开发的实用性taxonomy-based QA技术涉及组概念的自动识别错误率高已经证明。这个工作已经有两个首要的主题:复杂的概念和非同寻常的建模概念。直观地说,复杂的概念是那些结构复杂的多的属性和互联,这自然使他们更容易受到错误的建模。如果一个概念看起来非常不同于所有其他的概念在其附近,甚至在整个本体的背景下,提出了怀疑它的正确性,我们指的是“非同寻常的建模”等概念主题领域。贯穿这两个主题是这种性质的概念揭示了作为离群值集通过晶状体的分类法。

各种taxonomy-based方法已经开发和利用snom CT, NCIt,走了。额外的方法有针对性的本体在NCBO BioPortal [20.,21包括临床研究的本体(OCRe) (22),睡眠领域本体(SDO) (23),癌症化学预防本体(CanCO) [24),和药物发现的本体调查(DDI) [25]。现在的运动方法包括一个家庭所有的本体相似的本体驻留在BioPortal [26),重要的是调查的已知的方法taxonomy-based各种馆长和编辑可以更容易地使用它们。安排他们在使用的指导方针的背景下发展,从而突出现有的最佳实践,这是我们的期望,用户和研究人员将被鼓励去发现更多的潜在“higher-error”集,可以进一步taxonomy-based QA的基础方法。

2。背景

两个基本分类法开发地区分类和部分地区分类。这些都是利用层次结构在snom CT和NCIt等(27- - - - - -29日]。变化和扩展这些分类法已经部署在其他一些本体,包括不相交的部分地区分类法(30.)和基于subject subtaxonomies [31日]。在下面,我们目前的一些细节每个两个相关的结构,与来自NCIt例子。回顾分类法的上下文中可以找到的一般治疗本体抽象网络(32]。让我们注意分类法源于本体以各种格式,包括猫头鹰(33)、鄂博格式(34],和snom CT RF2 [35]。

该地区分类是一个层级结构组织图结构派生自动安排的层次(即。,是一个或subClassOf)和无(“横向”)关系的概念在本体的层次结构。应该注意的是,横向关系建模的概念不同,使用不同本体的上下文中术语表示。例如,属性关系snom CT, NCIt角色,和财产限制在OWL本体。在后者中,所有陈述和继承财产,出现在等价公理或限制subClassOf公理是横向关系。在本文的其余部分中,我们将只使用通用的“是”来指代一个层次关系;“关系”一词将严格的横向关系,除非另有注明。

每个节点代表一个地区的分类图区域,定义的集合中的所有概念层次表现出相同的关系。贴上相应的节点的关系,还包括成分的数量概念。例如,在NCIt疾病、紊乱或发现层次结构,有概念,如神经系统肿瘤,这两个关系异常细胞和相关的解剖位置——只有那些关系。(在这个例子中,“疾病”前缀是省略了所有关系的名字。)参见图1(一),在那里神经系统肿瘤和其他五个概念使用这些封装在一个蓝色的确切关系,虚线框。(不是所有的概念从这个区域所示。)因此,有一个节点{异常细胞,解剖位置有关}表示六个概念在该地区taxonomy-the蓝色框如图1 (b)。这图整体显示摘录NCIt的五个领域疾病,障碍,或寻找地区分类对应图1(一)。

通过分层图的节点连接的孩子关系的推导是基于的革命战友根领域的概念。根是定义一个概念一个区域的顶部subhierarchy,也就是说,一个概念的父母都属于其他领域本体的层次更高。例如,NCIt概念肿瘤的网站只有关系异常细胞因此属于区域{异常细胞}(图1(一))。肿瘤的网站的孩子神经系统肿瘤{的根源之一异常细胞,解剖位置有关}。之间的是神经系统肿瘤和肿瘤的网站,一个的孩子{派生连接区域异常细胞,解剖位置有关{}区域异常细胞}。再一次,见图1 (b)插图。

分类法源于整体的区域面积与“根区域的名称。”等数据,如图1 (b),我们常常名称显示为∅,表示其成员的事实概念不表现出任何的关系。(可能有很多这样的概念,事实上他们可能扩展深入本体,下面将进一步讨论。)数据,节点的分类通常是不同颜色来表示各自的水平(等于它们的数量关系)。例如,图的底部的两个领域1 (b)有三个关系,因此具有相同的颜色。根区域本身驻留在0级。

部分地区分类扩展区域分类就像在本体的使用本地配置。两者之间的主要区别分类法是嵌入式的包含“子节点”区域内节点在该地区有多个根的情况下。在这种情况下,节点,称为部分地区,包括代表一个概念组由一个根和所有它的后代在其区域。考虑到根包容所有的部分面积的概念,它的名字是作为这个群体的标签。NCIt的疾病,障碍,或寻找层次结构,面积{异常细胞,解剖位置有关}有13根(其中生殖系统肿瘤,神经系统肿瘤,眼肿瘤)。图1 (c)显示的摘录疾病、紊乱或发现层次结构的部分地区分类,{的三个相应的部分地区异常细胞,解剖位置有关可以看到}。概念的数量在部分地区出现在它的名称。的孩子连接部分地区和来自底层的根的革命战友的方式类似于地区区域分类。某些图形变换被用来减少箭头所示(27]。

3所示。方法

自动化的总体目标本体质量保证的方法是揭示概念显然是被认为的错误或有很高的可能性在进一步分析误差。我们以前的工作试图识别概念窝藏错误或不一致的可能性高不同的分类法作为指导框架。有效,这种类型的方法进行一些分析提取的一组概念,例如,可能已经存在于分类或作为一个总分组作主题领域的专家(例如,馆长)审查。这可以节省时间和精力的人把精力集中的概念更有可能需要额外的关注。一般来说,我们通常会说,它使更好的利用有限的测试资源,增加QA产量而言,发现本体问题。

在给定方法的上下文中,我们引用的集合概念选择评审的“质量保证组”(缩写为“QA-set”)。在本节中,我们介绍了四个例子QA-sets被利用作为质量保证的基础方法。他们的效用已经过实际验证的本体,其中一些在节下面将进一步讨论4。的两个QA-sets直接基于区域分类。其他两个部分地区分类有其起源。四个QA-sets如下,区域taxonomy-based的首先列出来:(1)根区(2)深的概念分类,有许多关系(3)重叠的概念(4)小的部分地区。

在接下来的部分,我们给每个QA-set的解释复杂概念的总体主题和非同寻常的建模概念。在最后一个小节中,我们介绍一些方法试图结合这些主题进一步提高QA的努力。

3.1。区域Taxonomy-Based QA-Sets

3.1.1。QA-Set 1

如前所述,根区域定义了概念没有关系。在本体,关系是最重要的定义元素和作为重要种差[36]。因此,后面通常没有任何概念与其他概念之间的关系。在我们的工作,高百分比的概念没有关系位于根区域层次结构。诚然,这样的概念可能是离开underdefined故意天生一般的或抽象的概念。但一个期望数量小。通常,省略是无意的,应该受到质疑。因此,第一种区域taxonomy-based QA-set的集合概念属于一个相对较大的根区。最有可能的错误这样的概念是一个失踪的关系。

3.1.2。QA-Set 2

作为一个向下移动本体层次结构,有一个期望提高服务员的复杂性随着越来越多的知识构建上或隐式。大多数时候,积聚的知识本体发生通过引入新的属性以及从祖先继承的属性。表现出增加的概念知识聚合直觉更困难也更微妙的模型,它是自然的错误更容易发生在这种情况下。我们发现这一现象的表现在第二种QA-set。

中的概念分类编号水平组织根据他们的数量关系。从根区域越远,越高的水平。驻留的分类概念,一般来说,往往有大量的明确的知识积累,也就是说,许多关系。有很多关系,增加了复杂性,往往会增加错误的关系的机会。从这个,我们得到第二种区域taxonomy-based QA-set:水平的区域分类包含概念展示许多关系。

3.2。部分地区Taxonomy-Based QA-Sets

3.2.1之上。QA-Set 3

一个重叠的概念是驻留在同一区域内两个或两个以上的部分地区。这些概念都属于复杂的概念是因为他们继承的结构和语义两个或两个以上的部分地区的根源。作为一个例子,NCIt概念儿童中枢神经系统成熟畸胎瘤驻留在两个部分地区中枢神经系统成熟畸胎瘤和儿童中枢神经系统畸胎瘤因此各自的后裔的根源。这个层次安排和分组到部分地区如图2(一个)。QA-set重叠的概念通常很小,而且它有利于集体审查其概念。事实上,我们开发了一个额外的专业框架,称为不相交的部分地区分类(30.),主要是处理这种QA-set。重叠的概念提取他们的部分地区在单独的“重叠的部分地区”,这样所有的部分地区都不相交。参见图2 (b)相应的不相交的部分地区分类图2(一个)。在图2 (b),重叠部分面积儿童中枢神经系统成熟畸胎瘤画的是两色(红色和蓝色)来表示概念的祖先在部分地区的根源吗中枢神经系统成熟畸胎瘤(红色)和儿童中枢神经系统畸胎瘤(蓝色)。

3.2.2。QA-Set 4

一小部分地区属于的类别非同寻常的建模概念,因为它的概念表现出一种相对不常见的结构定义元素的组合(关系)和分层位置/分组。不寻常的结合提出了正确的问题。小的部分地区已经被证明是有用的在发现本体错误,因为尽管他们可能确实是不寻常的概念,它经常发生,常见复杂性建模是由于错误。当然,阈值定义必须假定“小”的意思。它已被证明为各种本体不同,但它已经表明不偏离一个常数。

3.3。主题的方法及其组合

让我们注意,主线贯穿建模复杂性和罕见的两个主题是两种QA-sets包含异常值在整个上下文本体的层次结构。复杂的概念是离群值由于复合建模反映多个结构元素和精确建模提出了挑战。概念建模的非同寻常的离群值由于他们不同寻常的结构和/或语义配置。有趣的是,这些不同的异常值表示为QA-sets不一定是检查潜在的本体,但表面上明显的本体是透过镜头紧凑总结视图提供的分类法。

分类法的类型的抽象网络(32),因此没有创建暴露离群值集的主要目的有可能含有更多的建模错误。我们最初的目的是采用在计划性地捕捉本体网络的“大局”,具体地说,它的整体内容和结构,而忽略细节。我们第一次进军抽象网络这一目的显然在我们制定的面向对象模式的前沿37,38为医学实体字典(地中海)[]39)和统一医疗语言系统(uml) (40]。抽象snom CT工作创造了以前使用的分类法作为模式的概括。(见[27]更多细节关于决策过程周围的分类法。少的主要动机是处理约束的关系模式介绍。)

意识到抽象网络、特别是分类法是本体QA后来的优秀平台。Initial-somewhat capricious-discoveries本体论错误通过模式和分类法的镜头让我们看到这个潜力。进一步分析显示,分类倾向于集群的离群值集,在统计学上港错误。得出结论,好处是QA出现由于暴露在某些情况下异常复杂性和的概念,在其他情况下,常见的概念建模。这导致上述QA-sets。

更进一步,复杂性和不常见的主题建模可以组合来提高质量保证方案的有效性和节约所需的处理。例如,它可能是有意义的从两个角度看表现出复杂性的概念(两个“层”的复杂性)。或复杂,常见的组合特征可以作为额外审查的基础。

一个例子是使用的概念程度的重叠因为它属于重叠的概念(QA-set上下文中的3)。重叠的程度定义为一个重叠的概念所属的部分地区。它的值是至少有两个。作为一个例子,考虑概念子囊孢子形成。因为它属于四部分地区形态发生,细胞周期进程,细胞的发展,生殖过程,其程度的重叠是4。这个特征实际上是另一层的复杂性已经对这些复杂的概念。因此,尽管预计将有更多的重叠的概念错误的可能性,一般来说,重叠的概念一个更高的重叠程度预计将有一个更高的可能性误差相对于较低程度的重叠的概念。以外的直觉,这是一个细化的额外语义从根和更复杂的安排是一个关系的潜在的本体hierarchy-thus,更多的服务员的复杂性。

组合方法的另一个例子,产生了显著的效果是把精力集中在一小部分地区(QA-set 4)当他们聚集在一个区域出现由几部分地区,只有小的。在这种情况下,小的部分地区,代表概念和一个不常见的语义和地方分层特征、组合与其他类似概念是基于一个罕见的全球特征,即该地区的关系。

发现原来NCIt的一个极端例子生物过程层次结构的概念转录起始居住在一个部分地区和领域所有本身(29日]。这是唯一的概念在整个层次结构的关系组合:有相关的位置,结果的过程,结果化学或药物,是过程的一部分。在分析,它被认为是错误的,而在随后的NCIt的释放,转录起始不再有这种关系;也就是说,这个区域分类地区消失了。此外,部分地区有小概念与许多关系一直被视为有用QA工作。后一种方法可以被看作QA-set 4与QA-set 2的组合。

进一步的例子是发现更深层次的根区(QA-set 1)。与概念在根区,有一个累积的知识完全是隐式的,因为他们没有任何关系的定义。大多数这些概念被原语的事实,没有多的父母,当然一个期望,这个区域的内部层次深度相当低。如果有驻留一个好距离的概念层次结构的根,没有关系,这就提出了怀疑:他们积累的知识没有伴随着包含任何显性知识元素,使他们有可能underdefined。事实上,概念深根地区属于类别的复杂和非同寻常的建模。

4所示。结果

在本节中,我们调查一些应用程序的方法是基于四种QA-sets在前一节中定义的。QA努力的成果,如焦点本体和错误概念的范围和种类发现,报告。在附录中,我们包括引用补充表显示的错误报告QA的两项研究。此外,附录提供了两个额外的信息访问错误报告QA研究在线位置。让我们注意描述的应用程序的质量保证方法被一些定制的软件工具支持,如呆子(41),可以作为插件门生(42]。

4.1。区域Taxonomy-Based QA-Sets

以下4.4.1。QA-Set 1:根区

QA-sets组成的概念在根区域面积分类已经QA分析的基础在NCIt的背景下完成的。在这种背景下的重点是missing-relationship错误,遗漏误差的一种。在这个未发表的研究中,根的面积生物过程层次结构的区域分类被认为是异常的大相对大小与其余的区域分类。层次结构的根区域含有513总1145概念的概念(44.8%)。上分析,这是232年发现的这513个概念(45.2%)没有关系(称为NCIt角色)。相比,一个控制样品在相同层次结构的概念,结果表明,根区存在统计学上显著高于数量的错误使用费舍尔的确切双尾检验(43]。

一些snom CT层次表现出大根地区,使他们适合这种测试方法。例如,身体结构大约有90%的概念在其根区,然后呢事件有97.5%。其他snom CT层次根大的地区在相对大小(即如果不是绝对大小。,占整个层次结构)。在这种情况下,他们适合QA组合方法,讨论部分4所示。3。

4.1.2。QA-Set 2:概念在分类和有许多关系

这种QA-set,一个部门的主题深和浅层次的分类,也是NCIt的上下文中使用生物过程层次结构(44]。这些概念在整个地区更深层次的分类,根据定义,定义关系比在较浅的层面上的概念。在[44),我们发现,25%的水平上的分析概念3级和5级之间(与相应数量的关系)——5级是最深的标准错误。这是确认为一个统计上显著更多的错误使用费舍尔的确切的双尾检验。错误是验证了s de Coronado NCIt的经理。

这QA-set也利用ChEBI本体的上下文(45,46]。在这个未发表的质量研究,我们问两个化学主题领域专家制定达成共识报告关于错误的概念在不同层面的分类。在最深的层次(即。,levels 5–8), we observed a statistically significantly higher error rate as compared to the shallower levels (as judged again using Fisher’s exact two-tailed test). The statistical significance even held as we slightly adjusted the cutoff level between what we considered shallow and deep. The most prevalent types of errors found in this analysis were incorrect lateral relationship targets and incorrect classifications. Modeling problems that were chemistry specific included a number of incorrect charge differences between conjugate acids and conjugate bases and incorrect numbers of cyclic units.

4.2。部分地区Taxonomy-Based QA-Sets

4.2.1。准备QA-Set 3:重叠的概念

QA-sets组成的重叠的概念在QA努力的焦点snom CT的上下文中标本层次结构(19),其2007年和2009年的版本。在这种分析,结果表明,重叠的概念在统计上明显更可能比其他的概念是错误的。统计学意义是决定使用费舍尔的确切的双尾检验。例如,2009年发布的标本层次结构中,大约20%的概念被重叠。其中一半以上表现出某种类型的错误,包括父母不正确的、不正确的关系类型,以及不正确的目标之间的关系。让我们注意,发现错误被k . a . Spackman证实,他当时的首席Terminologist国际卫生术语标准开发组织(IHTSDO)馆长snom CT。(IHTSDO现在被称为snom国际)。一般来说,发现重叠的概念是1.89倍更有可能比不重叠的错误概念(55%比29%)(19]。

额外的分析在snom CT临床发现层次subhierarchy根深蒂固的概念出血表明,重叠的概念有一个4.33倍的错误率不重叠的概念(39%比9%)(31日]。这些结果有统计学意义(使用双引导方法47]),并验证了j . t .情况下,代理首席Terminologist snom国际。

QA-sets中的这种已经利用基因本体论(去)48),重叠的概念也容易出错率高于其他概念。具体地说,在去的生物过程层次,重叠的概念是1.39倍更有可能显示出错误比不重叠的概念(30.2%比21.8%)。研究中的错误识别和验证了j·洛马克斯,他当时去编辑部的协调员。

在一项研究中NCIt的重叠的概念肿瘤subhierarchy,从疾病、紊乱或发现层次结构,显著提高数量的错误概念(费舍尔的确切双尾检验)被发现。让我们注意到,在这个分析中,我们只考虑错误的中度或重度自然,参与预定义的主题领域专家。重叠的概念被发现的错误率的1.6倍(16%比10%),对于不重叠的概念。此外,每个错误的错误数量重叠的概念是略高于每个错误的错误数量不重叠的概念(1.33和1.11)。

同样的现象在Uberon[的重叠的概念49),重叠的概念有一个出错率的29%和11%的错误率不重叠的概念(50]。大部分的错误在这个研究中被证实发现c . j . Mungall Uberon的馆长。结果证明是基于确切概率统计上显著的双尾检验。

4.2.2。QA-Set 4:小的部分地区

QA-sets小概念的部分地区也用于snom CT标本层次结构(2004年版)27,28]。概念部分地区的大小七个或更少的1.57倍更有可能比其他概念错误(10.7%比6.8%)。所有报告的错误(28)经k . Spackman snom CT(科学主任,该研究的作者之一),和他改正错误的反映在后续snom CT版本。

的生物过程NCIt的层次结构进行了QA审核(29日使用这种类型的QA-set]。在部分地区发现12%的概念包括三个或更少的概念是错误的。总的来说,这些概念是超过两倍半的错误比更大的部分地区的概念(12.2%和4.6%)。

在[51),我们分析了概念的错误率在snom CT的一小部分地区过程层次结构。概念在一小部分地区被观察到有15.4%和8.8%的错误率的概念在很大部分地区。这种差异被证明使用确切概率统计上显著的双尾检验。

进一步的工作在小NCIt上下文的部分地区肿瘤据报道在[subhierarchy52]。观察到的错误率是两倍小的部分地区相比大的部分地区。如果我们只考虑遇到的最常见的错误,即失踪的关系错误,小部分地区已经超过三倍的错误。

4.3。组合的方法

进一步分析在QA-set 3显示重叠的程度(即。,the number of partial-areas a concept belongs to) is a factor affecting the expectation of erroneousness. We found that the higher the degree of overlap, the higher the error rate. For example, in SNOMED’s “出血“subhierarchy概念重叠两个部分地区有26.7%的错误率,三个部分地区,40.8%,和四个或更多的部分地区,64.1%31日]。这些结果使用双引导技术统计上显著。去,这是观察到的概念相对较少的重叠程度四个或更多错误率较高(64.7%)比其他重叠的概念(48]。j·凯文去编辑部的验证结果。

QA-set 4是进一步完善节约加工、集群紧密关注一小部分地区在某些领域以及small-partial领域的概念有很多关系。这些方法被成功的应用在snom进行CT标本层次结构(27]。从这个工作报告错误的集合k . A . Spackman snom CT的前首席Terminologist最终接受了超过90%的包含在2005年的版本。进一步分析和验证的结果提出了统计学意义(28]。

在一个方法类似于(27),小NCIt的部分地区生物过程层次结构出现在较低的地区的部分地区总共密切研究[29日]。假设有关错误概念的浓度对这些部分地区及其聚合测试和确认。

当QA-set 1具有显著的深度,然后这些概念在根区域(最远的从其整体根概念)保证独立的关注。例如,分析概念的深入NCIt在根区域的水平生物过程层次结果显示错误的概念发生比在较浅的层面上以更高的速度(确切概率双尾检验)。这是关于失踪的关系错误。具体地说,三个每五个概念更深层次的根区生物过程被发现是错误的。我们发现了类似的趋势,22.5%的概念在更深层次的错误(48]。

这种组合方法时尤为相关的层次结构的根区域在绝对规模大,不只是相对大小。在这种情况下,一个完整的根区是不切实际的。实用的方法是集中在根区域的更深层次更高的期望发现和解决问题。的例子,这种组合的方法可以应用在哪里snom CT临床发现和过程层次结构。临床发现与7000年有一个根区概念,只有6.7%的整个层次结构(近104000概念)释放20160131。过程的面积由2591根的概念,其4.7%的大约55000的概念。在这两种情况下,根区域太大,缩小QA审核的范围是必需的。

5。讨论

Taxonomy-based QA使用自动QA-set识别方法已经成功了的本体。的时间和精力花费由领域专家QA人员减少使用自动本体定位有问题的地区的援助。修正建议由我们的工作影响全球变化在一些非常重要的本体,包括snom CT、NCIt ChEBI,。

此外,通过展示现有QA-sets提供的动力和可能性,我们期望进一步QA-sets扩展套件的识别工具,可以为本体QA熊。特别是,前景的混合QA-sets的设计,如部分3.3和4所示。3,令人兴奋的,因为这样的混合技术似乎提供更高的错误当他们的收益已经被成功地应用到目前为止。

知识本体是人造表示。因此,在本体建模错误是由人为因素引起的。因此,在设计测试方法确定集的概念相对更高的错误率,我们推测本体的设计师和编辑更容易犯下这样的建模错误。值得注意的是这样的概念是离群值,检测这样的原始本体结构但在备用紧凑的视图提供的分类。特别是,这些异常值,正如我们上面阐述的,是遵循QA-sets两个主题介绍了,复杂的概念和非同寻常的建模概念。这些QA-sets显示港口各种本体建模错误。各种解释的“复杂”和“非同寻常的建模”。有趣的是,当考虑到混合QA-sets复合特征,错误原因的结合体现了更高的错误率QA-sets相比基于只有一个特征。在地中海的其他QA工作39),我们已经确认了QA-set组成的交叉与小范围类的抽象网络获得作为一个面向对象的数据库模式的地中海37),另一个混合的例子再次QA-set结合复杂的概念和常见的主题建模在不同的上下文。我们观察到QA-sets构成的混合组合这两个主题似乎发生在各种各样的术语的上下文。

我们注意,本文中描述的研究使用部分地区分类法从每个本体的推断关系(即创建。后,被应用)中寻欢。这是有意的,因为大多数终端用户与推断交互版本的本体,和他们的应用程序将因此受到影响的错误推断关系。这也意味着,本文中描述的QA特征是基于推断版本的本体。此外,报告的错误在我们的以前的质量研究,它被用来建立各种特征的错误率,在推断错误的关系。

本体中纠正错误的推断关系通常需要修改其陈述的关系。所述修正需要解决一个给定的误差可能不会明显基于错误的类型推断中发现的关系。例如,缺少父母的推断版本本体可能是由于缺少关系规定的关系(理性,因此,人是无法推断出正确的家长)而不是有一个失踪的父母。事实上,在[53),结果表明:分类法帮助揭露错误无法检测到自动分类器。在[31日],我们确定了关系错误导致错误的推断关系重叠的概念。我们打算进一步研究本研究中描述的特征之间的关系和本体的表示模型中的错误在未来的研究。

QA分析完成后,纠正错误的概念,相关的一些可能性存在特征,关注这些概念放在第一位。理想情况下,每个修正概念将不再表现出这样的特点。然而,可能存在一个概念仍然表现出相同的特征后修正(例如,一个重叠的概念可能仍然是一个重叠的概念如果唯一错误识别和纠正不正确的关系)或表现出一个完全不同的特征(例如,删除一个错误的关系从一个概念只有一个关系将导致概念搬到根区)。

这也提出了一个问题:我们的价值基于特性预测一旦报告错误和解决。有趣的是,经过20年的研究的QA本体,我们还没有遇到过一种情况本体中所有的错误纠正,本体是完全无错的。相反,当我们反复重叠的QA分析snom CT的概念标本层次结构在2004年和2009年,我们发现2009版和2004版一样许多错误的概念(尽管错误是不一样的)。一个原因是,当snom CT编辑纠正之前的错误,他们无意中引入新的错误。另一个原因是,新的概念引入本体时,他们介绍了建模错误。因此,即使重叠的概念在2004年发布的错误被纠正,和其中的一些概念还重叠的概念,新的错误概念表现出这一特点在2009年发布。

5.1。限制

限制的方法是目标本体是适合分类的推导。最初的方法是专为某些DL-based本体snom CT和NCIt(术语)。对于其他本体,特别适应工作。然而,专注于本体在家庭相似的本体(26]BioPortal使得自动生成的分类(41)本体的可能范围很广。

本文提供的特定QA-sets预计将帮助一个广泛的馆长和编辑更有效地处理最关心的话题,QA本体。然而,我们指出,并不是每个方法适用于每一个本体,即使这本体所需的结构特点建立一个区域分类或部分地区分类的方法。例如,对于QA-set 1,不是每个本体层次结构有巨大的根区。NCIt,基因产物层次结构是这样的一个例子。

QA-set 2的本体可能只有少量的概念展示许多关系。因此,QA分析这些概念的期望更高的错误率可能不是一个实用的方法,本体。

例如,考虑的情况下肿瘤subhierarchy NCIt的疾病、紊乱或发现层次结构。它有8166个概念和由于它对NCI的使命的重要性,建模的质量优先的NCIt核心团队(s . de Coronado NCIt经理,个人通信)。由于大量(27)的关系可用于肿瘤的概念,部分地区有4824和6581的概念(总额的81%)属于小的部分地区,我们的QA研究表明更高的错误率。

另一方面,重叠的概念在这个层次相对较低,只有225人(2.7%)的概念。这种低数量的原因是高数量的潜在关系,划分成许多相对较小的地区,部分地区的概念。225年的分析这些重叠的概念,他们发现平均统计错误明显多于概念在一个控制样本。但没有更多的重叠的概念来评估,在此基础上的知识。相比之下,在,有许多重叠的概念。

因此,每个人都应该认为本文中描述的各种方法的工具集合在一个工具包。应该选择为每个本体应用适当的方法,使每一个给定的许多概念的调整努力复习。在某些情况下,有几个适用的方法对同一本体。

当然也有例外。例如,在基因NCIt的层次结构,所有的基因概念驻留在单例对象,也就是说,部分地区的大小。因此,这些概念都不是离群值在这种背景下,和技术审查的概念在一小部分地区不提供任何优势。

一般QA-set框架已被证明是有效地进行本体QA。本文中我们的目的是让本体QA人员熟悉各种QA-sets以便调整适当的QA工具箱根据本体的属性层次结构处理。

6。结论

它已经被证明是实用开发QA技术基于自动提取集的概念(“QA-sets”),预计将有更高的错误率。分类,抽象类型的本体网络,已被证明是优秀的框架等的识别QA-sets基于不同的结构特点。在本文中,我们讨论不同的方法对于识别四种QA-sets。一些应用程序现有的本体。方法是围绕两个基本主题,复杂概念和非同寻常的概念建模的概念。总的来说,这样的方法会导致一个增强本体QA工具套件和更好的利用QA人员。预期本文提供的工作将进一步激励制定额外的QA-sets援助努力本体质量的最重要的任务,特别是促进混合动力技术结合多个方面可以提高错误发现率。

附录

我们提供了两个补充表显示产生的错误数据集的研究(44]和[52),分别。第一个表,标签补充表可以在网上https://doi.org/10.1155/2017/3495723组成的三列,列出NCIt生物过程概念错误发现的关于QA-set 2分析。也包括在表的数量每个概念所展现出来的角色(关系)类型。第二,两列表(补充表)显示NCIt肿瘤概念和QA-set 4的研究中发现他们的错误。此外,QA组合方法中描述的结果(31日)网上(https://uscrs.nlm.nih.govNLM snom CT的美国内容请求系统(USCRS)批ID 121149。访问USCRS,登录凭证NLM的uml术语服务是必需的。也可以在网上(https://github.com/obophenotype/uberon/issues/1243)是QA-set 3的错误报告的方法应用于Uberon [50),以及从Uberon的策展人的反应。

信息披露

内容是完全的责任作者,不一定代表美国国立卫生研究院的官方观点。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

研究报告在这份出版物是由美国国家癌症研究所支持下的美国国立卫生研究院的奖项。R01CA190779。

补充材料