文摘

帮助医生快速找到所需的三维模型从质量医疗模式,我们提出一个新颖的检索方法,叫做DRFVT,它结合了降维的特征(博士)和特征向量变换(FVT)方法。博士的方法降低特征向量的维数;只有最好的低频离散傅里叶变换系数保留。FVT方法转换的原始特征向量并生成一个新特性向量解决噪声问题的敏感性。实验结果表明DRFVT方法达到更有效和高效的检索结果比其他提出的方法。

1。介绍

医学三维模型检索成为一个研究热点,由于临床和教学的快速发展。医学三维模型不仅可以显示医生的解剖结构在人体特定部位,但也在一定程度上揭示了人体器官的功能(1]。目前的诊断技术,特别是在情况下不能立即得到诊断,需要以前的类似案件的辅助诊断。在这个时候,三维模型检索技术应用于从数据库中获得类似的三维模型。面对大量的医学三维模型,如何快速找到所需的三维模型,提取有价值的信息准确地已经成为一个紧迫的问题(2]。

最受欢迎的方式获取三维模型是基于实例模式(3),用户提供了现有的3 d模型查询输入和检索方法可以返回从数据库中类似的3 d模型。然而,用户很难有一个适当的例子3 d模型。另一种方法是使用一个2 d草图作为查询,用户可以描述一个目标快速绘制3 d模型。但是2 d草图只是一个粗和简单的表示它只包含部分信息的原始三维模型。因此,它是实现徒手画的更有挑战性的检索(4比基于实例检索)。

徒手画的草图的三维模型检索如何创建高效的特征描述符(5)是最重要的部分。几个徒手画的草图最近提出的3 d模型检索方法。Funkhouser et al。6),陈等人。7),和李et al。8]提取轮廓的特征描述符来描述查询3 d模型的草图和2 d视图,如球函数描述符,光场描述符,和形状上下文特征。最近,王et al。9)提供了一个sketch-based检索方法利用全球特征和地方特色。在实际应用中,我们发现这些特性不是有效的和高效的查询之间的相关性评估草图和3 d模型。存在两个主要缺点为当前徒手画的草图的三维模型检索方法。首先,传统的傅里叶变换(10)只考虑描述模型和参数的系数。密实度(11)和简单的特征描述符是最小化所需的存储开销和计算时间。因此,有必要描述轮廓的有限数量的系数在频域。其次,徒手画的草图是一个简单的线条画,抽象层次高,固有的模糊性和不可避免的噪声12]。有效检索、特征描述符应该健壮的噪音和不变的转换。

来解决这些问题,本文提出了一种新颖的徒手画的草图3 d医疗模式检索方法,它结合了降维的特征(博士)和特征向量变换(FVT)方法,称为DRFVT。博士的方法降低特征向量的维数;只有最好的低频离散傅里叶变换(DFT)系数保留。这些系数是能够提供所有的上述需求和获得良好的检索效率(13]。FVT方法转换的原始特征向量并生成一个新特性向量解决噪声问题的敏感性。在此基础上,草图和3 d模型之间的相似性计算(14]。评估我们的方法,我们测试方法在公共标准数据集以及与其他领先的3 d模型检索方法(15]。实验证明DRFVT方法明显优于其他检索技术。

2。我们的方法

本文研究如何让用户的检索意图和特征提取的2 d徒手画的草图。自由表达他们的用户检索意图通过徒手画的草图。为了实现三维模型的检索,本文计算2 d草图特征向量之间的相似度和3 d模型投影视图特征向量。医学徒手画的草图的框架提出了三维模型检索方法,如图1(16,17]。

2 d徒手画的草图框架包含五个模块,分别2 d徒手画的草图输入模块,模块,2 d轮廓表示方法模块,博士FVT方法模块,和2 d草图特征向量集模块。2 d徒手画的草图输入模块将用户的检索意图与手绘或鼠标画。二维轮廓表示模块提取的轮廓草图基于eight-direction自适应跟踪算法(18]。博士的方法模块降低特征向量的维数;只有最好的低频离散傅里叶变换系数保留。FVT方法模块的转换原始特征向量并生成一个新特性向量解决噪声问题的敏感性。2 d草图特征向量集模块包含特征向量集生成的方法和FVT博士的方法。

医学三维模型框架包含四个模块,分别为医学三维模型设置模块、三维模型的二维投影视图模块、特征向量提取模块,和2 d投影视图特征向量设置模块。医学三维模型设置模块包含300医学器官的3 d模型文件从普林斯顿形状基准19]。三维模型的二维投影视图模块选择和生成每个三维模型的二维投影视图。特征向量提取模块创建特征描述符描述结构信息和识别内部内容从三维模型的二维投影视图。二维投影视图特征向量集模块包含特征向量集的医学三维模型的二维投影视图,我们使用与2 d草图特征向量集。

2.1。特征提取的2 d草图

一般草图检索方法,草图是由数据元素,元素的数据之间的关系是复杂的。的3 d模型检索方法,表达的草图并不是简单的元素数据,因为草图的轮廓是复杂和丰富的特征信息;它不能表达的简单元素数据。因此我们的方法首先提取的轮廓草图基于eight-direction自适应跟踪算法和参数化轮廓来获取一个复杂的离散周期信号的周期=点的数量。其次,我们采用方法降低特征向量的维数,博士,获得良好的检索效率。最后,我们建议FVT原始特征向量的变换方法,它使用新特性向量解决敏感噪声问题[20.- - - - - -22]。

2.1.1。二维轮廓表示

用户提交的草图,本文提取了基于草图的轮廓eight-direction自适应跟踪算法。让表示原始图像(23),代表二进制图像轮廓。如图2,我们搜索3×3区域的轮廓点中心逆时针。

该算法选择的第一点作为。如果没有其他点的方向的逆时针方向,我们保存在二进制图像轮廓。算法描述如下。

算法1

步骤1(初始化)。设置二进制图像轮廓是零。方向数组被分配的。让代表当前方向,。

步骤2。扫描原始图像逐行顺序,从上到下,从左到右。我们获得的起点大纲的当前点和初始化与。

步骤3。添加二进制图像轮廓。代表下一个相邻的点。搜索根据方向数组的顺序。我们假设方向是;新的搜索方向。然后分配通过一次。

步骤4。判断出发点是一致的;如果是的,那么退出;否则返回步骤3。

2.1.2。博士的方法基于傅里叶变换

(1)方法描述。草图的轮廓是封闭的和周期性。我们可以用傅里叶变换来描述其特征。首先,我们考虑一个对象的轮廓作为一个离散时间复杂的周期性信号和定义,在那里和是真正的坐标值的吗th ()采样点。信号然后由DFT(映射到频域24), 在哪里和模块的参数吗分别th DFT系数。

(2)不变性的要求。为了保证平移,缩放,旋转,起点不变性,我们必须修改相应DFT系数。当一个变化是在位置、大小、方向的对象,或用于参数化的初始点轮廓,DFT系数修改(25]。在表1,我们展示如何规范化DFT系数可以获得满足不变性要求。

如果想实现旋转和起点不变性,这两个相应的修改必须被整合,导致

旋转和起点不变性,推导如下(26- - - - - -28]。

我们认为原始轮廓信号和,在那里是获得通过每个点逆时针旋转一个常数因子并通过改变的起点的立场,。相应的DFT系数 因此,可以表示为 特别是,当是1或−1,和是

通过引用表1,获得

只需执行逆DFT在规范化DFT系数,得到修改后的归一化信号满足所有的要求不变性

(3)维度选择。为了集中草图的轮廓信息,我们只使用低频DFT系数。特别是,我们只保留系数的频率更接近于0。方法使用Bartolini博士等。29日)光谱特性确定的价值。信号的能量留存的系数被定义为

选择一个合适的值必须权衡表示原始信号的精度与密实度和提取效率。

2.1.3。FVT方法

特征向量提取算法如下。

让重心是;的距离从轮廓点到质心如下所示:

然后从每个人的距离轮廓质心点生成维特征向量。

传统的傅里叶变换有一定的对噪声敏感,和噪声敏感性问题将影响特征向量的相似度的准确性。因此,本文提出了FVT方法,解决了噪声敏感性的问题。的特征向量,设置;然后生成新的特征向量。

2.2。相似性比较

从用户输入检索意图、检索用户的满意的模型需要输入草图比较特征向量之间的距离和3 d模型。模型的相似性是由特征向量之间的差异(30.- - - - - -34]。

为了实现医疗徒手画的草图的3 d模型检索,本文比较了相似的医学基于欧氏距离的3 d模型(35),代表了特征向量的2 d草图和2 d投影视图的3 d模型,分别为:

3所示。实验和结果

我们实现医学三维模型检索方法在c++窗口。电脑的系统由英特尔至强处理器(电子邮件保护)兆赫和12.0 GB的RAM。平均每3 d模型需要6.1秒提取功能;草图检索前我们可以提取和存储二维特征向量投影视图。此外2 d徒手画的草图需要0.06秒来提取特征。徒手画的草图检索需要0.1秒在医学三维模型检索系统。

对于绩效评估,我们选择300医学器官的3 d模型文件普林斯顿形状指标(18)(http://shape.cs.princeton.edu/benchmark/);每个3 d模型是基于手动分类类别6日(“身体”(130张照片)、“心”(30),“肺”(25),“卵巢”(13),“肾”(22)和“肝”(18)。3 d模型不属于任何类别和被分配给一个默认的类(62)。表2显示了一些三维模型的数据集,以及它们的类别。

在这篇文章中,我们提供了用户与手绘或鼠标绘图界面,方便用户绘制和修改徒手草图。如图3左边是平板电脑,用于手绘或鼠标画画,和正确的显示三维模型检索的结果。

3.1。2 d草图特征提取实验

3.1.1。提取的轮廓草图

本文提取的轮廓草图基于eight-direction自适应跟踪算法。假设画素描时,鼠标点序列存储在。在那之后应用于生成二进制图像轮廓;图4显示了一个徒手画的草图和轮廓提取。

3.1.2。博士的实验

根据上面的过程中,我们使用eight-direction参数化自适应跟踪算法点的轮廓。博士的方法降低特征向量的维数;只有最好的低频DFT系数保留。我们认为的光谱特征的数据集来确定的价值。

作为一个例子,图5土地的价值对心脏三维模型集。从图,在选择,保留能量从总数的75%到91%不等。另一方面,当获得,应该等于512。的值将代表512轮廓点,然后构造512图的顶点,这显然不是合适的。因此选择较小的,如;是2的幂,我们可以很容易地使用快速傅里叶变换。

心脏三维模型集的实验表明,使用的有效性远低于,而增加的价值64不会导致进一步的改进。因此,在这个实验中,我们将使用;博士的结果方法如图6。使用32生成的轮廓点计算每个点到质心的距离然后生成32 d特征向量。

3.1.3。FVT实验

本文认为改变人体的轮廓,如扩大或减少人体。我们选择值使用博士的方法和计算轮廓点到质心的距离。特征向量如下所示。图7显示原始的人体特征矢量图8显示了不断扩大的人体特征向量,人物9显示了切割人体特征向量。

数据8和9表明,该特征向量对噪声有一定的敏感度。因此我们转换现有的特征向量并生成新的特征向量解决噪音敏感的问题。

3.2。算法的性能

用于评估目的,任何3 d模型在同一类别的查询的查询被认为是相关的,而所有其他的模型被认为是无关紧要的。衡量检索效率,我们认为经典的精度和回忆指标(36,37)平均值的集合处理查询。他们定义如下:

3.2.1之上。博士的方法

在第一个实验中,我们比较方法的一个博士基于提取的边界点的曲率值最高,以下称为MAXC [38]。我们不考虑减少维数的方法,只需重新采样原始边界每点,因为这很容易导致错失重要的形状细节。结果在图10 ()清楚地表明,博士方法始终优于MAXC在精度和总是正的甚至更高的回忆。类似的趋势也可以观察到在特定查询,如图10 (b)和10 (c)。

3.2.2。FVT方法的效果

为了考虑FVT的影响的方法,我们比较DRFVT方法与其他两种方法。一种方法使用方法和丢弃博士FVT方法,以下称为DR-NoFVT。另一种方法使用MAXC和FVT的方法,称为MAXC-FVT。为一个特定的查询,图11显示了图查询“人体”和图12对检索结果的可视化。实验结果表明FVT方法是非常有用的,和DRFVT方法比其他提出的方法得到更好的精度。

4所示。讨论和结论

在本文中,我们提出一个新颖的医学徒手画的草图的3 d模型检索方法DRFVT使用降维特征向量变换。它首先提供了一个方便的接口,以满足用户的设计过程和提取的轮廓草图基于eight-direction自适应跟踪算法。其次,博士的方法降低特征向量的维数;只有最好的低频DFT系数保留。这些系数进行修改,以达到不变性,然后存储在数据库中。最后,FVT方法提出,它生成一个新特性向量解决噪声问题的敏感性。在此基础上,草图和3 d模型之间的相似度计算;因此,最终检索结果呈现给用户。实验结果证明我们的方法实现检索结果比其他先前提出的方法更有效和高效的。

我们的未来的工作是开发一个用户交互反馈机制。用户提交查询草图后,系统首先提供了一个列表的3 d模型检索。然后,用户可以精炼检索结果通过选择他们的3 d模型的良好效果。这种反馈机制不仅可以为用户提供更理想的3 d模型检索,还增强用户互动只是通过一些简单的选择。这将很大程度上提高我们的检索系统的有效性39,40]。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

确认

这个项目是由中国国家科学委员会批准号61272286,中国陕西省自然科学基金批准号2014 jm8346。