文摘

为了解决这一问题的multisolution ill-formedness单个图像的三维重建方法(目的),作者提出了一种显微镜图像分割算法基于哈里斯多尺度角点检测。分离复杂工程图像分成几个简单的基本几何形状,重建分开,以避免坏心肠的解决方案直接恢复深度信息的问题。为了提高注册的准确性corner-based图像配准算法,多分辨率分析的思想引入经典的Harris角点检测,和一个灰色的强度变化公式建立了基于小波变换的,和一个尺度变换特征得到这样改进检测算法具有旋转不变哈里斯角落,翻译,和规模。实验结果表明,重建后,物体的长度之间的误差测量基于点云数据和对象的实际长度很小,而且都保持3毫米的误差范围内。实验验证的快速、准确、稳定的特点,改进后的算法。

1。介绍

80%的信息,人类理解和探索世界的眼睛获得的视觉信息。随着现代计算机技术的快速发展,人们已经开始试图让电脑视觉功能类似于人类,用摄像机代替人眼,通过摄像头捕捉图像,然后使用计算机来分析和理解捕获的图像;输出先进的视觉信息有助于我们认识和理解世界更快更好,导致计算机视觉的新学科1]。

三维重建技术是计算机视觉技术的一个重要分支(图1),它是一个流行的研究领域结合计算机视觉和工业测量。其中,在工业产品的快速设计,自动检测和测量、质量检验和控制,3 d印刷、等领域,要求快速、准确、方便的获取物体表面的三维信息是增加2]。

目前,结构光技术是最可靠和有效的技术来实现物体的三维重建表面(3]。这种技术首先项目结构光编码模式到目标对象的表面通过投影仪测量,然后使用相机拍摄目标对象的表面;相机将捕获结构光图像的编码模式畸形是由于目标对象的表面的形状,变形结构光图像解码,然后计算物体表面的三维点云数据基于三角测量原理,实现三维重建表面的测量对象。随着科学技术的快速发展,各领域的希望实现的高精度三维重建表面的高速移动的物体;为了实现移动对象的三维重建,只能用于单个图像三维重建;因此,基于单个图像三维重建已成为一个重要的研究方向领域的结构光技术。

2。文献综述

主动结构光方法的研究应用程序的检测对象的三维地形始于1970年代。黄等人提出了一个识别多面体投影狭缝结构光方法。结构光技术的发展,投影模式也被开发;特别是,编码结构光的出现解决了额外的几何约束的限制。编码结构光可以分为时间编码和空间编码根据不同的编码方法。时间编码方法使用preprojected图像物体的表面,然后创建代码,所以不能形成完整的最终代码模式,直到所有的模式是完全预测,和编码投影位置密切相关4]。李等人预计grayscale-encoded模式与正弦强度在物体表面,解决这个问题的模糊投影信号在每个不同的时间(5]。基于使用 - - - - - -必要,唐等人提出了一个基于颜色的投影方案,建立了反射模型,其中包含在RGB颜色空间边缘,边缘预测的数量直接影响到系统的测量效率(6]。为了减少条纹,锅和朱镕基开发了一个混合系统,可以同时融合时间和空间编码;系统处理速度快,测量精度高,可以应用于动态测量;可以将投影结构光编码根据时间轴;与此同时,它还可以根据空间邻域点编码(7]。高等人提出了一个伪随机序列;由于窗口的独特性,不同子序列可以找到整个序列的绝对位置;它广泛应用于空间编码方案。空间编码可以被看作是一组序列基于伪随机数;编码模式是由汉明窗或生成 - - - - - -维欧拉路径;功能位置取决于观察线颜色存储在同一个窗口中(8]。1998年,彭等人提出了一种正交垂直网格颜色编码,利用峰值浓度检测十字路口,与此同时,它将从RGB颜色空间转换为编码的HSI空间,但在解码过程中,由于照度的不同反映,H通道是敏感,导致新问题(9]。峰等人提出了一个编码方案结合传统的条纹和multislit结构光,这再次提高了测量精度10]。

三维重建的一个2 d工程几何,作者提出了一种新的研究方法,该方法避免了传统方法的坏脾气的解决方案的问题。首先,使用显微镜图像分割算法基于哈里斯多尺度角点检测,一个复杂的组合图分成几个简单的原语,然后每个原始的3 d重建,这不仅降低了重建算法的复杂性,还提高了实时性能。改进的角点检测算法可以获得在不同尺度的角落,因此克服信息损失可能的角落,位置偏移和易感性的噪音哈里斯角落里发现一个规模,和虚假的提取和其他问题。其次,图像匹配和图像角匹配之间的关系进行了研究;算法以角落为图像的特征点,并使用四个指标,如角值,附近的角落,角落,之间的距离和参数的一致性;一步一步筛选组角点;有效地消除了无与伦比的角落;匹配的精度是保证,同时,沉重的计算能够避免传统的模板匹配算法,并大大提高了匹配速度。

3所示。研究方法

3.1。哈里斯提取多尺度角点检测原理和角落

3.1.1。经典的Harris角点检测的原理和限制

角点是一个重要的图像特征点,其中包含丰富的二维结构信息;领域的基于特征图像配准、形状识别,和三维重建、角点提取具有重要意义。最具代表性的角点检测算法检测算法(哈里斯角落11]。哈里斯操作符是一个ieee角落哈里斯和史蒂芬斯提出的特征提取算子;它计算简单的特点,统一、合理的提取角特性,定量提取特征点,和一个稳定的操作。经典的Harris角点检测算法的处理过程表示为下面的公式: 在哪里和渐变的和方向,分别是高斯模板,矩阵的行列式,的连续跟踪矩阵,是一个常数,然后呢代表的利益价值中相应的像素图。如果兴趣某像素的值是最大的社区和大于阈值( ),像素被称为一个角落里,和相应的利益值称为角值。虽然Harris角点检测是一个经典的算法,它具有以下缺点。(1)从角落只能检测到一个规模,nonmaximum抑制执行在街角度量来确定局部极大值,提取效果取决于阈值的设置。阈值将失去角信息,如果阈值小,提取错误的角落。因此,缺乏规模函数使算法的定位精度差,而且它也可能错过一些实际的角点,也对噪声敏感。(2)Harris角点检测使用高斯平滑函数与一个可调窗口,但高斯窗口的大小是不容易控制。如果窗口小,许多错误的角落会出现由于噪声的影响。如果窗口大,角点的位置将大大抵消由于卷积的圆角效果,和计算数量将会增加12]。(3)平滑图像与一个无限平稳高斯函数将导致由于oversmoothing角信息的损失。

3.1.2。改善哈里斯多尺度角点检测

针对Harris角点检测算法存在的问题,多分辨率分析的思想引入到算法,哈里斯角落的算法具有多尺度检测的特点。这是基于以下原则。在哈里斯的算法,和反映了灰度图像的每个像素改变方向,如果像素的亮度 提取变化足够四面八方,它作为一个角落13]。小波是一个函数的意思是0,信号的小波变换吗是

测量信号的变化在一个社区中心的长度成正比 。如果小波的一阶或 - - - - - -消失的时刻,小波变换是一种多尺度微分算子(14]。因此,利用小波变换的图像定义图像的灰度强度变化公式,也就是说,下面的公式:

其中,和 ,分别代表图像的小波变换在和方向,也就是说,以下公式:

和代表平滑算子,我们有

卷积运算,和分别是低通和高通滤波器,狄拉克过滤器,和代表的插入0的滤波器系数之间的关系和 ,分别。通过这种方式,像素点的自相关矩阵 在规模 得到如下:

值得注意的是,方程(3)不仅反映了每个像素的灰度强度变化也反映了信息的空间变化,使角点检测在不同尺度15]。与此同时,中央b样条函数与低通特性选择平滑函数;它可以弥补不足的高斯函数窗口难以控制和oversmooth哈里斯算法和增强角点检测性能。

像哈里斯算法,如果这两个特征值和自相关矩阵的足够大,像素检测作为一个角落点。为了避免矩阵的特征值分解 ,下角响应函数(CRF)规模 被定义为下面的公式:

其中, , ,和是一个给定的常数从0.04到0.06不等。此时,噪音是通过设置一个阈值,消除和抑制nonmaximum值进行确定角点;也就是说,像素点 满足 确定角点。新的哈里斯角落获得多尺度角点检测方法在多个尺度的信息,减少提取阈值设置的限制在角落。通常,小规模的参数的检测算子可以检测灰度和细微变化反映更奇异点的信息,但它是更敏感的噪音。大规模参数的检测算子可以检测粗糙的灰度变化,反映急剧变化的奇异点,它具有较强的抑制噪声。因此,哈里斯多尺度角点检测在小范围内可以达到精确定位和删除的谎言和保存在大尺度上的真理(16]。哈里斯多尺度角点检测后,作者提出以下“fine-to-coarse”方法来准确地屏幕角落在不同的尺度上。

首先,模数最大值点出现在和 尺度,角落里响应函数 计算;当它的值超过阈值 ,这个点作为候选角点提取。选择的尺度和 是使用精确定位角落在小尺度小波变换确定角落的位置;因此,所有的角落都可以包含在这一步。

其次,在的规模 ,观察是否存在一个最大值点 在候选角点附近在前一步获得;如果它存在,它是确定点是一个转折点;如果不是,可以消除从候选角点。

3.1.3。分析算法的实验结果

在实验中,中央b样条函数低通特性的光滑函数选为角点检测算子,因为函数良好的逼近能力和紧凑的支持等优良性能。当b样条函数趋于无穷时的顺序,它收敛于高斯函数及其导数收敛于高斯函数的导数。统计数据表1充分展示改进算法的优越性在本地化方面,效率,和噪音免疫力提取角落(17]。

3.2。身体分割算法基于角点检测

采用体分割算法的基本思想如下。工程制图的基本几何元素在如下:圆柱体、长方体,球体,楔形,锥,等等。如果所有的基本原语中包含复杂的二维工程图纸可以检测到,很容易段。检测的过程相结合的基本原语形象实际上是一个图像配准过程;即图像与标准图像分离顺序注册的基本形状。在此基础上,类别和职位的基本原语中包含的图像分离的决心。但是有两个不足的常见的基于图像特征匹配算法。首先,算法的匹配精度不高和稳定性不好。自匹配算法只使用的一小部分信息图像的匹配结果很容易受噪声和图像信息分布等因素影响,它是高度依赖于特征点的准确性和稳定性。其次,特征点的匹配搜索速度仍需要改进(18]。大部分的模板匹配算法使用相关法进行遍历匹配搜索;因此,该算法计算昂贵而缓慢。

针对以上两个缺点,作者提出了一种新的基于检测角点匹配算法。首先,图像的特征点提取的多尺度哈里斯运营商减少计算复杂度和更好的稳定性,和角落里集的参考图像和图像匹配,分别。然后,根据匹配的角落集之间的关系,图像角落逐渐筛选来自三个方面:对齐,附近的角落,角落之间的距离;由于不稳定的角点检测算法和其他因素,图像匹配的影响,最后,一个准确和稳定匹配角落设置了(19]。

图2图是一个气缸的顺时针旋转45度,它也可以被视为一个投影图从不同的视角获得相同的三维实体,它要求注册算法映射作为一个实体,和改进的哈里斯多尺度角点检测算法具有旋转不变性、平移不变性、尺度不变性,解决问题的“多”与“一”很好(18]。

两幅图像的特征点匹配时,选择一个合适的相似度算法可以提高匹配的效率和准确性。拐角点对的对齐程度(CPAM)定义来确定匹配点对;,拐角点及其梯度的基础上提取的信息哈里斯多尺度角点检测算法,根据获得的近似旋转角角度直方图统计数据,该功能submap集中在角落已经从两幅图像中提取注册,和所有这些特性的校准计算子映射。

3.2.1之上。角直方图为角点对

假设有两个图像 和 注册,集提取的角落 和 ,分别在哪里和梯度向量的方向吗和 ,分别。定义角度直方图的转折点,表明中相应的拐角点对的数量和当角的区别是 。的值的时候的最大值也代表了图像之间的旋转角度 和 。为了提高算法的精度,修改 。

旋转角估计图像之间可以通过搜索角度对应的最大价值 。该方法使用统计数据获取旋转角的计算量小的优点,准确的计算。

3.2.2。对齐的拐角点对

拐角点对的对齐被定义为下面的公式:

的公式,和子映射相应的两个特性,是submap交互方差的两个特性,反映了相应的灰色的稳定水平的两个功能子映射。的转折点在图像 注册,其匹配的转折点决定在角落里点集吗另一个图片 注册。当且仅当和满足下列条件, 成为一个候选匹配点对。

的公式,代表的梯度方向角点 ,和阈值( )是均值方差的两个功能子映射。最后,候选匹配点对是线性加权消除错误的匹配点对,和角落里的一个子集匹配点对最初。应该指出的是,角点的子集和的拐角点值匹配不一定一一对应;也就是说,中角点的数量和可能是不同的。

3.2.3。住宅区的匹配

如果A和B图像匹配,匹配两个角落上应该有相同数量的角落在同一个小区。因此,在拐角处和不符合这个条件消除通过附近的角点匹配的数量,和新的角点集 和 得到了。同样,角点的数量和也可能是不同的(20.]。

3.2.4。角距匹配

如果A和B图像匹配,相应的两个角点之间的距离,另一对应角点在各自的社区应该是相同的;因此,拐角点间距进一步消除角点匹配和不符合这个条件,得到新的子集和 。具体操作如下。让和是一副满意的角点匹配的角点和匹配的价值的住宅区的点的数量。让附近的角点的数量 ,和距离和角点的社区在降序排列 和 ;如果 和 在一一对应相等在允许误差范围内,和被认为是匹配的角落;否则,他们不是。上述步骤后,角点的数量中包含两个拐角点集(和 )仍有可能不一致。为方便计算,“一对一”或“一对多通信”角落里,这样可以直接淘汰和包含相同数量的角落, 和 。

3.2.5。身体分割算法流

经过以上三个步骤的检测,基本上可以确定包括哪些基本几何元素在二维图像重建,然后确定所包含的基本几何形状之间的位置关系;这些关系的基础BOOL手术重建的基本形状。全身分割算法的流程如图3。当最后一个匹配的子集不存在,有必要扩大匹配条件继续匹配搜索,但匹配的条件有一个阈值;当达到最大搜索条件,仍然没有得到有效子集,认为要重建的图像没有任何有效的子集,包含任何类的基本形状。

4所示。分析的结果

结合图如图4(一)直接,它是极其困难的重建3 d,但如果是分为几个基本的几何图形,然后分别进行三维重建,一个复杂的问题已经解决了。图4是一个3 d重建。其中,图4 (b)显示了由Harris角点提取多尺度角点检测算法(21];提取的角点集顺序注册标准的拐角点各种基本形状的子集以确认基本形状类型包含在2 d图像重建。形状可能阻挡的一部分;如图4 (b),较低的长方体的一角是由中间的圆柱,有时,会有更多的干扰,如十字路口中间圆柱体和长方体的两条边;生成的角落,在这些情况下,需要形状分离算法进行匹配时适当放宽条件标准。图4 (c)形状分离算法的结果,这是由两个圆柱体和长方体组成的。

以长方体的重建为例来说明一个基本的三维重建过程几何的身体,因为它知道的类型是一个长方体形状,以重建其轮廓信息在三维空间中,有必要知道的尺寸长度,宽度,高度的长方体和质心的坐标22]。重心坐标很容易确定。然后,利用角点直方图的计算结果3所示。2的旋转角度,我们可以知道重建图像相对于标准的长方体形状,使用正确的旋转角长方体的图像重建,然后很容易计算长度、宽度和高度信息根据之间的距离对相应的角落。其余的几何重建过程是相似的。

作者提出的重建点云的数量超过15000;此外,如图5的平均误差和标准偏差三维点云数据统计和测量结果进行了比较;平均误差和标准误差可以证明作者的重建算法具有精度高;重建后,物体的长度测量基于点云数据和对象的实际长度有一个小错误,这是保持在3毫米的误差范围;通过这些实验数据,充分验证了作者提出的算法可以有效地提高三维重建的准确性(23]。

最后,每个重建单一形状绘制在三维空间中通过BOOL操作。系统是基于vc++ 6.0开发平台通过嵌入式开放发明家3 d图形库3 d数据处理(24]。

5。结论

基于单个图像三维重建是人类面临的重大挑战之一在基础研究和应用研究中,还有许多困难,没有令人满意地解决了。改进算法提供了一个新想法的3 d重建工程图纸,身体是分离的复杂组合成简单的基本几何形状,然后重建,分别和分裂重建的基本形状根据他们的相对位置;执行BOOL操作的关系来获得三维空间的几何实体模型。图像配准算法基于哈里斯分离中使用多尺度角点检测算法;该算法是针对经典哈里斯角落检测算法;的原则,引入多尺度检测只能single-scale检测的缺点,这样角点检测算法具有旋转不变性,平移不变性和尺度不变性。该算法还可以广泛应用于其他角落检测领域。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由职业教育改革创新的特殊项目的职业教育教学指导委员会教育部:研究奥(混合现实)技术的应用在动物解剖学教学实践(HBKC217157)。