一次性M-Array模式基于编码结构光的三维物体重建

文摘

模式编码和解码两个具有挑战性的问题在三维(3 d)重建系统使用编码结构光(CSL)。本文只有一次的模式被设计为一个内嵌八M-array几何形状,每一个2×2好子窗口只出现一次。一个健壮的模式从一次性解码方法重建对象模式然后提出。解码方法依赖于强大的模式元素跟踪算法(PETA)和通用功能模式元素的部分和集群投射结构光模式从一个捕获的图像。深卷积神经网络(DCNN)和链序列特性用于准确分类模式元素和关键点(KPs),分别。与此同时,建立一个训练数据集,它包含许多模式元素水平与各种模糊和扭曲。实验结果表明,该方法可以用来重建3 d对象。

1。介绍

关于对象的三维(3 d)重建技术,结构光被认为是最可靠的技术之一在立体电视两个或两个以上的摄像头。使用这种技术时,其中一个立体电视摄像机被光源,用于项目的一个或多个模式由点,线,或复杂的结构模式元素进入视野(1,2]。的位置模式可以从捕获的图像检索与相机父爱本地信息在这个编码点。由于光线模式设计的编码点,这种技术也被称为编码结构光(CSL) [2]。CSL已广泛应用于许多领域,如三维重建、工业检测、物体识别、逆向工程,生物识别技术等1- - - - - -5]。

一个合适的编码模式和解码方法CSL系统检测精度对于复杂对象扮演决定性的角色。Salvi et al。2]和Jeught Dirckx [6关于以前的方法CSL]提出了广泛的解释。其中,只有一次的技术(2,6,7),预计一个独特的模式,被认为是适用于动态环境。一群只有一次的技术依赖于编码策略使用De Bruijn或伪随机序列与颜色multi-slit或条纹模式(7,8]。技术精确定位颜色multi-slit或条纹模式可以提供更好的结果,因为图像分割步骤是容易。然而,由于几个颜色,这些颜色条纹通常是敏感对象反照率或纹理。一次性技术的另一组使用M-arrays(完美的地图)或伪随机阵列模式被发现强劲对遮挡(某些限制),有独特的好子窗口特征(或窗口属性,它表示好子窗口数组中只出现一次或模式)的数组,并适合于动态场景的单色编码模式。在本文中,我们专注于基于数组的一次性技术模式。M-arrays,首先由Etzion [9),是 一个伪随机阵列 子矩阵( 和 )模式中只出现一次。M-arrays建立了理论上的维度 。在实践中,将不考虑零余子式,和矩阵的最大数量由MacWilliams和斯隆10]。

选择一个合适的窗口属性将决定模式与模式遮挡的鲁棒性和对象阴影对于一个给定的应用程序。陆et al。11)提出了一个大M-array使用伪随机数生成模式。颜色点几何符号所取代。因为生成足够的码字与二进制调制是困难的,Morano et al。12)提出了一种基于伪随机码颜色模式。颜色的使用减少了窗口的大小。Vandenhouten et al。13)关注的设计和评价的一个子集对称孤立二进制环形完美submap结构光模式,和一些有价值的图片与实际应用的完美的submap 3 d传感器被定义。一个20×20 M-array和窗口属性的3×3是由页面设计等。14),基于三个符号的字母。3×3的窗口属性有三个不同的符号(黑色圆,圆周和条纹)是用来表示码字。贾et al。15,16)提出了一种M-array模式十特殊符号元素和一个2×2窗口属性,有许多转折点和十字路口,被用于检测。方等。17]提议使用一个象征密度谱选择十个模式元素为提高分辨率和减少解码错误。模式元素被识别分类的功能连接组件与八连通区域。李等人。18)提出了一种高精度和高速结构光三维成像方法为光学应用程序开发。他们介绍了数字条纹投影(DFP)方法的智能机器人。黄等。19)提出了CSL方法使用一个分布式偏振状态空间的照明模式的优势提高目标三维重建。为了提高测量精度,一些研究人员提出使用深度学习在三维重建的方法。唐et al。20.)设计了一种网格模式与嵌入的几何形状和解码方法提出了一个模式。图案元素准确使用深层神经网络分类。特征,费格斯(21)提出了一个经典的深度学习方法使用VGG-16获取深度数据。这种方法需要大量的训练数据集,数据集的大小限制了其应用范围。加戈et al。22)提出了一个无监督卷积神经网络(CNN)估算深度数据根据单个图像。该方法方便培训和获得满意的重建性能KITTI数据集的不到一半。李等人。23)提出了一个方法,结合结构光和无监督CNN网络立体匹配计算深度。

基于上述研究,许多研究人员与CSL寻求理想的三维重建方法。然而,直接使用这些方法来重建3 d对象在CSL系统中,本文提出,面临着三个问题:(1)彩色条纹或网格与位置信息优先编码模式,这在明亮的环境中失败。(2)几何形状或相邻图像具有明显的特征作为编码模式。当这些模式是投射到场景颜色或复杂纹理丰富,解码执行使用传统图像处理,如图像分割、特征提取,和简单的模式匹配,这将减少解码精度和功能定位精度。(3)目前,大多数CSL解码方法使用简单的图像分割和模板匹配算法。然而,由于目标表面的复杂性和不确定性,包括颜色、质地、变形、反射,和不连续性,模式元素的图像不清楚,和元素不能准确地确定当他们发生巨大的变化,这使得解码困难。

在这项研究中,我们设计了一个结构光模式使用一个2×2的M-array窗口属性和八个几何元素。解码方法,提出了处理扭曲模式相机获得的图像。深卷积神经网络(DCNN)用于准确分类模式元素。训练数据集包含各种模糊和扭曲的模式元素也是编译。链的角度方法用于确定探测点的信息。最后,三维重建可以通过使用一个建立了检测系统。本文的其余部分安排如下。这种方法的框架,包括编码,捕捉图像,解码,系统标定和三维重建中描述的部分2。实验结果发表在部分3,提出了结论部分4。

2。该方法

一次性三维重建的方法包括编码,图像捕获、解码、系统校准,和3 d重建,流程图如图所示1。首先,一次性模式基于M-array设计。第二,在获取图像之前,事先必须建立结构光检测系统。第三,解码实现使用该模式元素跟踪算法(PETA)和独立模式中的元素可以分离。训练数据集各种模糊和扭曲的模式元素被编译和DCNN应用分类模式元素。第四,三维标定数据是用来估计系统参数。最后,点云转换成3 d形状使用双线性插值。

2.1。一次性CSL模式

本文提出了一种改进的编码方案。这个方案遵循早先描述的模式生成方法研究,我们的研究小组15,16),可以用来获得M-array 2×2窗口大小。如图2八个特殊几何形状作为数组元素。一个模式由八个元素显示在图3,选择黑色作为背景。四个角的形状和内部相交点作为检测要点。相比之下,贾et al。15,16),目前的编码模式已得到改进两个方面。首先,元素的数量减少到8个,每个元素都有自己的探测点,降低识别错误率,提高了检测精度。第二,编码模式的大小从79×59减少到39×29日提高了解码速度的整个模式。

2.2。成像系统

CSL测量系统的数学模型来源于针孔模型。我们使用了CSL成像系统图所示4我们的研究小组提出的,15,16]。关注的焦点在投影和相机在接收端都在一个平面,以及它们之间的基线的距离 。请注意,是右手坐标系的地方轴是垂直的面和点向内,线的中心吗 。 位于 和位于 。聚光灯下,是平面的几何中心模式(投影面)和线的长度是 。之间的夹角和轴是 ,和模式是垂直的平面。在镜头方面,图像平面的几何中心,线的长度吗 。之间的夹角和轴是 ,和垂直于图像平面。 是一个任意的三维场景中的对象。图4(一)是投射到飞机;相机和投影数据所示4 (b)和4 (c),分别。在相机上,如图4 (b),垂直于轴,端点。的轴是平行的轴和经过 。 是垂直的轴,端点。线之间的角度和轴是 。在预测方面,如图4 (c),垂直于轴,端点。的轴是平行的轴和经过 。 垂直于轴,端点。之间的夹角和轴是 。

在图4(一),假设和模式平面相交于一点 ,和它的坐标是 (毫米)。这条线和飞机相交于一点 ,和它的坐标是 (毫米) 。 (毫米)表示图像坐标系中的坐标,和 (像素)表示图像的中心。(毫米)(mm)的物理像素大小的和方向,分别。基于三角形原理,三维信息可以计算如下: 在哪里和是

2.3。解码

在CSL解码系统是一个具有挑战性和复杂的问题。解码的目的是建立一个模式元素之间一一对应的投影模式和获得的变形模式。在本节中,解码的过程包括图像预处理、模式元素提取,模式元素分类、模式元素匹配,和纠错。

2.3.1。图像预处理

由于物体表面的调制,投影模式的形状和强度可能不均匀。传统的图像分割检测方法不适合检测模式元素。为了准确检测图像预处理应该执行模式元素。初始捕获图像首先转换为灰度图像;然后通过应用分割阈值灰度图像的关键(24]。一个经典细化算法(25)最终应用于二进制图像,直到每个模式元素的骨架。

2.3.2。图案元素提取

提取模式元素,一个有效的模式元素跟踪算法(PETA)提出了二进制图像。善待动物组织的原则如下。我们第一次扫描减少图像从左到右,从上到下,定位每个模式元素的起始点(像素值的点1)。然后追踪骨骼形成有序链序列。每个元素的骨架跟踪两次,和一个十字路口可以访问几次,这样可以获得元素的完整的骨架和一个链表的命令就可以形成像素坐标。当跟踪模式元素,一定跟踪订单应该被强制执行。在顺时针方向跟踪,第一次和第二次跟踪后回到起点,反时针方向。PETA算法所示1。

所示的算法1,无路径的目标像素模式元素层0,和跟踪像素层1。当跟踪层0,目标像素层0像素八连通区域的比较与像素之间的欧氏距离和其他像素八连通区域。更短的距离的像素是首选。如果没有像素层0,跟踪收益在图层1,试图找到下一个像素层0。这个过程一直持续到起点。

跟踪图像变薄后,图案元素是由几个像素,沿一定方向自动排序,比如逆时针。假设一个模式图像( )元素,每个元素属于一个链序列。因此,整个变薄的形象链。所有元素的连锁模式的图像可以表示如下: 在哪里 是稀释后的图像生成的链提取算法,然后呢 像素的坐标。是 - - - - - -th链序列,是 - - - - - -th像素的 - - - - - -th链序列,每个链组成( )命令像素。将会有一些缺陷或文物图像获得的。这些缺陷通常存在异常值的形式,代表几个像素链中,他们需要被删除。的过程中生成一个链序列,一个阈值可以用来删除链链是否小于像素,可以计算如下: 在哪里 是使用PETA生成最终的图像,是一个函数用来计算轮廓像素的数量,然后呢是新生成的 - - - - - -链。

我们可以夹每个模式元素从原来的变形模式图像通过使用获得链序列。每个模式元素可以剪从原始图像的索引号链模式元素的序列来生成一个独立的子图象,然后保存。元素提取涉及四个连续的过程。首先,四个边缘坐标(上,下,左,和最)计算如下。顶部和底部边缘坐标是最小的和最大的y坐标的像素链,分别。同样,最左边和最边缘坐标是最小的和最大的x链中的坐标序列,分别。我们可以获得一个蓝色的矩形,贴上骨架边界如图5。第二,四个边缘坐标的帮助下,我们可以找到在二进制图像模式元素。黄色的矩形图5代表二进制模式的子图象元素。一些像素从每个保留边缘,以避免shape-descriptive溢出错误当使用边缘提取算法,这是五在我们的研究中。子图象的二元模式是通过使用分割边界,显示在右上角子图象如图5。第三,一旦我们获得二进制子图象,我们可以很容易地定位模式元素原始捕获的图像。它有相同的坐标和尺寸二进制子图象,显示在right-bottom子图象如图5。最后,经典的双线性插值方法(速度快和更少的计算)被用来调整产生的图像,和最终的图像有32×32像素,我们称之为图像大小归一化。图5显示原始图像的数学拓扑结构的内部结构被保留,虽然模式元素图像的形状改变。上述四个步骤被用来提取原始图像从原始捕获的图像模式元素。然后转换为32×32形象形成的数据集训练DCNN。

2.3.3。图案元素分类

结果模式元素分类提出了分段。一种基于LeNet DCNN [26)是用于分类。DCNN的总体结构如图1。DCNN学习有关地方特色从低到高级别层。有三个卷积层和三池层。当交叉与马克斯和Ave池策略,这种方法可以捕捉变形,通过使用一个仿射变换不变的特性。后者全层可以捕获复杂的同现的统计数据,提高了学习能力。最后一层输出的决定产生使用端到端网络功能映射。该体系结构是适合学习的地方特色元素图像数据集:(1)输入图像层。这一层接受32×32像素模式元素。(2)褶积层。卷积层用于提取图像特征。C1, C2, C3图1卷积层。卷积核的大小是5×5步长为1,和宽度和高度与2像素填充。卷积的三层C1, C2, C3生产48特征图32×32像素,64的16×16像素的特征图,和128年与8×8像素特征图。ReLU激活函数用于提取图像特征。(3)汇聚层。S1、S2和S3在图3池层,每一个都被连接到一个3×3小区以前的地图的步长两个卷积特性。其中,马克斯池策略是用于S1、S2、S3采用Ave池策略。三池层,S1、S2和S3,产生特征图谱与16×16像素,8×8像素,和4×4像素。(4)完全连接层。FC1和FC2的完全连接层,其中256由FC1和FC2的输出特性。分类器是用来计算属于每个输出类别的概率。在FC1和FC2的输出端,有一个辍学层来减少过度拟合的风险。最后,生成分类输出的8使用将SoftMax分类器的可能性。

准确地识别模式与DCNN元素标签,需要足够的标签数据训练网络。因此,编码模式是投射到不同场景中目标,如飞机、曲线表面,阶梯,球,雕像。我们从原始捕获的图像中提取元素,分割图像,减少图像。训练数据集包含20346张图片。然而,这组不够大训练DCNN精度高。此外,大规模的数据集应该构建以防止过度拟合,增加训练精度。因此,以下数据增强技术被用来增加训练数据集的大小。对于每一个原始图像,一个额外的七个图像扩大。这些新形成的图像是由顺时针旋转图像由两个不同的角度(5°15°),翻译图片左下方向由50和100像素,扩大图像的因素2.0和0.5使用双线性插值,将采样图像在两个区间。经过几个图像转换、数据集的大小增加到142422的图像。 Sample images of the pattern elements are shown in Figure6。

2.3.4。模式匹配元素

M-array生成模式是一个数组与29 39行和列组成的八个元素,标签从0到7以2×2窗口属性。也就是说,任何好子窗口大小的2×2只出现一次在整个模式。这个功能是用来定位好子窗口。我们已经构建了一个查找表的项目模式。如果好子窗口的值投影模式的价值等于好子窗口在捕获的变形模式中,两个好子窗口匹配。下面的函数用于计算这个好子窗口的值,这是全球独一无二的整个模式: 在哪里和代表行和列元素标准模式的数字数组,分别 ,和 。的价值范围从0到7,和的值 范围从0到7777。整个模式数组可用于构建一个查找表使用好子窗口值方程计算(5)。数组中的每个值是独一无二的,它对应于一个独特的好子窗口。

图像处理和元素分类后,我们可以获得图像根据模式识别元素元素匹配。方程(5)表明,我们可以计算每好子窗口和搜索的价值标准模式的查找表构造数组。如果能找到相同的值,好子窗口的窗口将建立相应的关系模式。如果所有好子窗口匹配这样,整个图像匹配。

2.3.5。误差修正

一个元素识别错误可能导致失配(错误匹配的元素)的一个好子窗口,因为相同的元素可能属于多个好子窗口。因此,纠错算法基于投票机制提出了纠错。如图7, ,和2×2好子窗口,每一个都包含四个模式元素(圈)。当窗口幻灯片,每个元素可能包含在最多四个好子窗口,如图所示,图中红色圆圈7。当然,一个元素可能包含在一个,两个,三个好子窗口。即每个元素的位置可以确定最多四好子窗口模式中的形象。

在生成的投影模式中,每个元素的数量的选票是一个理想的值,称为理论的票数 。选票的数量为每个元素的变形模式 。来唯一地确定一个扭曲的匹配位置元素的标准模式,应满足以下条件:

下面的方法是用来计算为一个元素。每个元素在元素的八连通区域搜索,形成一个2×2好子窗口,和将增加1。不能超过四票。下面的方法是用来计算为一个元素。利用M-array窗口属性,获得每个元素的变形模式,一旦我们有匹配元素的位置在标准模式中,我们将加1的元素和最后的位置元素的得票最多的记录。在实践中,投票机制遵循的规则“少数服从多数。“例如,四个好子窗口中的三个元素的确定标准模式元素的位置 ,但第四好子窗口确定模式中的元素的位置 ,在哪里 和 。根据投票机制,三个窗口的位置确定的可信度高于决定从一个好子窗口,所以这个职位 匹配的元素。

根据投票机制,有0,1,2,3,4例进行匹配的过程。例如,元素在顶部,底部,左边,右边有两票,这些元素都位于两个好子窗口。票的数量元素的四个角落只有1,因为这些元素只位于一个好子窗口。与0票对应于一个元素一个元素是孤立或识别。

2.4。系统标定

CSL的校准是测量对象的三维重建的第一步。我们将张的比较评论(27摄像机标定的数学细节和陈et al。28投影仪标定)。张的方法的校准技术只需要相机被用来观察平面模式从几个不同方向(至少两个)。投影仪的声称是概念上互惠的相机,但是它总是采用减少投影模型。投影仪的标定过程可以参考校准过程(28]。

2.5。三维重建

一旦我们完成了上面提到的解码和校准过程,特征点的三维坐标计算如下: 在哪里是最后的三维信息。是齐次变换矩阵的摄像机,可以使用上述计算校准方法。来自方程(1)。

确认所需的特征点来重建三维信息,我们提出一个角度变分法来检测要点(KPs)元素。如果我们定义的角度变化,例如,点在图8,我们可以描述方法如下。

给一个整数表示像素的数量,和假设的指数在轮廓序列获得在上面的部分,两个点的坐标和链中的顺序可以计算如下: 在哪里和点的坐标吗在轮廓序列。我们可以定义向量和作为 的函数表示应用方程(8)。角度变化点是 的函数计算之间的角度x轴和向量或 。 范围从−180°- 180°。

角和元素之间的十字路口是定居在一个模式作为KPs,和这些点大角度变化。一个模式元素的KPs编号0如图9(一个)。角变异图基于点模式的元素是如图9 (b)和9 (c),在那里 。图9 (b)显示了图的外部角变化8(一)x轴是关键链序列的指数,和y轴角点指数的变化。图9 (c)图显示了内部角变化。

如图9(一个),波形显示角度变化具有积极高峰KPs 1, 2, 3, 5, 6、8、10;十字路口4和7角波形有消极的槽。角度变化密切相关,一个给定的整数 。更大的价值艾滋病的观察整个链的形状,和一个更小的值用于获取角度变化的细节。在这些KPs,链式变化将是巨大的。因此,这些点有很高的定位精度,可以用于探测点。波形显示角度的变化获得的其他七个元素可以使用角变异算法,如图10。这些波形显示,KPs和相交点的位置不同的元素是不一样的,可以用来定位KPs。

不同的元素有不同角度的变化,积极的和消极的两个元素表现出显著差异的峰值。同时,积极和消极的数量高峰为这八个元素都是不同的。因此,这些特性可以帮助我们确定八个元素。

未知地区模式元素可以被识别KPs大大缩小,如角和十字路口。随后,身份不明的元素将连续映射的标准模式。全球M-arrays好子窗口的独特特征是用来识别四个元素,和KPs映射过程中作为参考点。最近的两个参考点选择实现映射识别误差降到最低。毕竟元素被识别出来,好子窗口中的元素可以确定。3 d KPs的元素将获得的信息。

3所示。实验和结果

本节实验结果给出了证明我们提出的方法的可行性。实验进行了结构光系统组成的商业投影机(爱普生emp - 821系列液晶投影仪、1024×768分辨率,20 Hz帧速率)和CCD相机(CoolSNAP cf CCD、1040×1392分辨率,4.65×4.65像素大小,Kowa镜头LM16HC或LM25HC 35.0毫米焦距)。服务器运行Windows 7的英特尔®CoreTM i7 - 7700 k CPU@4.20 GHz×8处理器和8 GB RAM (DDR4 2400 MHz×2)是用于数据训练和图像处理。捕获的图像解码使用c++和Python版本2.7。随后的DCNN建筑和训练算法使用咖啡框架实现。在这项研究中,2017年Matlab用于后处理和3 d数据可视化。系统的测量距离和基线距离大约1.35米和0.218米,分别。这部分组织如下。首先,分类精度和测量精度,得到该解码方法。六个对象与反射率,表面不连续性和颜色选择用于实验。

3.1。分类精度评估

我们构建了一个数据集的142422元素图像提取结构光图像使用算法1。这些元素的图像可分为八个类别。评估分类的准确性,我们将样本数据分为训练集,验证集和测试集,包括12726个训练样本,验证样本,4242和4242年测试样本,分别(大约6:2:2比率)。一个详细的样本分布为每个类表中列出1。

随机梯度下降法(SGD)和乙状结肠驱动函数被用于训练。512年的DCNN被训练使用批量图像。体重衰减和辍学的概率0.4在过去的两个完全连接层期间使用的认可。学习速率的5×10⁻⁴被选中。实验提出了分类结果的平均10个重复实验。

的性能验证准确性,培训损失,损失和验证在训练图所示11。验证集的分类精度不断提高在训练(图(11日)),而损失的训练和测试损失不断减少(图11 (b))。10000次迭代后,精度稳定。在10000年第一次训练迭代,验证精度迅速增加,最终精度基本上稳定在99%以上。训练和测试损失损失值迅速下降在10000年第一个迭代,然后仍低于0.03。特别是培训损失往往是稳定的和接近0.0001。训练精度的DCNN大约是99.5%。训练有素的DCNN用于测试时,网络可以产生大约98.9%的模式元素的分类精度。

3.2。评估测量精度

评估测量精度,一个平面白板被选为目标对象,被1.35的基线。自从Kinect v2 (Kinect为windows v2传感器)和飞行时间(ToF)传感器(SR4000)重建对象的能力(通过计算的总飞行时间光从光源到物体的表面,然后回传感器、对象和传感器之间的距离可以获得),他们是用来实现其他两个复杂的方法,李et al。18和贾et al。15)用该方法进行比较。KPs的信件可以获得与该解码方法。我们计算平面白板十倍的距离不移动或振动设备。真正的距离使用平均值计算。我们使用了均方根误差(RMSE)重建的对象作为一个指标的准确性。五种不同的表现方法如图12。图所示,我们建议的方法的测量精度高于其他四所提供的方法。

3.3。复杂表面的三维重建

为了进一步评价该方法的性能,更复杂的被选为实验对象,如图13。第一个对象是四个白色楼梯反射率高,如图(13日)。第二个对象图13 (b)是一个多边形。第三个对象图13 (c)是一个黄色的瓶子。第四个对象图13 (d)有许多subshapes。第五和第六对象数据13 (e)- - - - - -13 (f)一头模型和深坡口模型和表面不连续,分别。通过应用已建立的实验平台,设计模式是投射到对象。摄像机捕捉到了扭曲的图像,然后转换为灰度图像,如图14。与此同时,图14显示了模式预测的对象,不同的对象有不同的扭曲由于他们不同的深度。

图15显示了所有对象的3 d点云决定提议的解码方法。点云的第二、第三和第五对象是不完整的。预计因为一些模式在边缘的地区或斜坡深处没有提取模式元素检测,期间,很难正确分类模式元素异常模糊或剧烈的扭曲。一旦模式元素没有提取或模式元素被错误地分类,很难获得从每个元素匹配点,因为好子窗口的大小是2×2。我们采用了两个参数由贾et al。15)量化译码性能:模式元素的识别率,好子窗口的错误判断。能获得一些有价值的结论。模式元素的识别率大于97%,,好子窗口的错误判断率不到6%。一般来说,这些实验结果表明,该解码方法可以用来重建物体表面颜色和复杂的纹理。

图16显示了深度信息的重建结果,双线性插值用于所有对象。图17显示使用点云的三维重建结果和网格处理软件(VRMesh 11.0)为所有对象。尽管一些地区没有3 d点可以完全解决,重建的三维形状为所有对象几乎是可以接受的。这些实验结果表明,该编码和解码方法可以用于物体表面的颜色和质地。

实验结果提供以下贡献:(1)只有一次的3 d成像的方法提出了重建物体的形状从一个单一的形象。这个投影模式由一个2×2 39×29 M-array窗口属性,只有八个几何形状。(2)模式元素数据集建立后使用善待动物组织中提取的元素。然后,提出了一种改进的基于LetNet DCNN。(3)一个有趣的解码方法,该方法结合了基于DCNN深度学习和完成解码链角度提出了。

4所示。结论

用结构光三维重建了巨大的增长在过去的几十年。在一次性CSL系统中,编码和解码方法是两个重大关切。一个解决方案,一个编码模式是由八个元素和一些KPs然后用于检测提出了。图案元素跟踪和DCNN用于解码。该模式被设计为一个几何形状与一个2×2窗口属性,和一些KPs用于检测。解码过程包括图像预处理、模式元素提取,模式元素分类、模式元素匹配,和纠错。因为特征点被定义为元素之间的相交点的投影模式,连锁KPs角方法被用来精确检测。,模式元素可以使用善待动物组织提取结构光图像。训练数据集有超过1×10⁵样品被编译,DCNN基于LetNet用于识别模式元素。最后,窗口匹配实现的通信模式元素之间的预测模式和扭曲的模式,并减少错误匹配的数量。实验结果提供足够的证据表明,该方法可用于3 d重建物体的表面颜色和复杂的纹理。未来的研究将集中在集成的模式由不连续表面,不同颜色的表面,和应用程序动态场景。提高测量精度和分辨率,每个模式元素应该包含多个测试点。但是,随着测量点数的增加,识别由于噪声电阻模式元素变得更加复杂。因此,这将是有趣的进行定量评价的影响减少了窗口宽度,同时增加模式元素的数量,分析噪声电阻,这些优点和缺点之间找到一个妥协。

数据可用性

数据用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这部分工作是支持下的中国浙江省公益性技术研究项目基金批准号。LGG20F010010 LGG21F030013和嘉兴城市公益技术应用研究项目的科学和技术的中国批准号。2018年ay11008和2020 ay10009。作者感谢LetPub其语言的援助在准备手稿。

引用

1. 张,“高速三维形状与结构光测量方法:复习一下,”光学和激光工程卷,106年,第131 - 119页,2018年。视图:出版商的网站|谷歌学术搜索
2. j . Salvi s·费尔南德斯,t . Pribanic x Llado,“一个国家的艺术在表面轮廓测定法、结构光模式”模式识别,43卷,不。8,2666 - 2680年,2010页。视图:出版商的网站|谷歌学术搜索
3. b . x锣和g . y . Wang“水下使用结构光图像恢复,”IEEE访问7卷,第77189 - 77183页,2019年。视图:谷歌学术搜索
4. d·d·h·j·陈,y Cheng刘et al .,“彩色结构光系统的胸壁运动测量呼吸量评估,”《生物医学光学,15卷,不。2、文章ID 026013, 2010。视图:出版商的网站|谷歌学术搜索
5. z王”,强大的三维表面重建的一次性线结构光模式,”光学和激光工程文章ID 105798卷,124年,2020年。视图:出版商的网站|谷歌学术搜索
6. 美国诉Jeught和j·j . Dirckx“实时结构光术:复习一下,”光学和激光工程卷。87年,18-31,2005页。视图:谷歌学术搜索
7. j .页面,j . Salvi c Collewet, j .森林,“一次性收购形状优化De Bruijn模式”,图像和视觉计算,23卷,不。8,707 - 720年,2005页。视图:出版商的网站|谷歌学术搜索
8. c .我s w·李,r。公园,“彩色条纹排列模式快速结构光成像范围,”光学通信,卷285,不。9日,第2331 - 2320页,2012年。视图:出版商的网站|谷歌学术搜索
9. t . Etzion”,完美的地图和伪随机阵列结构,”IEEE信息理论,34卷,不。5,1308 - 1316年,1988页。视图:出版商的网站|谷歌学术搜索
10. f . j . MacWilliams n·j·a·斯隆,“伪随机序列和数组”,IEEE学报》,卷64,不。12日,第1729 - 1715页,1976年。视图:出版商的网站|谷歌学术搜索
11. j . r . j . Lu汉,e . Ahsan g·h·夏,徐问:“一个结构光视觉测量大尺寸M-array对于动态场景,”第35届中国控制会议的程序成都,页3834 - 3839年,中国,2016年7月。视图:谷歌学术搜索
12. c·r·a·莫拉诺Ozturk r .康涅狄格州,杜宾,s . Zietz和j . Nissano“使用伪随机编码结构光,”IEEE模式分析与机器智能,20卷,不。3、322 - 327年,1998页。视图:出版商的网站|谷歌学术搜索
13. r . Vandenhouten a Hermerschmidt, r . Fiebelkorn”设计和质量指标的点模式编码结构光照明与衍射光学元件在光学三维传感器,”有数字光学技术卷,10335篇文章ID 1033518, 2017。视图:出版商的网站|谷歌学术搜索
14. j .页面,c . Collewet f . Chaumette j . Salvi s .赫罗纳和f·雷恩,“视觉服务方法基于编码的光,”诉讼的IEEE机器人与自动化国际会议上4123年,页4118 - 2006年5月美国佛罗里达州奥兰多市。视图:谷歌学术搜索
15. 张x j .贾z . j ., f .曹和d .曾”模型和编码结构光测量系统的误差分析、”光学工程卷,49号12篇文章ID 123603 2010。视图:谷歌学术搜索
16. x j·贾、g . x悦和m .方”的数学模型和应用程序的编码结构光检测系统对象,“电脑杂志,4卷,不。1,53-60,2009页。视图:出版商的网站|谷歌学术搜索
17. m .方w .沈,d .曾庆红,x, z张,“一次性单色象征模式3 d重建使用submap编码、完美”Optik,卷126,不。23日,第3780 - 3771页,2015年。视图:出版商的网站|谷歌学术搜索
18. b·李,y, d . Cappelleri j .徐和美国,“高精度、高速3 d结构光成像技术和潜在应用智能机器人,”国际期刊的智能机器人和应用程序,1卷,不。1,第103 - 86页,2017。视图:出版商的网站|谷歌学术搜索
19. 王x黄,j .白k . et al .,“目标增强的基于polarization-coded结构光三维重建,”光学表达,25卷,不。2、1173 - 1184年,2017页。视图:出版商的网站|谷歌学术搜索
20. 美国唐、张x, z的歌,l .歌曲和h .曾“健壮的模式在shape-coded解码结构光,”光学和激光工程卷。96年,50 - 62年,2017页。视图:出版商的网站|谷歌学术搜索
21. d .特征和r·费格斯”预测深度、表面法线和语义标签与一个共同的多尺度卷积架构,”《计算机视觉国际会议,页2650 - 2658,圣地亚哥,智利,2015年12月。视图:谷歌学术搜索
22. r·加戈,b . g . v . Kumar g . Carneiro。里德,“无人监督的CNN对单一视图深度估计:几何救援,”欧洲计算机视觉的诉讼,页740 - 756年,荷兰阿姆斯特丹,2016年10月。视图:出版商的网站|谷歌学术搜索
23. f·李,李问:t, y妞妞,g .史,“深度采集的结合结构光和深度学习立体匹配,”信号处理:图像通信卷,75年,第117 - 111页,2019年。视图:出版商的网站|谷歌学术搜索
24. z . Liu f . Cheng和w·张,“小说分割算法用于集群可弯曲的农产品图像分析的基础上,“计算机和电子产品在农业卷。126年,44-54,2016页。视图:出版商的网站|谷歌学术搜索
25. t . y . Zhang和c . y .孙”快速并行细化算法数字模式,”ACM的通信,27卷,不。3、236 - 239年,1984页。视图:出版商的网站|谷歌学术搜索
26. y LeCun (l . Bottou y Bengio, p . Haffner“Gradient-based学习应用于文档识别,”IEEE学报》,卷86,不。11日,第2324 - 2278页,1998年。视图:出版商的网站|谷歌学术搜索
27. “灵活的摄像机标定新技术。”IEEE模式分析与机器智能,22卷,不。11日,第1334 - 1330页,2000年。视图:出版商的网站|谷歌学术搜索
28. 陈x, j . Xi y金,j .太阳,“精确校准camera-projector测量系统基于结构光投影,”光学和激光工程卷,47号3 - 4、310 - 319年,2009页。视图:出版商的网站|谷歌学术搜索

版权

版权©2021小贾和Zihao刘。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。