基于低成本TOF传感器和深度卷积神经网络的大型透明材料表面距离检测

摘要

大面积、大厚度透明材料表面间距离的检测一直是工业领域的难题。本文提出了一种基于低成本TOF连续波调制和深度卷积神经网络技术的方法。将透明材料表面间距离的检测转化为光路与透明材料前后表面交点的求解问题。在此基础上，结合灰度编码和解码操作，实现表面之间的距离检测。有效解决了低分辨率TOF深度传感器产生的深度图的空洞和细节丢失问题。整个系统简单，可以实现全表面积厚度检测。此外，它可以检测厚度超过30mm的大型透明材料，远远超过现有的透明材料光学厚度检测系统。

1.介绍

透明材料表面间的距离检测一直是工业领域的研究热点。传统的表面接触距离检测方法是最简单、成本最低的方法，如使用游标卡尺或千分尺。缺点是只能检测到靠近表面边缘的单表面点。它需要手动执行，而不能自动化。因此，它效率低下，逐渐被淘汰。

目前应用广泛的非接触式表面间距离检测方法大致可分为光学方法和非光学方法。典型电容法[1- - - - - -3.]是一种非光学表面间距离检测方法。该方法基于透明材料引起电容变化来检测透明材料表面之间的距离的原理。整个系统很简单，但它非常容易受到空间电磁干扰和线路间分布电容的变化。荧光浸渍法[4- - - - - -6是一种间接光学检测方法。这种透明材料浸泡在一种特殊的液体中。这种液体经激光照射后会发出荧光。由于透明材料不发光，因此可以得到清晰的边界。光学图像由照相机记录下来。经过计算和处理，即可得到透明材料表面之间的距离。该方法系统结构复杂，需要使用荧光液，给用户带来不便。

直接光学方法包括光栅光谱学和光三角法。光栅光谱学是根据光栅光谱学原理设计的[7］．该系统采用白光照明。经过透明材料反射后得到的光由凹面光栅分解。分解后的光谱由传感器接收。这些数据被送入计算机进行光谱分析。得到透明材料表面之间的距离。这种方法的缺点是距离检测系统很难调整和校正。光学三角测量法[8- - - - - -11]采用了透明材料上下表面位移差的原理。该系统简单、方便、有效。所以，它是目前最常用的方法。然而，这种方法容易受到杂散光的影响。至少就目前而言，这些现有的检测透明材料表面之间距离的方法都存在一个共同的缺点;也就是说，他们一次只能测量非常有限的一小块区域。12］．对透明材料的整个表面之间的距离变化给出客观的评价是不可能的。此外，这些方法检测的厚度是有限的，最大不能超过15毫米。

为了开发一种可以一次检测大型透明材料整个表面之间距离的方法，我们也参考了各种透明物体表面重建方法。Murase [13为透明流体材料从图形畸变中恢复形状提供了新的思路。透明材料的几何信息是由光折射引起的已知或未知定标图案的畸变来推测的。该方法主要针对水面形状的重建问题。Morris和Kutulakos [14]在此基础上考虑了水面随时间的重建。该方法不仅可以获得折射率，而且可以准确估计每个像素的深度和法向量。它不依赖于表面均值，具有很强的鲁棒性。Kutulakos和Steger [15]分析了利用三角剖分实现透明材料表面三维重建的可能性。他们提出了一种光直接测量方法。但上述测量方法的共同特点是采用被动视觉传感器被动捕捉透明材料表面的光。

近年来，主动飞行时间(TOF)深度传感器以其效率高、适应性广等优点被广泛应用于三维数字建模领域。因此，也有少数研究者对用于透明材料表面重建的主动TOF传感器进行了一些初步研究[16］．TOF深度传感器发出的调制光在透明材料中以比空气慢的速度传播，因此就会出现所谓的失真现象。这种失真现象携带了相关的厚度信息。这为我们的大型透明材料整个表面之间的距离检测方法提供了新的思路。然而，目前的这些勘探方法存在许多缺点，尤其是深度图生成过程中存在的孔洞问题，这对透明材料表面之间的距离检测产生了巨大的影响。需要注意的是，为了体现我们的方法能够实现对物体整个表面积的厚度检测，本文中我们用“面间距离”来代替常用的“厚度”。

在这里，我们提出了一种新的光学方法。该方法采用低成本的TOF传感器和深度卷积神经网络技术，实现了大型透明材料表面之间的距离检测。它可以有效地降低系统的成本。其主要思想是将透明材料表面之间的距离检测转化为前后表面重构问题。我们进一步证明了透明材料的表面重建也可以转化为寻找光路与透明物体前后表面及其表面法线的交点的问题。结合一系列的灰度编码模式，整个检测系统简单易用。本文的另一个贡献是将深度卷积神经网络引入到主动视觉领域。从而将低成本的TOF传感器的性能发挥到了极限。我们的方法可以检测厚度超过30毫米的大型透明材料。

2.方法

根据发射光波的形式，将TOF深度传感器分为单光子计数测量方法和连续波调制测量方法。在连续波调制方法中，一个正弦信号被调用作为光发射机的信号。深度测量是通过计算接收波和发射波的相位差来实现的，如图所示1．它很容易以低成本实现[17］．基本测量方程表示为 在哪里表示摄像机与物体之间的距离，是光速，表示往返光的运行时间，显示返回信号和接收信号之间的相位差，和为固有频率。

透明材料表面之间的距离检测原理如图所示2．O为传感器光学中心的坐标。一个₁和一个₂表示透明材料前后表面上的点。B₁和B₂表示当参考板来回移动时对应于图像像素的一组扭曲的三维点。TOF深度传感器发出的光的方向为 ．当参考板放置在第一个参考位置时，利用TOF深度传感器采集透明材料表面位置的红外图像和深度数据。它主要包括无透明材料和透明材料两组数据。根据这两组数据，求出三维变形点的第一个位置可以获得。参考板的当前位置也被记录下来。通过移动平台，参考板被移动到第二位置。重复之前位置的检测步骤，得到扭曲的三维点在第二个位置。同样，此时记录参考板的位置和移动距离。两位置畸变三维点之间的差值可作为参考光方向 ．参考板中使用了一系列格雷码模式[18，如图所示3.．根据传感器光的方向 ，参考光方向 ，并利用相关算法得到相应的深度数据，得到透明材料的前后表面点。最后，得到了透明材料表面之间的距离。应该指出的是和表示传感器光方向和参考光方向，需要将它们转换成各自的单位向量来参与计算。

2．1．透明材料表面点的估计

数字4在折射光线下显示出斯涅尔定律。在一个点我在后面的表面，斯内尔标准被定义为 在哪里这一点的斯涅尔法向量是多少我在后面的表面，表示折射光路与透明材料前后表面交点处的空间矢量n为透明材料的折射率。

该点处的曲面法线表示为 在哪里这一点的表面法线是多少我，为透明材料背面点到第一位置参考板上对应点的距离，u, v图像是横轴和纵轴，和为偏微分计算。

从方程(2)和(3.)时，两条法线应重合;即求和项在下式中有一个最小值:

2．2．基于TOF连续波调制的测量模型

的表达式中有多个变量和 ．结合TOF连续波调制原理的固有模型，得到 在哪里D表示传感器透镜与基准板之间的实际距离，深度传感器直接读取。 ， ， 方程中有三个未知数(5)．根据向量的计算规则，可以得到三个未知数之间的关系:

用方程(6)变成方程式(5)，我们可以得到

因此，将方程(6)和(7)在等式(5)，只有一个未知 ．根据公式(4)，即可估计出后表面各像素对应的后表面深度数据。结合方程(6)，可估算透明材料前后表面点:

因此，法线映射可由方程(2)或方程式(3.)．式(4)仅来自深度传感器直接读取的深度值。在实际操作中，随着实验中深度传感器使用时间的延长，噪声也会随之增大[19］．我们提出了一种正则化方法来减少噪声干扰。对每个像素引入正则化项。估计的无噪声TOF光学长度和是实际读取的深度值。给出了噪声抑制优化方程

上面的方程可以解释为对后表面形状的估计，因为对应后表面深度数据。为了避免计算复杂度高的二阶导数的计算，L-BFGS方法[20.]在这里被利用。它只使用近似的Hessian矩阵，而不是具体计算它们。

2．3.修补低分辨率深度图中的漏洞

在上述测量模型中，透明材料深度数据采集的完整性至关重要。低成本的TOF深度传感器分辨率较低。此外，得到的深度图往往受到复杂因素的影响，经常会在物体的边缘出现空洞和遮挡。严重影响后续处理和信息提取[21］．数字5是一个深度图中的洞的例子，其中太亮(灰色值为255)和太暗(灰色值为0)是洞的位置。一般情况下，透明材料所在区域容易出现孔洞，包括小孔洞和大孔洞。孔位所代表的深度值是无效的。换句话说，缺少深度数据。利用低成本的TOF深度传感器检测透明材料表面之间的距离，对深度图中的孔洞进行修补是其中的重要组成部分。

提出了一种基于卷积神经网络的孔洞修补方法。首先，生成深度图，检测孔洞位置，生成孔洞掩模图。然后，将孔洞掩模图和原始深度图输入深度卷积神经网络，实现无监督孔洞修补。

采用未经训练的深度卷积神经网络，其权值随机初始化。在自主无监督学习过程中，生成深度图修补所需的网络权值参数。即在给定的损伤深度图和任务依赖观测模型的基础上，给出一个随机初始化的卷积神经网络。通过迭代提供模型参数，使其接近于最大似然值。本文将深度图修补任务表示为一个能量最小化问题，给出 在哪里 分别为神经网络生成的深度图和带孔的原始深度图。 取决于具体的应用场景，主要比较生成的数据与原始数据的差异。在方程(10)，有必要找到的价值,最大限度地减少 作为输出最后的网络。是深度图的先验知识，通常是通过大样本训练卷积神经网络来获取的。但是在这里，我们用卷积神经网络获取的隐式先验信息来代替 ．卷积神经网络从输入的随机编码图像学习到原始带孔深度图的映射。是由最优解重建的通过学习获得的。因此,方程(10)成为 在哪里网络参数和为基于随机初始化网络的Adam梯度下降算法训练得到的参数的最优解。随机向量为网络的输入代码。一旦得到最优参数，输入可以计算得到最优吗 ．因此，该算法的思想本质上就是寻找最优的过程在可行空间中。使用梯度下降法[22方法随机初始化参数，得到(局部)最小θ。

数字6是网络结构的深度图修补算法。整体结构为编解码网络结构。输入随机码 ，原始深度图中包含孔洞，以及孔洞掩模，然后让卷积神经网络从输入随机编码的原始像素值自主学习映射根据孔掩模图中没有孔的区域，得到包含孔的原始深度图。模型网络由编码压缩(编码器)和解码重构(解码器)的级联构成。每层的采样单元包括卷积层(convolution)、批处理归一化层(BN，批处理归一化)[23，非线性激活函数层(LReLU, Leaky ReLU) [24］．如图所示6，下采样单元使用卷积层，上采样单元使用最近邻插值卷积。我们使用“Meshgrid”图像作为输入代码。随后的实验表明，这种类型的输入会增加平滑度。它对补孔很有用。

下采样单元和上采样单元的滤波器个数分别为16、32、64、128、128和128。内核大小为3和5。这些都是固定值。在每一个卷积层之后，都有一个BN层对数据进行归一化，提高图像恢复的细节。在卷积神经网络中，需要利用激活函数作为非线性变换。复杂的映射关系是可以学习的。算法中，每一层BN后都有一个Leaky ReLU激活函数，由

3.实验验证

为了验证我们方法的有效性，本文建立了如图所示的实验设置7．大型透明材料为厚玻璃，表面平整光滑。一种基于连续波调制测量方法的低成本TOF深度传感器是微软的Kinect V2，售价不到150美元。

3．1.修补算法实验与结果分析

为了验证算法的性能，我们使用搭建的实验装置采集透明玻璃圆柱体的深度图，如图所示5．图像分辨率为512 × 424像素。数字8给出了基于卷积神经网络的深度图迭代修补过程。

从图中可以看出9，它不仅对我们关心的透明材料上的小洞和大洞有效，而且可以在装载平台上修补大洞。我们方法的另一个优点是在不影响原始图像清晰度的情况下获得良好的修补效果。

采用patch效果对比实验，对传统的中值滤波方法、高斯滤波方法、双边滤波方法、联合双边滤波方法以及本文方法进行对比。实验中这些算法的一些关键参数设置如下:中值滤波方法的滤波窗口为4 × 4。高斯滤波方法的滤波窗口为10 × 10。滤波器的标准差为1像素。双边滤波方法的滤波半径为5。滤波方差为5，局部方差为0.5。处理效果如图所示10．

数字11进一步展示了透明玻璃圆柱体的补孔效果及相应的误差分布图。综合比较了传统算法的补孔效果，表明本文算法具有明显的优势。中值滤波方法能较好地填补小孔。但对于孔面积较大的区域不合适，因为这部分像素值会被相邻像素的中值所替代。这将导致更大的深度误差，从而失去对象的原始深度信息。高斯滤波方法虽然对部分小孔进行了补片，但会导致被测物体在图像中的边缘信息过于模糊。这将带来更大的计算误差。双边滤波可以减少边缘深度信息的丢失。然而，大面积的洞是无法修补的。联合双边滤波方法可以对一些较小的孔和部分较大的孔进行补片。 However, holes on the edges of transparent objects cannot be patched. Even if the parameters are manually adjusted for patching, the transparent objects in the depth map after patching will be blurred to a certain extent.

3．2．测量模型的实验评价

标定后的Kinect深度传感器在两种不同距离采集一组灰度图像。实验中选择的两个距离分别是距离Kinect深度传感器60毫米和75毫米。数字12显示一组距离透明材料和Kinect深度传感器75毫米的灰色代码图像。

实验中所拍摄的灰度编码图像序列如图所示12．垂直灰度编码图像序列编码图像的水平坐标位置。水平灰度编码图像序列编码图像的垂直坐标位置。由于低成本Kinect深度传感器近红外相机分辨率的限制，实验中只选取了7幅不同的灰度代码图像。

数字13显示格雷码图像序列中的单个图像。对于灰度码图像的解码，我们以垂直灰度码条纹图像为例。我们观察图中蓝色和红色圆圈中的像素(13日)．假设圆中只有一个像素。蓝色圆圈中的一个像素位于白色区域，对应的Gray编码值为0。红色圆圈中的一个像素位于黑色区域，对应的Gray码值为1。按照此规则顺序更改后，蓝色圆圈内的代码为1000010，红色圆圈内的代码为0101101。这两个代码分别被转换成66和45的小数。这是两个像素在各自位置对应的水平座标值。用同样的方法找到垂直坐标值，遍历图像中的每个像素，得到对应的十进制坐标。没有透明对象的图像中每个像素的十进制坐标也是用同样的方法得到的。最后相应地减去每个像素点的两个十进制坐标，得到位置的三维畸变点。

在距离深度传感器60mm处的三维变形点采用相同的方法获取。两种不同距离的三维畸变点之间的差异就是参考光的方向。根据第2章的理论分析，可以得到透明材料前后表面的点云图像。数字14显示由灰度代码图像序列发出的点云图像。

对于表面平坦的透明物体，通过前后表面上的校正对应点来检测表面之间的距离。表格1为曲面间距离数据的一部分(单位:mm)。真正的厚度是30.000毫米。

为了验证我们的方法的性能，我们使用了两个透明物体，它们有很大的平面，只是厚度不同。本实验通过获取表面间距与真实厚度之间的均方根误差(RMSE)来评价该方法，如下: 在哪里表示图像大小，是图像中的第Th个像素，是透明物体的真实厚度，表示表面之间的实际距离，和表示两个数据之间的误差值。

数字15显示了30 mm和25 mm厚度透明物体的RMSE分布曲线。给出了检测结果的误差范围。在我们的方法中，30 mm和25 mm透明物体的RMSE分别为0.2586 mm和0.3417 mm。相对最小误差分别达到0.86%和1.3668%。检测精度不同的主要原因是，随着透明材料厚度的增加，折射光在透明材料内部的光路长度变长。因为灰度代码的变形程度会更加明显，低分辨率的相机可以记录的更好。因此，检测结果更加准确。实验数据如表所示2．

实验结果表明，本文提出的图像质量可与[17］．本文提出的去噪方法可以有效地避免噪声对重构结果的不利影响。值得注意的是，重构精度高于[9，10]，主要是因为随着透明物体厚度的增加，透明物体内部折射光路的长度变长，灰度码的变形程度变得更加明显。

4.结论

针对大面积透明材料表面与厚度之间的距离检测问题，提出了一种基于低成本TOF连续波调制和深度图拼接的方法。我们从TOF深度传感器固有的光学表达式开始。在分析深度传感器成像原理的基础上，结合灰度码进行编码和解码操作，有效实现了透明材料表面之间的距离检测。同时，针对低成本的TOF深度传感器生成的深度图中存在大量漏洞，对检测影响巨大的问题，提出了一种深度卷积神经网络的修复方法。有效地提高了整个检测系统的性能。

另外，虽然我们取得了较好的检测结果，但本文的方法不适用于透明材料折射率变化的情况。未来将对相关理论模型进行改进，并对实验装置进行调整，使其适用于透明材料内部不均匀的情况。

数据可用性

没有数据支持本研究。

的利益冲突

作者声明他们没有利益冲突。

致谢

感谢江苏省政府海外留学奖学金项目(JS-2019-209)的支持。

参考文献

1. 窦颖，秦军，常学军，“一种用于测量水库冰厚、沉积和水位的电容传感器及其系统的研究”信息技术和应用国际论坛论文集， pp. 616-619, IEEE，成都，2009年5月。视图:出版商的网站|谷歌学者
2. M. R. Özgü， J. C. Chen, N. Eberhardt，“测量两相流薄膜厚度的电容法”，科学仪器综述，第44卷，第5期。第12页，1714-1716页，1973。视图:出版商的网站|谷歌学者
3. J. F. Klausner, L. Z. Zeng，和D. M. Bernhard，“利用电容对非对称两相流加热的膜厚探头的开发”，科学仪器综述，第63卷，第2期5，页3147-3152,1992。视图:出版商的网站|谷歌学者
4. R. Rantoson, C. Stolz, D. Fofi，和F. Meriaudeau，“从可见荧光紫外线诱导的透明物体数字化优化，”光学工程第51卷第1期3、文章编号033601,2012。视图:出版商的网站|谷歌学者
5. F. Mériaudeau, R. Rantoson, D. Fofi，和C. Stolz，“透明物体三维数字化的非常规成像系统综述和比较”，电子成像杂志第21卷第2期2、文章ID 021105, 2012。视图:出版商的网站|谷歌学者
6. F. Meriaudeau, R. Rantoson, K. Adal, D. Fofi，和C. Stolz，“用于透明物体3D数字化的非常规成像系统:来自红外偏振的形状和来自可见光荧光诱导的紫外线的形状，”航会议论文集， vol. 1537, pp. 34-40, 2013。视图:谷歌学者
7. O. Köysal, D. Önal, S. Özder，和F. Necati Ecevit，“波长扫描法测量介质薄膜厚度”，光学通信第205卷第5期1-3，页1-6,2002。视图:出版商的网站|谷歌学者
8. J. P. Peterson和R. B. Peterson，“通过多种界面测量液膜厚度的激光三角测量”，应用光学第45卷第5期20，页4916-4926,2006。视图:出版商的网站|谷歌学者
9. V. Khramov和A. Adamov， "激光三角测量光学层厚度方法的改进"2017年Saratov秋季会议论文集:激光物理与光子学第十八届;计算生物物理学和生物医学数据分析2017年9月，俄罗斯萨拉托夫。视图:谷歌学者
10. 郭宝珍，李鹏程，李启妮，迪W.，“基于差分激光三角测量的水油膜厚度光学装置设计”，科学仪器综述(第84卷)文章编号013105,2013。视图:出版商的网站|谷歌学者
11. M. F. M. Costa，“光学三角测量RPG隐形眼镜的厚度和地形检查，眼科技术XI，”国际光学与光子学学会，第4245卷，第207-216页，2001。视图:谷歌学者
12. Xu X.， Wang Y.， Xu Y.， and W. Jin .，“用双波长定量技术同时测量透明物体的折射率和厚度”，视Applicata， 2016年第46卷。视图:出版商的网站|谷歌学者
13. “起伏透明物体的表面形状重建”，刊于第三届计算机视觉国际会议论文集，第313-317页，日本大阪，1990年12月。视图:谷歌学者
14. N. J. W. Morris和K. N. Kutulakos，《动态折射立体视觉》，模式分析与机器智能学报第33卷第3期8, pp. 1518-1531, 2011。视图:出版商的网站|谷歌学者
15. K. N. Kutulakos和E. Steger，《光路三角测量折射和高光三维形状理论》，国际计算机视觉杂志，第76卷，第13-29页，2008。视图:谷歌学者
16. K.田中，Y. Mukaigawa, T. Funatomi, H. Kubo, Y. Matsushita, Y. Yagi，“从飞行时间扭曲的材料分类”，模式分析与机器智能学报，第41卷，2906-2918页，2018。视图:谷歌学者
17. L. Shirui, L. Qi, L. Haiyang，“基于kinect v2的实时精确3D重建”，软件学报， vol. 27, pp. 2519-2529, 2016。视图:谷歌学者
18. J.耿，“结构光三维表面成像教程”，光学与光子学进展，第3卷，第2期。2, pp. 128-160, 2011。视图:出版商的网站|谷歌学者
19. E. Lachat, H. Macher, T. Landes，和P. Grussenmeyer，“评估和校准RGB-D摄像机(kinect v2传感器)的近距离3D建模的潜在用途，”遥感，第7卷，第5期10, pp. 13070-13097, 2015。视图:出版商的网站|谷歌学者
20. J. L. Morales和J. Nocedal对“算法778:lbfgsf”的评论，数学软件学报第38卷第2期1，第1 - 4页，2011。视图:出版商的网站|谷歌学者
21. J. Jungong Han, L. Ling Shao, D. Dong Xu, J. Shotton，“microsoft kinect传感器增强计算机视觉:综述，”IEEE控制论汇刊号，第43卷。5, pp. 1318-1334, 2013。视图:出版商的网站|谷歌学者
22. D. Ulyanov, A. Vedaldi和V. Lempitsky，“深层图像优先”，国际计算机视觉杂志，第128卷，第1-22页，2020。视图:出版商的网站|谷歌学者
23. S. Ioffe，“批重正规化:在批标准化模型中减少小批依赖性”第31届国际神经信息处理系统会议论文集，页1942-1950，美国加州长滩，2017年12月。视图:谷歌学者
24. a·k·杜贝和v·杰恩，卷积神经网络的ReLu和Leaky-ReLu激活函数的比较研究，计算、自动化和无线系统在电气工程中的应用柏林，德国，2019。

版权

版权所有©2021邹蓉等。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。