基于结构光的目标物体高度估计

抽象

目标物体高度估计是计算机视觉领域的一个重要研究方向。结构光三维重建具有精度高、非接触、结构简单等特点，广泛应用于军事仿真和文化遗产保护中。本文利用结构光这个词来估计目标物体的高度。根据高度字典，高度下的偏移是估计的运动的结构光到对象。此外，通过对捕获的结构光图像进行有效的预处理，如展开、寻找骨架等操作，提高了利用结构光估计不同物体高度的灵活性，可以更准确地估计目标物体的高度。

1.介绍

近年来，随着科学技术，三维重建技术的发展为机器视觉的一个重要组成部分，吸引了越来越多的关注，尤其是在工业产品设计和文化遗产保护。然而，基于结构化的光的表面的三维重建，能够重构由激光扫描的物体的表面不接触的对象，其可以极大地保护原始培养从文化遗产的损坏。这可以使古代优秀文化的挖掘和中国文明的传播作出了巨大贡献。因此，基于结构光三维重建对文化遗产的保护和工业产品的设计[重要的现实意义1-3]。目前，在主要采用的三维重建字结构的光学扫描方法和结构光技术的三维重建作为非接触式主动测量技术，具有成本低，精度高，视觉，实时性，抗-interference能力，等等，这些特点将不可避免地使未来几年这一重建将有更好的发展前景[4，五]。

三维表面重建是重建对象，这也成为在计算机视觉的一个重要课题的真实生活的实际形状。而从所有的研究人员在世界各地已经在这方面取得了相当的成就。三维重建系统的结构光的结构主要包括照相机和激光器;你可以用普通的相机来完成检测任务，但由于光线的不同结构，实验结果将受到影响。根据不同的方式，激光投影可分为点，线，和光的多结构。点结构中的光为光的光束的激光投影仪投影，测量的测量对象中的点的表面上;相机只能得到这张照片信息的三维坐标;的信息的量过少;字线结构光投影仪投射光平面;光平面与测量对象可以绘制的横截面的信息的交叉点; the algorithm is easy to use; multirow structured light projects multiple light planes; the surface of the object forms multiple laser lines; pictures can give us multiple cross-section information, which is large amount of information; however, it is necessary to increase the matching of light bars, which greatly improves the difficulty and complexity of the algorithm and is still in the stage of experimental research [6-8]。

目前国内外对三维表面重建进行了深入的研究，喇叭[9提出了SFS的概念，这是一种受到广泛关注的三维形状重建的重要思想。该思想的主要内容是通过对光线方向、亮度、物体表面形状和反射模型灰度变化等形状信息的识别和分析，重建物体表面的三维形状。池内和角[10]用于通过使用照度方程和平滑准则作为重建的约束求解三维重建。因此，三维重建的问题转化为求解函数的最小化问题。在这种情况下，喇叭提出了另一种平滑的标准。的主要内容是一光滑的表面，其中该表面服从积约束，因为该算法正在寻求直接恢复复杂表面单位正常矢量，以便重建不能获得表面的绝对高度。富强周[11用同样的方法实现了跨激光平面校准。在实验中，得到了空间圆盘的四个边缘特征点，通过拟合特征点计算圆盘的半径。半径的绝对误差为0.0_59毫米。哈尔滨工业大学赵东斌[12]等学者提出了新的单眼图像恢复对象表面的高度和梯度算法是合成图像的迭代计算，从而获得精确的表面的高度，并且它们也验证了算法对实际焊点图像的可行性。瑞凌刘[13]，针对高光和阴影，提出了四光源矢量选择算法;她比较不同像素复苏的法向量与镜面反射方向,选择最近的法向量来恢复所需的形状向量,从而造成的误差阈值消除高光与影在传统算法,并去除高光影约束算法扩大了算法的适用范围。

2.一种基于移动的对象梯度检测

在3D重建结构光的过程中，在为了重建由相机拍摄的2D图像的3D结构，摄像机参数必须进行校准和摄像机成像的几何模型应建;即，摄像机的内部和外部参数应该被测量。然后，图像和空间点之间的对应关系被构造;即，激光平面方程被校准。本文主要使用珍邮张相机校准方法[14]。

2.1。相机参数标定

相机模型与芬兰奥卢大学的海克拉和西尔文使用的模型非常相似。我们特别推荐他们的CVPR'97论文:具有隐式图像校正的四步相机校准程序的功能[15]。

在摄像机模型中，参数如下:

焦距：存储在像素21的向量。

主要点:主要点的坐标存储在2中1的向量。

倾斜系数:定义的角度之间的倾斜系数和标量的轴。

失真：图像失真因子（径向和切向畸变）被存储在51的向量。

让是坐标向量的空间点在相机的参照系中。然后根据本征参数在图像平面上进行投影。

让被归一化（针孔）图像投影：

让 ;透镜变形后，新的归一化点坐标定义：在哪里为切向畸变矢量:

因此，包含径向，切向畸变系数16]。值得注意的是，这种失真模型是由布朗于1966年首次推出，被称为“铅锤”模型（径向多项式+“薄棱镜”）。切向畸变是由于的“偏心”在复合透镜或组件中的透镜的其他的制造缺陷的不正确对齐。

一旦变形施加，在投影平面上的P的最终像素的坐标：

因此，像素坐标向量和归一化（失真的）坐标向量由一个线性方程相互联系[17]: 在哪里称为摄像机矩阵，定义如下:

2.2。外部条件变量设置

在重建物体的表面高度时，我们使用了与物体表面重建相似的三角形。在类似的判断中，三角形的使用程度是相同的。但当三角形相似时，我们使用两个相似三角形的角度相同的度数[18]。因此，在世界坐标系的视图的中心和所述物体的中心的交点，存在在两个直角角部的角正切值之间的比例关系，从而使角度和距离需要知道光中心和物体之间的距离。这两个变量可以通过人为的改变摄像机结构的位置。因此，在设置相机和光线结构时，我们需要测量角度和长度。这两个是不变量;也就是说在拍摄的整个过程中，我们必须保证这两个变量不变，否则重建的物体就会被扭曲。所以在拍照的过程中，我们必须保证外部变量不变，才能更好的重构出物体的表面。

结构光3的基本原理三维重建

为了在结构光测量中获得物体的三维信息，其基本思想是利用结构光图像中的几何信息来帮助提供场景中的几何信息[19]。根据相机内部的几何关系，我们可以确定光的结构和物体之间的几何关系，从而重建物体的表面。

3.1。像素和世界坐标点之间的对应关系

如图所示1中，结构之间的角度平滑和照相机的光轴是，和原点世界坐标系位于相机的光轴的交点与结构光平面。该设在和到照相机坐标系轴是平行的和，分别为,和一致但相反[20]。之间的距离和是。因此，世界坐标系与摄像机坐标系之间存在如下关系:

A'是A的在世界上的图像的坐标系;视线OA的线'是

在世界坐标系中，结构化的光的平面方程是在哪里是照相机和激光笔之间的角度。的解决方案（9)

因为为数字图像上定义的笛卡儿坐标系[21), 是像素的坐标，并且u和v分别表示图像阵列中的行和像素的行的数量，。建立坐标系平行于的物理单位表示设在和轴，原点是相机光轴和图像。该平面通常位于图像的中心，但在现实中会出现一个小的偏移; 的坐标记为。每个像素中的物理尺寸设在和设在方向和 ;两个坐标系中任意一个坐标系的坐标均由一个统一坐标和一个矩阵表示，其关系如下:

逆关系为

由此可知，像素点与世界坐标点的对应关系为

3.2。面高度计算原理

如图所示2中，像素和在世界坐标系中的点之间的对应关系中被示出（13）。在实验中，我们简化了拍摄方法。激光角度和垂直方向上保持在30°不变的，所以这是容易计算[22，23]。当射击平台上没有物体时，直接射向平台的激光不会发生偏移，但当物体被放置在平台上时，射向物体表面的激光会发生一定的偏移。如图所示1，是参考激光线，和是添加物体后偏移的激光线。因为这个角是30度，，水平偏移量之间的关系和高度的关系的点一种的对象是已知的[24]。从图中也可以看出1如果距离光与物体之间改变，重建就会改变。

4.加载口罩后去噪

由于拍摄方法等原因，在加载的激光掩模中存在一定的噪声。这里要解决其他光源干扰和激光断线这两种主要的噪声，主要的方法是对连通域进行滤波去除其他光源的干扰，通过扩展骨架来避免激光断线。

4.1。过滤连接域以去除其他光源

过滤所连接的域是保持连接的域的图像中，并且删除那些未被连接的像素。下面是使用bwareaopen功能;这个功能也被称为删除最小面积功能;可以设置连接域，其中有8的默认值在实验的最小尺寸，该值在本文中设置为2。在该函数的设计，装载激光掩模之后，图像将被转换为黑白图像;图像矩阵被示为0-1矩阵。然而，由于其他光源，存在在图像中有一些干扰点（如图3）。

这些干扰点不沟通的形式存在，但在零散的形象，所以你可以过滤连接域和清除这些干扰像素点的形式，而这种操作将会对激光器本身锋利的效果。也就是说，围绕激光线“毛刺”将被删除，这将使重建结果更加顺畅。筛分后的效果显示于图4。

4.2。展开骷髅获取激光线

将加载激光掩模图像屏蔽连接域处理;激光线本身就会受到干扰。最大的问题是激光线被打断了。针对这种情况，首先我们进行了扩容操作，首先通过扩容连接打破了激光线;效果如图所示五。

后的激光线被充气;激光变得更厚。显然，我们不能直接使用该膨胀的图像高度的重建。所有我们要做的是让一个薄的连续激光线，我们不能改变原有的激光线的形状。因此，我们采取了骨架操作。此操作将是相同的激光线的原始激光线的形状，并且此激光线是激光线，这是在符合我们的要求的像素的单个行。的效果显示在图6。

5.进行了高度总结与插值

该部分的主要内容正在主处理重建单个激光高度后：叠加和内插。叠加主要是每个重建激光高度的全面显示。插值所得的离散数据的线性内插，使其连续且平滑地显示。

5.1。高度叠加，均匀显示

本文被设计成通过使用单个字结构来重构所述物体的表面的高度，但一个激光只能重现激光线的高度（图7）。

因此，如果我们采用字光结构对表面进行三维重建，有两种方法。一种是将图像进行视频处理，然后对激光线进行一帧视频的高度重构，得到物体相对光滑的表面，但这种方法拍摄难度较大，数据量多。第二种方法是对等距像进行高度重建和插值。这种方法比较简单。无论采用何种方法，最终的重构都是高度矩阵的截面。因此，为了汇总每次重构的高度，将显示世界坐标系中的每个高度矩阵(如图)8）。

因为在拍摄图像时需要确定激光线和芯轴的位置以及它们的角度，所以在拍摄一个物体时只能是移动的物体。只有这样才能保证激光线平面与摄像对象的夹角相同，才能准确地重建物体的高度，即保证XcOw与OcOw的夹角。因此，在拍摄大量的激光重建高度时，我们只能移动要拍摄的物体，但如果我们拍摄激光线，图像将处于相同的位置。然后，重建的激光高度将被叠加。因此，有必要根据物体均匀分布运动时的距离，人工重建激光高度，使每条高度线显示为分散(如图所示)8）。

5.2。插值重建光滑的表面

由于本设计采用了光的字结构对物体表面进行三维重建，因此光的字结构只能重建一条在一定高度下的激光线。经过上面的叠加，我们会得到很多高度的重构，但这些不是连续的，而是一条高差线。为了将这些线条重建到曲面中，有两种思路:一是取大量的高差线进行叠加;另一种方法是取限高线进行叠加和插值。这两种方法都能得到物体的光滑表面重建，但前者工作量太大;这里我们使用第二种方法，高度的叠加的插值运算，并利用griddata函数和离散高度的线性插值得到一个光滑的表面的对象，效果如图所示9。

6.实验结果及分析

本章是主要根据物理比较重建的实验结果和分析的优点和实验结果的重建的缺点。

6.1。物理和重建结果的比较

为了更好地测试高度的重建的连续性，本文被选择为半球，因为在上升或下降的半球是连续的，所以这样可以更好地反映重建的效果。并且为了减少干扰的反射该物体的表面上的激光照射引起的，我们然后选择粗糙漫反射器拍照。如从图中可以看出10，半球网球是完全符合我们的基本要求，和网球的粗糙表面只是一个漫射材料。

结构光的三维重建是基于激光线的偏差度，然后通过的高度乘以偏移来重建对象的高度。但在readding因为身高的重建是太小的过程中，基本上我们没有看到物体的重建表面。

因此，本文将按照一定比例的放大重建高度。但是对于实际物体和重建高度的比较，可以看出重建的高度高于实际高度。结果如图所示11和12。

6.2。分析其他组的结果

从与半球重建结果和实际物体的比较来看，重建结果都是在半球之外重建的，但对于半球的重建存在一定的误差。例如，半球不够标准，重建的半球表面存在误差。首先，从图中8我们可以看到，在它们高度的弯曲度插值之前，激光线击中物体的弯曲度更加一致。经过插值后，我们可以看到他的图像对物体的表面有更好的重建，并且插值相对平滑。

本文的设计，从一开始就一直使用半球调试等一系列操作的;程序完成引入许多其他对象时，该程序的相容性进行了测试。第一种方法是引入一个矩形模型（在图中所示13）

根据图所采取的实验数据在程序所采取的激光数据13在图中示出14;作为拍摄的结果，实验数据是在该歪斜的实验结果的重建激光线的偏差。实际高度示于图15。

数据13，14,15显示引入到程序中的矩形的重新连接结果。

6.3。身高比较

根据对象的测量结果和重建的结果的实际高度做一个比较，如表1。从表中我们可以看到，在重建物体的高度时，精度是非常高的。


	半球	长方形	半列

实际高度	3.4	1.8	2.4

重建高度	3.45	1.89	2.37

7.总结

本文深入研究了光字结构在物体表面重建中的应用。对于要去噪的图像，我们可以通过提高图像的兼容性来最小化其他光源对图像的影响。为了得到每条和和插值操作的高度线，我们得到了一个平滑的物体表面的三维重建。研究过程的后一部分将侧重于三维高精度、高速和实时重建，以供进一步研究。

数据可用性

在实验中使用的数据集是从先前报告的研究和数据集，其被引用。

的利益冲突

作者声明，他们没有利益冲突。

致谢

本研究由山东省高等教育科学技术计划项目(编号:no. 8)资助。J14LN64)。

参考

郝，孙中，李，“基于结构光的三维道路重构研究”，计算机工程与设计卷。36，没有。8，第2303至2307年，2015年。视图:谷歌学术
X.罗和Y.范，“基于多视点同步想象三维重建，”计算机与数字工程卷。44，没有。2，第317-330，2016。视图:谷歌学术
杨中，宋h，“基于SFS方法的文物三维重建”，岩土工程勘察，第1卷，第67-70页，2018。视图:谷歌学术
S.毅，Z.他和P.王“研究基于结构光三维重建，”电子技术，第8卷，第15-18页，2017。视图:谷歌学术
S.王，Z.曾和C.李，“基于结构化光扫描三维重建的一项调查显示，”杂志北京印刷学院第24卷第2期2，第66-74页，2016年。视图:谷歌学术
S.帕塔克，A.摩洛，H.藤井，A.山下，和H.浅间，“3D重建使用球形摄像机具有小运动的结构，”在在控制，自动化和系统2016年第16届国际会议论文集（ICCAS）2016年10月，韩国庆州，117-122页。视图:出版商的网站|谷歌学术
颜志强，“基于结构光视觉的三维重建系统的标定方法”，黎明职业大学学报卷。88，没有。3，第83-88，2015年。视图:谷歌学术
“基于颜色编码结构光的涡轮叶片表面三维测量与仿真”，杨丽华，袁杰，“基于颜色编码结构光的涡轮叶片表面三维测量与仿真”，国际信号处理，图像处理和模式识别杂志卷。8，没有。3，第273-280，2015。视图:出版商的网站|谷歌学术
B. K. P. Horn和M. J. Brooks，“从阴影到形状的变分方法”，计算机视觉图形学和图像处理卷。33，没有。2，第174-208，1986。视图:出版商的网站|谷歌学术
K.池内和B. K. P.喇叭，“从明暗恢复和阻塞界限数值形状，”人工智能第17卷，no。1-3, 141-184页，1981。视图:出版商的网站|谷歌学术
F.-Q.周和G.-J.章，“用于校准交叉结构光传感器的新方法，”光电工程卷。33，没有。11，第52-56，2006年。视图:谷歌学术
赵d，陈s，吴l，“从单个图像分析和实现高度演算”，计算机科学卷。23，没有。2，第147-152，2000。视图:谷歌学术|MathSciNet
R.刘和J.汉“形状恢复lgorithm不高光和阴影约束，”西安交通大学学报第40卷，no。8，第892-896页，2006。视图:谷歌学术
一种灵活的相机标定新技术，IEEE交易模式分析与机器智能卷。22，没有。11，第1330至34年，2000。视图:出版商的网站|谷歌学术
J. Heikkila和O. Silven，“带隐式图像校正的四步相机标定程序”，刊于1997年IEEE计算机学会关于计算机视觉和模式识别会议的会议记录，第1106至1112年，IEEE，圣胡安，波多黎各，美国，1997年。视图:谷歌学术
R. J.伍德姆，“用于确定从多个图像表面取向光度方法，”光学工程第19卷，no。1，第139-144，1980。视图:谷歌学术
T.韦和R. Klette，“从与表面曲率和面积约束梯度高度，”在第三届印度计算机视觉图形与图像会议(ICVGIP 2002)，第52-60页，联合出版商私人有限公司，艾哈迈达巴德，印度，2002年。视图:谷歌学术
刘元华，张丽华，朱福华，“激光同步扫描三角测量系统仿真软件的开发”，机械卷。52，没有。602，第68-72，2014。视图:谷歌学术
F.曹和朱Y.，“3D重建基于SFS方法和精度分析，”计算机科学卷。44，没有。S1，第244-247，2017年。视图:谷歌学术
G.郭和H.威“表面形貌和表面粗糙度检测基于明暗形状的重建，”刀具技术卷。45，没有。6，第98-102，2011。视图:谷歌学术
“一种基于光度立体视觉的曲面重建的鲁棒方法”。《自动化学报》第39卷，no。8, 1339-1348页，2013年。视图:谷歌学术
“双目视觉测量系统的结构参数设计与精度分析”，刘欣欣，英s。中国机械工程第19卷，no。22, 2728-2732页，2008。视图:谷歌学术
Z.黄和X.许，“研究基于双眼单视界和结构光3D恢复的精确度，”传感器和微系统技术第37卷，no。2018年，第16-22页。视图:谷歌学术
Y.贤，徐D.和Z张，“平面测量基于单目视觉，”[电子测量与仪器的第27卷第2期4，第347-352页，2013。视图:谷歌学术

多媒体的发展

在图像分析和理解最近的机器学习进展

抽象