自动化立体像对3 d场景重建使用多个从便携式Four-Camera摄影测量系统

文摘

一个有效的自动三维重建方法使用便携式four-camera摄影测量系统(PFCPMS)提出。利用互补的立体信息从四个摄像头,一个快速和高度精确的特征点匹配算法开发了三维重建。具体来说,我们首先利用投影方法来获取大量密集的特征点。然后减少聚类治疗应用于简化德劳内三角测量过程和重建每个场景的三维模型。此外,一个3 d模型缝合方法提出了进一步改善有限的视场图像方法的性能。实验结果测试在莫高窟172洞表明提出的方法是有效的重建三维场景与低成本four-camera摄影测量系统。

1。介绍

3 d模型已经广泛应用于各种应用,如虚拟文化遗产保护(1)、建筑设计(2),和制图3]。虚拟文化遗产保护是指3 d数字化和复制的文化遗产,已成为一个有趣的和具有挑战性的研究领域4]。文化遗产是历史发展的见证,历史研究的一个重要基础。重构遗产的3 d模型允许用户在线查看遗产,不管他们的位置(5]。此外,3 d数字技术将不会损害当观察者对象表面信息,这有利于保护3 d数字文化遗产很长时间了。由于这些原因,它是重要的发展快速,自动化,但成本效益的3 d模型重建方法。

实际对象模型可以使用主动和被动自动重建方法。对象范围由激光扫描(6和结构光7活动方法的典型例子。激光扫描仪的优点是他们在几何测量精度高。然而,这些方法通常需要昂贵的设备和一个单独的一步对象纹理采集和注册(8]。基于图像的方法是典型的被动方法,需要一种更简单和更便宜的设置来重建3 d几何(9]。尽管如此,他们的弱点是捕获的部分观察周围的环境,如果一个正常的相机视场有限使用。因此,大量的视图位于不同位置需要重建一个完整的三维场景模型,从而导致校准多个摄像头的问题,每个相机的姿势。尤其是对传统的基于图像的方法基于单摄像头,需要复杂而耗时的后加工以获得场景的三维信息(10]。其他映像的方法是基于立体图像对,每一对的3 d模型的重建图像的立体匹配(11]。这组的优点是灵活的操作和3 d信息可以很容易获得。尽管它们的有效性,仍有两个开放问题:一个是高精度立体匹配获得可靠的点云,,另一个是3 d模型缝合相邻场景在不同的位置。

一个3 d模型重建系统使用图像获得立体像对来自多个PFCPMS [12提出了。首先,立体影像和棋盘投影辅助被PFCPMS可靠的点云。第二,减少点和分类算法来生成德劳内三角(13)对纹理映射(14]。最后,生成一个完整的3 d模型通过整合部分场景模型。的主要贡献如下:(1)PFCPMS由四个相同的相机,构成立体视觉系统的六组。这种特殊的结构可以用来有效地获得高精度立体匹配点。(2)模型的表面棋盘预计获得致密均匀分布的点云,特别是对该地区缺乏纹理。(3)减少点算法可以大幅减少时间复杂度和空间复杂度,以及分类算法可以有效地提高德劳内三角测量的正确性。(4)可以使用点云空间约束在特征点匹配,因此两个匹配点之间的距离在两个不同的3 d模型可以抑制虚假匹配计算旋转时和翻译两个3 d模型之间的参数。

2。数据收集

数据收集过程分为两个部分。第一个是硬件系统。其次是系统的匹配方法和如何保证匹配的正确性。

2.1。主要的硬件系统

PFCPMS如图1(一),这四个相机是在一个矩形分布。如图所示,左边两个摄像头之间的基线是短,所以图像的差异被他们可以最小化,和左边的两个摄像头之间的特征匹配的准确性可以改善。正确的两个摄像头构成另一个立体模型类似于左两个摄像头。我们可以看到左上角之间的基线(UL)和右上角(UR)相机很长,类似于下来左(DL)和右(DR)相机。长基线有助于改善点空间位置的准确性。PFCPMS,长基线和短基线相机有不同的特点,它们相互补充,有利于实现高效、准确的立体匹配。

四个摄像机的光学轴相互平行,及其参数应尽可能一致,以确保精度。四个图像平面和光学中心在一个相同的平面。让四个图像平面IMG1、IMG2 IMG3 IMG4,分别和四个光学中心,,,,如图1 (b)。鉴于任何可见的点在世界坐标,它可以在四个摄像机成像表示,,,,分别。

2.2。可靠的点云

PFCPMS可以执行的高精度快速立体匹配。如图2(一个),是纵向的,他们可以很容易地计算当所有的相机参数以这个系统(15]。匹配的流程可以分为六个阶段:(1)检测哈里斯(16UL)特征点。(2)一个特征点在UL、搜索匹配的点周围在DL使用常见的相关方法17]。因为之间的基线UL和DL很短,他们的图像相似。缩小搜索一个小区域内,所以匹配过程是快速和准确。(3)计算匹配点在你的纵向约束,即交叉和。(4)搜索匹配的点周围在博士通过相关方法,类似于步骤2。(5)计算辅助匹配点在博士和,类似于步骤3。在理想的条件下,和重叠,或者比赛是假的。在实践中,一个小的区域是允许的,因为点扩散函数的影响。(6)获得辅助匹配点在UL和,并确定是否和重叠,这类似于步骤5。当和和和相互重叠的同时,找到匹配配对产生影响。其他特征点UL也应该被检测到。一个简单的流程图,特征匹配如图2 (b)。

的最后两个步骤匹配流是非常重要和必要的,尽管短基线可以缩小搜索范围,减少明显不匹配;表面时的错误将会出现重复的纹理,特别是密集的和小的。通常,一个以上的匹配和可以发现在纵向。幸运的是,匹配点之间的重叠率和辅助匹配点添加另一个约束可以有效地适应重复纹理表面。

PFCPMS提高了立体匹配的有效,但是一个问题应该考虑为了获得足够的可靠的点云。它是可怜的纹理,如图3(一个)。佛陀的表面非常光滑,不存在特征点在大地区。结果,几个初始特征点检测并匹配不足会在第一步得到的匹配流在数据收集过程中,表面光滑是很难重建传统的基于图像的方法。

为了获得足够的可靠的点云,投影方法,如图3 (b)。一个简单的程序设计来生成黑白棋盘,如图3 (c)。然后项目到投影仪对象添加纹理信息,如图3 (d)。广场的大小应该足够大,以确保匹配的正确性。同时,棋盘应该足够密度足够的点云,然后广场的大小应该小。为了满足这些需求,使用一个较大的广场;然后细分小翻译的投影;最后所有的特征点在不同位置融合形成一个完整的点云。通常,广场大小和细分数量不是很严格;他们可以调整根据精度要求。定义了投影仪的焦距,投影仪和对象之间的距离和广场大小九次,细分;然后两个连接角点之间的实际距离满足

最小可测两个点之间的距离,这可以被定义为可测量的精度。

3所示。数据分析

后获得的3 d点云,德劳内三角(13和纹理映射14)可以应用于重建三维模型为每个场景,和相邻的3 d模型可以贴合在一起,获得一个完整的三维模型。

3.1。三维重建

从部分获得的原始点云2如图4(一)。我们可以看到超过二十万点已经得到这个模型中,他们是密度和均匀分布。点云是如此之大,计算复杂度非常密集,尤其是德劳内三角测量过程。通常情况下,没有必要物质分布数据,所以一些点云减少算法可以应用于降低计算成本(18]。本文使用一种改进的边界框法。传统的边界框法(19)分为三个步骤:首先,搜索最小框包围所有的点。下一个盒子是分成许多小盒子连接。最后,一个点最近的每个小盒子的重心是保留。减少的结果如图4 (b)分保留,不到10%。显然,传统的边界框法没有考虑现场的特点。这是一个原始数据的均匀采样。但事实上几个数字所需的点是描述一个平坦的区域,例如,墙壁,地板,天花板。相反,如果表面的曲率是多变的,例如,脸,头发,衣服,需要更多的点,这样可以保证三维重建精度。因此,一种改进的算法减少点云。的方法,使用两个互补的阈值:更高的人,一个是低可以选择,灵活地根据不同的精度要求。前两个步骤是相同的传统。把小盒子后,飞机适合所有的人。的平均距离从所有的点到平面计算在每一个盒子。相应的操作如下:(我)如果这个盒子里,就放弃所有的点。(2)如果,储备一个点最近的重心。(3)如果,盒子将被分为八个小盒子,其边长是原来的一半,,然后,储备一个点最近的重心为所有的八个小盒子。

结果如图4 (c)。这样,几个点是保存在一个相对平坦的区域,进一步简化计算,而保存点是获得高精确的模型。

减少点云后,德劳内三角测量过程应用于构建大量小网格,如图5(一个)在每一个网格,然后映射纹理重建三维模型,如图5 (c)。尽管长三角边是抑制为了区分不同对象,错误之间仍然存在一些附近的模型;看到红色的椭圆部分数据5(一个)和5 (c)。为了克服这个问题,不同的模型应该首先聚集的密度分布。两个模型之间的间隔是用于分类不同部分因为没有匹配的点可以被发现在这些领域和点密度为零。这个过程如下。

步骤1。定义的点云,命名为每一个点和相应的空间坐标。

步骤2。选择一个点随机,数一数在其邻域点。集,然后,每一个点在,如果满足(2),+ 1如下: 的邻域点构成一组。

步骤3。如果在小于阈值,重点在步骤2中选择的是不合适的;然后返回到步骤2,选择一个新的。否则,点可以选择的核心观点,并执行以下步骤4。阈值是一个经验根据点云的空间分布,各种不同的情况下,但对于不同的模型从一个情况一样。

步骤4。当找到一个核心,然后找到邻域点所有其他元素。如果一个点在满足(2),加上这一点。重复这个过程,直到没有新的可以添加。

第5步。的点构造一个新的集群。删除所有的点为并重复上述过程找到其他新的集群。

聚类后,错误已经解决了。新生成的三角网格和三维模型图所示5 (b)和5 (d),分别。

3.2。三维模型缝合

摄影测量系统可以有效地重建三维模型,但一个关键的问题仍然是正常的因为有限的视场相机。这可以从图反映出来6(一),两个3 d模型在不同位置捕获最初地融合在一起。虽然每个模型可以正确地重建,他们的坐标不一致,所以如何重建一个大型和集成场景是一个非常重要的因素需要考虑。对于一个刚性物体,态度可以由三个noncollinear点。结果,发现超过三个空间匹配点之间不同的3 d模型可以实现3 d模型缝合。这个过程描述如下。

步骤1。让哈里斯角落和立体匹配计算点的三维坐标。该方法类似于部分2.2。

步骤2。特征点之间的匹配不同的3 d模型。首先,常见的应用相关法。然后,计算距离对于任何两个点在一个3 d模型和距离在另一个3 d模型的匹配点。错误的是 当有一个最小值,这两个匹配点是选为参考点。最后,检查其他匹配点。计算一个匹配点和参考点之间的距离;在一个模型的距离和其他模型,如果两个参考点之间的距离满足 储备的匹配点,或删除它。的是一个阈值,可以控制匹配精度。

步骤3。计算旋转参数和位移参数。假设在3 d模型匹配点的空间坐标和;参数可以计算如下:

通常,超过三个匹配点可以被检测到,所以可以将最小二乘法应用于提高计算精度。缝合的结果如图6 (b)。

4所示。实验结果

来验证我们提出的3 d模型重建系统的有效性,实验是在172年莫高窟洞穴,位于敦煌市西南25公里处,在中国甘肃。与此同时,另一组已经重建了159洞传统3 d激光扫描技术。新的和传统方法检测不同洞穴同时因为数据抽样的限制条件。尽管幕后并不完全相同的这两个方法,特点,难度和工作量是相似的。因此,它们之间的对比实验是重要的。一个典型的比较结果图中可以看到7。数据7(一)和7 (b)三角形网格和3 d模型重建的提议PFCPMS,分别。数据7 (c)和7 (d)由激光扫描的三维模型纹理登记前后,分别。而激光扫描方法执行在重建一个高精度三维模型通过大量的点云数据,它笨拙呈现丰富的表面纹理。各种灯饰的纹理是不连续的,因为在不同的表面,如红色椭圆部分如图所示7 (d)。相比之下,我们的方法优于激光扫描的很多详细的材质可以有效地生成,导致令人愉悦的视觉效果,这是非常重要的在虚拟文化遗产保护领域。

定量地说明了这种方法的有效性,两个真实可触的对象是小PFCPMS重建。可以看到图3 d模型8。图8(一个)是一个观赏的花瓶和(b)是一种石膏。

因为所有点的空间坐标是相对价值,一个协调的价值并不重要。所以重建精度评估两个点之间的空间距离。为每个图的两个模型85组随机的空间坐标点的距离计算3 d模型。两个点之间的真正价值是衡量两个钢规则和一个角度测量仪依靠三角测量原理。测量结果如表所示1。

从表所有的错误1小于1厘米,相对误差小于10%。

节3所示。2,我们使用3 d模型缝合方法重建一个大型和集成场景使用几个3 d模型从不同的角度的观点。与不同的旋转和位移参数,我们可以一起缝合所有的3 d模型提供一个大范围的三维视图。缝合的结果如图9。我们可以观察到三维场景可以显示从任何角度。在图9,四个代表性观点。因为所有的点在这个模型中有三维空间信息,该模型不仅可以保留,也可以为繁殖提供精确的几何信息。

在三维重建过程中,最耗时的过程是德劳内三角测量。原始点云1257305分;计算速度太慢,无法计算。减少点和聚类后,只有41649点保存,3 d重建过程大约花半个小时。

5。结论

一个有效的自动三维重建方法使用PFCPMS已提上日程。测试方法在莫高窟172洞穴并与激光扫描三维模型。这表明,该方法是有效的重建三维场景与低成本four-camera摄影测量系统。

系统的限制是没有良好的定量评价标准。通过激光雷达扫描一个粗略评估性能。但是成本太高,对我们的设计哲学。未来的研究是一个适当的方法进行调查。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者感谢匿名评论者的评论,这帮助他们大大提高。支持这个项目973项目(2012 cb725301),中国湖北省自然科学基金(2015 cfc770)和教育部的科学和技术基础的湖北省(Q20152701)和中国国家自然ScienceFoundation (61471161)。

引用

1. a . Koutsoudis b·维德马g . Ioannakis f . Arnaoutoglou g . Pavlidis和c . Chamzas“多映像3 d重建数据评估,”《文化遗产,15卷,不。1,第79 - 73页,2014。视图:出版商的网站|谷歌学术搜索
2. 江y和j·唐,“应用程序在虚拟三维立体可视化系统的架构设计,“应用力学和材料卷,174 - 177,1706 - 1709年,2012页。视图:出版商的网站|谷歌学术搜索
3. a . k . Aijazi p Checchin, l . Trassoudaine”处理遮挡对准确三维城市制图:基于特征的新方法和多个段落,”第二届国际会议上3 d成像、建模、处理、可视化和传播(3 dimpvt 12)IEEE,页112 - 119年,苏黎世瑞士,2012年10月。视图:出版商的网站|谷歌学术搜索
4. g . Pavlidis a . Koutsoudis f . Arnaoutoglou诉Tsioukas和c . Chamzas”方法的三维数字化文化遗产,“《文化遗产,8卷,不。1,第98 - 93页,2007。视图:出版商的网站|谷歌学术搜索
5. n .易卜拉欣k·a·阿f . h . m . Salleh和s . Yussof“文化遗产保护:3 d建模的传统马来房子使用隐面消除方法,”国际会议的程序在软件工程和计算机系统,2009年学术。视图:谷歌学术搜索
6. h . Baltzakis a Argyros, p . Trahanias”融合激光和视觉数据的机器人运动规划和避碰,“机器视觉和应用程序,15卷,不。2、92 - 100年,2003页。视图:出版商的网站|谷歌学术搜索
7. c .我s w·李,r·h·公园”快速结构光成像范围,高对比度的彩色条纹模式”第八届欧洲计算机视觉学报》上卷,3021在计算机科学的课堂讲稿施普林格,页95 - 107年,2004年。视图:谷歌学术搜索
8. f . Blais”,审查范围传感器发展的20年,“电子杂志的成像,13卷,不。1,第243 - 231页,2004。视图:出版商的网站|谷歌学术搜索
9. G.-H。刘,X.-Y。刘,徐瑞秋风”,高精度三维形状收购大型对象从多个未校准相机视图,“应用光学,50卷,不。20日,第3702 - 3691页,2011年。视图:出版商的网站|谷歌学术搜索
10. n . s . Agarwal y Furukawa先生Snavely et al .,“建造罗马一天。”ACM的通信,54卷,不。10日,105 - 112年,2011页。视图:出版商的网站|谷歌学术搜索
11. z任、j .廖和l . Cai”小型机械零件的三维测量基于立体视觉的复杂背景下,“应用光学卷,49号10日,1789 - 1801年,2010页。视图:出版商的网站|谷歌学术搜索
12. s . d .钟和y . Liu“便携式four-camera三维摄影测量系统和方法,”2013年,http://worldwide.espacenet.com/publicationDetails/biblio?CC=CN&NR=102679961B&KC=B&FT=D。视图:谷歌学术搜索
13. 诉j·d·蔡”,在创造锡德劳内三角剖:概述和一个线性时间算法,”国际地理信息系统杂志》上,7卷,不。6,501 - 524年,1993页。视图:出版商的网站|谷歌学术搜索
14. y翁、d·李和y,“硬约束纹理映射细分表面,”计算机视觉卷,29号11日,第1241 - 1231页,2013年。视图:出版商的网站|谷歌学术搜索
15. 美国徐、徐d和h .方舟子,“基于检测特征点的立体匹配算法,”材料科学和信息技术学术,页6190 - 6194年,2012年。视图:谷歌学术搜索
16. c·哈里斯和m . Stephens,”角落和边缘检测器相结合”学报阿尔维愿景会议页189 - 192,普莱西公司,1988年。视图:谷歌学术搜索
17. z, r . Deriche o . Faugeras,太张扬。陈德良”,一个健壮的两个未校准的图像匹配技术通过未知的对极几何的复苏,”人工智能,卷78,不。1 - 2、87 - 119年,1995页。视图:出版商的网站|谷歌学术搜索
18. w·歌,Cai,杨,w•崔和y . Wang“还原法的三维点云,”第二届国际生物医学工程与信息学会议(BMEI ' 09)2009年10月,页1 - 4,IEEE,。视图:出版商的网站|谷歌学术搜索
19. 惠普Kriegel, m·佩特里·m·舒伯特m . Shekelyan和m . Stockerl”高效的相似性搜索3 d边界框注释,”2012年医学成像:先进PACS-based成像信息和治疗应用卷,8425学报学报,2012年。视图:谷歌学术搜索

版权

版权©2015彭Qi et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。