快速三维建模和零件识别在汽车车辆使用RGB-D传感器网络机器人指导

文摘

本文的方法自动检测和快速3 d分析侧车身壁板的车辆。工作介绍一个方法将原始流从深度传感器的任务3 d分析和重建方法的外部校准的Kinect的传感器网络。这个感应框架适用于快速为机器人提供足够的空间信息与汽车板使用各种工具。当车辆定位定义的扫描区域内,在车体上引用的集合零件自动识别彩色图像的镶嵌的网络收集在Kinect传感器分布在全球参考框架的车辆和设置。部分车辆的一侧的深度信息被收集,对齐,合并成一个全球RGB-D模型。最后,一个3 d三角形网格模型车的车身壁板是自动建立。方法应用在智能交通行业,自动化车辆检验、质量控制、自动洗车系统、汽车生产线,和扫描校准和解释。

1。介绍

机器人操作和导航需要有效的方法表示和解释周围的环境。工业机器人工作在受控环境中,通常只执行重复性和预排程序的设计任务。然而,机器人在动态环境下工作可靠的方法来解释他们的环境和需求提交给严重的时间限制。大多数现有的解决方案对机器人环境表示和解释使用高成本的3 d分析摄像机,扫描仪,声波,或它们的组合,这常常导致冗长的收购和缓慢的处理大量的信息。Kinect的极端采集速度的技术满足要求迅速获得大量模型,如汽车的车辆。性能、支付能力和越来越多的采用Kinect的机器人应用程序支持的选择传感器开发机器人检查站操作多种感觉的视觉指导下。这项工作中的方法使用一组Kinect深度传感器正确校准收集视觉信息以及3 d点从不同地区车辆车体。专用的校准方法提出了实现各自的点云之间的精确对齐和纹理图像通过Kinect传感器分布在一个协作的成像系统提供网络覆盖表面。首先,传感系统采用计算机视觉和机器学习技术确定车辆的位置和类别车体和一些感兴趣的领域。然后,3 d数据使用Kinect之间的外在参数单位保持一致。 Finally, a 3D triangle mesh, modeling the lateral panels of the vehicle, is built and serves as input to guide a manipulator robot that will interact with the surface. The experiments reported in this work are the result of processing images and point clouds of side panels of automobiles. Nevertheless, the method can be adapted easily to recognize other types of objects.

这项工作有助于机器人视觉领域提出了一种简单而有效的方法自动三维表面建模的大型汽车零部件通过协调和综合操作的几个RGB-D传感器头;专门为外在Kinect传感器校准方法,以及快速的三角形网格算法,利用提供的点云结构的Kinect传感器。

2。相关工作

近年来Kinect设备已广泛采用的室内传感器机器人和人机交互的应用程序。传感器是一个多视图结构照明系统,包含一个RGB摄像头、红外(IR)相机,和一个红外激光投影机配备了微型智能电网",人为地创造一个预定义的红外成像表面模式。传感器能够收集彩色图像中的每个像素的深度信息,打开了门,一个伟大的各种应用程序。最近,两个主导流的研究已经追求了Kinect技术:(1)背后的技术设备的调查,分析其属性,性能,和比较与其他深度传感器;(2)应用程序的开发的Kinect技术在机器人等领域,用户界面,和医学等。目前的工作地址两个类别。

在Kinect技术的大量应用程序的例子,迅速出现在文献中,周et al。1)提出了一个系统能够扫描人体使用多个Kinect传感器安排在一个圆环。Maimone和福克斯2)提出了一种实时远程监控系统与头部跟踪能力基于一组Kinect单位。他们也贡献了一个算法合并多个深度数据源之间的数据和自动调整颜色。Kinect在医学领域的应用提出了CT扫描的位置跟踪Noonan et al。3]。他们跟踪的幻影通过注册Kinect深度数据高分辨率CT模板的一个幻影。Rakprayoon et al。4]Kinect传感器用于障碍检测机器人的机械手。在[5],伯杰等人最初使用多个Kinect传感器对空气动力学的研究3 d对象。他们抓住和可视化气体绕流对象具有不同的属性。进攻et al。6和公园等。7]关于Kinect的深度分辨率进行了分析,与立体分辨率重建精度,相机标定和激光扫描仪的比较。Kinect的同步校准传感器,提出了不同的方法。Burrus [8)提出了使用传统技术校准Kinect彩色摄像机和手动选择的校准深度传感器的棋盘。加[9)描述了一种技术来校准深度传感器通过使用3 d打印出来长方体产生不同层次的深度图像。然而,后者需要一个复杂的过程来构建目标。伯杰et al。10)使用一个棋盘,黑匣子被替换成镜像铝箔因此避免阻塞的必要性投影仪当校准深度相机。

关于Kinect的深度数据传感器,它是已知患有量化噪声(6,11]随着对象的距离增加而增加。决议还随距离(11]。深度地图也可能包含阻挡和失踪的深度区域主要是由于红外投影仪之间的物理分离和红外相机无法收集足够的红外信号反射在某些类型的表面。这些缺失的值可以被过滤或近似插值(2,12]。

关于汽车零件的自动检测,各种各样的计算机视觉系统已经开发了过去,旨在检测的图像感兴趣区域的车辆。在受欢迎的应用程序在这个领域中,检查产品装配线脱颖而出。这些系统使用方法同时定位参考点或许多感兴趣的区域(13,14]。管理问题域的语义信息,Kiryakov et al。15)使用模板和相似性度量评估在一个图像模板的正确位置。兴趣图像视觉检测的特性的一些作者报道的成功使用中提琴和琼斯称为提出的技术提高了分类器的级联(CBC) (16]。这种技术已经被证明是有用的在检测面孔,轮子,视图的汽车,车牌等(17,18]。虽然应用程序之前的研究工作主要在智能交通系统(ITS)的面积,这些概念可以有利地转置机器人应用程序的指导。

3所示。提出RGB-D收购框架

这里介绍的工作旨在集成来自多个RGB-D传感器实现完全自动化的信息和快速3 d分析在汽车车体区域的车辆。估计的方法重建的形状在选定地区基于利息车辆车身壁板的检测特性。一旦感兴趣的区域的位置是已知的,这种方法重建板的形状使用Kinect的一组传感器所提供的信息放置方便,收集视觉和3 d来自车辆的信息。

正在开发的系统的最终目标是支持实时导航机器人手臂的距离的车辆为了执行一系列任务(例如,清洁,维护,检查)虽然与车辆表面交互。本文中提到的工作主要集中在机器人视觉阶段。

图1显示各种环境用来开发和测试该系统。在图1(一),一个室内实验室环境被描述在一个实际的汽车车体用于早期发展以及户型模型车。在图1 (b)多级semioutdoor停车场显示,真正的全尺寸车辆成像通过网络来验证校准的准确性RGB-D传感器。停车场设施防止阳光直射造成干扰的红外图像组件Kinect单位。自然光来自windows和开放的墙壁以及电灯照亮了现场。实验表明,这些传感器的光源没有麻烦的技术。

一个汽车扫描站的布局图所示2。黄线划定的区域车辆停止,同时收集深度和颜色信息。起初,可以移动的机械手臂on rails定位结束时跟踪盲区内的传感器。然后,车辆进入扫描区域和停止在指定空间。Kinect传感器收集的颜色和深度信息在整个车辆的长度在10秒。信息处理是为了构建一个三维模型的汽车车身面板。整个扫描和建模过程是快,为了支持高检验节奏。后者则是主要因素支持采用Kinect技术在这个应用程序中,尽管其有限的深度分辨率和灵敏度环境照明条件。

整体扫描和三维纹理建模过程是在30秒内完成,迅速使机器人的信息指导。提供的感官信息的数据处理管道Kinect设备如图3。圆角矩形表示不同的模块是这个过程的一部分。这些模块在虚线矩形在线操作,而校准过程的虚线矩形执行离线和之前只有一次检验操作。矩形表示系统的输入和输出。

3.1。系统配置

收集的颜色和深度信息的扫描系统在整个车辆车体的横向视图包含三个kinect定位在单个行(传感器的基线)查看轴垂直于车体和两个额外的传感器,涵盖部分前后区域,旋转向车辆以这样一种方式,他们查看轴形成65度角对传感器的基线。

这个配置可以被复制在另一边的车辆为一个完整的360度视图。详细表1时,传感器将定位在离地面1米,与地面平行。摄像机是大约2米的地方车辆定位。该配置允许满足下列条件覆盖整个的汽车:(1)最小覆盖范围为4.15×1.5米,这是典型的轿车大小车辆;(2)收集深度阅读的0.8到3米的范围,范围的Kinect表现良好;(3)一个重叠的区域在0.5米到1米的范围,在连续的传感器,以确保准确的外部校准过程和点云对齐。图4描绘了采集系统。值得一提的是,该采集系统可以很容易地适应更大的车辆,包括额外的传感器在传感器的基线。

3.2。干扰问题

在两个连续的Kinect传感器之间的重叠区域,传感器之间的干扰可能会发生,因为所有Kinect设备项目的模式在同一波长红外点创建各自的深度图。这产生小洞的深度地图重叠的传感器。为了防止这个问题,收集到的数据按顺序在不同的时段。在第一次槽,传感器和同时收集各自的信息(参见图4)。然后,传感器,,扫描中央,回来,前面车辆的区域。镜头之间的延迟是所需的时间关闭第一批设备和初始化下一个。这个过程是由Kinect驱动程序和需要几秒钟。OpenNI框架被用来控制Kinect Xbox 360版本的传感器;这个框架不提供只意味着关闭红外投影仪。

4所示。校准的Kinect的传感器网络

Kinect技术由一个多视图系统提供三个输出:RGB图像,红外图像,每个传感器的深度图像。安排一组传感器成像系统的协作网络允许扩大整个视场和大对象模型,如汽车车辆。为一个适当的操作网络的一个精确的颜色之间的映射和红外必须实现。为此内部校准过程估计每个相机的内在参数在每个设备以及外在参数在RGB和红外相机在一个给定的Kinect是必需的,以及外部校准过程,提供了准确的估计之间的外在参数各自对Kinect设备。过程致力于Kinect传感器提出了以后和详细。

4.1。内部校准

以下4.4.1。内在参数估计内置Kinect摄像头

内部校准过程包括各自的内在的估计参数的颜色和红外传感器,焦距主要点,镜头畸变系数(19]。因为RGB和红外相机展示不同的颜色反应,拟议的校准技术使用常规棋盘大小9×7的目标,在两个传感器的光谱是可见的。在内部校准Kinect的红外投影仪被重叠的面具在投影仪窗口。红外投影仪否则介绍了噪声对红外图像如图5(一个),没有投影,图像太暗了,如图5 (b)。因此标准添加外部白炽灯照射棋盘目标人物5 (c)。彩色图像不受红外投影并创建一个清晰的模式,人物5 (d)。

棋盘是印在一个常规A3大小的纸,不反射明亮的blob由于外部白炽灯在红外图像平面上。以确保最好的校准结果,收集100张图片的颜色和红外摄像机。在每一帧图像都是同步的,所以,他们可以被用于相机之间的外部校准。估计的内在参数,每个Kinect校准单独使用的相机标定方法(19]。方法应用10倍100年图像中随机选择30日捕获的图像。reprojection误差也为每个迭代计算,这是一个测量偏差的相机响应的理想针孔相机模型。reprojection误差的均方根误差计算所有目标校准点。

校准后,RGB和红外摄像机实现reprojection误差在0.12和0.16之间像素,这比最初的性能由Kinect的默认厂家校准传感器。reprojection错误没有校准的红外相机大于0.3像素的相机是大于0.5像素的颜色。红外摄像机的焦距大于相机的颜色,也就是颜色的相机有一个更大的视野。也明显,每一个Kinect传感器都有略微不同的内在参数。这证实了一个正式的内部校准需要被执行在每个设备上支持精确的数据登记。

4.1.2。外在内置Kinect摄像头的参数估计

各自的颜色和红外摄像机的位置在每个Kinect单元是由立体校准。张(提出的摄像机标定方法19)还提供了棋盘的位置目标对摄像机坐标系统。如果目标仍然是两个相机固定,然后两摄像机之间的位置被定义为(1) 在哪里是齐次变换矩阵(包括3×3旋转矩阵和3×1翻译向量)从RGB相机到红外摄像头,从红外相机齐次变换矩阵棋盘的目标,然后呢是齐次变换从RGB相机到棋盘的目标。之间的平移和旋转参数RGB和红外传感器如表所示2五Kinect传感器。内部外部校准参数允许精确与颜色深度给定Kinect设备收集的数据。

4.1.3。的颜色和深度信息登记在一个给定的Kinect设备

Kinect传感器不提供注册的颜色和深度图像。一旦确定内部内在和外在参数对于一个给定的Kinect设备,手术合并的颜色和深度执行基于估计注册参数如下。第一步是正确与红外图像和深度图像。深度图像生成的红外图像,但两者之间有一个小抵消,这是由于内部执行的相关介绍在深度计算。偏移量是5像素在水平方向上和4像素在垂直方向(6]。删除这个抵消后使用(2),每个像素的深度图像准确映射相应的红外图像中像素的深度。因此,红外摄像机的标定参数可以应用于图像深度考虑 在哪里和是像素的位置,是上相抵消深度值影响Kinect深度传感器,然后呢修正后的深度值。第二步在于改变颜色和深度图像补偿径向和切向透镜畸变使用OpenCV undistort函数(20.]。这个函数估计使用失真的图像上的几何变换参数,并提供无畸变的彩色图像和深度图像。下一步是确定每个点的三维坐标对应的无畸变的深度图像,使用(3) 在哪里三维点坐标的像素在深度图像对红外相机坐标系,是像素的位置,红外摄像机的焦距,红外摄像机的光心,一个像素的深度在无畸变的深度图像。接下来,颜色从RGB图像分配到每个3 d点。颜色映射转换3 d点到颜色相机使用内部外在参照系相机参数然后reprojecting点屏的RGB相机使用的内在参数找到的像素位置无畸变的彩色图像的颜色使用(4) 在哪里是关于颜色的3 d点相机坐标系,和从彩色摄像机的旋转和转换参数的红外摄像头,然后呢是像素位置无畸变的彩色图像的颜色信息。

图6(一)展示了一个模型汽车门从颜色相机成像;图6 (b)显示颜色的深度信息间隔0 - 2.5从略微不同的角度的红外摄像头,同时保持Kinect传感器静态的面板。的不同位置和姿态Kinect单元中包含的两个摄像头之间的准确估计外在参数获得补偿的内部校准。

4.2。Kinect的外部校准传感器最佳平面法

校准过程中最后的一组参数估计是外在的,这是每一对Kinect之间的相对位置和姿态传感器。执行外部校准之间通过网络对红外相机的传感器因为深度信息生成这些相机。该方法背后的概念,这里叫最佳平面标定方法,是确定,每两个传感器,一个固定的平面棋盘的位置和姿态现实世界坐标。知道飞机的方向从两个不同的观点(即。,two Kinect sensors), it is possible to estimate the relative orientation and position change between the sensors.

外部校准的过程开发涉及到定位标准平面棋盘目标明显的重叠区域内的任意两个Kinect传感器。与大多数校准技术的文献,在此方法中不需要移动棋盘图像从多个视图。相反,一个固定的目标提高性能的方法。最好的结果是一个刚体变换,将收集的数据由一对RGB-D传感器。图7描绘了在校准过程中提出了扫描系统。

该技术利用的快速三维测量技术的嵌入式传感器和提供准确登记范围内的深度测量分辨率和Kinect可用。这种方法的一个重要优点是它是不必要的封面Kinect红外投影仪进行校准的这个阶段,这有助于操作当远程处理Kinect的网络设备。

方法在于找到一个法向量和棋盘平面的中心,它定义的相对取向和翻译棋盘平面。第一步是计算的3 d坐标棋盘上的角落对红外相机帧,使用(3)。当面前的棋盘目标定位Kinect传感器、红外投影仪的模式出现在棋盘目标如图8(一个)。这种模式产生噪音和很难提取准确的角落。自噪声类似于椒盐噪声,中值滤波的3×3提供了一个良好的大小减少噪音水平没有模糊图像,如图8 (b)。

此外,提取的点并不完全映射在一个平面上由于Kinect的量化影响深度传感器。因此,角点是用来估算三维平面(5)最小化之间的正交距离平面和三维点的集合。平面的方程然后允许估计的定位在3 d空间目标的红外摄像机

让的3 d坐标的目标是棋盘,;的系统方程求解平面方程。这些方程可以被制定成一个矩阵的问题

这个超定的系统解决的值,,距离与正交回归方法(21),它提供了最适合的飞机在这些点上。所有的3 d点,飞机上最适合的预计,。这些点来定义服务中心和平面的法向量。然而,投影点,,不代表具体的棋盘。因此,平面的中心不能定义仅由两条直线的交点经过接近中心。图9(一个)显示一组可能的双对称角点生成线通过接近中心。

最接近点对所有这些行被选中作为一个中心点之间的十字路口。两个点和在飞机上被选中来定义向量和。定义的正常飞机然后积:

这个正常的单位向量设在棋盘的框架对RGB-D传感器。的单位向量设在可以找到棋盘的棋盘中的任何两个垂直点。让和两个垂直点是高端的底端是一条垂直线。可能的组合的总数的垂直线。平均单位方向向量可以被定义为

这个向量的单位向量设在棋盘的框架对RGB-D传感器。的最后一个单位向量可以找到设在叉积,定义为

所有的单位向量的坐标框架棋盘目标可以组合定义RGB-D传感器和棋盘坐标系之间的旋转矩阵

翻译与棋盘框架的中心向量对应 和旋转和棋盘坐标系的转换矩阵对Kinect红外传感器。两个Kinect之间的位置和姿态传感器可以由下面的过程。让和同质Kinect 1之间的转换和棋盘和Kinect 2和棋盘之间,分别如图10。如果目标仍然是两个Kinect固定传感器,传感器之间的几何变换定义如下: 在哪里是Kinect的齐次变换矩阵2的Kinect 1传感器。

4.3。完成所有摄像机的标定的Kinect的传感器网络

相机布置如图4包括相邻传感器之间的重叠区域标记为灰色。在校正阶段,棋盘的目标先后放置在这些领域之间的外部校准每一对邻居Kinect红外传感器。图7显示了校准目标放置在Kinect之间的重叠区域和在一个实验校准过程。外部校准是成对使用最佳平面标定方法执行的细节部分4所示。2Kinect中心,将作为参考的基础设置。然后计算之间的相对校准,,,。图11显示了Kinect的校准流网络传感器。

kinect和有直接关系吗由外部校准参数定义的,立即获得了在每种情况下,但是和需要相关通过一个中间节点,分别和。之间的关系和是由以下方程:

5。自动检测特征区域的车辆

一旦Kinect的网络传感器分布在一侧的车辆是可用的和完全校准,该系统确定场景中车辆的位置,随后一组重要的车辆组件的位置。识别感兴趣的特定区域的目的在一个大对象,比如车辆加快建模过程的指导和促进机器人手臂,最终将与车辆进行检查或维护任务。获取知识占主导地位的位置特性的车辆减少了在高分辨率扫描的时间准确地聚焦驱动机械手的操作只有在选定的区域。它还允许操作机器人快速确定,很可能,机器人操作需要在整个车辆最典型的检查或维护任务。

实现高效、可靠的特征检测和定位在汽车领域,视觉探测器汽车零部件(VDVP)以前介绍的22)操作一幅描述车辆的一侧的一个完整的视图。VDVP收到作为输入的彩色图像车辆的横向视图来确定14车辆部件的位置。车辆的方法适用于不同类型的图像如4-door轿车,双门轿车,三门掀背车,5-door掀背车,SUV和皮卡。图12说明了应用该方法的结果在一个测试图像。圆形区域显示特征分类器检测到的;意味着广场区域的位置特征推断基于其他已知的特性。VDVP方法重新审视和集成工作。

原来的方法需要至少一个完整的车辆的横向视图提供了一个标准的颜色相机位于足够远从车辆图像其整个长度。更好地整合和增加收购的密实度设置,确定汽车的位置和车辆的车身面板应该通过使用Kinect传感器提供的颜色信息。然而,没有一个Kinect传感器可以收集一个完整的视图仅由于水平有限的视野和景深Kinect传感器技术。因此,有必要将彩色图像采集由传感器以协作的方式,,。为此目的,假设是由群Kinect传感器的图像平面是平行的,他们都是包含在一个更大的飞机。因此,为了准确地合并的颜色信息,只有翻译向量定义彩色摄像机的相对位置对中央Kinect的彩色相机是必需的。这些参数是描述的校准过程中获得的部分4并且可以计算通过结合内部和外部的外部校准参数,详细的部分4所示。3。得到的合成图像用于确定每个彩色图像中的部分对应于车辆和感兴趣的部分。这里原VDVP方法扩展,这样感兴趣的每个部分的检测过程是使用个人执行图像从每个传感器,每个代表一个部分的汽车而不是分段全景。

确定汽车的位置在侧面,VDVP方法依赖于成功检测车轮(22]。为了解决这个问题,该算法作出决定基于两种技术的结果估计车轮的位置:霍夫变换算法和基于Haar-like特征训练分类器来检测车轮(16]。然后,汽车都被封闭在一个边界框,从背景中分割出来。设置边界框的尺寸,位置重要的汽车特性的统计分析的训练集图像进行了。训练集代表了67%的一个集合包含一百一十彩色图像。剩下的33%的图片是用于评估目的。图13显示感兴趣的地区特性将位置。每个区域对应的兴趣,从左到右,分别后保险杠,车尾灯、后轮、后置处理、后窗,屋顶,中心,前处理,前窗,挡风玻璃,侧镜,前轮,头灯和前保险杠。

有轮子的位置恢复现场,对感兴趣的部分检测的目的,建立极坐标系。原点是后轮的中心。方向和在直角。的方向轴匹配的定向线从原点(后轮中心)前轮的中心。

一旦轮子的位置是已知的,下一步就是确定其他剩余的位置感兴趣的特性,车体。任何感兴趣的特性,,描述车辆在极坐标系中定义,如下: 在哪里和定义的中心感兴趣的一个特性是,在极坐标的最小半径圆周封闭该地区对于一个给定的利益的一部分。让地区一个特性,,预计将。是一个二元数组 可以表示为概率分布函数在极地地图叠加在车辆的横向图像,定义为 径向和角标准差(和)和期望(和)(15从训练集)计算实验,。因此,这些PDF功能定义为每一个可能的搜索区域利益考虑的一部分。

实现旋转、尺度、平移不变性的定义搜索区域,矢量指向的方向前轮作为中心轴,所有的向量指向特性感兴趣的是归一化对车轮的中心,之间的长度和坐标系统的原点对应于后轮中心的位置如图14 (b)。到目前为止一组区域对每一部分的利益和形象,在分段全景的定义。接下来,每辆车功能,被探测到,搜索区域,,定义。然后,一组分类器训练检测感兴趣的每个特性,,使用。检测方法是构造基于Haar-like作为提振的级联分类器的特性。分类器训练了一组图片,。每个检测分类器执行的排名使用相应的PDF功能。错误的使用这种方法检测迅速被丢弃。

5.1。确定失踪车辆部件的位置

汽车板位于车体使用车辆特性。图15显示了每辆车的分类速度。使用测试集分类器进行评估,如前所述,包含33%的彩色图像的集合的车辆。12个功能是检测到的学习算法;其余的位置特性(windows),以及这些特征的位置没有成功地分类器检测到的推断如下。

让是车辆的几何模型定义如下:。也就是说,定义了车辆之间的空间关系特征的兴趣包含一个图像的每辆车的位置的部分。

让使用车辆的几何模型构建部分感兴趣的方法检测成功地提出了在上一节中,被丢失的数量特征。让是一组几何模型为每个图像训练集,。一个相似性函数,衡量,足够了和,可以定义如下: 在哪里成功的概率是检测分类器的一个特定的功能,。这个概率分布确定为每个汽车部件检测和实验报告的主要部分的兴趣(22]。定义了检测到的概率特性,被发现在正确的地方考虑到模型中,和相关的概率分布。因此,对于每一个功能,,在相似度函数,计算模型。这种方式最可能的位置是由选择的最小值。部分模型,升级的新位置。重复这个过程,直到完整的功能。最后,模型,,不仅提供了准确信息的位置感兴趣的部分,但汽车的类型信息,大小,位置和方向的车辆由于每个模型在除了包含感兴趣的车辆之间的空间关系特征还包含语义信息对车辆的类型。图16显示了一些结果提出了部分检测技术应用于彩色图像收集从三个Kinect传感器在不同车辆的横向部分。

6。三维重建车辆侧板

收集的点云的Kinect传感器第一对齐之前使用外部校准参数计算。然后,分割过程应用于单独的点包含在发现感兴趣的区域,使用VDVP方法的部分5从整个点云。分割,检测到的位置感兴趣的部分彩色图像映射到三维点云。的坐标后保险杠、前保险杠、屋顶,车轮提供3 d边界框的宽度和高度封闭所需的点。加减键框深度被定义为一个固定的参数(30厘米)的平均深度部分。这个参数建立了实验,折叠和褶皱的表面汽车车辆通常不超过这个阈值。接下来,一个三角形网格是建立在各自的团体感兴趣的点对应于每个地区检测到的表面。这个过程导致一群当地的3 d彩色模型表示的形状和视觉外观表面的车感兴趣的特定区域。网格是一种拓扑结构通常由无组织的点。德劳内三角测量技术(23)通常被用于此目的,但往往是计算昂贵。然而,Kinect传感器提供结构化的方式深度阅读(矩形点阵)。优势是采取这种结构化信息执行三角测量过程有效地使用以下技术。

让的三角形网格计算给定的点云。后者是一个矩形点阵的3 d点的约束下使用Kinect的传感器。让是一个变量阈值定义了表面连续性和让,,,四个邻居的一个点定义如图17。的参数增加按照传感器和表面之间的距离因为传感器的误差增加沿设在。

现在,让我们假设,,,,点云的指标向量和一个3 d点吗用这种方法可以访问:(索引)。如果有一个洞,缺少点集的坐标。鉴于这种结构,三角形网格生成加速如下。

对于每个点在候选三角形,两个评估单独根据连续性标准的顶点。三角形的包含或拒绝的标准在于比较阈值前面提到的差异坐标之间的双点。如果成功通过了检查,三面多边形添加到网格。三角形定义如下:和,在那里,,,,。通过使用这种技术,迅速执行三角测量过程。该方法的缺点是一个事实,即它往往离开小洞如果有缺失点的点云。

7所示。实验评价

本节提出了一系列的实验旨在评估拟议中的传感框架。第一个实验评估传感器捕获时的公差不规则形状的车身部件在模拟不均匀的表面如semicontrolled环境。框架提供的点云的不同部分车辆;信息是一致的,它是用来创建一个三角形网格的表面。因此,下一个实验评估拟议中的网格生成算法的性能。本节结束的定性评价,完整的3 d重建侧板的车辆和大型对象。

为了评估系统的功能重建不规则的表面,一个车门的模型,如图6(一)与单个Kinect成像传感器。该模型用于模拟实际车辆表面的不规则曲线以及折叠和褶皱,如图(18日)。一组表面凸点的门是选择评估方法的准确性。使用这些点,构建一个面板的剪影。图(18日)显示了凸点在户型及其重建。5分的表面轮廓代表紧密的曲线。另外,添加了三个小疙瘩在光滑表面的一部分被用作参考点。图18 (b)礼物的结果构造的轮廓户型使用不同的点云。与传感器收集的数据倾斜的角度5、10和15度的水平层次。传感器是定位在30厘米以上的底部的门,从最接近1.5的门。最点的轮廓被选为一个共同的点对齐的剪影。

在图18 (b),黑色线代表模型的实际形状。颜色线表示实验结果在三个不同的传感器对对象的倾向。的错误和坐标,对于大多数的点,在间隔(0±1.8)厘米的实际门模型,证明了扫描系统取得了良好的宽容程度不规则的水准和校准的传感器。在图所示的图像19是三维重建和三维网格模型的门。对于本文可视化的目的,二次聚类算法(力量24)是应用在三角形网格以减少三角形的数量。

接下来的实验进行了测量的性能提出了三角形网格生成算法。结果比较,在表中3,通过使用德劳内算法可视化工具包提供的库(VTK) [25]。传感器,,被用来创建三个个人相应的车体区域的三角形网格。结果见表3跑后得到的算法在每个点云的10倍。结果的差异可以用这一事实来解释德劳内算法设计与nonstructured 3 d点而提出的技术部分6利用3 d点的矩形点阵Kinect产生的传感器。

最后,实验使用提出了扫描系统和真实的车辆。在这个测试中,一个完整的重建不同车辆的侧板实现评价的能力Kinect传感器执行在semiconstrained环境和大对象表现出复杂的表面反射特性。执行第一个收购semioutdoor停车场超过一天时间。自然光线出现在现场通过外围开口在车库里,当传感器免受阳光直射通过混凝土天花板。图20.显示了一个示例的三维重建结果提出方法和网络三个Kinect传感器的车辆在图1 (b)。这个收购了加拿大冬季导致车辆的侧板从路上覆盖着泥土和盐沉积条件,创建各种色调的绿色油漆,灰色肮脏的地区,从头顶的灯光出现在镜面反射点安装。收集的原始信息可以区分每个Kinect的颜色方面,中央和后面板。图21注册后显示了完整的三维重建结果,融合基于提出的校正阶段执行方法。用于可视化等大批杀害算法应用在网格三角形足以可见。这也影响了明显的显示模型的平滑。斯坦福大学提供的3 d重建三角格式(26),这是一个方便的和标准的方式来表示信息的三维网格,它可以轻松地使用机器人轨迹接近地表的计划。

在接下来的实验室内停车场的收购了。图22显示了车辆站在前面的实验装置与5 Kinect传感器的快速三维建模阶段,将推动机器人检查。这一幕被白炽灯和卤素灯照明。

重建两种不同类型的车辆数据所示23和24。在这种情况下,纹理被kinect的RGB相机添加到重建的场景,它提供了一个更好的升值的重建。

挡风玻璃、侧窗、头灯和尾灯是失踪的一部分深度地图,因为生成的红外能量Kinect设备通过透明的表面或在其他方向偏转。然而,面包车的后窗,有色玻璃制成的,部分被俘。所有车辆的身体和车轮的主要领域,包括黑橡胶轮胎,准确地重建,和部分模型获得的五个观点正确对齐,即使在狭窄的屋顶支撑梁和高度弯曲的保险杠的地区。

表4的特点,提出了一种比较重建车辆和其实际尺寸。Kinect深度量化引入了扩展错误约1厘米的高度和宽度和深度误差约2.5厘米距离3米。每个传感器覆盖全部车辆的高度,和高度的平均误差在1%以下。汽车的长度的估计和轴距(即。,distance between the centers of the front and back wheels) involves all the calibration parameters estimated for the network of Kinect sensors. The error on the length is under 2.5%, which is relatively minor given the medium quality of data provided by Kinect at a depth of 3 m and in proportion to the large working volume. For further assessment of the algorithm, an ICP algorithm [27)是应用于点云,但它并没有显著改善取得的注册/是什么估计校准参数。这证实了部分中描述的初始校准的准确性4。

最后,图25显示其他车辆模型的重建与一些垃圾桶,获得相同的设置,来评估拟议的校准RGB-D收购的泛化能力框架。广泛的车辆都是在实验中,颜色和大小。白色车辆与深灰色的颜色似乎比汽车更整体,缺少深度数据在哪里注意到右边的前部的车辆密度点的地方收购变化在更大程度上的重大改变kinect的一致性和。深绿色的垃圾桶也正确地重建与分段RGB-D模型之间的同轴度。

本文提出的算法在c++开发和运行在电脑上英特尔酷睿i7处理器和Windows 7。所需的平均时间,该方法重建三维表面形状捕获每个观点的普通车是4.0秒。关于收购的时间,网络的传感器收集的信息在两个时间段,以避免干扰;每个设备的初始化需要1到2秒。因此,扫描和三维纹理建模过程对整个汽车在30秒内完成。值得说的是,大部分时间被视觉检测子系统的部分利益。校准过程进行离线,三角算法运行的传感器收集的深度信息。

自动选择感兴趣的区域详细的部分5允许快速提取子集生成的3 d模型,可以进行进一步的处理,包括高分辨率扫描,如果需要,在有限但战略选择表面为了驱动机器人操作与更高的精度在这些地区。这证明了一个有效的策略考虑到高分辨率采集和3 d建模在整个对象的大小车辆将禁止在时间和资源。

8。结论

在这项工作中,快速采集和重建方法自动化汽车车辆等大型物体的3 d建模。的方法建立在一个快速Kinect传感器网络分布式对象收集周围的颜色和深度信息超过车辆的侧板。3 d建模结果是为了提供一个机械手臂充分准确的空间信息对车辆的车体和多达14个特征的3 d位置感兴趣的表面,这样它可以与汽车板各种检查或维护任务。

这项技术打开了一扇大门,大量使用低成本RGB-D传感器实时三维重建应用程序。这项工作的主要贡献提供一个可靠的方法来集成多种颜色和深度数据流,在大型对象的三维重建的任务。为此,一种有效的方法,完整和准确校准的所有内在和外在的参数RGB-D传感器单元专门量身定做的Kinect传感器技术。此外,自动检测和识别的方法感兴趣的关键区域在车辆的马赛克Kinect的彩色图像详细。最后,一个加速三角网生成算法的设计,利用范围Kinect传感器提供的数据的内在结构,进一步加快3 d模型生成。整个框架下通过实验验证的几个操作条件,包括实验室环境中,semicontrolled车库收购和3 d重建执行在不同大小的对象,包括大型车辆。结果证明的有效性、准确性和速度使用Kinect的RGB-D传感器,在机器人的背景下指导。添加额外的传感器实现的360度全覆盖汽车代表了这个调查的下一步将进一步扩展当前的能力。

利益冲突

作者宣称没有利益冲突与任何公司或组织有关本文中讨论的材料。

确认

作者承认的支持加拿大自然科学和工程研究委员会研究通过战略项目批准号STPGP 381229 - 09年,以及Scintrex跟踪公司的合作。

引用

1. z . j .周j .通l . Liu,和h(音)“扫描3 d人体使用kinect,”IEEE可视化和计算机图形学,18卷,不。4、643 - 650年,2012页。视图:出版商的网站|谷歌学术搜索
2. a . Maimone和h·福克斯Encumbrance-free网真系统实时3 d捕捉和显示使用商品深度照相机,”学报第十届IEEE国际研讨会上混合和增强现实(ISMAR 11)2011年10月,页137 - 146。视图:出版商的网站|谷歌学术搜索
3. p . j . Noonan t . f .笨蛋w·a·哈雷特和r·海因茨”的设计和初始校准光学跟踪系统使用微软的kinect,”《IEEE核科学研讨会和医学影像会议(NSS /麦克风' 11)2011年10月,页3614 - 3617。视图:出版商的网站|谷歌学术搜索
4. p . Rakprayoon m . Ruchanurucks, a . Coundoul“kinect障碍检测机械手,”学报IEEEE /马夫系统集成国际研讨会(他们的11),第73 - 68页,2011年。视图:出版商的网站|谷歌学术搜索
5. k·伯杰,k .鲁尔·m·阿尔伯斯et al .,“动荡的气体流的捕获使用多个kinect,”《IEEE计算机视觉国际会议研讨会(ICCV 11)西班牙巴塞罗那,页1108 - 1113,,2011年11月。视图:出版商的网站|谷歌学术搜索
6. j .进攻,m . Jancosek和t . Pajdla“3 d与kinect,”《IEEE计算机视觉国际会议研讨会(ICCV 11)西班牙巴塞罗那,页1154 - 1160,,2011年11月。视图:出版商的网站|谷歌学术搜索
7. c。公园,S.-W。金、d . Kim和S.-R。哦,”比较飞机使用激光扫描仪和kinect,萃取性能”学报》第八届国际会议上无处不在的机器人和环境智能(URAI 11)155年,页153 - 2011年11月首尔,韩国。视图:出版商的网站|谷歌学术搜索
8. n . Burrus”演示软件可视化,校准和kinect摄像头输出的过程,”2012年,http://nicolas.burrus.name/index.php/Research/KinectRgbDemoV6。视图:谷歌学术搜索
9. m·加夫尼“Kinect / 3 d扫描仪校准模式,”2011年,http://www.thingiverse.com/thing: 7793。视图:谷歌学术搜索
10. y施罗德,鲁尔k·伯杰,k . c .介绍a .朔尔茨和m . Magnor”Markerless使用多个颜色深度传感器、动作捕捉”《视觉,建模和可视化,第324 - 317页,2011年。视图:谷歌学术搜索
11. k . Khoshelham“kinect深度数据的精度分析,”在激光扫描程序ISPRS车间,第1454 - 1437页,2011年。视图:谷歌学术搜索
12. s Matyunin d . Vatolin y Berdnikov, m .斯米尔诺夫”产生的深度图的时间过滤kinect深度相机,”5日3 dtv研讨会论文集:真正的机器视觉、传输和显示3 d视频(3 dtv-con 11)2011年5月,页1 - 4,。视图:出版商的网站|谷歌学术搜索
13. S.-M。金,研究。李和研究所。李,“视觉螺母焊接自动检测系统基于铰链的支持,”学报SICE-ICASE国际联合会议2006年10月,页1508 - 1512。视图:出版商的网站|谷歌学术搜索
14. Agarwal, a Awan d·罗斯,“通过稀疏学习检测图像中的对象,部分原因表示,“IEEE模式分析与机器智能,26卷,不。11日,第1490 - 1475页,2004年。视图:出版商的网站|谷歌学术搜索
15. a . Kiryakov b·波波夫Terziev, d . Manov和d . Ognyanoff“语义注释、索引和检索”网络杂志的语义,卷2,不。1,49 - 79年,2004页。视图:出版商的网站|谷歌学术搜索
16. p .中提琴和m·琼斯,“快速目标检测使用一个简单的特性,提高了级联”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR ' 01)页,I511-I518考艾岛,夏威夷,美国,2001年12月。视图:谷歌学术搜索
17. Y.-F。Fung, h·李·m·f·埃尔詹”图像处理应用程序收费。”IAENG国际计算机科学杂志》上32卷,第478 - 473页,2006年。视图:谷歌学术搜索
18. m . m . Trivedi t·甘地和j·考尔,“看着,看着车辆:computer-vision-based加强车辆安全,”IEEE智能交通系统,8卷,不。1,第120 - 108页,2007。视图:出版商的网站|谷歌学术搜索
19. “灵活的摄像机标定新技术。”IEEE模式分析与机器智能,22卷,不。11日,第1334 - 1330页,2000年。视图:出版商的网站|谷歌学术搜索
20. 开源的计算机视觉库,http://opencv.willowgarage.com/wiki/。
21. 实时计算机图形学和物理学、数学、几何、数值分析和图像分析,“几何工具,”http://www.geometrictools.com/LibMathematics/Approximation/Approximation.html。视图:谷歌学术搜索
22. a . Chavez-Aragon r . Laganiere, p . Payeur”建立多个车辆的检测和标签部分,”诉讼IEEE国际会议上的智能交通系统华盛顿特区,页1273 - 1278,美国2011年。视图:谷歌学术搜索
23. 昌明投资o·m·德伯格,m . Van Kreveld和m . Overmars“德劳内三角剖:高度插值,”计算几何:算法和应用程序施普林格,页191 - 218年,第3版,2008年版。视图:谷歌学术搜索
24. p·林德斯特伦,”核外简化大型多边形模型”Proceedigs 27日的年度会议在计算机图形和交互技术(SIGGRAPH ' 00)2000年7月,页259 - 262。视图:谷歌学术搜索
25. 可视化工具包VTK,http://www.vtk.org/。
26. 斯坦福大学三角形式、厚度、http://www.cs.virginia.edu/ gfx /课程/ 2001 / Advanced.spring.01 / plylib / Ply.txt。
27. p . j . Besl n·d·麦凯,“登记3 d形状的方法,”IEEE模式分析与机器智能,14卷,不。2,第256 - 239页,1992年2月。视图:出版商的网站|谷歌学术搜索

版权

版权©2013 Alberto Chavez-Aragon et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。