利用态度传感应用导航飞艇

文摘

一个姿态航向参考系统(AHRS)用于补偿旋转运动,促进建立导航上面平滑地形通过生成虚拟映像来模拟纯翻译运动。AHRS结合惯性和地球磁场磁传感器提供绝对定向测量,和我们最近开发的校准程序决定了旋转参考帧之间的明显和单眼相机。通过这种方式,旋转补偿,剩下的平移运动恢复通过直接找到一个刚性变换注册相应的场景坐标。水平地平面,纯翻译模型执行比意象方法更准确,这是证明恢复我们的飞艇无人机的轨迹和与GPS数据进行比较。视觉里程计也融合GPS,和地平面地图生成估计车辆的姿态和用来评估结果。最后,关闭循环检测通过寻找以前的同一地区的形象,和一个开源大满贯包在3 d图形优化采用正确的视觉测距漂移。高度估计的准确性也评估对地面真理在一个被控制的环境中。

1。介绍

本文结合计算机视觉技术方向测量从一个惯性和磁传感器包,和这个组合是利用来确定相对连续的观点采取移动观察者,如无人机(UAV),夷为平地地形上方移动。本文包括遥控无人驾驶飞艇的复苏轨迹图1,相机加上一个姿态航向参考系统(AHRS),和一个全球定位系统(GPS)接收机。这种视觉测距技术可以应用于任何移动相机图像夷为平地地形,包括飞行器,它可以单独使用如果GPS暂时不可用或融合GPS位置修正得到一种改进的轨迹,更连贯的地面的地图。后发现其他相关对关闭循环构成约束,基于三维同步定位和映射(大满贯)技术应用于最小化视觉里程计的漂移。尽管只有相对高度可以从图像中恢复过来,一个初始高度测量需要恢复米尺,视觉测距和大满贯方法恢复的高度组件轨迹没有额外的测量。最初的高程测量获得的成像对象已知的维度在地上。

当定位测量获得的好处使旋转运动补偿,和图片是reprojected探索到一个稳定的参考系中3。具体来说,为一个平面区域的图像序列,与相应的像素坐标的转换的两个图像的3 d平面是一个平面单应性。如果旋转补偿,可以投射在地面平面像素对应关系,产生的相应的现场点,找到一个刚性变换登记注册的直接在场景坐标。这是普罗克汝斯忒斯著名的实例问题[1]。

现代AHRS输出地理定位测量,使用加速度计测量方向的重力和磁力仪测量地球磁场。AHRS固件融合和过滤器信息从其内部传感器,释放更高水平的主要CPU任务和生成输出在一个更大的频率比典型的数码相机的帧速率。

中所描述的实验部分4利用一个小玩具小汽车明显是固定的刚性单眼数码相机,提供地理坐标估计摄像机的方向。生成这个估计之间的刚性变换相机和AHRS帧必须已知。这个变换估计通过我们最近开发的校准过程(2,3),不再需要精确的机械装配。这已经被用于提高鲁棒性的图像分割和三维结构恢复立体(4,5)或独立运动分割(6]。描述的坐标框架和校准过程部分2,也评论相对构成复苏只使用一个平面的图像。

1.1。相关工作

在[7],stereovision-only方法用于建立一个3 d地图环境的立体图像进行了遥控飞艇,保持相机姿态的估计和自动检测地标的位置在地上。找到地标的兴趣点算法应用于图像的天线。这不是他们的目的,将惯性测量。

再次与无人机携带立体相机,通过注册连续轨迹可以恢复三角三维点集计算为每个立体框架。已发现轨迹几百米(8),尽管无人机高度是有限的几米由于立体基线的大小。

图像拼接是执行无人潜艇导航上面平水平海底,只使用单眼相机的图片作为输入的计算相对构成(9]。最近的车辆定位估计是用来reproject图像到一个稳定的平面上,避免利用惯性传感器的直接措施。车辆姿态估计,马赛克海底的生成,进而用于导航。尽管它涉及复杂的优化步骤,登记收敛只有在车辆限制运动和显示最小横滚和俯仰角度的变化。这些结果表明vision-only方法的局限性。

无人机轨迹也可以估计融合GPS和车载惯性数据和考虑动态车辆模型。考虑到这种精确的车辆构成,从高空飞行的飞机拍摄的图像reprojected到地平面从而实现一个像素精度与不需要图像注册技术(10]。

结合惯性和视觉数据被用来保持姿势估计在水下环境中,导航机器人潜艇在大区域(11),没有访问beacon-based定位系统。相对姿态测量的图像被用来避免分歧跟踪车辆构成,并生成一个图像马赛克作为副产品。

上下文中的一个飞行器,即使没有利用可用的GPS数据,惯性测量和观察人工路标的图像可以融合在一起来提供一个完整的6自由度姿态估计,执行本地化和映射,并将最新进展过滤。惯性传感器和气压高度传感器还可以弥补GPS高程测量不准确或卫星辍学(12]。使用地面车辆[也得到了相似的结果13]。

空中机器人的轨迹可以恢复图像平面的水平表面使用兴趣点匹配,一个高度计的帮助下找到规模(14]。使用平面单应性模型时的各种几何约束提出了恢复正确的运动的四个解决方案之间的单应性矩阵分解(15]。这已经执行一个飞艇通过使用集群和blob-based兴趣点匹配算法,建立一个图像马赛克反过来用于导航。涉及的相对姿态估计图像的单应性计算平面区域由无人机(15)和图像序列由各种无人机(16]。

视觉测距方法提出了只使用取向估计的明显和相应的像素从单眼相机图像(冲浪获得的17兴趣点匹配算法),因此它不是立体基线约束和限制它不依赖于人工路标。明显的取向测量得到,没有考虑任何的车辆动力学模型,即使我们的小型飞艇有大型横滚和俯仰变化(18]。它可能被用于高度很低,当GPS高度的不确定性是重要的(例如,在着陆或者起飞)或large-altitude航班高于平原地区。摄像机的运动是不受限制,只要它的取向是测量和地面平面成像。GPS是利用只进行比较,而不是轨迹恢复过程本身,除了部分的实验4所示。4结合GPS和视觉测距。

图像在一个虚拟的平面的reprojection是众所周知的(9,10),但仍然是大多数作品中使用的单应性模型。纯翻译模式无疑是一个选项,似乎特别适合垂直运动的估计。此外,翻译向量的提取规模是微不足道的,与一个独特的解决方案。相比之下,与单应性模型,恢复矩阵必须代数分解为旋转,平移组件,产生四个可能的解决方案,其中只有一个是真正的相对姿态(19]。此外,优化步骤包括在单应性估计可能被消除,降低计算成本在现实的场景中,即使离群值删除将变得更加困难。一些初步结果使用航拍图像和纯翻译模型已经获得(20.),但更全面的结果是失踪的文学。

2。定义和参考帧

在本文将使用下列符号:大写粗体字母表示矩阵(例如,),小写粗体字母表示列向量(例如,),字母斜体表示标量(例如,),在脚本和字母字体表示3 d点(例如,)。

2.1。投影相机模型

使用标准的针孔相机模型。相机中心是欧几里得坐标系的原点称为相机坐标系和表示框架,是一个指数来表示摄像机运动。用齐次坐标空间中的一个点在摄像机坐标系映射到均匀图像像素由方程,在那里是单位矩阵,零向量,是内在参数矩阵,定义的 在哪里代表了相机焦距的像素尺寸。的变量和是主点坐标的像素尺寸。摄像机标定,即矩阵决定,使用相机标定工具箱(21),这也决定了径向透镜畸变系数。本文中使用的所有图片以前透镜畸变的校正。

2.2。参考系的定义

以下其他参考系的定义一次指数,如图2。

(我)惯性传感器坐标系 。定义的测量轴的惯性传感器明显。明显取向输出之间的旋转和帧。(2)世界坐标系 。经度纬度海拔(LLA)框架。(3)虚拟向下相机 。这是地理坐标相机坐标系,它的起源与股票框架,但其光轴指向下方,重力的方向,和其他轴(即。图像平面)与北部和东部方向保持一致。图2(一个)显示了该框架在不同的位置帧只提供一个清晰的理解绘画。

2.3。虚拟水平面概念

相机的知识取向所提供的定位测量允许reprojected图像在实体上定义绝对地理坐标框架,例如虚拟水平面(平行于正常重力),在距离以下相机中心,如图3(一个)。投影射线从3 d点相机中心这个平面相交,reprojecting 3 d点到平面的。此reprojection对应虚拟摄像机的图像,补偿由于标题和角度变化的差异。相机的高度变化不是补偿,导致规模不同的虚拟映像。部分3.2如何执行这个reprojection细节。

图3 (b)显示一个图像的reprojection为例。上面所示的原始图像和reprojected图像所示的交叉与北部和东部地面几乎是一致的轴。

2.4。实验平台和校准

GPS用于比较是Garmin GPS35没有差分校正。输出包括预期的位置误差在水平和垂直轴(和为每个位置修正)。飞行实验使用的MTi AHRS Xsens [22]。制造商,其取向标准偏差是1°如果输出的传感器是静态的。应该为移动的无人机更大的错误。飞艇的贡多拉有内燃机和一个铝结构,因此没有磁铁这将阻碍AHRS指南针。

相机是一个点灰色跳蚤(23),如图1严格安装明显。首先校准相机来确定它的内在参数矩阵和镜头畸变参数(21]。后续离线标定程序(2,3)使用挡板找到之间的刚体旋转图像和框架,表示。它是基于传感器测量重力方向。相机观察垂直消失点的垂直放在棋盘上,明显措施重力矢量的加速计。图像采集库提供的时间戳和传感器利用固件来匹配不同传感器的测量。

奔腾IV 2.4 GHz计算机是用于计算报告。

2.5。平面表面和单应性

考虑一个由两个相同的3 d平面成像相机放置在不同的位置。也考虑的一组像素对应属于平面的形式对像素坐标,每一对对应于相同的3 d点的投影到每个图像。单应性由矩阵有关这两组均匀像素坐标等,据说单应性诱导的3 d平面(24]。单应性可以从像素通讯中恢复过来,并与3 d飞机正常距离摄像机中心平面,相对相机的姿势所代表的两个摄像机投影矩阵和,如图4(一),通过 任意缩放矩阵在哪里首先是恢复,然后比例因子必须恢复。规模等于第二大奇异值,签署(19]。正确的标志通过实施积极的恢复深度约束。

规范化的单应性矩阵可以分解为,旋转矩阵,翻译向量(19]。相对姿态恢复有一个固有的歧义,作为翻译的大小是没有恢复,只有比率。单应性可以用来恢复寄存器一对图像通过应用转换中恢复过来在第一个例子形象的人物4 (b)。

2.5.1。纯旋转情况下

的无穷远 是平面的单应性诱导无穷。这也是两个图像之间的单应性取自两个摄像头在同一位置(没有翻译,),但旋转的旋转由一个矩阵表示。无穷远还可以用于合成虚拟视图从一个不存在的虚拟摄像头,在所需的方向,给定适当的旋转矩阵。

无穷计算的极限过程趋于无穷时,或翻译倾向于零。在这两种情况下的比率趋向于零(2):

3所示。轨迹恢复下纯翻译

在水平的背景下由一个移动的3 d平面成像相机测量定位,本部分探讨了简单的运动模型,实现更精确的测量相机的高度和重建相机轨迹从一个图像序列。

3.1。促进与Reprojected图像兴趣点匹配

在本文描述的过程的第一步是reproject每张图片放到虚拟水平面,如部分所示2。3。这样,相机旋转补偿,任何一对相机之间的相对姿态姿势就变成了一个纯粹的翻译。

另一个目的是放松要求的兴趣点检测,编码和匹配算法(25]。实际上,因为正确的比例匹配与兴趣点检测到更好的总数从同一角度拍摄的图像,兴趣点可能调整算法参数少检测功能,同时正确地匹配相同数量的兴趣点。因此,兴趣点匹配过程可以更快(更少的兴趣点意味着更少的描述符计算,和一个小数量的描述符匹配意味着更快的匹配),或更健壮(更正确匹配具有相同数量的检测兴趣点意味着更大的概率成功图像配准),这是一个权衡。否则,这将是必要的,特征编码和航向不变的观点差异在原始图像(26]。

为低空航拍数据集用于部分4所示。2,所花费的时间匹配描述符使用reprojected图像兴趣点执行匹配所需的时间与原,nonreprojected图像。正确的数量与reprojected小10%图像兴趣点匹配。所花费的时间来生成reprojected图像必须打折,但平均小于四倍加速获得的描述符匹配。除此之外,reprojecting图像可能是一个必要的任务本身,例如,生成图像绘制在图9。在我们以前的工作也报道了类似的涨幅小规模数据集(25]。

这reprojection-sometimes称为prewarping——已经广泛用于行驶车辆进行了预处理拍照像潜艇9],和类似的改善homography-based注册报道角度不变性是通过注册图像模拟初始估计的单应性27]。这些改进和权衡的一个详尽的评价是失踪在感兴趣的文学,但现有的评估点算法(28,29日]证明与角度变化的性能会降低。

本文所有实验使用reprojected图像,虽然只有reprojected坐标匹配的兴趣点,因此reprojected的实际生成的图片并不是必需的。通常成百上千的对应点之间发现一对连续的图像。的平均数量有效通讯(不含异常值)在飞艇飞行试验是在388年。原始图像和单应性模型被用于比较的部分4所示。2。

3.2。无限的单应性

无穷合成虚拟视图的一个不存在的虚拟摄像头从真正的由相机。为此,地方的旋转框架的框架必须已知。翻译两帧之间是零的定义。

为每一个图像,同时明显取向输出估计之间的旋转和帧。考虑到旋转矩阵camera-inertial校准,计算相机定位在世界坐标系的旋转。

旋转旋转的到框架:

然后之间的旋转框架和框架计算。

因此,用于reproject图像转变成虚拟水平面

3.3。普罗克汝斯忒斯注册组现场点()

假设一个航拍图像序列水平地面的补丁,这些图片是在虚拟水平面reprojected部分所示3.2。虚拟摄像机水平图像平面平行于地平面。鉴于连续两个视图和像素之间的通讯,两个相机之间的相对姿态位置必须恢复三维向量的形式。

每个对应的像素投射到地平面,生成3 d点,如图5(一个)。两套3 d点生成的连续两个观点,而这些集直接在现场注册的坐标。事实上,正如所有点属于相同的地平面,登记是解决二维坐标。图5 (b)显示了这个过程的一个图表。

每一对对应的像素预计由(6)的一对点: 在哪里,在非齐次形式,地平面的高度超过第一个相机,和第二个负号坐标图像和世界之间只是一个调整轴,这取决于相机框架公约。如果第一个相机的位置的起源和坐标(这里只相对构成必须确定)的坐标正确的投影的坐标吗在地平面上,在实际的公制单位。但不是正确的投影,因为第二个相机位置没有考虑到翻译的差异和规模之间相应的两套吗和点在地上飞机。

考虑到对在地平面对应点,普罗克汝斯忒斯的常规附录所示B找到注册的2 d转换和比例因子两个点集,产生的和的组件和比例因子代表第一和第二摄像机之间的相对高度。如果的假设图像和地面平行平面和水平都是真的,删除离群值,并以同样的信心,所有相应的像素坐标,然后它可以普罗克汝斯忒斯证明了最小二乘意义上的解决方案是最好的解决方案。的的组成部分方程,找到了吗。

4所示。结果

4.1。三脚架实验:相对高度的复苏

在这个实验中,严格耦合AHRS-camera系统图1是安装在三脚架和50层的图像从不同的观点在三个不同的高度。三脚架感动手动但仍保持在每个图像。形象的例子在图所示6。目标是为每个视图计算相机的高度比第一个观点的高度,和比较结果hand-measured地面真理。

图6显示了所有50个图像的相对高度。两个箭头连接两个强调指出各自的图像。三脚架是将三个不同的高度,因此这三个水平线是地面真理。普罗克汝斯忒斯圈是相对高度发现的例行公事。十字架是相对高度作为一个单应性的行列式,估计RANSAC优化,以减少像素对应的投影误差,和缩放(2)。

结果总结在表1,相对高度单位是高度参考(1045毫米),他们表明,普罗克汝斯忒斯闭型常规收益率比单应性模型更好的精度。没有改善执行时间,因为虽然没有一个优化的步骤,离群值去除慢得多。

4.2。无人机的复苏轨迹

接下来的实验利用遥控飞艇的图拍摄的图像1,AHRS-camera系统和GPS接收器,飞行在平面区域Coimbra的城市机场旁边。飞行的卫星图像区域图10。原始数据集和视频记录航班和补充这部分的结果部分4所示。4可以在我们的网站上(30.]。

旁边的字母写在地面跑道是可见的第一形象。图片上的字母测量,然后第一个飞艇高度计算摄像机内参数和实际,hand-measured、大小的字母。第一个高度被发现m。

恢复轨迹图所示7。的2 d和3 d绘图提供相同的数据。GPS轨迹是由小的圆圈表示,更大的圆圈表明GPS弗约8米在水平轴。GPS表示轨迹的长度543米,平均9 m / s的速度。与一个离散卡尔曼滤波器维纳过程加速度模型(31日)过滤的平移向量方法和预测一些形象的翻译对翻译估计不成功和测量失踪了。附录一个显示了这个卡尔曼滤波器预测方程的细节。

方块图7使用3 d显示轨迹重建普罗克汝斯忒斯翻译向量估计的方法作为卡尔曼滤波器的输入。星星显示轨迹恢复单应性模型只使用原来的相机图像,而不是使用明显的数据,reprojected图像或普罗克汝斯忒斯的例行公事。因为只有比由单应性恢复,恢复是恢复向量乘以当前估计飞船高度。飞艇的位置包括其高度是使用这些扩展卡尔曼滤波估计的3 d转换向量作为输入。飞艇高度的恢复轨迹和姿态角测量的AHRS分别如图所示8。表2和3视觉里程计显示错误,以GPS作为参考,和执行时间。

另一个图像序列恢复轨迹如图9。地平面上的图像是reprojected形成一个地图使用(6)的度量坐标四角的地平面上的投影,并相应地在画布上绘制的图像。更好的对齐较大的道路和较小的线在草地表明图的地图9(一个),利用飞艇姿态恢复视觉测程法,是注册比图的地图9 (b)利用GPS的位置修正。两个数据利用相同的图像定位数据。

4.3。分析定位误差的影响

如果一对相同的相机放置在不同的位置有相同的方向,一个相对高度值不得计算为每一对对应的像素作为图像的比例与核点的距离(也称为扩张的重点),在表单中(32]。一对图像的相对高度的比例是第二个相机的高度在第一个的高度。reprojected图像模拟虚拟摄像机平行和水平图像平面,这形象水平面。因此相对高度值应该等于所有分属于地上飞机。

图11显示了一个例子,形象Coimbra的城市机场,相对高度值为每个匹配像素(对应归类为异常值不如图所示)。在右边,相同的数据显示为3 d图与缓解的大规模可视化。规模和颜色轴都显示相同的值。这个例子中有明显的定位错误,虽然翻译向量仍然可以估计。

在图(11日)对应的像素都在一个相对狭窄的区间接近中心的形象。还有其他正确匹配像素在图像的其他部分,但随着运动模型不考虑noncompensated旋转,他们被归类为离群值由于方位估计中的错误。这种效果是更重要的地区离最低点。错误的校准相机和惯性传感器坐标系之间的旋转应该增加这个效果。如果方向错误太大,太多的像素对应被丢弃,不可能可靠地估计翻译。

甚至在水湾测量高度变化在2.3%和1.6%之间的第一个图像高度。建筑底部的图像的水平面,因此有一些点不遵循的一般趋势。

这些经验观测值可以通过分析验证相机取向估计的错误如何影响一个像素坐标投影在地上飞机。假设两个相机的投影矩阵,和,在那里是一个旋转矩阵,它代表了一个旋转的度在轴。在这里将代表相机上的一个错误取向estimate-if旋转时忽略了像素坐标投射在地面的飞机,然后它有影响的结果的坐标点在地面上飞机吗?这种效果应该类似于图中所示的错误11,地平面坐标是虚拟映像的投影坐标,和下面的形式被发现导致简单的方程,容易分析。

把一个像素坐标,投射到它的3 d点在两个相机,所表达的和。反投影方程表达和的函数。减去两个方程会导致由于翻译(不同组件被忽略的点应该是在同一个平面上):

的旋转轴只影响组件。的组件,如预期的那样,有条件根据不同的水平和垂直运动,这表示,并不取决于旋转-没有出现在第一线。如果的组件是减少到一种类似于第一个组件,但如果分母的变化会导致一个错误,增加的距离主点和像素,除了一个较小的扰动造成的术语。

这就解释了图中观察到的行为11。从主点对应的像素越远,误差越大相对高度。此外,这个错误应该更明显的在一个特定的方向,根据位置误差的方向估计,这导致窄频带内围层图可见11——乐队代表了方向定位误差的影响较小。

的弹性转动中的错误估计可以在仿真验证。采取同样的投影矩阵和,并生成150个随机点属于相机的视野和100米的地平面以下相机。点也属于相机的视野是模拟通讯。这些点是将图像坐标在两个摄像机,标准差的高斯误差1像素被添加到每个像素坐标,然后是纯粹的翻译执行注册过程导致翻译向量与真正的一个。

图12显示了不同的仿真结果为翻译向量垂直和水平位移值,和不同的定位误差值。每个点每个情节的平均误差8配置翻译不同的方向在哪里步骤覆盖的范围内。恢复翻译向量误差小于2%的幅度甚至如果方向错误是一样大的,除了最小的位移,相对误差很大,因为翻译太小和像素坐标的噪声占主导地位。

这种分析并不适用于loop-closing约束方向错误可能是非常不同的在这种情况下假定方向错误不显著改变两个连续图像之间的收购。

4.4。结合GPS和视觉测距

翻译恢复了视觉里程计是由卡尔曼滤波融合GPS位置修正在附录中描述一个。GPS测量飞艇与标准差的位置弗和epv值为每个位置固定,提供和翻译从视觉测程法向量解释为连续两个姿势之间的速度测量,与一个常数协方差较小的垂直轴的水平的。GPS绝对定位修复保持估计飞艇从不同的位置,而视觉里程计测量提高本地轨迹。融合轨迹图所示(13日)旁边的原始GPS轨迹。后者是显示在图13 (b)。地图数据(13日)和13 (b)生成相同的图像和相机定位值,唯一的区别在相机姿势。融合轨迹仍严重依赖于GPS,及其相应的地图远非完美,但一些细节如信件和机场跑道注册的更好融合轨迹比单独使用GPS (a) (b)。这个数据集包含1000张图片(只有68所吸引)。这个轨迹太大单靠视觉测距中恢复过来,因此这不是显示对应的地图。

4.5。关闭循环与图论优化

第二次在同一区域成像的车载摄像头之间的相对构成这两个视图检索和使用“关闭循环。“那图是建立在节点代表摄像机三维姿态和边缘相对构成约束,顺序和loop-closing的。作为初始化图形轨迹恢复了视觉里程计,起初没有错误的顺序限制但loop-closing约束不会满意由于漂移在视觉测距。通过优化节点的位置尽量减少误差在每个相对构成约束,可以最小化。图14显示了相同的轨迹图7loop-closing约束的绿色箭头所示。每个箭头表示一个相对姿态约束尾巴的节点和节点之间通过颜色的线连接到它的提示。因此颜色的线表示错误相对于这个约束,应该最小化。

检测loop-closing约束,每个图像的主要点沿着轨迹预计在地平面(6)和存储。然后,对于每一个图像,其主要在地平面上的投影与数据库比较,寻找以前的图像成像相同的区域。相对应的图片最接近主点在数据库中选择作为一个匹配的候选人,不考虑最后5秒的飞行,而不是考虑主要点太far-often没有候选人。然后兴趣点匹配的图像对之间的尝试。如果它是成功的相对姿态恢复和新的边缘添加到图中。

优化约束图,开源包托罗(33)是利用下面的设置和修改。(1)相对的姿势是一个翻译向量,和它的大小取决于估计相机高度,所有约束集的协方差是相机的高度成正比。垂直分量的标准差将三脚架的实验中发现的相对价值的两倍(表1)动态占明显的场景。(2)由同样的原因,在每个迭代每个翻译向量重新考虑它的新高度。要执行该调整向量每个约束都存储在一开始,所以这只是乘以新的高度。(3)loop-closing的协方差约束被乘以4,降低体重,平滑轨迹不可能有很多相机姿势与loop-closing约束。

图15显示了飞艇轨迹恢复了视觉里程计校正前后的图像优化。GPS轨迹也提供了比较。几个错误loop-closing约束扭曲的东北边的循环,但是第二约束修正轨迹再次逼近真实的轨迹。视觉测距漂移后循环在很大程度上降低了。表4比较两个轨迹与GPS。它花费了0.17秒的时间来执行100次迭代图的优化整个图。

5。结论

在这篇文章中,一个纯粹的翻译模型用于恢复使用无人机轨迹明显取向估计和空中飞机水平地面的图像。这个模型也与更常见的单应性模型对地面实况,通过确定的相对高度的三脚架的实验。GPS位置修复和车辆提出了恢复了视觉里程计用来项目地平面上的图像,以及由此产生的地图更连贯地注册在短期内如果飞艇姿态获得视觉测距。GPS和视觉里程计数据也由卡尔曼滤波融合与融合轨迹生成的地图比地图生成更精确的GPS,即使轨迹太大了,仅靠视觉测程法回收。最后,图优化大满贯包被用来减少漂移在视觉测距。

在我们以前的工作,使用旧的和不准确的明显,投影模型和一个优化的步骤被用来改善恢复轨迹(34]。分析这些旧结果,确定投影模型实现更好的结果由于一个间接的错误检查的问题。一些图片,太大定位误差,优化不同,因此卡尔曼滤波器仅仅忽略了测量和执行其预测一步。直接登记时使用,没有测量数值差异是可能的,一个错误的接受,增加漂移太多。现在,鉴于目前的结果,明显更准确和更大的图像帧速率,方向估计似乎是足够准确可靠地应用普罗克汝斯忒斯noniterative登记(理论上应该所产生的最优解,如果所有的假设是真的)允许更快的计算。

纯翻译模型中表现更好的复苏比图像的垂直运动组件的唯一方法。垂直分量更关键,因为高度估计中的错误传播不仅在纵轴,但也是一个错误的规模水平分量。误差积累的影响在图的垂直运动是可见的7。轨迹恢复的两种形式的视觉测程法繁殖大约曲线的循环,但规模错误或形状由于高度的误差估计。

GPS的不确定性更大的高度比水平轴轴,身高估计又更为重要,特别是对于低空飞行的全球定位系统(GPS)的不确定性更重要的是由于小的距离。此外,在高空飞行地面飞机通常可以安全地假定为水平,在起飞和降落的时候限制水平地面飞机实际上更容易满足。另外,得到了合理的姿势估计只使用方向估计直接输出相对便宜和不准确的AHRS利用,并且在相对较大的横滚和俯仰变化。

歧义是固有的相对规模构成检索图像的飞机,当使用单应性(16),甚至在纯粹的平移运动。这一事实增加了不可避免的漂移的视觉测距。此外,3 d图形优化必须考虑到翻译的大小两个相机之间的构成取决于相机的高度,并更新相应约束更新相机的姿势时,否则它不能正确的轨迹长度。与显著的垂直运动轨迹几百米的恢复,但实际技术的限制取决于明显取向估计的可靠性和检测的loop-closing真实飞行条件下的约束。实验和模拟结果表明,现代明显可以用足够的精度估计方位估计获得相对准确的翻译。

未来的工作可以探索更复杂的误差模型,例如,为每个像素坐标估计不确定性传播的不确定性相机6 d构成。普罗克汝斯忒斯变体有多种不确定性模型已经解决了问题,尽管某些情况下只有noniterative解决方案(1]。此外,普罗克汝斯忒斯其他变体或先前使用的相同投影模型34)可以延长nonhorizontal地面飞机的方法。其他方法可以用来检测loop-closing约束更可靠。例如,数据库感兴趣的点描述符可以用来检索以前的同一区域的图像即使估计轨迹也渐渐远离真正的位置。

普罗克汝斯忒斯的登记和卡尔曼滤波器实现代数例程一样快;图优化可以并行执行更新相机姿态检测到一个循环后,或可能被执行插入几个迭代后每个图像处理框架。这些操作可以实现实时执行。因此仅存的耗时操作的兴趣点检测和匹配,包括loop-closure检测和异常值检测。已经表明,reprojected图像可以用来促进和加速匹配过程,尽管其他的图像匹配方法,包括无特色的方法,可以在未来的探索工作。

附录

答:离散卡尔曼滤波器维纳过程加速度模型

卡尔曼滤波器用于滤飞艇轨迹融合视觉测程法和GPS位置修复利用离散维纳过程加速度模型(31日]。过程噪声,这被认为是零均值白噪声序列,代表了加速度增量样本期间。过滤器状态包括在飞艇的位置、速度和加速度: 在哪里是3 d飞艇的位置。状态方程是 在那里,和代表着身份和零矩阵适当的大小,和代表样本长度的时期(秒实验报告摘要):

因此,预测步骤是由以下方程:

的价值应该是数量级的最大加速度增量样本期间(米/摘要)。更新方程是标准的卡尔曼滤波方程。

普罗克汝斯忒斯b .的过程

普罗克汝斯忒斯的相似性问题,希腊神话人物的名字命名,包括找到一个转换登记两套点在欧几里得空间,与已知点对应关系。更正式,这被认为是本文的问题是,给定的两套点的形式矩阵和,那里的th线在两个矩阵对应于同一点转换参数,,和这样必须确定。的符号1代表一个向量的。

解决方案的推导和证明可以在很多地方找到包括(1,35]。后者引用提供了一个广泛的治疗问题的许多变体。计算转换的步骤如下。

(1)计算,在那里是矩阵。(2)计算的圣言,并获得以下矩阵形式。(3)最佳的反射/旋转矩阵。(4)最优比例因子。(5)最佳翻译向量表示的框架是。

确认

这项工作得到了葡萄牙语基础科技,格兰特BD / 19209/2004,通过电子商务项目•巴(fp6 -是- 027140),法国液化空气公司葡萄牙,提供氦气的田间试验。

引用

1. j·c·高尔半岛和g . b .心理学普罗克汝斯忒斯的问题,牛津大学统计科学系列、牛津大学出版社,牛津大学,英国,2004年。
2. j . Lobo和j·迪亚斯视觉和惯性传感器之间的相对姿态校准。”国际机器人研究杂志》上,26卷,不。6,561 - 575年,2007页。视图:出版商的网站|谷歌学术搜索
3. 2006年j . Lobo InerVis Matlab工具箱,http://www2.deec.uc.pt/ ~ jlobo / InerVis_WebIndex。
4. j . Lobo j·迪亚斯,“视觉和惯性传感器合作使用重力垂直参考,”IEEE模式分析与机器智能,25卷,不。12日,第1608 - 1597页,2003年。视图:出版商的网站|谷歌学术搜索
5. l . g . b . Mirisola j . Lobo和j·迪亚斯,“立体视觉3 d地图注册使用vision-inertial传感飞艇,”学报》第12适机器人及其应用国际会议上(RA ' 06),页102 - 107,檀香山,夏威夷,美国,2006年8月。视图:谷歌学术搜索
6. j . Lobo j·f·费雷拉,j·迪亚斯,“Bioinspired visuo-vestibular独立运动分割,人工识别系统”第二届国际认知视觉工作室(ICVW 06年)2006年5月,奥地利格拉茨。视图:谷歌学术搜索
7. e . Hygounenc I.-K。荣格,p . Soueres Lacroix,“自主飞艇项目LAAS / CNRS:飞行控制和地形测绘成果,”国际机器人研究杂志》上,23卷,不。4 - 5,473 - 512年,2004页。视图:谷歌学术搜索
8. j·凯利、美国Saripalli和g s Sukhatme”结合视觉和惯性导航的无人机,”学报第六届国际会议场和服务机器人(FSR ' 07)2007年7月,夏蒙尼,法国,。视图:谷歌学术搜索
9. n . r . e .谢谢基于镶嵌视觉导航智能水下机器人博士论文,大学Tecnica de Lisboa-Instituto Tecnico优越,里斯本,葡萄牙,2002年12月。
10. a·布朗和苏利文,“精密运动使用低成本GPS / INS系统校准,”《离子GPS美国波特兰,矿石,2002年9月。视图:谷歌学术搜索
11. r·m·尤斯蒂思大面积视觉增强导航智能水下机器人博士论文,麻省理工学院/伍兹霍尔海洋Institution-Joint计划在海洋应用科学与工程,2005年6月。
12. j .金自主导航的机载应用程序,博士学位论文,悉尼大学,悉尼,澳大利亚,2004年5月。
13. d . Strelow和s·辛格”,从形象和惯性测量运动估计,”国际机器人研究杂志》上,23卷,不。12日,第1195 - 1157页,2004年。视图:出版商的网站|谷歌学术搜索
14. 孔蒂和p·多尔蒂,”一个集成的无人机导航系统基于航拍图像匹配,”IEEE航空研讨会论文集(AC ' 08),大的天空,蒙特,美国,2008年3月。视图:出版商的网站|谷歌学术搜索
15. f .绅士l .美利奴、j . Ferruz和a . Ollero”提高无人机的应用平面运动估计通过在线拼接,”诉讼的IEEE机器人与自动化国际会议上06年举行(“国际机器人与自动化会议”),页2860 - 2865,奥兰多,佛罗里达州,美国,2006年5月。视图:出版商的网站|谷歌学术搜索
16. l .美利奴、功能j .但f . Caballero et al .,“multi-UAV位置估计,建立”IEEE机器人和自动化》杂志,13卷,不。3,53 - 62年,2006页。视图:出版商的网站|谷歌学术搜索
17. t·h·湾Tuytelaars, l . van干傻事,“冲浪:加快健壮的特性,”学报》第九届欧洲计算机视觉大会06年)卷,3951在计算机科学的课堂讲稿格拉茨,页404 - 417年,奥地利,2006年5月。视图:出版商的网站|谷歌学术搜索
18. 大肠Carneiro de Paiva j . r . Azinheira j·g·拉莫斯Jr ., a·穆迪尼奥和s . s .布埃诺,”项目极光:基础设施和机器人飞艇的飞行控制实验,”《机器人技术领域,23卷,不。3 - 4、201 - 222年,2006页。视图:谷歌学术搜索
19. y, s . Soatto j . Kosecka和美国Sastry邀请3 d视觉施普林格,纽约,纽约,美国,2004年。
20. e . Michaelsen m . Kirchhof, Stilla,“从机载视频传感器构成推理分解单应性估计,”《国际摄影测量与遥感学会20国会2004年7月,Istambul,土耳其,。视图:谷歌学术搜索
21. j . Bouguet“相机标定为Matlab工具箱,”2006年,http://www.vision.caltech.edu/bouguetj/calib_doc/index.html。视图:谷歌学术搜索
22. XSens科技,2007,http://www.xsens.com/。
23. 点灰色Inc ., 2007年,http://www.ptgrey.com/。
24. r·哈特利,a . Zisserman计算机视觉中的多视图几何英国剑桥,剑桥大学出版社,2000年。
25. l . g . b . Mirisola和j·迪亚斯拼接和视觉导航,利用惯性传感”学报第六IFAC研讨会上智能自动车辆(IAV ' 07)2007年9月,图卢兹,法国,。视图:谷歌学术搜索
26. k . Mikolajczyk和c·施密德规模和仿射不变的兴趣点探测器,“国际计算机视觉杂志》上,60卷,不。1,2004。视图:谷歌学术搜索
27. f .绅士l .美利奴、j . Ferraz和a . Ollero“基于单应性马赛克建筑的卡尔曼滤波器。在应用到无人机位置估算。诉讼的IEEE机器人与自动化国际会议上07年举行(“国际机器人与自动化会议”),页2004 - 2009,罗马,意大利,2007年4月。视图:出版商的网站|谷歌学术搜索
28. k . Mikolajczyk c·施密德,“绩效评估当地的描述符”,IEEE模式分析与机器智能,27卷,不。10日,1615 - 1630年,2005页。视图:出版商的网站|谷歌学术搜索
29. k . Mikolajczyk t . Tuytelaars c·施密德et al .,“仿射区域检测器比较,”国际计算机视觉杂志》上,卷65,不。1 - 2,页43 - 72,2005。视图:出版商的网站|谷歌学术搜索
30. l . g . b . Mirisola和j·迪亚斯数据集和补充结果“剥削的态度在基于视觉的导航传感飞艇”,2008年,http://paloma.isr.uc.pt/ lgm。
31. y Bar-Shalom、李x r和t . Kirubarajan评估应用程序跟踪和导航约翰·威利& Sons,纽约,纽约,美国,2001年。
32. j . Arnspang k•亨利,f . Bergholm“场景深度图像比例,有关”第八届国际计算机分析会议的程序映像和模式(常熟饰件的99)卢布尔雅那,页516 - 525年,斯洛文尼亚,1999年9月。视图:谷歌学术搜索
33. g . Grisetti s Grzonka c . Stachniss p .普法夫和w·Burgard”高效准确的最大似然估计在3 d地图,”《IEEE国际会议上智能机器人和系统(——' 07),页3472 - 3478,圣地亚哥,加利福尼亚州,美国,2007年的10月。视图:出版商的网站|谷歌学术搜索
34. l . g . b . Mirisola j·迪亚斯,a . t . De Almeida”轨迹恢复和3 d飞艇从rotation-compensated图像映射,”《IEEE国际会议上智能机器人和系统(——' 07),页1908 - 1913,圣地亚哥,加利福尼亚州,美国,2007年的10月。视图:出版商的网站|谷歌学术搜索
35. i Borg和p . Groenen现代多维标度理论和应用程序施普林格,纽约,纽约,美国,1997年。

版权

版权©2009路易斯·g·b·Mirisola和豪尔赫·迪亚斯。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。