文摘
实时姿态估计自由飞行的飞机在一个复杂的风洞环境是极其困难的。由于高动态测试环境,复杂的照明条件,和无法预测的运动目标,最一般的姿势估计方法将失败。在本文中,我们引入一个跨域的观点(FOV)实时姿态估计系统,它提供了高精度姿态估计自由飞行的飞机风洞环境。多视图住RGB-D流系统中用作输入以确保测量区域可以完全覆盖。首先,研制了一种多通道初始化方法来衡量RGB-D相机和飞机之间的空间关系。基于所有输入多通道信息,所谓cross-FOV模型提出了准确识别控制传感器和自动地提取前景区域。第二,我们开发一个RGB-D-based姿势估计方法为单个目标,3 d的稀疏点和目标的构成可以同时获得。进行了许多实验,和RGB-D图像仿真基于3 d建模是实现来验证算法的有效性。模拟真实的场景和场景的实验结果证明了我们的方法的有效性。
1。介绍
飞机的态度估计起着至关重要的作用在飞机的风洞控制系统。飞机的飞行期间,有必要调整飞机飞行参数根据实时的态度(1]。虽然验证飞机的飞行性能,还需要检查飞机的性能在不同的态度。态度评估的一个重要组成部分2]。在计算机视觉任务中,飞机的态度估计可以被看作一个对象造成估计的任务。视觉系统是应用最广泛的技术,在风洞测量,可以提供关键的数据可以与计算流体动力学(CFD)预测,协助验证设计的几何图形。
然而,很难得到满意的精密测量的结果在一个目标时低速风洞自由飞。主要原因是风洞是一个高动态测试环境和经常存在一个复杂的照明条件和不可预知的运动目标。这些将严重降低估计系统的测量精度。
低速风洞的大小是8米长,6米宽,6米高。因此,需要多视图住RGB-D流系统中作为输入,确保测量区域可以完全覆盖。此外,研制了一种多通道初始化方法来衡量RGB-D相机和飞机之间的空间关系。基于所有输入多通道信息,我们的cross-FOV模型提出了准确识别控制传感器和自动地提取前景区域。
对象构成估计任务一直得到广泛的研究(3]。对象的态度测量的传统方法主要分为模板匹配和特征匹配(4]。模板匹配方法(5)通常应用于弱纹理的场景。这些方法需要重建3 d对象,然后真实场景与3 d模型相联系,找到最好的姿势。经典ICP算法(3)和RANSAC算法解决当前的姿势通过最小化对应点之间的距离的实际场景和模型(6]。许多人相信,在计算机视觉的应用程序7- - - - - -11),一个物体的轮廓是最可靠的信息,因为基于特征识别的方法(12- - - - - -15)可能失败时识别弱变形对象的姿势。
在本文中,为了克服这些问题,我们提出一个跨域构成的评估框架基于局部特征实时估计飞机的姿态和处理跨域问题。通过收购摄像机之间的相对位置关系和飞机,我们将摄像机的相对姿态转换为相对姿态的飞机。根据实验结果,对评估系统与cross-FOV模型在风洞可以得到准确的测量结果。我们运行姿态估计系统的构成一个飞机模型。我们将系统的低速风洞中国空气动力研究与发展中心(CARDC)。
2。我们的方法的概述
我们提出了一个cross-FOV RGB-D姿态估计系统实时处理每个新框架。也保持高精度姿态估计系统重构的稀疏的点云场景中的对象,可以跟踪目标运动不断当目标在不同的视野。图1说明了我们的帧到帧操作系统和图2说明了我们的系统的结构图在真实的场景。
2.1。对初始化
在本节中,一个相对态度测量模块是用来获得飞机之间的相对态度和初始相机。我们设置了两个标签在飞机的轴,如图3。中心的标签是飞机的中心。一旦检测到标签的位置,飞机是本地化的中心。系统就会将其转换为相对态度之间的飞机和最初的相机。
2.1.1。标签识别
这个模块是用于检测标记在图的位置3。我们使用一个标签检测器检测标签后该方法AprilTag [5]。第一步是采用一种自适应阈值方法阈值输入灰度图像成黑白图像。下一步是分段边缘特征的基础上他们出现的黑白组件边缘可能会形成一个标签的边界。最后,该方法计算近似分区通过搜索一个小数量的角点,然后遍历所有可能的组合的角落里找到所有合适的四。整个操作后,标记图像中局部坐标系统和中心的两个标记代表飞机的中心。
2.1.2。飞机中心定位
我们变换坐标(u, v)的飞机中心在图像坐标与相应的深度值d到3 d坐标,这样相对态度之间的飞机和初始相机获得: 在哪里焦距和吗是主点和所有可以从校准。是飞机的3 d坐标中心。
2.2。Cross-FOV模型
在风洞中,如图4,跨域的测量是必要的。因此,我们设计了一个cross-FOV模型。的相机在相机设置当时 ,我们有颜色和深度帧 。选择最佳输入相机 ,我们需要放弃帧获取最大帧分数相机设置 。帧分数可以表达的 在哪里 深度的分数在哪里 适合深度约束 。 和分别是帧的宽度和高度。
最好的输入相机选择的相机设置找到最大得分 在哪里是一个比例计算函数,计算相机的号码吗在相机设置 。
2.3。特征提取
系统利用快速二进制描述符叫做ORB的特征提取的任务。这个描述符是旋转不变和抗噪声和光照变化。同时,快速提取和匹配使ORB适合实时姿态估计在一个复杂的环境中工作。
我们的系统处理RGB-D输入。我们提取的RGB图像跟踪和ORB功能,为每个特性与坐标 及其对应的深度值d,我们把他们变成一个世界坐标系统根据(1)。
2.4。束调整
初始化操作后,我们的系统执行包调整,尽量减少reprojection 3 d点之间的误差及其相应的二维点估计相机的瞬时姿势相对于前一帧 在哪里健壮的Huber成本函数和吗与规模相关的协方差矩阵的关键点。投影函数定义如下: 在哪里焦距和吗主要的点,两个已知的校准。
3所示。实验
在评估阶段,我们进行定量评价合成和真实与地面实况数据序列。我们的合成实验序列模仿真实的实验环境是专门为这项工作。在合成场景,我们设置环境光和多个光源来模拟真实的复杂的照明条件。至于相机设置的合成数据,我们把它设置的华硕这款产品相机两640◊480像素的分辨率和视场在58个°H, 45°V, 70°D。
3.1。合成实验
适当的合成序列是专门为这项工作了。在图5左边图像合成彩色图像,中间图像相应的深度图像,并对图像是我们系统的输出。点云是稀疏重构的模型,模型的中心坐标轴是当前提出的目标。我们设置三种翻译序列。
对于每个合成场景,我们比较估计和飞机的地面实况轨迹计算均方根误差(RMSE)。结果合成序列如表所示1和图6。我们还与co fusion做个比较3在翻译序列。co fusion (3)只支持翻译输出;如表1结果表明,旋转co fusion (3没有得到。co fusion (3失败在序列rotate1,rotate2,rotate3,translate&rotate。
(一)translate1
(b) translate2
(c) translate3
如数据所示6- - - - - -8,该方法的估计轨迹很适合地面实况在所有场景。在旋转序列,该方法也能稳定地跟踪对象。从表中我们可以看出1,该方法执行比co fusion (3]。在某些场景中,co fusion (3)可能无法跟踪对象导致一个巨大的估计误差。但是我们的方法可以实现长期、有效的跟踪,只要第一帧初始化提供。我们进行了定量评价合成和真实与地面实况数据序列。
(一)rotate1
(b) rotate2
(c) rotate3
(一)轨迹
(b)构成
3.2。实验验证与昆虫和真实的场景
对于真正的序列,我们设置一系列的实验精度高昆虫如图9显示;昆虫的精度可达微米级别(表2)。对于每一个轴,建立了相应的实验。将相机与云平台后,我们分别设置平台统一沿着每个轴移动到测试翻译的准确性和旋转。结果在真正的序列图所示10。
高精度云平台实验表明,我们的方法在实际序列上的表现也不错。在旋转的实验中,偏航角的检测是最准确的说明了该方法可以达到最高的准确性没有深度的变化。
我们已经进行了一系列定性实验证明我们的方法的能力。比较co fusion (3)表明,我们的方法达到非常高的精度。正如前面所提到的在我们的论文中,我们的方法可以适应复杂的照明环境,实现高精度跟踪和姿态估计。特别是,它可以满足交叉FOV的需要,这意味着它可以实现可靠的姿势估计在广泛的环境中展示的实验。真实场景实验如图12,估计序列的轨迹如图11;轨迹是准确、简洁。
4所示。结论
我们引入了一个跨域视图(FOV)实时姿态估计系统提供高精度姿态估计自由飞行的飞机风洞环境。多视图住RGB-D流系统中用作输入以确保测量区域可以完全覆盖。首先,研制了一种多通道初始化方法来衡量RGB-D相机和飞机之间的空间关系。基于所有输入多通道信息,所谓cross-FOV模型提出了准确识别控制传感器和自动地提取前景区域。第二,我们开发一个RGB-D-based姿势估计方法为单个目标的三维稀疏点和目标的构成可以同时实时重构。许多实验已经进行了基于3 d和RGB-D图像仿真建模是实现来验证算法的有效性。模拟真实的场景和场景的实验结果证明了我们的方法的有效性。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作得到了浙江省自然科学基金资助下数字LY15F020031 LQ16F030007和中国的国家自然科学基金(国家自然科学基金委)授予数字11302195和11302195。