文摘

实时和健壮的状态估计行人卫星否认环境下是一个具有挑战性的问题。的zero-velocity-aided foot-mounted惯性导航系统,难以察觉的标题的缺点,错误积累,和适应性强的参数,是一个传统的方法来估计构成相对于一个已知的起源。视觉和惯性聚变是一种流行的技术状态估计在过去的几十年中,但不能充分利用行人的运动特征。在本文中,我们提出一个新颖的行人visual-aided惯性导航算法,提高了鲁棒性的多元组合的动态环境和行人。提出的算法结合了zero-velocity-aided INS与视觉测程法来获得更准确的姿势估计在各种环境中。然后,INS的参数通过采取调整自适应融合估计和INS输出之间的误差因子图作为观察员。我们评估我们的系统的性能与实际实验。与其他算法进行比较,结果表明,绝对的轨迹精度的算法已经取得了长足进步,特别是在动态场景和多元组合试验。

1。介绍

行人导航已经广泛调查在过去的几十年,因为独立定位卫星否认是必要的和具有挑战性的环境,如室内导航、矿山救援,和个人的战斗。由于两摄像机的自主权和连续性和惯性测量单元(IMU),视觉测程法和惯性导航系统(INS)是主要的方法来估计给行人带来相对于一个已知的起点(1]。此外,visual-inertial测程法(VIO)近年来已成为受欢迎因为相机和IMU的互补特性的2,3]。一些先进的行人导航算法已经达到令人满意的性能,比如捷联惯性导航系统的算法解决方案(罪)1,4[],visual-based方法5- - - - - -7),和visual-inertial算法(2,3,8]。然而,几个缺点,尤其是贫穷的健壮性多元组合的动态环境和行人、限制使用这些算法在实践中。

INS的误差随时间积累,很难满足行人MIMU的长期的导航精度。一方面,标题行人惯性导航误差不可见,然后不能有效抑制漂移的标题,标题错误会随着时间积累(4]。另一方面,适应性差的参数不同行人在不同运动条件下,这样的表现行人惯性导航与行人的运动特征(9]。因此,它是调整的关键参数自适应一个健壮的行人导航系统。

在动态环境中视觉导航的可靠性对行人也是挑战。复杂的场景带来不可预知的异常观测系统,这将可能腐败的状态估计的质量,甚至导致系统故障(10]。此外,行人的运动特征也会影响系统的性能。

传统visual-inertial导航算法没有充分利用人类的运动特征。勒普顿和神棚首次提出惯性没有初始值积分增量理论来解决这个问题的视觉惯性组合导航在高动态条件下(11]。基于前期整合理论的融合算法只给规模信息通过惯性数据(3,8]。我们可以应用行人的步态特征标题错误修正。

在本文中,我们提出了一个健壮的visual-inertial导航算法提高鲁棒性的情况下有限的视野和行人运动,将摄像机与融合foot-mounted MIMU和INS自适应调整参数。算法的概念图如图1。系统中,行人状态,来自签证官和罪,是一批优化获得一个更精确的和健壮的修正。另外,我们之间建立模型的零速间隔偏移和导航结果误差在一个步骤。和优化结果的观察,我们估计的参数零速间隔检测获得更准确的估计。简而言之,我们的主要贡献如下:(我)小说构成图优化算法融合foot-mounted IMU与视觉测距(2)零速检测器的一个算法自适应地调整参数,这是由导航结果错误(3)通用框架融合foot-mounted IMU与各种传感器,结合优化框架和过滤框架实现健壮的本地化(iv)我们展示的性能和鲁棒性和广泛的实验方法。挑战包括动态场景和多元组合行人

本文的其余部分的结构如下。在教派。第二,我们将讨论相关文献关于ZUPT-aided惯性导航和visual-inertial导航。我们给的算法概述教派,三世。姿势foot-mounted IMU和相机之间的融合算法提出了教派。IV。V。论述了以结果为导向的自适应参数调整的方法。实验结果及其讨论教派所示。VI。顶尖,教派。七对整篇文章进行总结。

2。相关工作

2.1。ZUPT-Aided惯性导航

传统惯性导航系统集成了IMU的测量来估计行人构成相对于一个已知的起源。通常,行人导航应用过滤器的方法(2)或优化方法(12- - - - - -15)与IMU其他可用传感器融合测量。结合本文的主题,我们总结ZUPT-aided INS的相关研究,为行人多传感器导航基于优化框架。

zero-velocity-aided INS,基于事实,速度为零,而行人的脚接触地面,融合速度的pseudo-measurement状态与扩展卡尔曼滤波器(EKF)减少积累误差来自嘈杂的IMU的集成测量。导航系统的性能高度依赖于零速间隔检测的准确性。斯库格et al。给出了一个典型的探测器命名立场假说最优检测(鞋),为特定的行人取得好的运动成绩和运动(16]。然而,ZUPT的参数有很大的不同在各种运动状态下或从一个人到另一个人。因此,它是调整的关键参数自适应一个健壮的行人导航系统(4,9]。研究工作为解决这个问题可以分为两个方面。一是提高基于模型算法的适应性优化参数在实时1,9,15,17- - - - - -19]。另一种是换上一学习算法(基于模型的体系结构4]。自适应算法,由IMU的测量,分析了特征参数。第一种是基于速度或运动模式分类阈值调整方法(9,16,20.]。例如,布兰登et al。火车两个单独的支持向量机(SVM)分类器自适应阈值(4]。一个用户的运动类型进行分类,另一种识别静止期给定当前的运动类型。此外,该模型在零速检测基于特征的数据(9]。Seonget al。提出一种零速不需要阈值检测算法,通过处理陀螺和加速度计输出基于一个适当的算法(19]。不同于上述情况,我们提出一个result-derived算法自适应调整零速检测间隔。

不同于基于过滤器框架,递归估计因子图优化估计美国在一批达到更高的精度。惯性理论整合前可以提供规模的信息为其他姿势估计IMU的读数。

然而,前期整合理论不能延伸到行人。目前,基于优化行人导航框架是基于PDR算法融合其他信息来源。使用信息来源,后人已做了大量研究。研究人员融合GNSS (12,21],WIFI-fingerprint [22],超宽频[20.),和其他传感器(14,20.信息优化PDR的姿势。与罪相比,基于多传感器导航PDR缺点在准确性和鲁棒性。我们分析误差的特点,提出一种参数自适应调整方法,这不仅是有用的参数调整,但也提供了支持,结合优化理论框架和过滤框架。

2.2。Visual-Inertial导航

由于IMU的互补性和视觉,运动估计融合相机与艾莫斯多年来一直是一个广泛研究的主题。明显的方法包括MSCKF [2],VINS-Mono [3动宾[],6],DSO [7],ORB-SLAM [5]。在本节中,我们将总结visual-inertial量距的方法。我们还重点讨论视觉惯性行人的应用。

MSCKF [2),一个紧耦合的VIO算法基于卡尔曼滤波器,使用相同的视觉测量功能跨多个相机视图形成条件的更新,在这没有必要包括观测模型中特征点的空间位置。但滤波器估计也会产生不一致的问题。filtering-based算法不同,能量minimization-based方法整体优化态势。勒普顿提出的理论整合前意识到视觉惯性组合导航在高动态条件下,基于优化的算法可以实现。VINS-Mono [3)是一个非常准确和健壮的单眼惯性测程法系统,使用DBoW2 loop-closing和四自由度pose-graph优化和map-merging。特性与Lucas-Kanade跟踪器跟踪执行,有点比描述符匹配更健壮。ORB-SLAM [5可以关闭循环和重复使用地图,利用Bag-of-World。7自由度姿势图优化是紧随其后的是循环检测。

如前所述,visual-inertial融合是一种有效的方法来改善行人导航系统的准确性。然而,foot-mounted IMU安装位置的限制对行人的广泛研究visual-inertial融合。考虑到行人运动传感器的模式和特点,我们研究一个新的方法来融合foot-mounted IMU和相机23]。

2.3。算法框架

该算法的框图如图行人导航2。该方法主要包括四个主要模块:zero-velocity-aided INS,测程法跟踪,构成图优化、参数自适应调整。前两个,导航系统的基础上,分别提供初始姿态估计。后两个是算法的核心。一个是构成融合测程法与foot-mounted MIMU,,另一个是优化零速间隔派生的导航结果。

算法首先估计。zero-velocity-aided INS模块,IMU测量集成估计6 d带来的罪恶。和零速测量融合的罪在卡尔曼滤波器来减少误差随着时间的增长。测程法跟踪,行人的姿态估计,基于VINS-Mono逐步发展的起点。传感器与一个固定的坐标变换关系,构成图的模块优化不断优化坐标变换矩阵根据签证官/ VIO姿态估计和罪恶位置输出。然后根据引信参数自适应调整位置估计的参数优化模块。具体来说,我们量化的影响惯性导航参数对惯性导航结果与EFK错误的分析,寻找最准确的零速,奠定了基础。

3所示。构成图优化

3.1。测量预处理

传感器融合摄像头和foot-mounted IMU,我们假设中有类似的位置增加传感器安装在行人在同一时间。考虑到行人运动的特点,我们更新造成的频率根据移动平均滤波的步态加速度。如图所示3,每一个负峰是每一步的起点,和两个负峰值之间的间隔是一个步骤。

输入数据包括相机图像和IMU测量。都不认为是同步的。步行是一个灵活的身体,但也有类似的位置估计在身体的不同部位。因此,传感器,不同传感器刚性连接,连接到行人,同时也有类似的位置和偏航。作为显示在图4,我们正确的同步调整视觉与IMU测量关键帧和镜头关键帧按照距离。我们认为的关键帧在同一个姿势最接近IMU测量。

3.2。构成图结构

假设 步态指标达到时间吗还有一个关键帧的数量相邻的脚部落之间的时间和(我步态指数, ),在哪里 , 代表关键帧的数量。然后我们估计问题的目标定义为行人的历史状态和关键帧检测到 。

因子图框架的目标是找到最可能的后的状态当考虑到测量的历史 。作为显示在图5,定位问题的本质是一个最大后验(MAP)的问题。

是测量的集合,包括签证官/ VIO测量,MIMU测量,之前状态和地标,是测量的类型。如果测量条件独立,被零均值高斯噪声,地图估计对应于最低的负面log-posterior和(2)相当于一个最小二乘问题的形式。 在哪里是剩余的预测和测量值之间的误差在一步指数吗 ,每个剩余的二次成本由相应的协方差加权 。

以下最小化系统作为一个整体的能量方程: 在哪里l是里程碑式的,l₀之前的地标,残差吗 , , , 来自:状态之前,里程碑式的之前,IMU因素,测程法的因素。

3.3。因素定义

(1)前状态因素:在拟议的系统中,前因素用于锚对固定参考系。剩余的定义是估计状态之间的误差和之前 在哪里和(与 )位置和偏航。和分别表达陀螺和加速度计的偏见 。前的系统状态是由IMU初始化。(2)之前具有里程碑意义的因素:之前剩余的地标是之前在具有里程碑意义的位置之间的误差和估计具有里程碑意义的位置

具有里程碑意义的生成之前在网上通过初始三角测量过程的视觉惯性里程表。协方差是由三角测量精度。(3)VIO因素:自聚焦之间的相对增量的步骤和步骤 ,我们defifine残余的签证官/ VIO因素为: 在哪里和(与 )是在时间我(与作为 , )里程表或全球姿势估计量。签证官的协方差/ VIO测量,是由估计精度,这是受到环境条件的影响,行人动力学,等等。在我们的例子中,如果根据实验条件,我们调整。(4)罪的罪因素:原始测量位置增量和四元数在惯性坐标系。为了融合VIO的姿势,我们设置位置和偏航优化状态,并考虑横滚和俯仰作为全球的姿势。一般来说,知道起源点的经度和纬度,我们可以将其转换为地球坐标系统。乌兹别克斯坦伊斯兰运动测量根据获得的罪恶。乌兹别克斯坦伊斯兰运动因素推导: 在这对夫妇 位置和姿态在时间吗在基于ZUPT罪。和这对夫妇 代表系统的构成。IMU的协方差是由性能设备和零速度检测的准确性。

4所示。在INS自适应参数调整

ZUPT-aided INS包含两个部分:一个获得增量构成的惯性积分,其他正确的导航误差和测量偏差检测和基于零速区间卡尔曼滤波器。如果正确识别,零速更新可以显著提高定位估计。然而,假阳性或假阴性检测带来观测误差卡尔曼滤波器,从而导致和无界误差的快速增长。事实上,错误。

真值之间和导航结果可用来分析算法的性能。在实践中,我们假设导航错误属性不准确的观察和估计的长度补偿零速区间的导航误差。此外,方差误差分析是一个非常重要的方法来测量状态的估计误差。虽然的确是一个一致性之间的偏差估计误差方差和真正的错误。不过,我们可以不断提高方差的一致性,因为不一致错误将反馈状态错误,和算法是由状态错误。换句话说,估计方差的差异可以测量误差和真正的误差间接,逐步减少误差的校正状态。

如下标识图6,本节提出了一种优化算法基于INS的误差分析更新参数。我们推导出递推公式的误差之间的两个相邻的步骤。然后区间长度的补偿是翻译的变化的观察。此外,观察,零速区间的长度,优化因素图。最后,在一个滑动窗口阈值自适应更新。

4.1。误差分析的卡尔曼滤波器

在知道真相的情况下系统,根据系统状态协方差矩阵可以传播EKF-aid INS误差,模型参数或均方误差是否不准确的。行人导航,我们假设导航偏移是由于不精确的观察,即零速间隔误差在门。

知道的真值和系统输出 ,国家的错误定义如下:

是我们的知,零速区间的补偿是唯一一个导航误差的来源。因此,可以缩写为 在哪里是预测均方误差,代表滤波器增益和测量。代表了噪声序列。除此之外,和卡尔曼滤波器的状态转移矩阵的时间吗 。根据方差方差的定义,制定错误, 在哪里卡尔曼滤波器的状态矩阵和吗

在我们的系统中,我们以最后的状态为初始值。和初始值的均方误差。

我们假设行人配备一组多速率传感器,与IMU传感器通常产生高速度测量和传感器如单眼或立体相机生成测量以较低的利率。一些传感器不时可能变得不活跃(如。GPS),而另一些可能是活动只持续很短的时间(如信号的机会)。

4.2。参数优化的零速检测器通过因素图

在ZUPT-aided INS,导航误差抑制状态协方差矩阵和零速观察。我们假设真值是已知的形式另一组可用的信息源和上一次的状态量大约每一步的初始值。我们的目标是计算最佳INS参数融合所有的导航误差。(1)国家定义:国家ZUPT-aided系统的状态为: 在这对夫妇 代表协方差误差和测量偏移 - - - - - -步骤(随着时间的推移 ),分别。是国家( )方差的 - - - - - -一步。让在定位速度测量误差 。

在我们的帮助下变换的干扰零速度时间间隔的变化可观测测量在一个步骤。 在哪里观察变换矩阵和吗步态零速区间长度的干扰 - - - - - -,然后我们定义我们的估计问题的目的作为机器人的历史状态和标志检测 : (2)测量:测量输入由造成的错误和协方差预测 ,这两个真值的系统。是时间指数

造成输入导航结果与真值之间的误差,和协方差预测来自传播带来错误的卡尔曼滤波器。(3)Maximum-A-Posteriori估计:我们假设的不确定性测量高斯分布的均值和协方差。作为显示在图7之前,下列方程最小化的总和和Mahalanobis规范测量残差来获得一个整体的最大后验估计 在哪里 , 代表提出的剩余方差估计和状态,分别。详细定义的剩余条款将在VI-D后面。一旦图构建、优化它等于寻找节点的配置匹配所有边缘尽可能多。

我们使用谷神星解算器进行非线性优化。我们运行构成图优化在步态的频率更新一个行人。每一个优化后,我们获得更准确的估计融合与签证官/ VIO罪构成。(4)状态方差剩余:与国家逐步递归的协方差矩阵,我们定义状态剩余方差与协方差误差,这是只有两个相邻观测约束

在两个连续的时间考虑卡尔曼滤波器的状态和 ,根据方差分析错误教派。两个,剩余可以被定义为: (5)造成错误残留:我们建立一个模型来描述零速度区间扰动的影响在一个步态姿势估计。基于模型,相对构成约束 在哪里提取带来抵消在州 。

4.3。零速阈值的自适应优化

我们保持一个滑动窗口图优化drift-free姿势估计运动模式变化时,避免错误的调整。调整窗口的大小与实时计算的复杂性。此外,旧的姿态和测量运动模式改变时抛出。

我们判断运动模式改变根据积极的山峰在两个相邻的步骤。运动模式被认为是改变了如果高峰值的比率高于超出阈值自适应调整响了。

5。实验结果

我们执行实际实验来评估该VA-INS系统从两个方面在准确性和鲁棒性。在室内环境中,动态和视场小,我们测试算法在动态环境下的性能。然后我们进行室外试验多元组合模式来测试实时优化INS的性能。此外,大规模的实验来说明进行长期系统的实用性。

传感器的性能详细描述表1。传感器套件包含一个foot-mounted MIMU(陀螺仪和加速度计)操作在400赫兹,立体相机(Intel Realsense D455)与30赫兹,和u-blox GNSS模块。作为显示在图8传感器连接到行人,但没有一个固定的坐标关系。

我们得到地面真理与不同的室内外实验条件的方法。在室内实验中,地面实况标记点,明显的转折点或每一步,是用来评估实验的效果。具体来说,主题按手持触发记录一个时间戳促进与地面真理当他到达的时间对齐标记点。在室外实验中,地面真理,由微分计算GPS u-blox-NEO-M8N。差分GPS的定位精度约为0.1 m。此外,谷歌地图在大规模试验中用于错误判断。性能评估的水平位置误差(HPE)的轨迹。传感器连接到行人,但没有一个固定的坐标关系。

我们得到地面真理与不同的室内外实验条件的方法。在室内实验中,地面实况标记点,明显的转折点或每一步,是用来评估实验的效果。具体来说,主题按手持触发记录一个时间戳促进与地面真理当他到达的时间对齐标记点。在室外实验中,地面真理,由微分计算GPS u-blox-NEO-M8N。差分GPS的定位精度约为0.1 m。此外,谷歌地图在大规模试验中用于错误判断。性能评估的水平位置误差(HPE)的轨迹。

在这些实验中,我们比较了算法VINS-Mono和ZUPT-aided INS。VINS-Mono是一个健壮的和通用的单眼visual-inertial状态估计量。ZUPT-aided INS使用鞋探测器发现零速间隔和以零速度为虚拟观测的滤波算法修改INS与扩展卡尔曼滤波结果。

6。走廊实验室内

在走廊的实验室内,我们选择实验室环境试验区域。测试主题适合以正常速度传感器和走在走廊的实验室。试验过程中,沿走廊和房间主题相同的步伐,沿着同样的道路,回到原点。

从图9,我们可以看到,INS误差随时间积累和视觉里程计造成漂移小于零速INS的环境中不受限制的愿景。最值得注意的是,VA-INS提出不断提高了导航精度。表2显示了均方根误差(均方根误差),意味着(HPE意味着错误)。在室内环境中具有良好的视觉环境,visual-inertial里程表的性能优于纯惯性。尤其是VINS-Mono当然与循环检测抑制漂移。值得注意的是,VA-INS结合了两者的优势和达到最佳的性能。

7所示。Visual-Restricted实验

在楼梯和走廊的混合实验,试验沿着走廊,走楼梯从二楼到五楼,在那里他遇到行人时,低光条件下,texture-less区域,玻璃,和反思。然后,审判爬下楼梯,走回原点。关键帧的典型场景如图10。

如图11,我们比较我们的结果VINS-Mono和固定阈值INS。明显VIO漂移发生当实验者遇到动态对象,甚至系统不可用,当实验者上下爬楼梯,texture-less面积在所有地方。鲜明的对比,尽管ZUPT-aided INS的累积误差随着时间的推移,更健壮的实验场景的变化。与他们相比,融合foot-mounted IMU与相机抑制误差积累和提高了鲁棒性,发挥各自优势。

表3显示了均方根误差(均方根误差),意味着(HPE意味着错误)。视觉里程计的可靠性差的室内环境有限的视觉条件下,INS的误差随时间积累,但也是有限的。VA-INS使用VINS-Mono姿态估计的一个良好的环境来纠正INS的误差。结合上面的试验中,我们可以看到,视觉里程计是可怜的健壮的动态环境和我们算法优于VINS-Mono ZUPT-aided INS,这表明提出的算法有效地减少了实验的场景对视力的影响,提高导航精度。

7.1。多元组合实验室外

我们评估了探测器在长轨迹进行多元组合试验在室外设置。试验开始和结束在同一位置测试。实验者从大楼的门口,沿着建筑。试验要求轮流慢跑,散步,和快速运行。最后,我们回到了大楼,回到原点。整个轨迹是超过450米,持续约8分钟。乌兹别克斯坦伊斯兰运动测量多元组合状态图中可以看到12。

图13显示轨迹比较显示。均方根误差(RMSE)。

和平均(平均错误)的HPE表所示4。由于低适应性的各种状态的阈值,我们可以看到明显的INS翻译漂移估计的轨迹。更重要的是,VINS-Mono几乎没有航向偏差但是有偏移的位置估计当审判慢跑或跑步。从轨迹的比较,我们可以看到,该系统大大提高了测量的准确度INS很多实时自适应参数。提出的算法实现最佳性能。

7.2。一个大规模的实验

我们选择了一个校园环境的实验场景验证远程定位性能的改善。在这种大规模的现场测试,试验距离是2.2公里,约164028分钟。

如表所示5。HPE的RMSE该算法是7.53米。在相同的测试条件下,由固定阈值结果INS和VINS-Mono是26.04米和21.73米。同样,我们算法的平均误差明显低于其他人。很明显,算法提供精确定位甚至在大规模场景。

估计轨迹与谷歌地图在图14。从图可以看出,视觉循环可以正确的导航误差。然而,整体的优化轨迹也会影响整体的姿势估计精度。与谷歌地图相比,我们可以看到我们的结果几乎是drift-free非常长时间的测试。

8。结论

在这项工作中,我们提出了一种新颖的视觉教具惯性导航系统与详细描述行人的积木和一个详尽的评估。的方法可以增加造成估计的准确性与柔性连接传感器融合和优化INS的参数。我们建立零速度区间扰动和导航功能关系的结果,这是我们工作的基础。用因子图,视觉里程计与foot-mounted融合MIMU克服惯性导航的误差漂移的结果。fusion-optimized姿势是作为观察优化每一步的零速区间,进一步更新行人的零速检测阈值在当前运动状态。我们表现出优越的性能,通过比较对行人惯性导航算法基于固定阈值和典型的visual-inertial融合算法。未来的工作将融合其他传感器的方法更精确的估计,如GPS、无线指纹,超宽频和磁强计。我们的目标是不仅进一步提高姿态估计的准确性也实现即插即用的行人导航传感器融合。

数据可用性

视觉惯性原始数据用来支持本研究的发现可以从相应的作者。

的利益冲突

作者(年代)(s)宣称他们没有利益冲突。

资金

这部分工作是支持由国家自然科学基金会(NNSF)下的中国授予61773394和62073331。