文摘

介绍了一种新颖的可穿戴设备基于惯性动作捕捉和磁测量单位,由微型机械陀螺仪,加速度计和磁力计。低成本惯性和磁场测量装置紧凑和足够小,磨损和共有36个单元集成在设备。设备是由两个对称的部分,和正确的一部分或一个包含18个单元覆盖的所有段的手臂,手掌和手指。离线标定和在线校准提出了提高传感器的精度。多个quaternion-based扩展卡尔曼滤波器是用来估计绝对方向和运动模型的arm-hand被认为是确定的相对取向。此外,位置算法推导出计算相应的关节的位置。最后,实现几个实验来验证的有效性提出了可穿戴设备。

1。介绍

手势是一种自然和有效的方式沟通,人与人之间的互动中发挥着重要作用,表达和传递信息。因此,手势识别技术已成为一个热点研究课题。通过手势识别,结果用于与计算机沟通,评估手的运动学控制电子设备,等等。在一些应用领域中得到了广泛的应用,如康复、运动、和动画产业1,2]。为了确定人类的手势,我们需要获得的位置,速度,方向,和其他信息的手势动作捕捉技术。

目前,主要有两种类型的动作捕捉技术,即基于视觉和联系设备(3,4]。基于视觉设备捕获视频流进行分析来确定手的运动。另一方面,基于接触设备依赖于物理与用户的交互。基于视觉的手势方法,用户通常不需要穿收集设备,可以更自由地移动。但它是更容易的背景,如照明,闭塞,和其他环境因素。此外,摄像机的帧速率和位置要求较高(5]。相比之下,基于接触的设备很容易实现。接触的例子基于移动触屏设备,EMG-based设备和数据手套。EMG-based设备便携,但EMG信号容易受到采集位置的影响,个体差异、身体状况等因素。此外,精细的手指和手的运动仍然是很难确定(6]。数据手套使用多个光纤传感器等传感器,压力电阻传感器、压力传感器、磁强计、加速度计和陀螺仪,感知运动(7]。这种方法可以反映空间运动轨迹,态度,和时间序列信息捕捉手的位置,方向,和手指的角度,这是环境条件的限制。但是,目前,产品价格是非常昂贵的,因此发展低成本的数据手套已经成为我们研究的目标。不同类型的感官手套已经开发加班、商业和原型的。商业产品(8)通常使用昂贵的动作感应纤维和resistive-bend传感器和太昂贵的消费市场(9]。因此,开发原型数据手套来降低这些设备的成本(10]。flex传感器或弯曲传感器集成到数据手套。然而,上面的传感器是测量的相对取向铰接部分安装的传感器在共同感兴趣的。这需要一个精确的校准的传感器与特定关节。此外,校准是必要的来减轻由于传感器位移估计错误。数据手套的一般缺点是缺乏对个人用户定制的主题的手和阻塞手掌的触觉传感表面的手。经常与缺乏这种固有的布嵌入传感器的安装空间。为了克服这些缺点,惯性和磁传感器感应。

近年来,微机电系统技术开发了极大。microinertial传感器有很多优点像低成本、体积小、低功率消耗、大的动态范围,等等。它已逐渐成为最受欢迎的传感器对人体运动捕捉(11]。同时,磁传感器常用的准确和惯性传感器一起drift-free取向估计(12]。惯性和磁性测量单元(方面)已经被证明是一个精确的方法来估计身体部分的方向没有外部相机(13]。nonobtrusive,相对成本效益,容易安装和使用。它还展示了更高的相关性和更低的错误而研究使用视觉运动捕捉系统时相同的动作记录(14]。此外,可穿戴的惯性和磁传感器正变得越来越受欢迎的手势动作捕捉。

手势动作捕捉设备基于microinertial传感器通常可以分为三种类型,这是手持型(15),wrist-wearable类型(16),和手套类型(17]。与手持和wrist-wearable类型相比,有更多可用的手套类型是数字和类型的惯性传感器的手势并提供更准确的结果。因此,手套是最常用的形式。KHU-l数据手套(17由六个三轴加速度计,但它只能捕获几种手势。在[18),开发了基于数据手套16 microinertia传感器,它可以捕获每一个手指和手掌的运动,但航向角信息的丢失。在[19),使用惯性和磁测量单位,但它只使用四个惯性和磁测量单位,这是无法获得的信息,每个手指关节。力量手套(20.),其中包括六个nine-axis microinertial传感器和十基础microinertial传感器。它涵盖了各关节的手掌和手指,可以更好地评估和运动特征。然而,它并不充分利用九microinertial传感器,在某些国家,航向角的解决方案是不稳定的,可能会导致关节角的估计错误。研究表明,当前姿态捕获设备不考虑手臂的运动,,同时,手的运动不能完全捕捉到。因此,我们使用惯性和磁测量单位来开发一个新的姿态捕获装置,它可以完全捕获的运动信息的手指,手和手臂。

另一方面,IMMU-based设备应该集中在以下两个主要方面:校准和融合算法。校准是重要的改善方面的性能。一般来说,有两个阶段,包括惯性传感器校准(21)和磁力计校准领域(22]。低成本和低精度的惯性传感器,等确定的错误偏见和比例因子存在不可避免的,和校准方法应旨在提高精度。此外,磁力计在野外会影响铁基材料,产生自己的磁场。因此,磁力计的测量地球磁场和额外的磁场环境影响造成的。因此,磁力计校准应该实现减少干扰和提高方位角。融合算法是另一个关键过程估计方向相结合的信号陀螺仪,加速度计和磁力计。传感器融合的卡尔曼滤波器是一个有用的工具。扩展卡尔曼滤波器(23]估计方向的一种通用方法,并已应用于明显的产品(24]。然而,卡尔曼滤波器是不容易选择合适的参数和计算。那么互补滤波器相结合提出了两个独立的噪声测量相同的信号(25]。互补的过滤器是高通信号从低通加速度计陀螺仪和提供的数据和磁力计在低频融合提供相对准确的测量来估计真正的方向。文献[26)提出了一个非线性不变的观察者,关于系统的对称方程。此外,评估的确定性算法是另一个类的方向。

这部小说可穿戴设备提出了姿态捕获基于开发方面。本文组织如下。部分2介绍了可穿戴设备的设计。部分3描述了传感器的校准和姿态估计的算法,并推导出位置估计。部分4校准的结果报告,方向,和动作捕捉实验,验证该装置的有效性。部分5给出了论文的结论。

2。可穿戴设备设计

2.1。惯性和磁性测量单元设计

的一个主要的设计可穿戴设备发展的低成本惯性和磁测量单位。商业方面通常包含处理单元和收发器模块除了MEMS惯性和磁传感器。这就增加了重量和包装尺寸;因此,它是不适合使用这些方面放在正确的位置的手指或手臂。此外,很难与小的距离,以增加更多的方面受益于冗余测量或获得更准确的测量手指因为结构和大小的单位。在这里,MPU9250 [27),部署系统在包装技术和结合9-axis惯性和磁传感器在一个非常小的包。因此,低成本、低功耗和轻量级的方面可以设计和开发。它还使驱动的多个方面microcontrol单元(MCU),从而降低系统的总重量。此外,小的方面可以把手套,这使得它更方便和更容易使用。MPU9250传感器被安装在一个坚实的PCB的维度10×15×2.6毫米,重量约6克。

连接是在设计的另一个重要问题。不同类型的传感器单元之间的连接和访问点(描述的身体已经28]。无线网络连接的方法方便,但无线网络的复杂性增加,系统必须权衡能耗数据速率。为了避免这个问题,使用有线方式(29日]。所有传感器单元直接通过电缆连接到一个中央控制单元,导致一个非常复杂的布线。在目前的工作,一个级联连接方式(30.)是使用和开发利用主SPI总线的每一个方面。这种方法简化了线路没有任何需要额外的组件。由于测量方面的阅读从一个字符串,单片机不需要切换到所有的方面获取数据,从而导致更低的能耗。与此同时,纺织电缆用于连接方面,单片机的增加了灵活性。这里的STM32F4单片机用于开发单片机。

2.2。设备设计

在确定上述的设计,设备的可穿戴设计可以确定。有36个方面的设备,和一双装置分别放在右手和左手。每一方都十八方面,涵盖的所有段的手臂,手掌和手指。每个字符串部署三个方面,六弦。其中有五个是用来捕获五个手指的动作,另一个是用来捕捉手掌的运动,上臂和前臂。电池和单片机连接到手腕。可穿戴设备如图1。

拟议的可穿戴设备设计基于低成本的方面,它可以捕捉更多的信息比传统传感器的运动。传统的传感器中使用数据手套如纤维或采用霍尔传感器是脆弱。然而,董事会的惯性和磁传感器是一个独立的单位。更紧凑、更耐用、更健壮。商业数据手套太昂贵的消费市场,但论文中提出的数据手套是低成本(200美元)。此外,提出了可穿戴设备不仅可以捕捉的运动手还抓住手臂的运动,和运动估计结果实时输出。

3所示。方法

在本节中,提出了姿态捕获算法。首先,介绍传感器的模型,给出了标定方法改进方面的测量。那么绝对方向滤波器基于推导出quaternion-based扩展卡尔曼滤波器,和相对定位算法综合运动学arm-hand建议。最后,推导出位置估计算法。

3.1。传感器的模型

在分析惯性和磁传感器的模型之前,两个导航坐标系的坐标框架和身体框架需要设置。刚体在空间的取向决定当一个坐标系的轴方向附着在车身骨架对指定的导航框架。根据框架,传感器的模型分别建立如下。

(1)速率陀螺。因为MEMS速率陀螺没有足够的灵敏度测量地球角速度,模型可以摆脱地球的角度向量。和速率陀螺的输出信号受到噪声和偏见;也就是说, 在哪里由速率陀螺测量,是真正的价值,是陀螺的偏见,是应该与零均值高斯噪声。

(2)加速度计。加速度计的测量身体的框架可以写成 在哪里是3×3矩阵由加速度计测量,表示方向余弦矩阵表示导航坐标系对身体坐标系的旋转,和是身体的重力向量和惯性加速度,分别表示在导航坐标系,然后呢米/秒²表示引力常数;是3×3矩阵规模加速度计输出;是加速度计的向量的偏见;与零均值高斯的向量。

通常,绝对刚体的加速度在导航框架应该是弱或刚体是静态的。然后,加速度计的模型可以简化为

(3)磁力计。理想的磁矢量表示在导航框架建模的单位向量。测量身体的框架是由 在哪里是一个3×3矩阵尺度磁力计输出,表示扰动向量包括磁力计的偏见和磁效果,是应该与零均值高斯噪声。

根据上面的介绍,我们可以知道,加速度计和磁力计包括错误的模型,这将导致估计方向错误。因此,应采用校准,提高传感器的准确性。

3.2。校准

为了提高方面的准确性,校准是必要的过程。典型的校准方法是惯性传感器分配给一个已知的角速度和线性加速度。这种方法通常需要一些特定的设备,如转盘。在这里,提出一种新型标定方法不需要特定的设备和很容易实现。校准过程有两个步骤。首先,加速度计和磁力计离线标定的过程。陀螺是由在线校准的过程。

统一数学模型的校准加速度计和磁力计可以使用如下: 在三轴传感器模型是写在向量形式和,是把传感器的输出常数抵消。

决定系数的校准过程,,,提高传感器的测量。当单位全方位旋转,真正的磁场和重力场的大小保持不变,和真正的磁场测量的位点和是球形。与此同时,测量和椭圆体,他们可以表示如下31日]: 在哪里,,,,和被假定噪声。

方程(6椭球的表达式。换句话说,测量是躺在一个椭球约束。因此,磁力计和加速度计的校准是寻求ellipsoid-fitting方法解决的系数,,,。和最小二乘算法通常用于确定参数。设备是旋转充分确保每个单元得到足够的测量来确定标定参数的最小二乘算法。因此,设备的加速度计和磁力计的单位是完全校准。

校准后,磁力计校准减轻环境磁场效应,和传感器输出的偏差补偿。因此,前面的方程可以改写如下:

自校准加速度计的规模和偏差错误,加速度计的模型改写如下:

离线标定实现确定偏差和加速度计的规模和磁力计。和在线校准实现消除陀螺的偏见。我们把数据手套在使用前静止一段时间。所以阅读是0。偏见可以被测量的平均值计算。该模型表示如下: 在哪里是陀螺仪的测量,是真正的角速度,是陀螺的噪声。

传感器的校准参数补偿的测量,这样能够提高准确率进行进一步的工作。

3.3。取向过滤器

基于这些类型的传感器,两个独立的方法可以确定姿态和航向。一个是由开环陀螺。刚体的角速率测量使用陀螺仪对身体axis框架。角是由开环估计的一体化进程,具有较高的动态特性。然而,陀螺误差会导致流浪的角度和态度逐渐不稳定的集成漂流。另一种方法是确定开环加速计和磁力计。正确方向可以从加速计和磁力计在理想环境。然而干扰和噪音会导致大的错误,使结果缺乏可靠性。两种方式都是很难以实现可接受的性能。传感器融合是一个很好的选择,达到稳定和准确的方向。 Then, the fusion algorithm of quaternion-based extended Kalman filter will be deduced.

在图所示的框架1。在图中,全球框架和当地的参考系,分别是位于每个方面。全球参考系设在定义沿轴向轴(从头部到脚)的主题,- - - - - -沿矢状轴(从左肩右肩)轴,和设在沿冠状轴(从胸部背面)。当地的框架设在定义沿轴向轴(正常的表面沿着向下)方面的话题,- - - - - -沿矢状轴(从左边到右边方面)的轴,和设在沿冠状轴(从后向前的方面)。与此同时,两个假设数据手套在使用:身体保持静态,只有胳膊和手都在运动;当地的静态磁场是均匀的整个手臂。

3.3.1。绝对定向滤波器

结合测量角速度、加速度和磁场值的一个方面,它可以稳定地确定方向对全球坐标系统。全球协调每个坐标方面的图所示1。表示之间的转换的3×1列向量之间的和表示为 在四元数,的反对称矩阵吗

矩阵的态度四元数有关 在哪里是单位矩阵。

的状态向量是由旋转四元数。状态转换矢量方程 陀螺测量噪声向量在哪里假定足够小,嘈杂的转移矩阵的一阶近似是可能的。

然后这个过程噪声协方差矩阵将有以下表达式:

测量模型是由叠加加速度计和磁强计测量向量:

测量模型的协方差矩阵是 加速度计和磁强计测量噪声在哪里和是互不相关的零均值白噪声过程和协方差矩阵的吗和,分别。

由于非线性的性质(15),EKF方法要求一阶Taylor-Maclaurin扩张是在当前状态估计进行计算雅可比矩阵:

然后,方向由以下EKF估计方程。

计算先验状态估计:

计算先验误差协方差矩阵:

计算出卡尔曼增益:

计算后验状态估计:

计算后验误差协方差矩阵:

根据上述算法,可以估计每个方面的绝对方向。然后,人类手臂和手的运动学。

3.3.2。相对方向滤波器

运动帧的胳膊,手,食指。有六个关节,坐标框架构建包括全球坐标()、上臂坐标(),前臂()、棕榈坐标()、近端坐标(),内侧坐标()和远端坐标()。和关节之间的长度,,,,,。在图所示的框架2。然后连续两个机构之间的相对方向可以由以下几点: 在哪里四元数的相对取向,的四元数的绝对方向第一个坐标,然后呢的四元数的绝对方向第二个坐标。

同时,手臂的运动学模型,手,手指被认为确定每一部分的方向。人类arm-hand运动可以认为是刚体的铰接运动部件。这些片段是上臂(肩部和肘部关节之间),前臂(手肘和手腕关节之间),手(腕关节和近端关节之间),近端手指(近端关节和内侧关节之间),内侧的手指(内侧关节和远端关节之间)和远端手指(从远端关节)。每个关节都有自己的本地框架。肩膀可以建模为一个球关节有三个自由度和一个固定的点代表的中心的肩膀。运动被表示为向量的上臂与身体之间。肘部与两自由度旋转铰链接合。手腕被建模为一个旋转铰链关节之间的两个自由度计算向量代表的手和前臂。近端关节被建模为旋转铰链关节有两个自由度。内侧关节和远端关节被建模为旋转接头有一个自由度。 Thus, the kinematic of this model consists of ten DOFs: three in the shoulder joint, two in the elbow joint, two in the wrist joint, two in the proximal joint, one in the medial joint, and one in the distal joint. Hence, the responding constraints are used to determine the orientations of each segment.

3.4。职位评估

我们假设身体保持静态和手臂和手的运动是由旋转关节。因此,指尖的位置表示,在手里坐标系(见图2)可以使用正运动学推导: 之间的转换表达的是两个连续的身体,,,,,。

总转换是由每个连续的产品贡献: 在哪里远端指骨的方向是关于身体和是远端帧的位置表示在全球框架。

3.5。总结

动作捕捉的方法提出了部分。这两个程序的校准首先改善传感器的测量来实现。惯性传感器由离线校准,校准和陀螺仪在线校准的校准。的取向方面QEKF估计。的运动学arm-hand被认为是和约束综合确定相对取向。最后,运动参数用于估计位置。一个完整的图在图的方法3。

4所示。实验和结果

校准实现提高传感器精度,然后比较实验证明调查方向估计的稳定性和准确性。实时手势动作捕捉实验证明提出的有效设备。

4.1。校准结果

triaxis加速计的校准结果和triaxis磁力计的小节中介绍。方面的校准样品收集的各方向的旋转。然后,该方法被用来确定矫正校准参数,,,。加速度计的输出和磁力计如图4。蓝色的球在图4是传感器的原始日期和红色球体是传感器的校准数据。校准参数表中列出1。

4.2。评价实验

校准后的传感器设备,评估实验旨在评估取向估计的准确性。一个字符串的设备被连接到该机械臂。三个方面设置相同的方向,如图5。从第一个状态和机械臂旋转到第二状态。然后估计取向方面与机械臂的真正方向。取向三个方面的结果如图所示6。和结果的均方根误差(RMSE)在表列出的取向2。

如图65 ~ 8秒期间,机械手臂是动态的。在静态情况下,它可以知道结果有较小的方差和精度高于动态情况下的结果。此外,偏航角有啤酒方差比横滚和俯仰。它应该是汽车造成的机械手臂,因为磁力计打扰。机械臂在静态时,设备可以计算精度方向。比较结果证明方向的准确性方面的设备。然后实时手势动作捕捉实验实现。

4.3。动作捕捉实验

方面的数据采样,收集并由单片机计算,然后通过蓝牙传输到外部设备。单片机处理原始数据,估计每个单元的方向,封装成数据包,然后将数据包发送到电脑通过蓝牙。传输数据的波特率是115200个基点。的频率是50赫兹。通过使用这个设计,动作捕捉可以立即通过电脑上的虚拟模型。接口是由c#写的。可穿戴系统如图所示7。

为了进一步验证的有效性提出了设备,上臂是上下摇摆。结果导向的手势图所示8。和右食指的指尖的正电子在图所示9。如数据所示,可穿戴设备可以确定现实的胳膊和手的运动。与此同时,评估结果统计数据的准确性。均方根误差(RMSE)的方向是列在表中3。正电子的RMSE表中列出4。此外,可穿戴设备也是由十个健康的参与者进行测试;实现实时运动姿态捕获实验证明该系统的有效性。

4.4。讨论

在本文中,一种新颖的可穿戴设备动作捕捉提出了基于磁和惯性测量单元。实际有用的应用程序,该设备满足要求包括精度、计算效率和鲁棒性。首先,标定方法旨在提高传感器的测量精度。特别是,提前减毒作用的磁场。的方向分为绝对定位和相对方位的姿态。绝对的方向是由QEKFs,相对方向估计通过整合arm-hand的运动学。是那么容易计算的位置。该方法既简单又快捷。该算法在嵌入式操作系统在50 Hz。实验结果证明了该装置的优点。

5。结论

介绍了设计、实现和实验结果的可穿戴设备使用惯性动作捕捉和磁传感器模块包含正交安装加速度计的三合会,角速率传感器和磁力计。不同于商业运动数据手套通常使用高成本的动作感应纤维获得运动数据,我们采用了低成本惯性和磁传感器来减少成本。与此同时,低成本、低功耗和性能的轻量级方面优于一些商业方面。此外,这部小说设备提出了基于36方面,覆盖整个领域的两个胳膊和手。我们设计的在线和离线标定方法改善单位的准确性。我们推导出3 d的胳膊和手的运动估计算法,综合提出了运动学模型的胳膊,手,手指,指尖的姿态和立场的态度可以决定。实时性能和方便,接口和虚拟模型设计。业绩评估验证,提出了数据手套可以准确地捕获的运动姿态。系统开发的所有电子组件可以集成的方式,很容易磨损。这使它更方便为用户和吸引人的。

相互竞争的利益

作者宣称没有利益冲突。

确认

这项工作已经由美国国家科学基金会支持中国青年科学家(批准号61503212)和中国国家自然科学基金(批准号。U1613212, 61327809, 61210013,, 91420302)。