文摘

大屏幕人机交互技术是体现在日常生活的各个方面。常用的动态手势跟踪算法在最近的大屏幕互动技术演示了引人注目的结果但患有准确性和实时性问题。本文系统地解决这些问题,一个开关联邦滤波器方法,结合粒子滤波和意味着转移算法基于3 d传感器。与几种算法相比,结果表明,单手和双手大屏幕手势跟踪基于联邦滤波算法切换工作,也没有跟踪失败和失去目标。因此,切换联邦跟踪定位算法可以很好地应用于人机交互系统的设计,并提供未来人机交互的新思想。

1。介绍

人机交互技术的定义是基于一个特定的软件程序通过相应的输入和输出设备,计算机和人工操作的有机结合是用来实现互动交流的相关技术(1- - - - - -17]。当前的大屏幕人机交互技术主要分为以下几类:(1)红外触摸交互帧;(2)电容触摸式电子屏幕触摸交互;(3)语音识别交互;(4)计算机视觉互动。这些技术都有自己的优点和缺点的成本、准确性、交互性等。3- - - - - -7]。基于红外触摸交互框架和电容触摸式电子屏幕都是基于交互硬件固定在某个地方。因此,不仅是这些昂贵的人机交互操作,但也相互作用的范围和精度受硬件限制(4- - - - - -8]。同时,基于语音识别的交互往往受制于复杂的嘈杂的环境主要是用于小规模civil-computer交互领域,因此有一个较小的应用领域。基于机器视觉的人机交互系统主要是基于传感器和其他设备来收集图像或信号,然后完成信号预处理操作图像传感器收集的信号或数字信号通过一个独立设计人机交互软件。被跟踪的目标从背景中分割出来,和目标跟踪等一系列的操作和运动识别用于完成相应的人机交互(4,7- - - - - -11]。因此,设计的人机交互系统的成本相对较低,基于计算机视觉和交互效应可以获得。

基于计算机视觉的手势识别方法主要分为两类:一是基于三维模型的分析方法,另一个是基于2 d图像。3 d模型的分析方法需要建立参数模型描述手势。因为它可以提供3 d数据,可以建立更准确的手势模型。然而,方法有很多参数和高计算复杂度,并在当前技术难以实现实时搜索结果。用二维图像方法,主要分析图像的性能和提取有效的特征进行识别。因为第三个3 d空间信息的损失,手势模型不能有效地建立了描述功能。此外,它的参数少,所以它能满足实时处理的要求。这两个方法很难保证系统参数和实时性能之间的平衡。

提出了一种大屏幕互动成像系统与基于3 d传感器和开关联邦滤波器方法验证的跟踪结果独立开发的姿态位置跟踪平台。本文的主要创新如下:(1)提出了一种改进开关联合滤波算法结合粒子滤波和转变是引入领域的大屏幕手势跟踪跟踪动态手势;(2)自主研发的手势跟踪平台和三维交互式软件结合观察姿态跟踪效果;(3)大屏幕单手和双手手势跟踪基于联邦滤波算法切换工作,没有跟踪失败的现象,失去目标。

本文的结构如下:一种改进的切换联邦滤波算法结合粒子滤波和转变是用来跟踪和定位部分的动态手势2。部分3介绍了动态手势跟踪和定位实验验证基于切换联邦滤波器的方法。最后,给出了结论部分4。

2。具有开关联邦滤波器的动态手势跟踪算法

常见的手势跟踪算法不能处理复杂环境中的动态手势跟踪的问题。本文开发了一种改进的切换联邦滤波算法,它结合了粒子滤波和均值漂移算法。在人手运动缓慢的情况下,粒子的均匀驱替后,粒子漂移动态手势区域除了少量的粒子。姿态位置可以获得没有后续预测的粒子,这样可以节省算法的运行时间。粒子的平均价值时将漂移的运动快或有阻塞。如果动作的区域不能被探测到,粒子将返回漂移前的条件,等待算法对下一帧执行相应的处理。因此,如何选择相应的滤波算法在不同条件下是问题的关键。摘要交换系统方案首次引入滤波器,并应用于大屏幕互动成像系统。

切换系统由一系列连续的或离散微分方程子系统和切换规则或切换策略4,18- - - - - -34]。如果整个过滤过程被认为是一种混合动态系统,那么每个滤波算法可以被看作是系统的一个子系统。该系统由耦合切换系统具有任意切换规则和使用两个子系统组成的任意切换过滤系统。在人手的运动速度时,粒子滤波算法的滤波器子系统将选择;当人类的手慢慢移动,均值漂移算法的滤波器子系统将被选中。切换信号的意义 在哪里表示, - - - - - -子系统是开启和 - - - - - -子系统是关闭 。因此,在有限的时间中,切换序列是有限的,和不存在状态转换开关时刻,在哪里是初始时间和 是 - - - - - -开关时间。当 ,的轨迹切换非线性系统产生的 - - - - - -th子系统,定义 ,的最小间隔时间 - - - - - -子系统。

当前常见的粒子滤波实现框架是基于重采样和序贯重要性采样,可称为采样重要性重采样滤波器(35- - - - - -37]。因此,它主要包括三个基本操作步骤,形成一个迭代周期如下:

步骤1(抽样)。基于贝叶斯后验估计和状态转移方程前一刻的目的达到更新粒子状态,预测分布(即。,prior distribution) can be achieved.

第二步(重量更新)。基于最新的观测信息 ,采用似然函数来执行相应的重量为权重更新操作: 在哪里代表粒子的重量,代表重要性分布函数,表示后验概率密度。

步骤3(重采样)。基于身份分配的原则,重采样操作上执行更新后的粒子组合权重更新操作完成后。一套新的粒子的粒子权重可以获得。的次数粒子权重与采样将nonbiased重量值

同时,均值漂移算法作为其他滤波器子系统是一个过程,它使用非参数密度估计,用来执行迭代搜索基于特征空间梯度方向,然后获得样本数据与当地密度最高(12- - - - - -14]。相对于其他基于优化匹配搜索跟踪方法,意味着改变滤波算法的优点,该方法不需要事先知道特征空间的特点;唯一的要求就是相关的示例数据。根据这些样本点进行过滤。因此,这种算法具有计算复杂度低。算法的实现并不难,算法具有较强的实时性能,以满足系统实时要求高。在均值移位算法中,最关键的是计算每个点的偏移量的意思是然后更新点的位置根据新计算偏移量的意思。

n采样点 ,在一个给定的采用空间 ,意味着改变向量的基本形式为x点

在哪里是一个高维球面半径的h。被定义为

均值漂移的形式有一个基本的问题:在该地区 ,,每个点都有同样的效果 。事实上,这种效应之间的距离有关和每一个点。不同样本的重要性是不同的。针对上述问题,内核函数和样本的重量被添加到基本意味着向量形式转变,和下面的修改意味着转变得到向量形式:

其中,

是一个单位的内核函数。是正定对称 矩阵,称为带宽矩阵,对角矩阵。 是每个样品的重量。对角矩阵的形式是

上面的意思是改变向量可以写成

的意思是改变向量是一个规范化的概率密度梯度。均值漂移算法的概率密度实际上是用于获得局部最优解的概率密度。概率密度函数 ,已知的n采用空间采样点 ,的内核函数估计:

在哪里 是重量分配给样本点和是一个内核函数。梯度的估计的概率密度函数是

让 和 ;有

其中,第二个方括号意味着意味着改变向量,这概率密度梯度成正比。意味着改变向量修正结果如下:

考虑 ,然后就上述公式

后的流程集成的具体算法如下。

步骤1。在最初的框架,所有的粒子分布在手势区根据高斯分布。

步骤2。在下一帧,所有粒子都意味着转移,转移后Pasteurian作为粒子的权重,权重归一化,有效的粒子的数量计算。

步骤3。确定有效的粒子的数量大于阈值 。

步骤4。如果有效粒子数大于设定阈值 ,目标区域的粒子分布区域。然后,所有的粒子都是按重量从最高到最低。选择一个粒子的重量大于阈值计算的位置姿态。

第5步。种子定义为计算的中心区域tep 4,区域增长分割,建立了姿态的椭圆模型的分离区,并重新取样的粒子的重要性。

步骤6。如果有效粒子数小于设定阈值 ,粒子分布通过四周的高斯分布。

步骤7。使用均值漂移算法对所有粒子,转移后Pasteurian作为粒子的权重,权重归一化,有效的粒子的数量计算。

步骤8。如果有效粒子数大于设定阈值 ,去tep 4。

第9步。如果有效粒子数小于设定阈值 ,确定粒子的重量增加了。

第10步。如果一些粒子的重量增加,这意味着的一小部分粒子扩散到手势区域。重新取样的重要性粒子然后去tep 7。如果粒子体重不增加,粒子扩散到周围的不到3次,然后去tep 6。如果他们已经3次传播,认为没有帧中目标区域,粒子被恢复到之前的状态,然后进入下一个帧。

算法流程图如图1。

3所示。动态手势跟踪和定位实验验证基于切换联邦滤波器的方法

在这篇文章中,两个实验是为了验证姿态跟踪和定位的影响提出了联邦滤波算法。第一个实验是基于自主研发的人机交互定位软件平台和观察的过滤效果切换联邦滤波算法。第二个手势跟踪和定位的实验是基于3 d互动软件。比较切换联邦滤波算法与几个算法和观察到的性能不同的算法在跟踪精度和跟踪时间。

3.1。手势跟踪和定位实验基于自主研发的人机交互平台

自主研发的人机交互式定位软件平台系统生成一个交互操作界面通过投影仪墙上任意或窗帘。Kinect传感器通常是固定在屏幕的正上方一系列1 - 3米,远离墙面(5 - 6厘米4,6,8]。投影机放在前面的墙,和表面投影的大小可以改变通过调整距离。物理图谱如图2。操作员站在互动区,可以使用肢体点击,秋千,旋转,抓住前面的投影表面。

数据3和4展示姿态定位前过滤和转换后的影响联邦滤波,分别。如图3,左边的图像由Kinect传感器是用来识别手势的位置,位置和姿态计算后得到的相对坐标的人机交互软件平台可以看到右边。绿色的梯形区域代表互动区域认可的传感器。底部的尖端的红线代表认可的位置姿态。黑色数字图3旁边的尖端是相对二维坐标的手势交互区。

从数据3和4,多个红线尖点在图3表明该平台不能过滤掉干扰相对姿态确定位置。联邦滤波算法切换后补充说,只有一个出现红线图4。所以这个平台可以准确地确定相对姿态位置。因此,提出开关滤波算法可以提高手势跟踪算法的准确性。

3.2。手势跟踪和基于三维交互式软件定位实验

有许多常用的目标跟踪算法。本文运用典型Cam-shift算法比较算法的实际应用在大屏幕上。Cam-shift算法是常用的手势跟踪算法,有利于跟踪固体物质在黑白背景。然而,背景颜色和目标之间的对比不明显,和跟踪效果很差15- - - - - -17,38- - - - - -40]。验证转换联邦滤波算法的有效性,一个手势跟踪和定位实验提出了基于3 d互动软件。具体操作方法是改变大屏幕投影系统基于独立开发的互动平台,大屏幕拼接显示系统和使用实时显示的三维互动软件。

本节比较Cam-shift算法与联邦跟踪算法在模拟开关。手势轨迹追踪的两种不同的算法被传输到电脑。鼠标函数跟踪跟踪的三维交互式软件可以转换姿态跟踪映射到鼠标的痕迹起源和马赛克屏幕上显示它。可以观察到不同的算法的跟踪效果根据拼接屏幕上的鼠标轨迹。交互式软件基于软件平台可以操作位置姿态的鼠标位置,所以鼠标手势跟踪轨迹跟踪。图5是单手使用的手势跟踪的实际效应图使用该开关联邦滤波算法,和图吗6相应的电脑截屏图吗5。图7是单手使用的手势跟踪效果基于Cam-shift算法,和图吗8相应的电脑截屏图吗7。

从图可以看出5时,一只手在屏幕前面,手势跟踪效果好。3 d交互软件可以准确地跟踪姿态跟踪和显示手势跟踪。从图6,没有跟踪失败点跟踪轨迹(失败的轨迹点显示红色感叹号),因此,基于联邦滤波算法切换姿态跟踪工作。图7是一个单手的操作的原理图基于Cam-shift算法。当一个单手的动作在屏幕前面,跟踪故障现象发生在手势跟踪的效果。单手使用的电脑截屏手势轨迹如图8。从图可以看出8跟踪轨迹未能遵循的轨迹点,所以手势跟踪效果基于Cam-shift算法不能获得。

手手势跟踪轨迹图如下所示。图9是实际的效应图或双手手势跟踪基于联邦滤波算法切换,和图吗10手手势跟踪的电脑截屏图吗9。从图9时,手势跟踪效果更好的双手移动在屏幕前面。3 d交互软件可以准确地跟踪姿态跟踪和显示手势跟踪。从图10失败,没有跟踪点跟踪轨迹,因此,基于联邦滤波算法切换姿态跟踪工作。图11的原理图或双手操作基于Cam-shift算法。当两只手在屏幕上移动时,手势跟踪的跟踪效果失败。电脑屏幕截图的手势轨迹如图12,跟踪轨迹未能遵循轨迹点(跟踪失败的轨迹点显示红色感叹号),所以基于Cam-shift手势跟踪算法的效果不能获得。

验证精度和跟踪时间在不同的采样点根据联邦跟踪算法和几种常用的算法(41200年],本文追溯了图像序列不同的采样点,并计算算法的跟踪精度和跟踪时间,分别。粒子滤波(PF)是蒙特卡罗近似最优贝叶斯过滤器,并提供鲁棒跟踪移动物体在嘈杂的环境中,特别是在非线性、非高斯问题的情况下,公众的兴趣在于移动物体的检测和跟踪。速度自适应模型(VAPF)更新传播距离根据前一帧的时间差异计算平均速度。

表1显示了不同的算法的跟踪精度在不同的采样点。正确的跟踪速率(%)低于各种算法的名字。TA表示跟踪算法。议员表示数量的采样点。

表2显示了几种算法的跟踪时间在不同的采样点。以下各种跟踪算法名称* (ms)。TA表示跟踪算法。议员表示数量的采样点。

从表1和2,它可以发现切换联邦跟踪算法提出了改进算法的跟踪精度和跟踪时间相比几个滤波器算法。因此,拟议的联邦滤波算法极大地提高了实时切换性能和跟踪精度的手势,可以应用于大屏幕互动成像系统。

4所示。结论

最近的大屏幕互动手势跟踪算法成像系统面临不准确,实时性能低。提出了一种切换联邦手势跟踪算法结合粒子滤波和均值漂移算法。联邦滤波算法首先平均粒子使大部分的粒子漂移到手势区域的范围。粒子预测的后续步骤可以省略,从而节约算法的运行时间。实验仿真方面,本文首先比较了影响图滤波前后的自行设计软件平台和显示切换联邦滤波器在消除定位干扰有很好的效果。然后,轨迹显示在三维交互式软件函数被调用。相比Cam-shift手势跟踪算法在实际的大屏幕,无论是追踪单手使用的手势或双手手势,所有的联邦滤波算法将无法跟踪或失去目标。因此,切换联邦滤波算法可以解决低精度和实时性能的问题在动态手势跟踪。该算法有效地减少了复杂的环境影响跟踪效果,可应用于互动大屏幕等成像系统。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突。

确认

支持的工作是由中国国家自然科学基金(61403268,61403268);江苏省自然科学基金、中国(BK20181433);基础研究基金为中央大学(30918014108);对江苏省高校自然科学基金(16 kjb120005);开放基金合作创新工业节能和电能质量控制中心,安徽大学(KFKT201806)。