文摘

手势为一个重要的角色在使自然与计算设备的交互,他们日常非语言沟通形式的一个重要组成部分。在越来越多的应用场景的手势交互,比如手势的认证,书法,素描,甚至艺术表现,不仅是底层动作复杂,由多个中风也动作的正确性取决于订单的中风。在本文中,我们目前的WiCG,一个创新和新型无线传感方法对笔划顺序捕获和提供反馈。我们的方法追踪用户的手运动在写作和利用这些信息结合统计方法和机器学习技术来推断人物一直写,笔画顺序。我们认为书法是用例生成的手势是高度复杂的,和他们的评估取决于正确的笔画顺序。我们开发了一套分析和算法来克服许多问题的具有挑战性的任务。我们进行了广泛的实验和用户研究来评估我们的方法。实验结果表明,我们的方法是非常有效的识别书面角色及其笔画顺序写的。我们表明,我们的方法可以适应不同的部署环境和用户模式。

1。介绍

手势是一种很重要的沟通渠道,[人类1),并提供一个自然的方式来支持人机交互(2]。近年来增加兴趣利用无线信号,如无线网络(3- - - - - -7)或射频识别(8手势识别)。与其他技术相比,有几个优势,无线信号。首先,基于无线信号解决方案部署开销较低只有商用现货(COTS)无线设备是必需的。其次,无线信号允许用户执行手势自然没有任何仪器的用户。的确,以前的工作在nonwireless形式集中在插装摄像机的环境(9)或深度照相机(10插装用户通过执行)或间接识别在智能手机上,smartwatches,或其他衣物,例如,利用惯性传感器或音频11]。前患有高度privacy-intrusive,而后者需要用户持有(或穿)设备,减少自然的手势。

当前无线手势识别系统的一个重要的缺点是,它们主要用于支持(相对较小的)简单,谦虚的姿态,如接口命令(12]。在很多应用场景,更复杂的手势,由几个中风,可能包含一个高程度的模糊性需要支持。事实上,域需要支持复杂的手势从身份验证(13]互动学习14),素描(15),甚至艺术表达(16]。在这些领域,认识到笔画构成的姿态本身是不够的,而且他们的订单必须是已知的。

以书法为例,它是由不同的笔画在某种秩序。大多数汉字是由数十名中风在不同的安排。因此,认识汉字,首先需要确定他们的中风。然而,同样的位置和大小中风可能不同在不同的汉字。现有的无线传感方法不能解决这种差异,也没有适用和识别细粒度的可归纳的方法复杂的连续行为(如中风在汉字)。因此,有必要提供一个通用而有效的如此复杂和连续动作识别的方法。

在本文中,我们试图扩展的范围支持复杂无线手势识别系统multistroke手势和识别用户的笔划顺序。为了实现这些目标,我们引入WiCG,一种新颖的基于wifi方法对细粒度的姿态捕获和提供反馈。WiCG使用两个COTS WiFi设备如图1跟踪用户的手在写作和运动不需要用户进行任何设备。作为一个案例研究中,我们考虑一个互动中国书法学习场景,旨在提供反馈合适的笔划顺序。中国书法作为代表应用程序域的例子,受益于我们的方法作为单独的字符包括几个复杂的原语(见图2)和最优的笔划顺序有很强的影响最终的输出(参见图3)。事实上,掌握笔画顺序通常被视为书法学习者的困难,因为许多汉字并不遵循一般规则。

WiCG利用无线信道状态信息(CSI)首先追踪用户的手的动作,然后使用这些信息来确定哪些中风已经推断出相应的字符和笔画顺序写的。然后,它为用户提供了正确的笔画顺序错误写字符,通过比较发现笔划顺序对数据库的标准化。我们设计一系列新的分析和基于统计方法和机器学习模型来实现我们的目标:(1)使WiCG能够适应不同的部署网站和用户模式,(2)跟踪CSI信号映射到特定的中风,和(3)利用上下文信息来推断什么角色是最有可能在歧义时写的。结果是一种新的方式使用CSI顺序跟踪细粒度的手势动作和动作被执行。我们相信该研究能鼓励新的一行使用CSI的细粒度的手势识别研究。

我们实现了一个工作原型WiCG并进行了广泛的实验来评价其性能。实验结果表明,WiCG能够成功识别约80%的角色在我们的实验。中风,WiCG达到准确识别简单的中风和对于复杂的准确性。

对成果的总结:(我)第一次,我们展示如何使用WiFi信号跟踪细粒度的手势动作。(2)我们的工作是第一个利用CSI自动跟踪角色及其笔画顺序写的。拟议的技术一般适用,可以应用于许多其他手势识别领域。(3)我们展示如何将统计方法和机器学习技术,使发达系统适应各种环境。

2。相关工作

2.1。WiFi ieee应用程序

基于WiFi感应吸引了相当大的关注,因为广泛部署的无线基础设施。大部分的先前的研究开发一个device-free解决方案利用商业,现成的无线设备感知环境或对象的动作。特别是,有许多研究成果在定位和目标探测17,18]。然而,这些作品仅限于粗粒度的跟踪和检测(例如,检测是否有人类或宠物在监测区域),不能满足细粒度的人类活动的需要检测和人机交互。超出了目标探测和定位功能的无线系统,提出了许多基于WiFi的应用程序和系统在最近的研究中,包括手势识别(5,19),用户标识(4,6),健康和风险评估20.),和活动检测(21]。这些作品证明无线传感信息已成为一个强大的媒介执行复杂的任务。这些作品启发我们利用序列化的细粒度的动作识别利用无线信号。

2.2。细粒度的人类活动

由于CSI捕捉微妙的运动能力的无线信号,最近工作提出识别细粒度的人类活动,通过WiFi信号。王等人。22]目前检测微小的人类呼吸系统通过使用一个公共无线网络设备和菲涅耳区模型。Melgarejo et al。23)利用定向天线来识别细粒度的手势。受,阿里et al。24)利用现有的商用无线设备和CSI值识别键盘按键,26个字母和数字键等。WiFinger [25让手指和设备通过无线信号进行交互。李等人。26)研究如何利用CSI的击键动作打入支付宝的数字密码。然而,迄今为止,没有工作利用无线信号跟踪和识别细粒度的姿态运动在持续的基础上。我们的工作发展一个小说的框架。我们评估我们的方法通过应用它来确定中国书法笔画顺序,对手势识别具有挑战性的任务。

2.3。手写字符识别

手写汉字识别是模式识别中最重要的研究领域之一。大多数研究使用图像处理技术适合手写字符识别(27),但这是基于图像的汉字识别很难确定笔划顺序是正确的。RF-Copybook [28为中国书法识别使用无线信号,但它也有一些局限性。RF-Copybook使用两个RFID标签附加到墨水刷;也就是说,我t我s not device-free. RF-Copybook can track the hand movements for writing, but it requires richer information like what character is being written and assumes the character is written with the correct stroke order. While having such information can simplify fine-grained gesture recognition, it would be highly inconvenient to supply this information in practice. Furthermore, RF-Copybook can only track one character at a time and requires training for individual users and font sizes. WiCG employs a set of novel techniques to avoid these drawbacks to offer a device-free solution.

不同于现有的工作,我们的工作目的是更加关注角色如何写的不仅仅是所写。我们利用无线信号捕捉连续细粒度的写作姿态手写书法字符识别,不干扰和device-free,不需要改变写作工具和习惯。

3所示。背景

WiCG增强现有无线网络支持手势识别系统multistroke手势和捕捉笔划顺序手写字符识别。作为WiCG的案例研究,我们认为中国书法产生的角色是由几个中风以来,和中风的适当顺序是重要的学习者。中国书法的另一个挑战是中风形成字符包含一个高程度的模糊性,只有细微的差别分离原语。这种挑战使得书法困难任何手势识别系统,更不用说一个操作使用无线信道的信息。在下面我们描述案例研究为无线传感系统和使用CSI。

3.1。描述的案例研究

作为一个案例研究中,我们建立一个原型系统的手势跟踪书法学习者写汉字。写一个汉字是一个序列的细粒度的手部运动写一组中风。我们的系统作为一个好的用例为细粒度的手势识别跟踪中风模仿许多真实世界的应用程序,我们需要跟踪的素描线条在绘画或检测连续用户手势的人机交互。

对于这个特定的案例研究中,我们的任务是识别字符写什么,他们是否用正确的顺序写的。我们注意到,利用平板电脑通常不是一个替代,因为这样做会影响用户体验。这是因为执行微妙的细微差别,中风是迅速或缓慢,刷是否把纸非常美味或力量,将大大影响写作或绘画的美学。我们的方法的优点之一是,它不需要用户改变他们的书写工具和习惯。

3.2。信道状态信息

我们的技术来检测细粒度的基于无线信号的CSI的手的动作。CSI已被证明是有用的在先前的无线传感任务(26]。写作期间我们主要观察手运动将介绍无线信号的多路径效应,这种干扰会导致特定的CSI的模式。这意味着我们可以找到一个独特的从CSI模式映射到中风。这个映射机制,我们可以建立一个系统来推断中风一直在书面和自动顺序,通过分析沪深写作期间收集的数据。

例如,考虑图3,显示字符永在楷书(永恒)。这个角色可以分为八种基本笔画图中所示。图4显示的是测量CSI振幅的八种基本笔画字符永。在这个例子中,我们让用户写每个中风使用墨水刷五次,和五个测量每个子图所示。从图中可以看出,测量了CSI振幅是或多或少不变的中风并在中风也有不同之处。

4所示。WiCG设计概述

4.1。设计目标

WiCG被设计作为一种新颖的基于wifi系统来跟踪和识别中风在图纸或草图。WiCG被设计来满足三个基本设计约束,确保良好的可用性和可接受性的系统。首先,系统不应该要求用户携带任何设备(即。device-free),因为它将减少其可用性。第二,我们的解决方案应该是低成本,不需要专门的硬件。第三,系统应该收集尽可能少的隐私信息。针对应用程序上下文和我们的设计目标,我们发现无线信号是一个适合我们的目标的问题。这是因为有很多低成本的无线设备可用,我们最初的实验表明,CSI能准确捕捉书面中风(见图4)。

4.2。概述WiCG

我们提出一个用户友好的汉字识别系统,WiCG,利用商品WiFi设备推断人物一直在书面和笔划顺序基于用户的手的动作实时响应在写作。图5描述了工作流的WiCG,包括以下步骤:数据收集:WiCG收集CSI数据当用户写道中风或字符。WiCG目前支持汉字用楷书写的,一个标准的风格通常由书法初学者使用。数据预处理:WiCG使用巴特沃斯低通滤波器去除噪音。然后,WiCG进行分割方案获得stroke-level CSI段。之后,WiCG使用CSI的映射函数变换段消除来自不同环境的差异。特征提取:WiCG使用范围的统计特性,被发现是有用的在之前的工作29日的无线传感捕捉stroke-level CSI段的基本特征。然后,WiCG规范化每个特性相同的规模和降低维数。标识:在这个阶段,提取的特征被送入中风的随机森林分类器识别。使用识别中风,WiCG推断人物所写的利用独特的中风的字符组合。消除歧义字符具有类似中风结构,长期短期记忆(LSTM)网络是用来利用上下文(例如,角色可能会出现在一起形成一个词或一个句子)来推断出哪个人是最有可能。在最后一步中,WiCG标识字符是否都写在正确的笔画顺序通过比较发现笔划顺序对数据库标准化的秩序。

5。系统设计

5.1。数据预处理

5.1.1。信号去噪

CSI固有的噪声是由于多路径的影响周围的环境。我们使用古典巴特沃斯低通滤波器消除噪声消除信号频率高于30 Hz。这是基于以下的观察:CSI变化引起的手运动在频域内的写作通常是2 - 30 Hz (7]。我们的实验评价表明,这种假设是有效的。

图6(一)显示了原始,嘈杂的CSI振幅收集在编写字符永。图6 (b)应用我们的去噪方法后给出了CSI振幅。仔细看看图显示,沪深去除噪声后的一些基本笔画的组合图所示4。这个例子表明,我们的方法可以取消物理环境的多路径效应捕捉微妙的CSI模式有效字符笔画。

5.1.2中。信号分割

我们建议两个分割方案,即字符级分割和stroke-level分割。

(1)字符级CSI分割。WiCG的第一个挑战是确定当用户开始,写完一个角色。这个信息是必不可少的推断特定字符已经发现不正确的笔画顺序写的。为此,我们先删除CSI的噪声数据,然后将CSI数据分成字符级段,每段对应一个字符。注意,我们不关心什么特定的字符,标志着每一段的开始点和结束点在这个阶段。

对字符级分割我们的假设是,用户通常停顿几秒钟之前编写下一个字符。这是因为学习者需要密切关注,从字帖,下一个字符的结构来写,或用画笔蘸墨水。为了验证这个假设,我们邀请20个参与者写下一个句子有22个汉字。我们用摄像机记录写作过程和测量之间的差距两个连续字符通过计算视频帧的数量。我们发现,平均而言,我们的参与者角色之间的停顿2.1秒。最小的休息时间是1.2秒,最大是3.5秒。这个实验证实了我们的假设。

因此,我们提出一个滑动窗口使用累积差异振幅分割方法,基于沪深振幅变化会更加突出,在用户执行一个写作姿态。描述CSI振幅的变化,我们定义的累积幅度不同如下: 在哪里代表一个CSI振幅值t,表示第一的累积值我振幅。l是一个滑动窗口的长度,根据采样率,然后呢N是样品的数量。图7给出了CSI测量收集当用户在写前三个汉字的时候,(永恒),(和谐)和(9)兰花馆(例如),一个著名的书法作品。从这个图我们可以看到,两个字符之间的停顿导致一致的CSI的模式。因此,我们可以利用累积振幅不同字符分割。具体来说,WiCG首先计算的最大和最小值积累的振幅差异( )确定一个粗略的单个字符数据段,然后需要三分之二的最大和最小值之间的差异的动态阈值p。最后,WiCG利用滑动窗口比较累积振幅差异p查找一个字符的开始和结束点。

(2)Stroke-Level CSI分割。广场的楷书具有明显的特征形状、直中风,没有连续写的现象。书法实践中,我们发现会有提升和下降运动在编写每个中风以来,用户需要把墨水写中风前刷下来,然后把它写完。图8(一个)分别显示了十倍提升和下降运动当用户在中风写作。我们可以观察到明显的增加的CSI振幅出现当用户执行的姿态举起一支笔和CSI振幅明显降低,当用户执行笔下滑的姿态。此外,提升和下降运动的振幅变化更与写作相比中风。

字符级细分类似于我们的观察,提升和下降运动导致独特的CSI模式可以用来部分中风。如图8 (b)的CSI数据汉字永分为五段,对应五个中风:(1)点,(2)水平和钩子,(3)水平和left-falling, (4) left-falling, (5) right-falling。我们训练神经网络反向传播(BP)模型基础上提升和下降运动获得一笔段。一种多层BP神经网络,提出了基于误差反向传播神经网络算法,可以学习和存储大量的输入输出映射关系模型。我们选择BP神经网络由于其强大的非线性拟合能力(30.]。

5.1.3。校准

我们的方法的第一步是调整造成的影响物理环境和用户的写作模式(例如,书写速度和字体大小)。我们的解决方案是学习映射函数将CSI获得用户的环境我们收集在一个训练环境。具体地说,我们希望学习映射函数, ,在CSI信号矢量, ,收集用户的环境,把它翻译到另一个CSI信号矢量, ,也就是说, 。我们想确保,对于一个给定的中风 ,函数输出, ,是接近标准CSI模式(我们指的是一个标准的CSI模式作为一个特定的中风的CSI收集的数据从我们的训练数据收集环境)中收集我们的培训环境。如果我们能够了解这样一个函数,我们可以使用转换后的向量, ,与我们的数据库来推断中风已经写过的东西。

我们也测试了一系列线性和非线性方法。我们发现一个简单线性回归函数, ,我们的目的是够了。图9显示用户的校准结果写作模式的垂直行程标准模式。可以看出,映射函数可以消除用户的不同模式。我们因此决定不使用更复杂的模型神经网络因为这些方法通常需要有大量的样本学习的一种有效模式。

我们多次要求用户编写特定的汉字在校准步骤,永与类似的字体大小,用户稍后会写其他字符。我们选择这个角色,因为它通常是用来说明中国书法的基本笔画,因此许多学习者熟悉它。然而,可以使用其他字符。用户需要写的次数是由确保收集的数据的95%置信区间窄比阈值(在我们的例子中10%)。在我们的实验中,我们发现我们的参与者需要编写字符平均的3.5倍。

确定权重(和 )的映射函数,我们遵循几个步骤。首先,我们把CSI数据分割成段,一段中风。stroke-level分割启发式在以下小节描述。然后,我们收集到的CSI数据规模相同的时间框架标准CSI每个中风。扩展数据将被组织为一个向量的值。

此外,在缩放过程中,我们也确保收集和标准CSI向量具有相同数量的数据点。最后,我们找到的一组参数和 ,这之间的均方误差最小化了CSI和标准在中风CSI数据样本。这个校准过程每个写作之前只执行一次。

5.2。特征提取

认识到一个字符,WiCG首先需要确定每个字符的笔画,然后推断写作特点。的一个关键方面建立一个成功的机器学习模型是找到正确的特性来描述输入数据。在本节,我们的目标是为中风识别提取可靠的特性。

5.2.1。原始特征

捕捉stroke-level CSI的基本特征,我们认为24生特性如表所示1。每个无线通道有30副载波,720 ( )原始特征。的特性得到了时间(T)和频率(F)域CSI的数据。其中一些特性选择基于信息增益(IG),而其他人则选择基于之前的工作(31日]。信息增益特征选择算法,用于估计有用的一个功能。获得不同的特性有不同的信息,和特性与大型信息收益有更强的分类能力。信息增益可以通过以下公式计算: 在哪里样本集的信息熵年代在哪里年代是样本集,代表样本集年代划分后的信息熵的特性一个。每个类别的比例的样本集,然后呢n表示的类别数。

5.2.2。功能扩展

监督学习效果会更好,如果躺在某个范围的特征值。因此,我们规模的价值为每个特性之间的0和1的范围。我们记录的最大和最小值的每个特性发现在训练阶段,使用这些值按比例CSI特性获得真正的用户的环境。

5.2.3。功能降低

鉴于我们相对较少的训练样本(32中风5用户参与训练数据收集),我们需要找到一个紧集的特性是为了建立一个有效的预测。功能是自动执行通过应用主成分分析(PCA)的原始特性。这种技术消除了冗余的特性通过线性聚合特性高度相关的。应用主成分分析后,我们使用前7个主成分(pc)占超过95%的方差的原始特征空间。我们记录PCA变换矩阵,用它来变换的原始特征stroke-level CSI收集从部署环境。图10说明每个组件特性差异,占多少。这个数字表明,预测可以准确地利用聚合特性值的子集。

5.3。中风和字符识别

在本节中,我们首先介绍如何识别中风,然后介绍汉字的过程推断基于确定候选人中风。

5.3.1。中风的识别

分割后字符级段stroke-level段,我们的目标是每个stroke-level段映射到一个特定的中风。在这项工作中,我们使用随机森林(RF)算法来构建中风识别模型。射频方法由一组决策树(10例)。这种方法的主要优势是它更精密由于随机性以多种形式呈现,如随机选择的特性和随机选择的训练样本。此外,我们选择射频,因为它是被证明是强大的噪音,可以避免过度拟合32]。节7.3,我们也探索各种替代建模技术的预测精度,得出射频有最好的整体性能。

(1)建筑中风识别模型。中风识别模型的输入统计特征向量提取CSI 32基本数据收集中国中风,和获得的输出是一组类别32基本笔画的投票方法指示可能是写的。的使用功能是部分中描述5.2。构建和使用此类模型遵循监督机器学习的三步:(i)生成训练数据,(2)训练模型,和(3)使用模型。描述这些步骤如下。(我)生成模型的训练数据。我们的射频模式训练离线根据CSI示例收集的32个汉字的基本笔画。生成训练数据构建中风识别模型,我们已经要求五个参与者写下每个基本多次中风。我们记录每个中风的原始CSI数据每个用户在每个写作。我们运用我们的信号去噪方法的原始CSI数据,然后平均CSI信号跨多个写为每个用户。这使我们能够构建一个训练数据集,其中包含stroke-level CSI模式/每用户基本的中风。(2)训练模型。中风标签和相应的CSI特征向量是传递给我们的监督学习算法。学习算法试图找到一个特征值之间的相关性和所需的中风标签。我们的学习算法的输出是射频模型的权重模型实例化使用训练数据。培训执行离线只有一次,学习模型可以用于任何基本看不见的中风没有额外的培训。(3)使用模型。一旦我们建立和训练中风识别模型如上所述,我们可以使用CSI收集的数据在现实执行中风识别用户的环境,不需要进一步的培训。中风预测,输入stroke-level CSI部分将首先转换使用校准的映射函数学习阶段。WiCG然后提取特征向量的描述stroke-level CSI值数据和提要学模型的特征值。RF十算法构造决策树,每棵树中随机选择训练样本和特征子集的培训。因此,它可能会产生不同的分类结果。为了确定哪些中风,射频模型聚合结果并选择类别通过至少三棵树为候选人中风组。因此,该模型可以产生3个候选人中风,进一步细化在字符识别阶段。

(2)删除错误的中风CSI分区。如前所述(见部分5.1。2),中风写作的提升和下降运动分割字符级CSI的stroke-level段。然而,我们发现,可能有一个以上的方法映射字符级CSI stroke-level CSI片段(例如,当提升和下降运动是中风)的一部分。例如,基本的中风,如图2可以分为若干个单一中风错误。这种无效的分割结果在不同的组合,如(1)水平、垂直和水平中风;(2)水平转弯和横;(3)水平和垂直弯钩中风。要克服这一点,我们列举所有可能的单集中风CSI分割在中风分割和应用训练中风识别模型来识别每一个未知的中风。对于每个中风组,WiCG给所有中风的平均预测概率,然后删除组中风的概率(或信心)小于0.5。我们发现这个简单的战略顺利实施,给予不超过三组候选人中风在我们的实验。这些剩余的中风集将进一步细化字符识别阶段。

(3)培训成本。的时间消耗WiCG由四部分组成:数据收集、数据预处理、特征提取、训练模型。数据收集消耗大部分总培训时间,这需要大约两个小时。然而,后者三个组件消耗不到30分钟在我们的系统。

5.3.2。字符识别

对于每个字符分割,中风识别步骤产生一组识别中风和他们的写作顺序。这一步然后尝试这些中风映射到一个特定的角色。我们使用识别中风(忽略了订单)的字符级段推断字符可能是写什么。因为大多数汉字是一个中风的独特组合,这一步给一个候选人性格对于大多数中风集。

(1)Multicharacter场景。然而,场景生成多个候选字符可能从单个字符级CSI段。这是因为(1)一组特定的中风可以映射到多一个字符(例如,字符,(地球)和(学者),是由相同的中风,但他们的标准笔划顺序是不同的),或(2)中风识别步骤产生一个以上的中风。对于前者,我们开发一个环境敏感字符探测器猜哪个人是最有可能写人。对于后者,我们先删除中风集不能导致一个有效字符。然后我们使用环境敏感字符探测器优化结果。

(2)环境敏感字符探测器。利用上下文语义关系的汉字语料库,我们利用递归神经网络的短期记忆(LSTM)架构学习汉字的长程相关性(上下文功能)的概率估计候选字符。如图11,我们构建一个三层LSTM架构。

LSTM是构建基于递归神经网络(RNN)和每个隐层包含一个RNN LSTM单位,它的输入作为一组抽象特性表征。传统RNN遭受爆炸梯度。RNN只保留了以前的短期信息并不能处理前面的长序列的语义关系。因此,RNN不能完全描述基于上下文的独特的性格特征。LSTM RNN的是一种特殊设计的爆炸和梯度消失问题在使用传统RNN [33]。LSTM已经显示出它的优越性在基于上下文的预测问题34- - - - - -36]。因此,我们采用LSTM而不是性格的典型RNN的预测。

我们使用语料库超过50000篇文章来自传统与现代中国文学和书法副本作为输入到模型中。这语料库的结果在一个词汇超过18000繁体中文和简体中文。从这个语料库,我们的模型学习概率分布在集在文献中看到的字符。一旦模型训练,它可以估计的概率根据以往的角色人物候选人当一个字符级CSI段映射到多个候选人的性格。专门为多个候选人目前的结果,写人物,我们使用的概率模型来预测所有候选字符根据前面写的字符,然后选择一个字符概率最高的作为最终的预测结果。

(3)笔划顺序识别。在这一步中,我们比较,每个检测字符的笔画顺序写的用户对数据库的正确的顺序。如果检测到一个不正确的笔画顺序,我们的系统将会向用户显示正确的顺序。具体地说,在这种情况下,发现中风可以映射到多个候选人物,WiCG检查每个候选字符的笔划顺序并向用户呈现的结果根据候选人的性格怎么可能是考虑到上下文。的概率是环境敏感字符探测器。收集原始CSI数据的整个过程,字符和中风的风险识别和评估需要不到2分钟当处理200个字符。这个开销可以进一步减少并行处理字符段。

6。实验装置

6.1。评价环境

我们在三个不同的室内环境评估WiCG:一个会议室,办公室,和一个大厅对应高,中,低多路径环境。图12显示了实验部署在三个房间。

6.2。系统设置

我们的原型系统是使用TP-Link世界发展报告》4300年无线路由器作为发射器和无线网卡的笔记本电脑的英特尔5300网卡接收器。我们的评估设置下,发射器和接收器放在单独用户的左、右手边。

6.3。数据收集

我们招募5参与者(三个女性和两个男性),他们在本院研究生期间实验。如图1他们坐在一个特定的练习书法和写作纸笔的右手。的书写工具是毛笔,一个传统的书写工具和绘画工具起源于中国,它包含一个笔尖的动物的头发和一个木制的笔架。摘要标准10厘米10厘米网格(即。,matts) suitable for calligraphy beginners to practice. Each participant was allowed to practice multiple times, allowing them to follow a natural writing speed.

6.4。模型训练

中风识别模型是基于precollected CSI的训练模式的32个基本笔画。训练数据被收集在一个室内环境中不同尺寸的我们的评估环境。提供一个公平的评价,我们招募了两个用户组,一个参加了训练数据收集和其他参与评估。每个参与者被要求写基本的中风的30倍。我们收集了4800 (32530)基本中风CSI数据从5参与者。出于同样的目的,我们不包括Multi-Treasure塔石碑字帖在我们的训练数据集,以构建上下文敏感的探测器。

6.5。修剪脚本和字帖

我们使用楷书进行实验,一个标准的写作风格对所有中国书法初学者推荐。我们问参与者使用墨水刷副本的字符Multi-Treasure宝塔石碑字帖,这是一个经典的异彩纷呈的练习楷书。这本书由2500多个传统汉字和我们首先评估WiCG使用200个字符。图13显示了一个示例页面的Multi-Treasure宝塔石碑字帖用于我们的实验。

7所示。实验结果

7.1。微基准测试

我们从两个基准实验来验证我们提出的方法的有效性。

安装7.1.1。字符分割和中风

在这个实验中,我们首先探讨中风的200个字符的数量。图14显示汉字的频率和不同数量的中风。我们可以看到汉字与中风之间的5和10的数量最多。具体地说,在200个汉字、字符的比例与2 - 4,5 - 10中风,和11-19中风是13.5%,分别为62.5%和24%。因此,我们把我们的评估中使用的字符分成三组根据汉字的笔画数:简单的(字符有不到5中风),媒介(人物有5 - 10中风),复杂的(字符有超过十个中风)。

200个字符的分割精度和相应的中风如图15。汉字的复杂性不同,和分割结果也不同。分割准确率的简单、中等和复杂的汉字是99%,98%,91%。分割的准确性中风对应一个汉字达到98%,90%,和76.5%,分别。我们可以看到,对字符分割中风几乎没有影响,但它有一个更重要的影响中风在汉字分割。中风数字,字符分割精度越低。

7.1.2。数据校准

为了评估我们是否校准方法是有效的,我们收集了CSI数据32基本笔画的五倍的六个位置在顶部,底部,左,右,和田字格的十字路口。此外,参与者被要求写在不同的写作速度和字体大小。其目的是消除不同位置的区别,速度,和字体大小。测试数据之间的转换和培训可以在标准数据之间进行,面具和不同位置之间的转移可以通过BP神经网络学习。字体大小和速度转换函数参数之间的位置是用来校准测试数据与训练数据。

通过实验,我们可以得出这样的结论:沪深振幅中风与写作立场(1 - 2厘米)是最相似的,以较短的速度和中风的写入数据时差(1 - 2秒)是最相似的。在校准之前,中风和汉字的识别率不同的用户和不同的环境很低,不到20%。校准后,大大提高了识别和精读。具体来说,即使环境和用户改变,中风和汉字的识别精度可以达到81%和74.5%,分别。

7.2。整体性能

7.2.1。字符识别的准确性

为了评估字符识别的整体性能,我们要求参与者写第一个200个字符的Multi-Treasure宝塔石碑字帖6次根据笔画顺序的标准。我们进行这个实验参与者使用收集的数据从5。图16显示了三个不同环境中的精度。我们可以看到,WiCG可以达到平均85%的字符识别的准确性。

在极少数情况下,WiCG失败在检测的一些人物写的用户。仔细检查产生的CSI模式显示,这些人物主要是写在一个running-script-like风格;也就是说,the users did not pause in between the characters which makes stroke segmentation harder. This problem can be mitigated to a large degree by augmenting the model with stroke combinations integrating consecutive strokes into a single gesture. The performance of WiCG can also be improved by using the data collected in the end-user environment to continuously update the identification model, so that the model can adapt to the user’s writing behavior and the environment over time.

总的来说,WiCG可以自动检测超过80%的写人物和识别所有错误写人物的实验。这个实验结果表明WiCG是有用的在帮助书法学习者检测字符与错误的笔画顺序写的。

7.2.2。32个基本笔画识别的准确性

在这个实验中,我们首先探讨中风的频率为200个字符用于我们的实验和结果如图所示17。统计结果表明,前四200年中风有更高频率汉字。32的识别精度基本笔画图所示18。我们可以看到,第一个四个中风的识别精度小于其他基本中风。这就解释了为什么整个字符不能获得更高的准确性。事实上,一个字符包含各种中风这样WiCG将在实际应用获得更高的精度。

7.3。表现在不同的影响

7.3.1。不同数量的中风的影响

图(19日)显示了200个字符的识别精度的不同(即复杂性。不同数量的中风)。简单的识别准确性、介质和复杂的汉字是93%,89.3%,和79%,分别。这背后的原因结果是汉字的复杂性与中风的数量。复杂的汉字含有更多的中风。从简单的汉字到复杂的汉字,中风数量增加,从而导致增加CSI的采样长度数据的汉字和汉字识别的准确性下降。

7.3.2。不同的写作速度的影响

为了评估不同写作速度中风识别的影响,我们进行了实验与32基本中风的七种不同的写作速度。如图19 (b),不同的写作速度的影响中风的认识是不同的。中风书写速度是2秒时,平均识别精度约为93%。速度太快时,采样点少,速度太慢,抽样数据的冗余效应和信号数据的变化效果不明显。因此,书写速度需要控制在一个合理的范围内。

7.3.3。设备的距离和位置的影响

在这个实验中,我们评估两个无线设备之间的距离和位置影响我们的方法的准确性。为此,我们两个无线设备之间的距离不同。我们评估我们的方法使用不同的设置在0.2米和5米的距离。对于每个距离设置,我们报告两个场景下的准确性:视线外视距(LOS)和仿真结果)。在洛杉矶的场景中,用户的手会大致对齐中线之间的两个无线设备,在仿真结果的情况下,用户的手不对齐中线的无线设备。执行这个实验在会议室,我们邀请5参与者写下32基本笔画。

图19 (c)给出了中风识别精度在不同评价设置和场景。从图中可以看出,无线设备距离对精度影响不大。这意味着,用户可以根据需要调整无线设备的距离,例如,根据表和纸张的大小,而不影响精度太多在许多写作环境。此外,《场景中我们的方法更有效,因为这个场景让我们获得更多的歧视CSI中风的模式识别。然而,洛杉矶和仿真结果场景之间的差异并不显著。因此,我们不做出假设,用户将手在写作。

7.3.4。不同的字体大小的影响

字体大小也会影响识别的准确性。初步实验后,我们发现中风的字体非常小1厘米,2厘米,努力写,甚至肉眼无法区分。因此,我们只考虑一个略大的字体大小。在这个实验中,我们邀请参与者写的字体大小3厘米,4厘米,5厘米,10厘米。我们使用特定大小田字格控制字体大小。我们使用的10个最常见中风评价实验,如图17。图19日(d)显示10中风的识别结果在不同的字体大小。我们可以看到,平均识别精度是50.4%,64.1%,83.1%,和86.3%的字体大小是3厘米,4厘米,5厘米,10厘米。通过检查的原始CSI数据与字体大小3厘米和4厘米,我们观察到的数据改变不明显足以达到一个令人满意的分类效果。可能的原因是,用户编写的大小动作很小,当写的字体很小,和WiCG不能捕获更细粒度的功能。因此,我们建议用户写的字体大小不少于5厘米。

7.3.5。替代中风识别模型

表2给出了前三中风预测精度为字符写在会议室(平均用户)各种替代分类技术和射频模型。替代模型建成使用相同的特性和训练数据。由于高质量的特性,所有的分类都是高度准确预测中风。我们选择射频因为其准确性与替代技术但可以避免过度拟合(37]。

7.3.6。与之前的作品

如表3显示,与五现有系统相比,可用WiCG没有额外的硬件设施,通信协议的特殊硬件,或修改。此外,用户可以使用该系统很快就没有经过任何训练,书面和用户没有限制的动作速度和其他设置写作姿态。的总体特征识别WiCG较高,达到了91%。这些优势我们的系统可以部署和使用它在现实环境。

7.3.7。比较不同的传感技术

的四个不同的方式认识书法和考虑我们的评估图所示20.基于wifi,视频传感器,基于rfid技术。部署在相同的情况下,用户要求写相同的汉字。视频:图(21日)是一个草图的基于视频的运动轨迹跟踪的结果,可以大致得到汉字的书写轨迹。书法写作过程是动态的,但是相机本身不能动态地改变它的距离,位置,和角度,所以跟踪的结果很差。传感器:图21 (b)是跟踪的结果的汉字的运动传感器的手腕。尽管轨迹,字符不能被认可。这个结果是因为移动设备上的位置传感器跟踪和定位精度是有限的在毫米级别,在一个小范围内识别精度低和距离。因此传感器法不适用于识别细粒度的书法的运动,它还需要改善硬件设施的定位和跟踪精度。基于wifi:图21 (c)CSI振幅的基于无线信号动作识别的汉字。可以看出,中风有三个不同的部分,和识别精度约为93%。基于wifi行动识别是一种被动行为识别方法。设备很便宜和容易获得,用户不需要携带任何设施,所以它很容易使用。基于rfid:图21日(d)是一个相位波形下的汉字写三次行动基于rfid识别模式。它还能看到三个不同的行程段,平均识别精度约为82%。基于rfid动作识别是一种活跃的动作识别,这是容易受到多路径影响的过程中使用。此外,读者是昂贵的,和把标签放在刷会影响用户体验。

7.4。用户体验研究

我们还进行了用户评价来评估用户友好性和整体用户体验在四个不同的方面(见图20.)认识书法的匿名问卷调查。参与者的问卷涉及的学生不同程度的博士,硕士,和本科生,其中包括50名女性和70名男性。将近一半的参与者声称对书法感兴趣。10分问卷采用李克特量表来评估不同的交互的用户友好性。总的来说,指标三个方面考虑:(我)用户体验的主观感受:易用性、满意度、视觉感知,并愿意推荐给其他人。(2)任务完成度:用户体验行为的指标,如效率效果和错误率。(3)用户参与:综合评级指标的深度用户的参与在使用过程中,通常的频率、强度、或深度交互期间使用一段时间。

返回的问卷结果处理包括加权求和统计指标的分数间隔的四种方法,然后进行排序。分工的8或比十多和少一个6、分工的越来越小于8B三个或三个以上的部门和6是C,和分工的大于或等于零,不到三D。共有四个间隔,用户友好性是最高的一个,紧随其后的是B和C最糟糕的是D。

120年匿名问卷调查的结果如表所示4。可以看出,用户体验基于WiFi的a - level的方法占49.17%,这是与其他互动方法相比的最高水平。注意,由于问卷不涉及任何与实际的交互系统,这些结果应被视为可接受性的技术指标和之前对用户的看法。

8。讨论

WiCG试图利用无线为细粒度的手势识别。自然,有进一步研究和改进的空间。我们将讨论几个点。

8.1。针对其他应用领域

在本文中,我们认为中国书法作为我们的用例。然而,许多的技术开发的WiCG通常是适用的,可用于其他手势识别任务。例如,识别细粒度的手部运动的技术可以用来了解草图绘制,通过跟踪线段所吸引和顺序。目前,做这个需要用户使用平板电脑,但是许多用户喜欢用传统工具像笔和论文。我们的建模技术的笔划顺序也可以用于人机交互支持更复杂的手势识别。之前的工作已经证明了这样的应用程序(潜力巨大40]。

8.2。领域适应气候变化

WiCG利用写人物的背景下提高字符识别的准确性(部分5.3.2)。模型训练语料库的中国文学。这个模型是特定领域的,但是这个概念可以激励其他应用程序域。例如,蓝色计划建筑结构通常由典型的基石;通过学习如何一起使用这些构建块,一个可以学习的上下文感知模型来提高识别的准确性最有可能是什么。我们注意到,可能需要使用一个不同的机器学习模型取决于可用的数据量。

8.3。跨站点识别

WiCG采用统计方法去学习一个映射函数(部分5.1。3),允许适应不同的用户环境。这种策略可以应用于更广泛的上下文的无线传感允许传感模型来适应不同的用户环境没有昂贵的模型再培训(29日]。此外,我们的自动特征选择方法(部分5.2)可以直接应用于其他上优于传感任务。

8.4。学科独立

subject-dependent和主题之间传统的手势识别系统单独独立的识别,即。,是否有信息关于执行动作的人。大多数现有的基于wifi手势识别工作无法消除不同用户之间的差异,因此独立。WiCG使用统计模型允许模型来适应不同的环境和用户行为(字体大小、写作习惯、等等),但它需要少量的训练数据来更新之前训练模型(部分5.1。3);也就是说,the adaptation allows us to customize a model to support also subject-dependent performance. Our future work will look into how to eliminate the need for new training data. This could be achieved by, e.g., combining analytical models and a learning-based approach to use the analytical model when the learned model is out-of-date.

8.5。写位置跟踪

商业CSI收发器目前用于收集定位CSI在垂直和水平方向的信息。作为讨论的部分7,即使在相同的实验设置,CSI所得信息商业无线设备因环境而异,距离,等。因此,使用CSI测量传感应用,当前系统需要频繁的校准,这是不现实的。从商业无线设备获得的相位信息不准确,难以调整,细粒度的书法行动的跟踪粒度太粗,和商业的厘米级定位和跟踪设备尚未实现。因此,定位书法运动行程跟踪将在未来进一步探讨书法运动识别。还会有新的应用程序,如书法复制的标准化的检测28]。

我们将把改善英特尔5300网卡的兼容性的问题与更大范围的移动设备对我们未来的工作。

9。结论

本文提出了WiCG,原型无线传感系统跟踪细粒度的手势。WiCG旨在跟踪和捕捉手势动作和利用这些信息来识别细粒度的笔划顺序。有一个具体的应用领域中,我们使用中国书法作为案例研究。WiCG首先追踪用户的手的动作在写作,然后使用跟踪信息来确定哪些已经写如果字符是正确的笔画顺序写的。具体来说,WiCG达到这一目标通过跟踪无线信号的信道状态信息是如何影响手的动作。我们将统计方法和机器学习技术开发的一套方法和分析克服一系列的挑战带来的这一新的应用程序上下文。

我们评估WiCG进行广泛的实验和用户研究。实验结果表明,WiCG能够成功识别约80%的汉字和检测所有错误写字符出现在我们的实验。鉴于WiCG只依赖于商业无线和计算设备和避免的许多隐私问题视频的方法,它是高度适用于许多用户场景。我们相信WiCG代表一个重要的第一步利用无线传感细粒度的手势动作。我们希望我们的研究能提供令人信服的证据,以鼓励进一步的工作在这个有前途的研究领域。

数据可用性

使用的数据来支持这个研究的发现可以根据这个链接:https://github.com/NISL-twy/WICG。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持部分由中国国家自然科学基金(国家自然科学基金委)(赠款协议号。61972314,61972314,62102315),在陕西省的国际合作项目的部分(2020 kwz - 013、2019 kw - 009和2021 kw-04),并由陕西省部分重点研发项目(2018 sf - 369)。