文摘

无线传感的手势识别系统是一个迷人的和具有挑战性的研究课题。我们提出一个多任务手势识别框架称为Wi-SignFi,占手势在现实世界中与不同的对象,行动,或场景。拟议的框架包括一个卷积神经网络(CNN)K最近的邻居(资讯模块。是评估公共SignFi数据集和达到98.91%,86.67%,和99.99%平均手势识别精度276/150活动,五个用户,分别和两个环境。实验结果表明,该手势识别方法优于以前的方法。而不是将信道状态信息(CSI)数据的多个天线三维矩阵(即。彩色图像),在现有的文献,我们发现沪深数据可以转化为矩阵(即。,grayscale images) by concatenating different channels, allowing the Wi-SignFi model to balance between speed and accuracy. This finding facilitates deploying Wi-SignFi on Nvidia’s Jetson Nano edge embedded devices. We expect this work to promote the integration of Wi-Fi sensing and the Internet of Things (IoT) and improve the quality of life of the deaf community.

1。介绍

手语是一种不可或缺的特殊语言在聋人社区的日常生活1,2]。沟通障碍聋人和正常人之间经常发生那些不熟悉的手语3,4]。Wearable-based手语翻译旨在解决上述沟通困难,但是他们往往是昂贵的,通用性低,不方便携带5- - - - - -8]。建立手语翻译者可以克服缺点的便携式手语翻译,因为它只需要一个相机对自然交互(1,2,9,10]。然而,用户必须把自己的视野(FOV)内的摄像头,这可能会导致个人隐私信息披露。在某种程度上,他们的手语手势识别系统容易受到照明条件和障碍。

与wearable-based和视频传感解决方案相比,无线传感可以覆盖更广泛的检测范围更少的隐私问题(11]。由于低成本、易于部署的可重用无线通信基础设施,基于wi - fi无线传感解决方案快速发展(11,12]。目前,无线传感解决方案主要采用两个指标:接收信号强度指示(RSSI)和信道状态信息(CSI) [13,14]。与RSSI相比,CSI可以测量更细粒度的信息和适合捕捉较小的运动,如心跳和手势3,11,12]。2018年,马等。3)发布了一份CSI-based手语手势数据集称为SignFi,收集276聋人手语词汇在日常生活中通过wi - fi信号。他们使用了nine-layer卷积神经网络(CNN)模型识别这些手势。然而,手势在现实世界中通常可能对应于不同的对象,行动,和场景。在我们的工作中,主要贡献的工作总结如下:(1)我们提出一个多任务框架称为Wi-SignFi不仅可以识别手势识别用户和环境。Wi-SignFi模型是一个轻量级和端到端架构培育出CNN和资讯模块组成。与现有的引用,CSI数据美联储Wi-SignFi不需要预处理,如去噪和展开。实验结果表明,我们提出的方法达到平均手势识别的准确性为98.91%,大大优于以前的作品。因此,我们建议的方法是简单和有效的。(2)实验表明,识别手势模型的准确性受输入数据的分辨率的影响。在先前的报道,CSI收集的数据从三个天线的无线发射机通常转换为RGB CSI彩色图像,然后送入cnn。这种方法不能提高分辨率的输入数据,导致可怜的手势识别模型的性能。相反,模型的训练时间增长成正比的分辨率输入数据。在这方面,模型的耗时和手势识别精度可以通过扩展CSI平衡数据从不同天线成单通道灰度图像作为输入数据。这一发现有助于Wi-SignFi紧张嵌入式设备的部署。(3)Wi-SignFi可以部署在Nvidia的杰森纳米设备与4 G内存。我们所知,这是第一个基于wifi手势识别系统应用于嵌入式设备。Wi-SignFi杰森纳米设备达到一个推理速度每秒27 CSI的实例。

本文的其余部分组织如下:我们回顾现有的文学节2。部分3介绍了SignFi数据集,提出了Wi-SignFi框架。实验和结果部分中解释4。Wi-SignFi节中说明了杰森纳米设备上运行5。部分6总结这项工作,给未来的发展方向。

目前,device-free手语识别系统主要分为两类:计算机应用方法和基于无线技术的方法。纳和阿伦利用凸包算法和模板匹配算法OpenCV软件包的手语识别(1]。他们实现了一个实时的手语翻译在ARM处理器板上。所有的手语识别系统(2,9,10)是由微软的Kinect设备实现。阿里et al。2)结合主成分分析网络(PCANet)和支持向量机(SVM)手语手势识别不同的用户。黄等。9)发现很难获得可靠的手工功能特性来适应不同的手语手势,他们提出了一个三维卷积神经网络(CNN)自动提取重要的时空特性。巴西手语数据集命名LIBRAS-UFOP竟被二束卷积网络的识别精度为74.25% (10]。此外,聚氨酯等。15)提出了一种弱监督连续手语识别系统由两个模块组成:一个3 d卷积残余网络(3 d-resnet)和一个encoder-decoder序列网络。系统验证在两个大型数据集RWTH-PHOENIX-Weather和CSL (15]。崔et al。16]利用CNN和双向递归神经网络(RNN)提取时空信息从原始手语视频数据集。

随着物联网的兴起(物联网)和自动驾驶技术、无线传感技术(越来越多的兴趣17]。基于wi - fi无线传感解决方案都进行了广泛的调查由于其低成本和易于部署3,11- - - - - -13,18]。

无线传感解决方案有两个指标:RSSI和CSI (13,14]。由于RSSI便利,许多研究人员提取人体运动功能从早期的RSSI wi - fi无线传感。Sigg et al。19]分析了静态和动态的属性收集RSSI认识到人类的手势。Abdelnasser et al。20.)提出了一个假发RSSI-based手势识别系统。系统着重于wi - fi信号强度的变化识别用户的手势。在[21),一维卷积神经网络(1 d-cnn)总体框架RSSI动态手势检测和识别。实验结果表明,七个复杂动态手势的识别精度为93.03%。

RSSI是多路径信号的叠加的结果,不能有效区分多路径信号的无线信号传播过程中(22]。因此,RSSI-based应用程序需要部署多个无线链接减少多路径效应的影响(21]。对于复杂环境,RSSI波动很大的稳定性和可靠性,是不可能捕捉真实信号变化引起的人类活动(13]。然而,CSI可以区分多路径信号通过正交频分复用(OFDM)技术(23]。与RSSI相比,CSI在静态条件下更稳定和更敏感动态信号(13]。

2011年,Halperin等人发布了CSI工具,大大促进了收购CSI商业wi - fi设备的信息(24]。CSI工具吸引了大量的研究者利用CSI wi - fi活动传感研究[12,25- - - - - -27]。WiFinger旨在识别9-digit手指动作从美国手语(ASL) [12]。WiSign是一个室内手语识别系统可以识别五个手势的准确性达93.8% (25]。DF-WiSLR [26)可以识别19动态和30静态手势信号。实验结果表明,动作方向和环境对识别性能有很大的影响。在[27),一个dual-stream卷积网络被用来提取时空信息从六个CSI行动数据集。

文献[28描述,手势和CSI数据之间的映射关系并不是独一无二的,有别于传统手势图像数据。CSI由相同的手势可以生成的数据差异很大的人,位置,方向,和场景。高et al。28)使用动态阶段指数(EDP-index)错误删除手势的不同位置和方向的影响提高CSI-based无线传感的质量。在[29日],时空信息从CSI姿态数据通过并行提取长期短期记忆完全卷积网络(LSTM-FCN)来满足用户差异化和姿态多样性。手势识别系统识别50常见手势从5用户提供98.9%的准确率。WiGRUNT [30.)实现特定领域特性基于CSI手势通过时空的双重关注机制和验证Widar3数据集。

SignFi [3]实现的平均识别精度98.01%,98.91%,94.81%,和86.66%,lab276 home276,实验室+ home276 lab150,分别。2020年,文献[31日)相比,深度学习的三种类型:长期短期记忆(LSTM), CNN,细心的双向LSTM (ABLSTM)。实验结果表明,CNN模型对SignFi数据集最佳的识别性能。的平均识别精度提出了Lab276 CNN模型,Home276,实验室+ Home276 Lab150是99.855%,99.674%,99.734%,和93.84%,分别。同年,李和高4)应用双输出二束SignFi数据集和取得了良好的识别结果。2021年,艾哈迈德et al。32)与150隐藏单位确定一个LSTM框架使用手语明显数据集。除了利用深度学习方法,Farhana Thariq Ahmed et al。33)也采用机器学习的方法来手动提取高阶统计(HOS) SignFi数据集的特征和实现手势通过支持向量机(svm)分类。

3所示。材料和方法

3.1。信道状态信息

在无线通信中,CSI描述了信号传播信息从发送方到接收方,代表了反射的结果相结合,散射,褪色,和功率衰减距离(34]。让X(f,t),Y(f,t)的频域表示发送和接收信号的载波频率f当时t。然后,发送信号和接收信号之间的关系可以表示为14]: 在哪里H(f,t)是信道的频率响应(CFR)的载波频率f当时t。CSI由就对应于不同的频率为每个天线副载波。每个CSI包括每个副载波的振幅和相位关系的正交频分复用(OFDM)的链接。每个CSI可以表示如下(14]: 在哪里H(k)的CSIkth副载波,为H(k为和∠H(k)的振幅和相位kth分别副载波。他们代表CSI的重要特征。

使用CSI工具发布的Halperin et al。24),可以获得原始的CSI数据从每个收到数据包的商业wi - fi网络接口卡(NIC)。每个CSI的副载波的振幅和相位k采样时我可以得到以下方程: 在哪里再保险和即时通讯实部和虚部的副载波上的CSI吗k采样时我。因此,每个副载波的CSI提供了振幅和相位信息,可以在任何时间计算。

3.2。SignFi数据集

276年SignFi数据集包含CSI的痕迹在日常生活中常用的手势。收集的数据集是通过与一个内置天线接收机和发射机和三个外部天线。图1显示一个原理图的实验和家庭环境。

(一)
(一)
(b)
(b)
图1
原理图的实验室和家庭环境。(一)家庭环境和(b)的实验室环境。

如图1,用户不是站在视距(LOS)之间的无线发射机(美联社)和接受者(STA)。与美国相比,公布(仿真结果信号反映在人类行为要小得多,这使得它更难手语手势识别。对于家庭和实验室环境,STA和AP之间的距离是1.30米和2.30米,分别。发射天线阵列的主要传输和接收方向正交的家庭环境。然而,传输天线阵之间的角度和直接路径不同约40度在实验室环境。从图可以看出1实验室的布局环境比家里的布局更复杂的环境。这两个环境之间有很大的区别,导致完全不同的CSI信号收到同样的姿态。

SignFi数据集包含两个部分。的第一部分分为276手势类数据集包含8280个实例。其中,5520实例和2760实例从实验室环境和家庭环境,分别。有20个和10个每个手势在实验室和家庭环境的实例,分别。数据集的第二部分包括7500 150手势类别实例,这意味着每个动作有50个实例,为每个用户只有10实例。收集的数据集的第一部分是一个用户,收集的数据集的第二部分是五个用户。SignFi数据集的统计数据如表所示1。

表1
SignFi数据集的统计数据。
3.3。系统概述

提出了多任务的流程图如图手语识别方法2。我们获得了原始CSI SignFi数据集的数据图2。每个原始CSI样本的大小和相位可以提取,规范化,变成了CSI图像大小为200×60×30中描述3,31日]。与上述文献不同,我们不降噪和打开的振幅和相位信息。

(一)
(一)
(b)
(b)
图2
提出了多任务手势识别方法的流程图。(一)彩色图像大小,224×224×3。(b)灰色图像大小,200×180。

图2(一个)显示我们调整每个200×60×3 CSI图像224×224×3图片和使用RandomVerticalFlip数据增强技术。RandomVerticalFlip数据增强技术在训练阶段只会增加样本的多样性不增加数据样本的数量。图2 (b)显示压扁的第三维颜色CSI 200×60×3的形象获得灰度CSI 200×180的形象。输入通道的数量在第一层Wi-SignFi框架的CSI的深度取决于输入图像。

完成上述步骤后,CSI图像可以送入Wi-SignFi框架等任务的标志词,用户和环境的认可。我们的实验使用nonrepetitive 5倍交叉验证,符合SignFi [3]。从表可以看出1Lab150和实验室+ Home276 5用户收集的数据集和两个环境。在Wi-SignFi框架中,CNN模块用于从整个SignFi手语手势识别数据集,虽然K最近的邻居(资讯模块执行用户识别Lab150数据集和环境识别实验室+ Home276数据集,分别。

3.4。Wi-SignFi框架

培育提出Wi-SignFi框架由一个CNN和资讯模块,如图3,输入大小CSI彩色图像数据是224 x 224 x 3,第一层Wi-signfi卷积的内核需要3频道。不过,当输入数据大小为200×180 CSI图片,第一次卷积Wi-SignFi层只需要一个频道。防止损失的特性造成的网络层的深入,Wi-SignFi网络采用快捷键结构。快捷分支包括1×1卷积核和批处理规范化(BN)。串联融合应用于输入的最后卷积层,可以融合多级图像特性和减少损失的卷积过程中重要的信息。的分支连接融合采用3×3 max-pooling。一个3×3 max-pooling可以降低数据维数,提高当地的接受域,提高翻译的不变性特征。


图3
我们建议Wi-SignFi框架。

CNN模块Wi-SignFi框架包括七个卷积层和一层完全连接。CNN模块包括认识手语手势和资讯模块包括识别不同用户或环境。CNN模块涵盖了所有的数据集,而资讯模块仅限于Lab150和实验室+ Home276数据集。股票资讯模块由CNN模块提取的特征图,而不是手动提取特征图。因此,Wi-SignFi是一个轻量级和端到端模型。

4所示。SignFi数据集上的实验结果

4.1。网络的训练和测试设置

我们完成所有实验手语识别任务电脑配备英特尔(R)至强(R)的CPU e5 - 2650 v3 @ 2.30 GHz CPU和GPU GeForce 2080 GTX公司和8 GB的内存。我们使用自适应估计(亚当)优化算法初始时刻0.0001列车网络的学习速率和更新重量和偏见。批处理大小设置为16,250年培训时代。我们选择修正线性单元(ReLU)随着网络激活。实验采用nonrepetitive 5倍交叉验证和遵循SignFi培训和评估方案。换句话说,测试样本训练样本的比例是8:2。CNN Wi-SignFi框架的模块执行所有数据集的手语手势识别。

4.2。评估不同的输入大小

原始的文件格式xxx.dat CSI数据。文献[24]提到,CSI样品从原始CSI数据中提取使用Linux CSI工具。每个CSI样本是一组复数。方程(3)和(4)应用于每个CSI样本获取大小和相位信息。然而,SignFi数据集的数据格式是xxx。垫,其中包含提取的数据。一般来说,有三个输入数据大小对振幅和相位信息:(1)200×60×3;(2)224×224×3;和200×180 (3)。图4显示了三种不同的输入大小的组合矩阵手语“继续”在实验室环境。

(一)
(一)
(b)
(b)
(c)
(c)
图4
组合矩阵的三个不同大小的输入信号词“继续”在实验室环境。(a)的联合矩阵从原始的CSI数据振幅和相位信息。它的大小是200×60×3。(b)联合矩阵调整(A)的高度和宽度,224。它的大小是224×224×3。(c)结合矩阵形成的压扁的第三维度(a),其大小为200×180。

SignFi数据集提供了30副载波CSI样本。接收器和一个内部天线需要同时从发射机接收CSI的三组数据有三个外部天线。有200 CSI实例为每个手势信号。因此,每个CSI的SignFi矩阵的大小是200×30×3。振幅和相位信息从原始CSI获得测量SignFi数据集。他们可以组合和重塑成组合矩阵大小200×60×3如图4(一)。的Y设在图4(一)代表了200个CSI实例为每个姿态。上半年(0-29)X设在图4(一)振幅信息,下半年(30-59)的相位信息。

图的颜色通道4(一)对应于三个天线的信号。我们调整后的矩阵相结合的高度和宽度200×60×3 - 224 224×224×3的组合矩阵,如图4 (b)。我们被夷为平地的三维矩阵相结合的200×60×3 200×180的组合矩阵,如图4 (c)。每隔60像素上X设在图4 (c)的振幅和相位组合矩阵是一个天线的无线发射机。输入数据的200×60×3和224×224×3可以规范化,乘以255转换成所需的彩色图像。200×180的输入数据是上述操作后的灰度图像。图4 (c)是一个二维矩阵不同的三维矩阵的数据吗4(一)和4 (b)。当图4 (c)用作Wi-SignFi模型的输入数据,输入层的通道大小Wi-SignFi模型应该被设置为1。

接下来,让我们探索和评估不同的输入数据大小的影响在模型识别性能。评估不同输入大小如表所示2。

表2
评估不同的输入大小。

从表可以看出2当输入分辨率为200×60×3,Wi-SignFi模型的识别精度最低。模型的识别结果输入分辨率的增长而增加。与模式识别结果输入数据的分辨率为224×224×3,模型识别结果输入数据的分辨率为200×180只略低,不含Lab150数据集。输入数据为200×180分辨率Lab150等适用于多用户数据集的数据集。我们考虑模型的识别精度容易受输入数据的分辨率的影响。当输入数据的分辨率增加时,模型的训练时间相应增加,如图5。


图5
时间消耗的不同输入大小。

视觉探索的影响决议增加训练时间成本,我们表达在不同分辨率的比例和使用Wi-SignFi(224×224×3)作为基准。图5表明Wi-SignFi(200×60×3)只要Wi-SignFi一半(224×224×3)SignFi数据集。Wi-SignFi(200×180)和Wi-SignFi(200×60×3)采取类似的时间,不包括Home276数据集。因为Home276数据集的样本数量相对较小,它有一个更大的影响略增加时间开销。根据图5和表2,我们得出这样的结论:Wi-SignFi(200×180)可以平衡时间和识别模型的准确性。

4.3。影响数据的增加

本文介绍数据增加执行RandomVerticalFlip处理CSI图像输入数据不增加数据样本。图6显示的影响Wi-SignFi RandomVerticalFlip操作手势识别的性能。

(一)
(一)
(b)
(b)
图6
Wi-SignFi手势识别性能有/没有数据增大。(一)Wi-SignFi(200×180)和(b) Wi-SignFi (224×224×3)。

从图可以看出6数据增加Wi-SignFi RandomVerticalFlip几乎没有影响识别的手势识别Home276, Lab276,实验室+ Home276数据集。然而,这个数据增加操作提高了识别精度Wi-SignFi手势识别3%以上Lab150数据集。Lab150数据集收集从五个不同的用户。因此,我们相信的数据扩充RandomVerticalFlip有助于提高Wi-SignFi模型的手语识别精度为多个用户,但是有一个小的影响提高单用户手语识别精度。

4.4。比较现有的手语识别模型SignFi数据集

有五个手语识别模型SignFi数据集。我们总结的比较结果不同的手语识别技术在表SignFi数据集3。

表3
Wi-SignFi和其他方法的识别精度。

表3显示了识别结果的不同种类的文学SignFi数据集从2018年到2021年。这个文献的模型可分为三类:CNN, LSTM和支持向量机。LSTM [32)只需要振幅值来实现良好的识别性能,除了Lab150数据集。相比之下,HOS-Re [33达到良好的性能在Lab150数据集通过手动提取从CSI痕迹手语手势功能,然后使用支持向量机作为分类器。

其他方法都是CNN的方法。Wi-SignFi模型的输入数据形态是一样的CNN (31日]和SignFi [3),都是由标识的振幅和相位信息。输入数据的输出与ResNet50二束[4)包含不仅振幅和相位信息,但还差信息包括姿态运动。上述CNN模型的输入数据预处理,除了Wi-SignFi模型。输入数据的分辨率CNN (31日]和SignFi [3)都是200×60×3,而输出二束与ResNet50 [4)是224×224×3。美国有线电视新闻网(31日]在Lab276取得最佳识别结果和实验室+ Home276,分别为99.855%和99.73%。然而,Wi-SignFi优于其他方法在识别精度Home276 Lab150数据集,分别为99.75%和96.41%。同时,四个数据集Wi-SignFi居第一位,平均精度为98.91%。实验室+ Home276数据集与混合multienvironment Lab150数据集和多用户数据导致显著降低识别SignFi模型的准确性。相比之下,我们的模型能保持良好的性能,这说明我们的模型在复杂的环境中有一定的泛化能力。

4.5。与现有的神经网络

Wi-SignFi CNN只有八卷积层,我们还选择了一些比较的轻量的神经网络。这些轻量级模型的输入数据分辨率是固定在224×224×3。因为CSI数据非常不同于ImageNet数据,现有的神经网络训练。现有的神经网络评价结果的手语识别表所示4。

表4
评估现有的神经网络。

根据表3和4,我们得出这样的结论:Wi-SignFi适合明显数据集。对于小样本数据像SignFi,手语手势识别模型的网络层不需要很深。轻量级的网络如shuffleNet [35],MnasNet [36],MobileNet [37)应用于移动终端并不擅长识别SignFi数据集。

4.6。分类结果为用户和环境

在多任务Wi-SignFi框架中,我们使用支持向量机,随机森林(RF),和资讯的方法对用户标识Lab150数据集和环境识别实验室+ Home276数据集,分别。从表可以看出5,几乎没有用户的分类精度差和环境之间Wi-SignFi(200×180)和Wi-SignFi (200×60×3)。环境识别的准确性支持向量机、射频和资讯在实验室+ Home276数据集是非常好。可能家里的CSI收集的数据环境和实验室环境明显不同,很容易分辨。这描述的假设是一致的4]。然而,然而,达到最好的结果有86.68%的用户识别准确性Lab150数据集。我们相信,同样的手势由不同的人有一定的相似之处。

表5
分类结果为用户和环境。
4.7。跨域传感基于不同的场景

文献[28描述,手势和CSI数据之间的映射关系并不是独一无二的,有别于传统的手势图像数据。CSI由相同的手势可以生成的数据差异很大的人,位置,方向,和场景。的目标域只包含一个家庭或实验室环境数据评估的一般性能Wi-SignFi模型在不同的场景中。如图7(一)Lab276和Home276 Wi-SignFi的训练和测试数据集(200×180)模型,而图7 (b)显示了相反的结果。测试数据集包含1656例,根据表中5。

(一)
(一)
(b)
(b)
图7
根据不同的场景中跨域手势识别性能。(一)跨域(实验室⟶回家)。(b)跨域(家里⟶实验室)。

图7(一)显示,当只有Lab276样本作为训练数据集,识别精度Home276仅为0.36%。根据引用(4,26,28穷人),结果可能归因于CSI数据之间的显著差异的两个环境。灵感来自于few-shot学习方法(30.),一些样本目标域添加到源域。通过添加Home276样本的每个操作(5520 + 276)训练数据集,测试精度可以达到85.39%。有更多Home276数据样本训练集,提高识别精度的测试数据集。当训练数据集包含两个家- 276样本/行动(5520 + 552),识别精度Home276接近实验室+ - 276表5。数据7 (b)和7(一)显示类似的结果。

5。Wi-SignFi框架部署在杰森纳米设备

从Nvidia杰森纳米是一个单片机计算平台38]。图8显示Wi-SignFi(200×180)应用于姿态的杰森纳米设备和用户识别Lab150数据集。后保存Wi-SignFi(200×180)模型参数,我们随机选择1500 CSI Lab150数据集的测试实例。平均五个测试的结果我们的模型在杰森纳米如图8。


图8
Wi-SignFi运行时界面在杰森纳米设备。

如图8,虽然我们的模型运行在杰森纳米设备几乎全部4 g内存,实现推理的速度平均每秒27 CSI实例。手势识别准确性Wi-SignFi框架上运行杰森纳米设备略有下降,而用户识别改进。总的来说,部署Wi-SignFi框架的嵌入式设备表现良好。

6。结论

在本文中,我们实现一个多任务根据Wi-SignFi手语识别系统框架。系统不仅识别手势,而且用户和环境的手势对应。SignFi数据集上的实验结果如下:(1)美联储CSI数据Wi-SignFi不需要繁琐的预处理,如去噪和展开,但我们的模型仍然优于以前的手势识别工作。(2)实验室+ Home276数据集与混合multienvironment Lab150数据集和多用户数据,我们的模型可以保持可接受的精度,这表明我们提出的模型在复杂的环境中有一定的泛化能力。与此同时,我们使用资讯执行用户和环境识别任务上这两个数据集,分别。(3)根据实验结果,模型的手势识别精度大大影响分辨率的输入数据。尽管Wi-SignFi(224×224×3)达到最好的结果,其训练时间大大增加。实验结果显示Wi-SignFi(200×180)可以平衡时间和识别模型的准确性。(4)Wi-SignFi是一个轻量级和端到端模型。Wi-SignFi杰森纳米设备达到一个推理速度每秒27 CSI的实例。 Our proposed sign language recognition system is expected to integrate with the IoT to improve the lives of the deaf community.

我们建议Wi-SignFi有一些局限性,在未来进一步研究的方向。首先,Wi-SignFi是一个轻量级CNN模型,适用于小规模数据集,不能学习手势行为的复杂的时序动态信息。结合Wi-SignFi LSTM或变压器将是一个有效的方法预测的姿态活动。

其次,跨域无线传感是一个困难的话题,所以它一直是一个研究热点。在我们的实验中,我们评估跨域通过few-shot Wi-SignFi学习方法的识别性能。我们希望消除所有目标样本数据集在未来促进适应领域的发展。

最后,现有的引用往往CSI的数据映射三天线在无线发射机RGB通道,然后将其转换成CSI彩色图像。然而,我们扩展了CSI数据从不同天线单通道灰度图像作为模型的输入数据和获得满意的手势识别的准确性。我们将调查传送或接收天线之间的相关性在未来工作。此外,我们将积极探索更有效的方法来获得沪深实时数据和深度学习在嵌入式设备上的应用程序。

数据可用性

之前报道SignFi数据被用来支持这项研究和可用https://yongsen.github.io/SignFi/。这些先前的研究(和数据)是在相关地方引用文本中引用(3]。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

c c。L和动物园负责概念化、方法验证、正式的分析、调查、可视化和资源集合。c c。L监督和审查和编辑的手稿。动物园参与软件和最初的草案的准备。R.Z.收集数据。lZ和X。Xwere responsible for funding acquisition. All authors have read and agreed to the published version of the manuscript.

确认

这项工作是由中国国家自然科学基金(11803015);福建省级自然科学基金(2018 j05009 2020 j01387和JZ160476);培训计划对福建高校优秀青年科学家(Minjiaoke (2018) 47);三明大学的博士研究基金会(16 yg09);教育和研究项目为中青年教师在福建(JAT200615 & B202006);三明大学和国家基金培育计划项目(PYT2104&PYT2108);福建省教育科学“14日五年计划”2022 (fjjkbk22 - 172)。