识别的日常使用人工神经网络和Smartwatch人类活动

文摘

人类活动识别使用可穿戴设备一直积极研究范围广泛的应用程序。然而,他们中的大多数,要么专注于简单的活动在整个身体运动或需要不同的传感器来识别有关日常活动。在这项研究中,我们提出一个人类活动识别系统,从现成的smartwatch收集数据并使用分类的人工神经网络。提出了系统进一步提高使用位置信息。我们认为11活动,包括简单和日常活动。实验结果表明,各种活动可以分类的准确性达95%。

1。介绍

物联网(物联网)技术的进步,各种设备已经发展为智能生活。无线传感器网络技术被用于工业系统和智能家居(1- - - - - -3]。几个可穿戴设备可以收集大量的人体运动数据从传感器连接到开发(4- - - - - -7]。

人类活动识别(HAR)使用可穿戴设备一直积极追究范围广泛的应用程序,包括医疗、体育训练、异常行为检测。机器学习算法被用来检测各种人类活动如散步、跑步,和坐在使用智能手机作为传感装置(8]。数据关于锻炼运动如站与哑铃肱三头肌的扩展和宽握卧推杠铃获得使用传感器戴在前臂(9]。另一项研究分类的日常活动有利于绝经前妇女的骨头(10]。先前的研究也分类的姿势和动作有四个加速度计传感器在胸骨,手腕,大腿,小腿11]。

大多数现有的研究专注于简单的活动,如散步、跑步,和坐着,整个身体运动是必需的。然而,必要的分类日常活动,比如做饭,吃饭,工作,实现各种应用程序。日常人类活动中确定一个IoT-enabled智能家居配备多种传感器在一项研究12]。一个活动的特征是遥感数据来自多个传感器的组合。

在这项研究中,我们提出一个哈尔系统,收集数据从一个现成的smartwatch并使用分类的人工神经网络。Smartwatches是有效的和现成的可穿戴设备用于HAR系统。可戴smartwatches可以提供敏感信息在人类活动以及全身运动的信息。我们认为11活动如散步、烹饪、和工作在这个工作。如果我们准确地预测用户的活动,我们可以提高能源效率,提高用户方便。

此外,我们提出一个增强的HAR系统使用位置信息除了运动信息。我们期望这种增强提高分类性能因为某些人类活动可以做只在特定的位置。例如,如果个人位于公共交通位置,烹饪是一种活动,可以排除传感器数据作为一个可能的解释。

研究的其余部分组织如下。节2,我们描述我们工作的动力。节3,我们将解释系统概述,分类和我们提出一个新的分类方案,以各种人类活动部分4。节5,我们提出分类方案的性能进行评估。结论给出了部分6。

2。方法

Smartwatches是最熟悉和最广泛使用的可穿戴设备。据Strategy Analytics (13),在2016年第一季度全球smartwatch发货量达到420万,在2016年占据了62.4%的市场份额的可穿戴设备。Smartwatches非常适合收集实时数据,可以分类用户活动,因为它是被许多人使用,是经常戴在身体。一个戴smartwatch提供更多敏感信息用户行为比智能手机在口袋里。因为它很可能是一个典型的用户穿着smartwatch手腕的手,它可以感觉到这只手的运动。

我们使用加速度计在smartwatches人类活动分类。在哈尔的研究中,陀螺仪和加速度计通常用于分类的活动。然而,几乎没有改进性能之间使用两只使用一个传感器和加速度计(14]。此外,加速度计是嵌入在大多数可穿戴设备和智能手机。因此,该系统使用加速度数据。

我们也建议使用位置信息。某些人类活动可以做只有在特定的位置。例如,办公室工作发生在办公室但做饭在厨房里。通过使用位置信息作为特征,我们可以设置更详细的分类器根据位置,从而可以提高性能。

在这项研究中,我们考虑三个地方和11个活动,如表所示1。首先,我们考虑五个活动在办公室:办公室工作,阅读,写作,休息,玩电脑游戏。办公室工作包括写电子邮件、编码和文档在电脑上写作。其次,我们考虑在厨房三个活动:吃饭、做饭、洗碗。最后,我们考虑三个户外活动:走路,跑步,和运输。运输包括坐公共汽车或者坐地铁。

3所示。系统概述

3.1。系统结构

该系统包括一个smartwatch、智能手机和服务器,如图1。用户穿着smartwatch在他的手,从加速度传感器收集数据。智能手机从smartwatch收集传感器数据通过蓝牙通信,然后传输到服务器的数据。服务器进程收集到的数据,使用机器学习算法分类活动。

smartwatch应用程序开发收集上的加速度数据值x, y和z轴。此外,用户选择一个活动标签从可用的活动列表应用程序在开始活动之前,如图2。这确保了遥感数据进行分类,这些标签用于训练分类器。数据捕获是由上的启动/停止按钮smartwatch应用程序接口。从smartwatch在数据采集、传感器数据进行收集和发送到智能手机。我们假设用户不同时执行多个活动。收集数据的加速度和活动后,smartwatch数据传送到智能手机蓝牙通信。

智能手机提供了一个桥smartwatch和服务器之间的数据。服务器有三个角色:数据存储、特征提取和分类。smartwatch和电话的数据保存在服务器上。这些数据中提取特征用于分类。哈尔的服务器使数据集特征提取阶段。这个数据集用于训练和测试分类器。

评估该系统的性能,我们使用一个苹果手表系列2和一个苹果iPhone 6。运行CentOS服务器,配备英特尔至强e5 - 2630 v 2.2 ghz CPU 2 ea, 256 gb的RAM和GTX1080Ti GPU 4 ea。我们设计了该分类器基于Tensorflow [15),这是一个开源软件对机器学习库。

4所示。哈尔系统

在本节中,我们详细解释该HAR系统,如图3。我们设计了两个模型。图3(一个)显示了一个基本的模型,该模型只使用加速度传感器数据。图3 (b)展示了一个模型,使用位置信息除了加速度传感器数据。使用位置信息允许更合适的,具体的,详细的分类器。

4.1。时间分割

加速度数据以smartwatch分为时间之前段萃取(14]。滑动窗口技术是广泛使用的、已被证明有效的处理流数据(16,17]。图4显示了两个方案与分段加速度计信号的一个例子,其中X, Y, Z代表一个三轴加速度传感器的三个组件。所有的时间间隔Δt是一样的。Δt被定义为窗口的大小。指的是数据的X, Y,和Z的时间(t, t +Δt)。在nonoverlap的情况下,和来自不同的时间,如图4(一)。重叠的情况下,和分享部分传感器读数。我们通常使用重叠窗口的方法,因为它具有更好的平滑方法在处理连续数据比不重叠的窗口。两个相邻时间窗口重叠50%。

4.2。特征提取

在本节中,我们解释了特征提取。的特性是非常重要的在我们的机器学习模型,因为他们的配置更改输出基于流数据分组的六种。

我们从每个时间窗口提取信息特征。对于每个时间窗口,我们提取单一特征向量f如下: 在哪里 ,代表一个轴的加速度向量X, Y,和Z,分别。我们的平均和标准偏差计算每个轴的三轴加速度计作为机器学习算法的特性。的平均值是一个很好的指标,每个轴的加速度传感器测量值的每个活动。标准偏差是一个有用的指标量化的变异量或分散一组活动数据。活动的活跃度可以通过使用标准的预测偏差。

4.3。分类器

时间窗口的特征向量作为分类器的输入。我们考虑两个模型:一个只使用加速度传感器数据,如图3(一个),另一种使用位置信息,如图3 (b)。使用位置信息,更具体和详细的定位分类器可以应用。在室内有著名的方法来获取位置信息(18,19和户外活动20.,21]。然而,在这项研究中,从系统和收集的位置信息并不是来自活动的类型。例如,如果活动标签的时间窗口是烹饪,厨房的位置信息派生。我们考虑三个地点:办公室、厨房、和户外活动。在现实生活中,收集到的位置信息可以从GPS和室内定位系统。

设计的分类器是一个多层感知器一类前馈人工神经网络(ANN)。重量是用Xavier算法初始化(22随机初始化)和偏见。我们使用ReLU作为激活函数。泽维尔和ReLU常用算法来减少学习时间领域的安。交叉熵的平均值是用于成本函数。学习速率设置为0.01,亚当优化器(23)因为它是已知的用于实现好的结果很快。

5。绩效评估

5.1。实验数据集

表2是本研究中使用的数据集的概述。数据集,在网站上沉积http://ncl.kookmin.ac.kr/HAR/从两个志愿者活动执行,收集使用smartwatch附加优势手的手腕上四个星期。加速度计在10赫兹的采样率。任务是区分以下十一活动。滑动窗口的数据集预处理和分割,这是变量在一个实验中,在其他实验10年代长,有百分之五十重叠两个相邻段。我们提取的一系列特性与加速度计相关。在所有的实验中,我们使用一个5倍验证算法的可靠性。

5.2。性能的措施

对于提出的有效的绩效评估系统,我们使用以下四个指标:准确性、精度、召回和F1-score。表3与方程(2)(5)显示精度,精度,还记得,分别和F1-score派生。这四个表达式是最常用的性能指标为机器学习模型。

5.3。位置信息的影响

实验测试和评估两个模型:一个使用位置信息的数据集和其他使用没有位置信息的数据集。图5显示了两个模型的每个活动的准确性。我们观察的模型不使用位置信息使用它比模型不准确。平均而言,模型与位置信息显示了95%的精度和模型没有位置信息是90%。拟议的活动分类模型被设计为一个5级层安。窗口大小设置为10。我们使用5倍增加信心的结果验证算法。

下面是一个更详细的分析两个模型的实验结果。表4和5两个模型的结果显示一个混淆矩阵。我们观察到模型使用位置信息错误地认为只有活动可能在相同的位置,而该模型没有位置信息错误认定可以扩展到其他活动在不同的位置。首先,我们评估的结果模型不使用位置信息。在表4标识,A11活动最少的准确性。A11活动尤其与A4和A5混淆。A7和A8相互混淆。此外,我们可以证实,A1和A2和A3混淆起来,A4。在表5使用位置信息,结果的模型表明,A11的预测精度,与A4和A5混淆,是改善。但是,由于A7和A8有相同的位置信息,他们仍然感到困惑。所有的其他活动不与活动混淆其他地方和准确性显示改进。

我们通过这个实验已经证实,我们的模型可以分类日常活动以及简单的活动。此外,确认位置信息是非常有用的对活动进行分类。在日常生活中我们分类活动的精度约为95%。

5.4。的层数的影响

以下是根据性能分析层的数量。图6显示了一个图显示每个模型的性能根据层数。性能又增加到5级层和减少层水平比5级层变得更深。这种模式与位置数据;这似乎是一个功能的安。层次的模型太浅不有效学习,和太多的深度不是有效的因为水平学习所需的数量太大了。

5级层模型最适合这两种情况下,有或没有位置信息,产生精度分别为96%和91%。模型使用位置信息时,性能的3 -,4 - 5、6 -,和7-level层模型都是约95%以上,这是足够高的。没有位置信息、4 - 5、6级层模型是所有约90%以上。

5.5。窗口大小的影响

在这个实验中,我们初始化窗口大小1、5、10、30、60(1分钟),120(2分钟),180(3分钟),240(4分钟),每个窗口大小的预测率检查。图7显示了一个图模型的性能根据窗口大小基于5级层模型,取得了最佳的性能在前面的结果。图7(一)显示了结果的基础上,没有位置信息的数据集,和图7 (b)使用位置信息显示了结果。窗口大小是单位的预测模型是基于分类活动。换句话说,它是必要的数据窗口大小来确定对应的活动。一个小窗口大小增加了预测率却降低了预测精度;然而,一个更大的窗口大小的精度会增加成本率,是有限度的,超过一定的窗口大小,精度可能由于重叠与其他行为的负面影响,这可能混淆的结果。

在此,我们量化有效窗口大小。当窗口大小小于3 s (1 s, 0.5 s),预测的速度非常快,但精度很低。当窗口大小超过一分钟(2、3、4和5分钟),预测的速度是非常缓慢和准确性不增加任何进一步的。因此,我们判断10年代最优窗口大小,平衡参数成反比:预测的速度和精度。

5.6。与其他机器学习算法的比较

在此,我们比较的性能最常用的监督学习算法:决策树(DT),随机森林(RF),支持向量机(SVM)。本实验使用Scikit-learn库,这是一个自由软件机器学习库的python编程语言(24]。每个模型通过网格搜索功能找到最优的模型参数。分类模型设计与发现模型参数分类活动在日常生活中使用相同的数据集。

图8显示了机器学习算法的结果。图8(一个)使用数据集的结果没有位置信息。在这项研究中,射频显示最佳的性能,但安不知不觉中落后于射频。两模型的差距不到0.1%。然而,其他模型显示性能不佳。DT和SVM的性能低于75%。这些结果不能确定分类模型是有效的。

图8 (b)使用数据集与位置信息显示了结果。总的来说,所有的模型的性能改进,如图8(一个)。DT的表演和SVM相比还差的射频和安。然而,两种模型的性能提高了15%。RF和安的表现也提高了5%。当使用位置信息时,安最好的模型。所有性能指标相差超过1%。

5.7。实时评估

图9显示实时识别评价活动的结果。我们让参与者做七个活动连续2分钟,我们使用预测模型预测的活动主题之前学会了通过使用整个数据集。图9(一个)显示了使用预测模型的结果不使用位置信息,和图9 (b)显示的结果使用预测模型使用位置信息。

两个模型观察与完全不同的混淆交易节活动。这是解释结果的事实数据在相应的时间间隔可能包含两个或两个以上的模式,当一个人执行行动作为一个持续的行动。清洗部分显然是机密,因为他们显然包括前一个或后一个动作的特点。为这个实验收集数据时,主题的A2活动模式往往是非常类似于A3活动模式的整个数据集模型。两种分类模型混淆A2与A3活动活动。似乎有很多混淆的特点中A3活动主题的自然A2活动。

接下来,每个模型划分和评估。图9(一个)模型的结果表明,不使用位置信息和高度与A2和A3活动相混淆。特别是,A3活动与活动混淆A6和A11等其他地方。这个问题不是观测到的,如图9 (b)当模型使用位置信息。在图9(一个)A2的预测率小于50%,但70%以上模型中使用位置信息。即使有很多混乱的数据,如A2,使用位置信息的模型通过使用更详细的分类器精度更高。

当模型设计使用时代,窗口大小,和层水平确定在前面的实验中,可以确定一个实验预测率相当高,实时识别人类活动。连续活动的人是很难定义的一个活动。因此,在事务部分低精度的问题很难解决,因为活动的定义并不准确。相比之下,令人困惑的问题A2和A3似乎需要克服通过减少过度拟合问题,添加新的功能或设计一个模型,考虑各种活动模式。

6。结论

在这项研究中,我们提出了一个使用现成的smartwatch和安哈尔系统。我们还表明,位置信息可以提高系统的性能。我们认为11活动,包括简单的活动和日常活动和我们的实验结果表明,各种活动可以分类的准确性达95%。

能源效率可以改善通过使用该系统可以准确地预测用户的活动,只消耗所需的能源活动,减少浪费的能量。此外,该系统可以提高便利。例如,系统预测用户的活动后,关掉灯当用户是躺在床上。

数据可用性

原始数据可以在“https://www.dropbox.com/s/x4n1za8zo3oe8eg/rawData.csv?dl=0”或从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由韩国国家研究基金会(NRF)授予由韩国政府(MSIP)(没有。2016 r1a5a1012966)。

引用

1. o·c·安和l . b .按照推动“人类活动识别:一个评论,”学报》第四届IEEE国际会议控制系统,计算和工程、ICCSCE 2014岬,页389 - 393年,2014年11月。视图:谷歌学术搜索
2. y LeCun (y Bengio g·辛顿,“深度学习”,自然,卷521,不。7553年,第444 - 436页,2015年。视图:出版商的网站|谷歌学术搜索
3. r . j . Gubbi Buyya、美国Marusic和m . Palaniswami”物联网(物联网):一个愿景,建筑元素,和未来的发展方向,”未来一代计算机系统卷,29号7,1645 - 1660年,2013页。视图:出版商的网站|谷歌学术搜索
4. m . Billinghurst”管理信息的新途径。”电脑杂志,32卷,不。1,57 - 64,1999页。视图:出版商的网站|谷歌学术搜索
5. l·d·徐、w .他和美国,“物联网产业:一项调查,”IEEE工业信息,10卷,不。4、2233 - 2243年,2014页。视图:出版商的网站|谷歌学术搜索
6. a . Al-Fuqaha m . Guizani m·穆罕默m . Aledhari和m .阿亚什,“物联网:调查支持技术,协议和应用程序,”IEEE通信调查和教程,17卷,不。4、2347 - 2376年,2015页。视图:出版商的网站|谷歌学术搜索
7. m·a·情况下,h·a·Burwick k . g .沃尔普和m . s . Patel,“智能手机应用的准确性和可穿戴设备跟踪运动数据,”《美国医学协会杂志》上,卷313,不。6,625 - 626年,2015页。视图:出版商的网站|谷歌学术搜索
8. x阴、沈w . j . Samarabandu x王,“人类活动检测基于多个智能手机传感器和机器学习算法,”19 IEEE国际会议的程序在计算机支持的协同工作的设计,CSCWD 2015ita,页582 - 587年,2015年5月。视图:谷歌学术搜索
9. t . t .嗯,诉Babakeshizadeh, d . Kulic”运动运动分类使用卷积神经网络,从大规模的可穿戴传感器数据”学报2017年IEEE / RSJ智能机器人和系统国际会议(——)温哥华,页2385 - 2390年,公元前2017年9月。视图:出版商的网站|谷歌学术搜索
10. 诉h·斯泰尔斯、p . j . Griew和a . v . Rowlands,“用个加速器分类活动有利于绝经前妇女的骨头。”医学和科学在体育及运动,45卷,不。12日,第2361 - 2353页,2013年。视图:出版商的网站|谷歌学术搜索
11. f·福斯特把,m . Smeja和j . Fahrenberg”的姿势和运动检测个加速器:动态监测在验证研究,“电脑在人类行为,15卷,不。5,571 - 583年,1999页。视图:出版商的网站|谷歌学术搜索
12. p . Kodeswaran r . Kokku m . Mallick森和美国,“多路分解物联网使smarthomes日常生活的活动,”学报》第35届IEEE国际会议上计算机通信、IEEE INFOCOM 20162016年4月,美国,。视图:谷歌学术搜索
13. https://www.strategyanalytics.com/strategy-analytics/news/strategyanalytics-press-releases/-in-servicecategories/servicecategories/Wearables。
14. j·g·a . Wang Chen Yang s赵,彭译葶。常”,比较研究人类活动识别使用惯性传感器在智能手机上,“IEEE传感器杂志,16卷,不。11日,第4578 - 4566页,2016年。视图:出版商的网站|谷歌学术搜索
15. https://www.tensorflow.org。
16. n·c·克里希和d·j·库克”活动认识流传感器数据,”普及和移动计算,10卷,第154 - 138页,2014年。视图:出版商的网站|谷歌学术搜索
17. o . Banos人类。Galvez, m .花缎、h·珀玛和罗哈斯,“在人类活动识别窗口大小的影响。”传感器,14卷,不。4、6474 - 6499年,2014页。视图:出版商的网站|谷歌学术搜索
18. z . Chen h .邹h .江朱,y . c . Soh和l .谢”融合的无线智能传感器和地标使用卡尔曼滤波器对室内定位,“传感器,15卷,不。1,第732 - 715页,2015。视图:出版商的网站|谷歌学术搜索
19. m·维尔纳·m··凯塞尔,和c·马,“使用智能手机相机,室内定位”学报》国际会议室内定位和室内导航(IPIN 11)2011年9月,页1 - 6,。视图:出版商的网站|谷歌学术搜索
20. 中情局,“全球定位系统”,IEEE频谱,30卷,不。12日,36-47,1993页。视图:出版商的网站|谷歌学术搜索
21. r . Jafri和s . A .阿里”的基于gps的个性化人行路线记录盲人的智能手机应用程序,“HCI国际2014 -海报扩展抽象卷,435通信在计算机和信息科学,页232 - 237,施普林格国际出版,可汗,2014年。视图:出版商的网站|谷歌学术搜索
22. x Glorot和y Bengio”理解的难度训练前馈神经网络,”《十三人工智能国际会议上和统计,2010年。视图:谷歌学术搜索
23. p . k . Diederik和j .英航,”亚当:随机优化方法。”https://arxiv.org/abs/1412.6980。视图:谷歌学术搜索
24. f . Pedregosa、g . Varoquaux和a . Gramfort Scikit-learn:机器学习在Python中,“机器学习研究杂志》上》12卷,第2830 - 2825页,2011年。视图:谷歌学术搜索|MathSciNet

版权

版权©2018 Min-Cheol Kwon Sunwoong崔。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。