文摘
如今,由于远程医疗发展的需要和移动设备的不断日益普及,大量的移动应用程序远程护理支持了。虽然手机很适合年轻人,还有很多老人的远程医疗保健相关的问题。由于听力损失或有限的运动,为老年人很难通过实时视频电话联系家人或医生。在这篇文章中,我们介绍一种新的基于移动机器人远程医疗系统用于老年人在家里。提出的系统是一个在线系统以来,老年人可以联系家人和医生很快就随时随地。除了电话,我们的系统涉及到精确的室内目标检测算法和自动健康数据收集,不包括在现有的远程医疗系统。因此,该系统可以解决老年人保健相关的一些挑战性的问题。实验表明,该保健系统达到性能优良,并提供良好的用户体验。
1。介绍
由于老年人口的快速增加,中国已成为一个老龄化的社会。与此同时,年轻人必须去工作,缩短老年卫生保健人力资源。人口报告1]表明,世界上的平均年龄从1950年的23.5增加到2010年的28.5,预计将从29日增加到36之间的2013年和2050年和2100年的41。老年人的比例(60岁以上)从1990年的9.2%增加到2013年的11.7%,到2050年将达到21.1%。在全球范围内,40%的人年龄超过60年的独立生活,与他们的配偶,预计这一数字将增加在未来。在这些“空巢”人们在家里很容易陷入困境,因为他们可以受到突然的健康问题。
目前,主要有两个问题老年卫生保健:实时通信与家人或医生和一个合适的母性。由于听力损失或减少运动能力,老年人可以发现很难进行视频通话,因为他们可能不知道如何进行实时通信。例如,它将是非常危险的,如果一个老人跌倒在他/她是独自一人在家。因此,一个连续的和可持续的远程医疗系统迫切需要为老年人在家里。
一般来说,有两种类型的机器人用于一般护理。第一种是孩子机器人(2),主要是照顾孩子。他们通常有迅速采取行动或天真的交互可能恐慌或阻挠老人。另一种是专业的医疗机器人,这主要是非常大的,它们通常用于医院。尽管这些机器人可以提供满意的护理,它们是非常昂贵的,大多数家庭买不起他们。此外,普通室内房间没有足够的空间。
提到的,目的是解决问题,基于移动机器人的远程医疗系统提出了针对老年人在家里。该系统的主要功能,如图所示1。与现有的保健系统相比,该保健系统集成实践和基本功能如下:(我)老年人可以控制机器人运动,叫家人或社区医生通过视频/语音。(2)家庭可以远程控制机器人运动和通过手机与老人进行视频通话。(3)系统支持精确的对象检测和估计。一方面,老年人可以监控的姿势;即,系统将自动报警,以防老年人跌倒和老年人也可以通过姿势控制机器人。(iv)健康数据可以收集并传输到云的传感器连接到机器人。这些历史健康记录可以为医生提供非常重要的参考。
2。相关工作
在本节中,审查相关的远程医疗系统提供及其缺点进行了讨论。
2.1。远程医疗系统
由于老年人口的逐渐增加,新技术的使用在远程医疗系统中,助理机器人系统如Care-O-Bot [3),珍珠4),和霍比特人5),增加了。这些系统配备平板电脑、传感器和其他设备,可以提供各种服务,如语音交互和视频电话。
2.2。语音识别和语音交互
自动语音识别技术提出的IEEE (6)有效降低语音识别中的错误。
德华赫特et al。7)提出了一种基于模板匹配的语音识别技术;也就是说,他们试图用简单的模板匹配克服语音识别的问题。Maier-Hein et al。8)提出了一个基于肌电信号的语音识别技术。然而,这种方法太困难供老年人在家里。Yu et al。9]试图提高语音识别的准确性使用神经网络模型。
2.3。视频通话
Yu et al。10)提出了一种方法,通过无线网络传输高质量的视频信号。他们研究了三种流行的移动视频通话应用程序:FaceTime, Google +的场所和Skype。Lewcio et al。11]介绍了视频信号的编码和解码技术,这是适用于所有视频通话。他提出了一个替代技术在实时视频传输视频编解码器。Zhang et al。12)开发了一种调整视频通话质量的方法在不同的网络环境中基于速度控制。他们研究了Skype视频通话的速率控制和视频质量和分析他们的网络对大规模网络的影响。Goudarzi et al。13)提出了一个基本模型可以预测其中通话质量。他们客观地预测在无线应用程序音频和视频通话。
2.4。姿态估计
有很多姿势估计一个人的工作,从简单的部分探测器和复杂的人体模型14,15)树形结构图示结构模型与强大的一部分探测器(16- - - - - -18]。在拟议的系统中,造成估计依赖于整数线性规划将候选人身体部分组装成有效的配置(19]。
3所示。远程医疗系统的设计
在本节中,该系统框架,包括硬件和软件两个方面介绍和设计目标。此外,还描述了声音,健康数据,音频/视频和目标/姿势被检测到,处理和传输。提出系统的图形概述如图2。拟议的保健系统的四个主要功能如下:(1)老年人可以控制机器人运动,叫家庭或社区医生的声音。(2)外勤工作人员可以远程控制机器人运动和通过手机进行视频通话。(3)该系统能够检测目标并估计其姿势,可以确定老年人的地位。此外,它可以自动报警,当老年人跌倒。最后,机器人可以自动跟随老人。(4)老年人的健康数据可以快速收集和传输到云上使用不同的传感器,可以记录历史老人的健康状况,可以帮助医生判断老年人的状况。
4所示。硬件体系结构
硬件系统主要包括物理设备,如心率传感器(图3(一个))和TurtleBot(图3 (b))。
(一)
(b)
心率传感器放置接近老年人,和它的主要功能是连续测试老年人的健康状况。高et al。20.)提出了一个基于分区的健康数据处理算法tuning-based斜处理(PTSH),改善健康数据分析效率。老年人可以把手指上的传感器,并将传输的心率老年人通过wi - fi在云上。通过这种方式,老年人的健康状况可以控制由外勤工作人员和医生。
迄今为止,已经有两代人TurtleBot。第二代使用Kobuki(如图3 (b))作为控制基础。在软件方面,产品开发的基于机器人操作系统(ROS)。TurtleBot放置在家里,和家人可以连接到TurtleBot使用手机;因此,他们可以控制机器人的运动。此外,TurtleBot可以由年迈的声音。
5。软件设计
使用的软件子系统提出保健系统改善质量的传统老人护理机器人。也就是说,它结合了视频通话、语音控制,健康数据采集、自动后,目标/人脸检测和估计。具体流程图如图4。
5.1。语音识别
老年人会不可避免地面对问题相关的使用机器人。目前,它是常见的机器人操作的声音。因此,老年人可以控制机器人的运动,进行视频通话的声音。
口语演讲通常包含nonspeech声音,如暂停、咳嗽、环境噪声,提高困难,传统的识别系统。
针对老年人的家庭护理领域的主要问题与现有的语音识别系统的性能改进。模型可以是一个有效的解决方案的信心。信心值可以利用假设和测试识别结果的可靠性和定位错误识别结果,可以提高系统识别率和鲁棒性。
信心是指正确运行的概率。提到的信心值是衡量概率,它表明事件的可靠性。在语音识别中,信心是定义为一个函数模型数据和观测数据之间的匹配程度,它被定义为函数 在哪里事件空间的因素吗 函数满足以下条件:如果出现的可靠性高于发生的可靠性 然后 演讲模式设置为 ,和观察到的演讲 的价值和信心相对于是 因此,演讲代表语音模型的可靠性 可用于判断识别结果是否正确。我们也可以计算出信心从模式识别的角度值。如果我们设定模型作为类1和所有其他模型的类标记为2 然后我们组识别功能满足
识别功能相当于价值的信心
根据语音识别的置信度,信心模型可以分为预处理模型,集成模型,模型后处理。
即可以利用信心值来判断输入信号识别。如果一个输入信号与任何模型不匹配,这可能是由于低信噪比(信噪比)。在这种情况下,最好的解决方案是把信心值,可能说明请求老人。此外,信心值也可以用来区分性别,年龄,和口音的人。因此,机器人只能接收指令从老人在家里,它不会回应别人的指示。自动语音识别结果假设信心值,以验证和测试的演讲。完整的语音验证系统应包括以下步骤。
5.1.1。增加用户体验参与
识别系统可以识别有限数量的单词。即词汇表以外的演讲者可能会说的话。此外,可能会有呼吸和咳嗽的声音。周围的环境也可以生成一些突如其来的噪音,和所有这些听起来都是收集的系统。如果系统无法正确判断声音的,输出是错误的。因此,系统可能会显示一个错误的方向,在这种情况下由于信心价值体系有效请求可能指示系统错过以外的词汇,增加用户体验巨大的参与。
5.1.2中。关键词的决心
关键字是被下面的步骤。首先,系统识别演讲和演讲字符串分为不同类别根据语法分析。其次,计算模板匹配关键字的距离,这表示关键字检测。第三,选择关键字的信心值估计和确定,表示决心的关键字,可以进一步减少真正的关键字的概率损失和错误的关键字的决心。我们的系统中使用的关键字展示在表1。
5.1.3。完整的发音验证
通过建立网络模型和人工神经网络,整个单词或汉字的信心值在不同的结构层次。值在不同层次上积累的信心。然后,一个完整的句子的信心值,验证和完整的发音。
通过语音识别研究,我们发现有三种流行的算法:动态时间规整(DTW),隐马尔科夫模型(HMD)和人工神经网络(ANN)。DTW很容易理解和适用于孤立词的识别,但它需要大量的计算量。HMD很复杂,需要大量的训练才能参考模板,但它清楚地描述语音信号的生成过程。安对语音识别没有优势没有结合其他语音识别算法。在拟议的声音系统中,我们主要是识别关键字,所以DTW是可行的。考虑到它的缺点,我们研究了语音识别算法和遗传算法提出一种新的命名动态时间扭曲(GA_DTW)。其具体步骤如图所示5。我们比较线性预测倒谱系数(LPCC)与梅尔频率倒谱系数(MFCC)并选择MFCC特征参数,因为它需要更少的计算和实现起来更方便。DTW的目的是找到一个最好的路径,以反映参考寺庙和语言之间的关系。但GA_DTW放弃的方法,采用遗传算法寻找最佳匹配路径。
基于语音交互技术和系统设计,经过适当的训练,可以控制机器人的运动和视频通话的声音,这是非常方便老年人在家;因此,他们更鼓励使用机器人。
5.2。视频通话
在拟议的系统中,通信软件安装在手机和平板电脑。外勤工作人员持有的手机,平板电脑是放在TurtleBot或持有的医生。视频通话的完整过程包括注册、发布、维护、终止、取消。与此同时,平板电脑的遥控指令也可以传播;因此,使用这个接口,机器人可以进行各种运动,例如移动向前或向后,向左或向右。
5.3。姿态估计
传统的护理机器人探测下跌或没有能力评估老年人的姿势。从对远程护理的角度做出展望,我们试图设计我们的系统,这样它可以实时检测老年人的姿势并作出相应的回应。例如,如果一个老人跌倒,机器人应该自动报警并通知外勤工作人员或医生。
目前,姿势估计主要是基于图结构模型,基于的假设有一个身体的不同部位之间约束关系。每一个身体部位的脸遮挡因为相机角度的影响造成估计的准确性。如果有很多人在镜头前,会有遮挡和其他遮挡,所以基本图结构模型不能满足要求的实时姿态估计。然而,该系统首先检测身体部分候选人使用一个完全连接基于ResNet卷积神经网络(CNN),然后使用集成线性规划标签和集群的候选人。标签的目的是为了纪念候选人的身体类,比如肩膀和头部。聚类的目的是确认两位候选人是否属于同一个人。最后,身体关节分为三个子集:{头,肩膀},{肘、腕},{臀部、膝盖、脚踝}。{臀部、膝盖、脚踝}子集进一步分为两个部分:{臀部}和{膝盖、脚踝}。首先,三个主要被认为是子集,然后头部和肩膀(更稳定),最后的遮挡关系模型。闭塞图扩展基于树结构。 It considers both joint occlusion and abundant occlusion relationship between contextual information and joint. Then, we form a preliminary occlusion relationship structure model (Figure6(一))。目的是确保正确识别头部和肩膀,我们添加手肘和手腕系统(图6 (b))。最后,臀部、膝盖和脚踝被添加,如图6 (c)和6 (d)。
(一)
(b)
(c)
(d)
5.3.1。候选人的选择
我们使用两个步骤来实现姿态估计。首先,我们需要一个稳定的身体检测器和一个边界框标签一个近似人的位置。然后,我们分析了身体姿势。然而,由于人们之间有一个闭塞,发现边界框经常出现重叠,影响姿态估计。而不是利用人作为探测器,深度完全名为ResNet采用卷积人体检测模式。与之前的模型相比,如AlexNet VGG, GoogleNet, ResNet可以检测身体的姿势。身体部分的检测模型(图152层7)。
5.3.2。整数线性规划(独立)
毕竟身体候选人选择,我们采用基于整数线性规划分区和标签。首先,我们标签所有候选人,这表示决心的身体部分的类候选人属于(如头、肩、膝)。其次,我们确定两个不同的候选人是否属于一个人。也就是说,每个候选人 和身体部分的类 有相应的分数一元,基于这些分数一元,系统关联成本或奖励 姿势估计所有可行的解决方案。此外,如果有两个不同的候选人之间的关系,和 两个身体部分的类,和 ,然后采用成本或奖励的关系 。的身体部位和属于一个人,属于类和属于类 。根据以上设置,我们可以使用三倍(x,y,z)来表示。如果 然后身体部分的候选人属于类 否则,它是没有的。此外,如果 然后身体部分的候选人和属于一个人。此外, 比连接属于一个辅助变量x和y;因此, 表明候选人属于类这和属于一个人。为了限制每个三只是一个身体关节,我们采用三线性特征。(1)独特性: (2)兼容性: (3)传递性: 在哪里表示成对身体结构模型和关系和在定义的关系吗
总之,姿态估计是基于联合使用0/1点的定义变量,类分为不同的子集,身体部分的遮挡关系结构模型,不仅优化独立,还解决了遮挡。
5.3.3。咬合关系图模型(ORGM)
在图结构模型中, 用于指示图,在吗节点和数量吗显示所有身体部位。之后我们得到body-joint候选人从输入图像,然后使用独立划分和分类,以及ORGM限制它们之间的关系。因为大量的时间和计算需要考虑所有的候选人,我们将候选人的决心在几个步骤和使用阻塞结构模型的关系。以前解释的具体步骤,将下面的例子。
假设我们有一个特定的输入图像。首先,我们考虑头部和肩膀,因为我们已经提到他们是稳定的。然后,我们采用NMS在得分图选择候选人的头和肩膀,但是因为我们不知道他们是否属于一个人,我们使用独立标签的候选人。这样,头(节点在图13和148)和肩膀(节点在图9和108)确定。现在,我们连接接头14和13,联合13日和9日,而联合10用于解决遮挡问题。以后,头和肩膀的位置是准确的,我们开始考虑肘(8 - 11图节点8)和手腕(节点在图7和128)。然后,我们连接相邻关节:肩(节点在图9和108),肘部(8 - 11图节点8),和手腕(节点在图7和128)。因此,信息传播和阻塞的问题是解决了。
其余关节臀部(节点在图3和图48),膝盖(节点2和5图8),和脚踝(节点1和6在图8)。首先,我们将臀部添加到系统,因为髋部是一个重要的点连接身体的上部和下部;然后我们将臀部添加到遮挡关系结构模型和关节连接。最后,我们选择的候选人膝盖和脚踝。
人类运动数据库魏茨曼科学院是一个最常用的人体姿态估计。当前视频数据库包含六种人类活动(散步、慢跑、跑步、拳击、手挥舞着,和手鼓掌)执行几次25个学科在四个不同的场景:在户外,户外和规模变化、室内室外不同衣服,如下图所示。因为该系统旨在估计老人在家的姿势,我们选择在室内作为视频数据库。首先,我们将图像输入我们的系统来检测身体部分的功能。然后,学习我们的算法将进行结构特性。接下来,等身体部位的肩膀,脚踝,头会估计及其关节将与避免阻塞。最后,人的姿势估计,机器人可以识别他们,人们可以控制机器人使用的姿势。
5.4。目标/人脸检测和自动
为了检测人与机器人之间的距离,我们实现了目标探测到我们的系统。目标检测系统是基于速度提出卷积神经网络(快R-CNN)算法可以快速检测人。利用该算法,我们可以快速地检测老年人,和人类行为识别更准确。
此外,我们的系统可以根据目标后进行自动检测。TurtleBot利用单目视频捕获的信息来获取目标信息,以确定机器人和目标之间的距离。此外,TurtleBot可以朝着目标驱动的。同时,改进的人工势方法采用路径规划和避障。单眼相机捕获目标后,主机分析收集到的图像信息和法官是否有障碍。如果有障碍,使用相应的避障策略。由于目标位置经常改变,奴隶计算机要求主机位置反馈依照执行。然后,主机及时调整运动轨迹和控制指令。在此期间,我们进行目标探测的经验使用六个行为:步行、慢跑、跑步、拳击、手挥舞着,手鼓掌;经验结果如表所示2。
6。实验结果
在本节中,我们首先证明了我们的系统可以实现的功能目标,然后我们在真实场景中的应用。
当一个老人想要与他人进行视频电话,他们会说“家庭电话”机器人,然后调用接口将会显示在平板电脑的视频。在图9,一个小窗口显示图像的用户,和一个大屏幕上显示的图像传播TurtleBot平板电脑。下面的钥匙放在小屏幕是用来控制机器人的运动。外勤工作人员可以远程控制机器人,与老人交流通过视频电话。
我们进行孤立词识别基于DTW和GA_DTW经验。这句话是数字0,1,2,3,4,5,6,7,8,9,10。我们采用MFCC作为语音特征参数。结果如表所示3。从结果我们可以知道DTW的平均识别率为89.09%,GA_DTW的平均识别率为95.07%。因此,GA_DTW识别率高于DTW孤立词识别。
在此同时,语音识别实验验证了四个老人。演讲的信心值单位标签。演讲单元包含在自适应高信心,和语言单位并不包括在自适应差的信心。自适应调节的结果(错误的利率)如表所示4,它可以观察到,信心的引入可以有效地提高无人监督的适应值。
我们进行连续词识别经验。我们选择等关键字,回来,左,右,停止和电话。结果如表所示5。从表中我们可以知道,DTW的识别率为83.42%,和GA_DTW的识别率为90.39%。虽然识别率低于孤立词识别,我们可以知道GA_DTW比DTW更有效率。
为了测量姿态估计的准确性,正确的平均位置和平均利率联合点如表所示6,数字1、2、3、4和5代表站,站在一边,弯腰、蹲,分别和欺骗。
我们进行模拟识别实验。数据库包括六个人类行为:步行、慢跑、跑步、拳击、手挥舞着,手鼓掌。我们把一个连续10帧的图像。然后,我们使用该算法检测数据。对比结果如图10。在其他论文通过对比姿态估计算法,该算法具有较高的识别精度。因此,它能在实际应用中发挥很好的作用。
我们咨询之间的对比经验提出卷积神经网络(R-CNN),快速提出卷积神经网络(快速R-CNN),和更快的提出卷积神经网络(R-CNN更快)。
结果如表所示7。从表中,我们可以知道R-CNN更快更快的检测速度和精度高于其他两种算法。
(一)
(b)
(c)
(一)
(b)
(c)
(d)
7所示。结论
在本文中,我们提出一个基于移动机器人远程医疗系统用于老年人在家里。该系统支持语音控制;因此,老年人可以通过语音控制机器人运动,与外勤工作人员和社区医生进行视频通话。此外,我们的系统支持远程控制,允许外勤工作人员通过手机远程控制机器人。此外,老年人的健康数据可以通过心率传感器,收集和老年人的健康状况可以记录并上传到云端。最后,我们添加的姿态估计和脸/目标探测技术在我们的系统,以使它能够检测和实时分析老年人的姿势。基于上述的能力,机器人可以进行自动跟踪。此外,当监控人回家时,机器人可以识别他,说“你好。“更重要的是,如果老年人跌倒,机器人识别危险和警告他们的家人或医生。实验结果表明,该系统可用于老年保健。 Additionally, it has obvious advantages over the existing remote care systems.
的利益冲突
作者宣称他们没有竞争的经济利益。
确认
这部分工作是支持下由中国国家自然科学基金项目号。61379079,61502433,和61772474,部分中国博士后科学基金会项目号。2015年m582203和2016 t90680。