PDF
研究文章|开放获取
Edmanuel克鲁兹,Felix Escalona Zuria鲍尔,Miguel卡索拉Jose Garcia-Rodriguez酯Martinez-Martin, Jose Carlos兰格尔,弗朗西斯科Gomez-Donoso, ”杰弗里:自动化调度系统在一个社交机器人的智力挑战”,计算智能和神经科学, 卷。2018年, 文章的ID4350272, 17 页面, 2018年。 https://doi.org/10.1155/2018/4350272
杰弗里:自动化调度系统在一个社交机器人的智力挑战
Edmanuel克鲁兹,1,2 Felix Escalona
,1
Zuria鲍尔,1
米格尔卡索拉,1
何塞Garcia-Rodriguez,1
酯Martinez-Martin,1
Jose Carlos兰格,1,2
和
旧金山Gomez-Donoso1
1阿利坎特大学计算机研究所,99信箱。03080年,阿利坎特,西班牙
2RobotSIS,大学Tecnologica de巴拿马,巴拿马城,巴拿马
文摘
前辈们的百分比的加速增长和人大脑伤害有关的条件和智力挑战的一些主要发达国家的担忧。这些人往往需要特别的关心,甚至几乎永久的监督者,帮助他们进行日记的任务。考虑到这个问题,我们提出一个自动调度系统部署在一个社会机器人。机器人跟踪病人的任务必须完成日记。当任务被触发时,机器人引导病人通过其完成。系统还能够检测是否被正确执行的步骤,在这种情况下发出警报。为此,使用深度学习技术的合奏。护理人员和授权的时间表是可定制的亲戚。我们的系统可以提高患者的生活质量,改善其self-autonomy。实验,由ADACEA基金会监督验证的实现这些目标。
1。介绍
预期寿命的增加和低死亡率在发达国家正将加速增长的百分比的人。联合国说的(https://population.un.org/ProfilesOfAgeing2017/index.html),目前,12.74%的人口超过65岁的门槛,至于2050,这是预期增长27.04%的全球人口。这种快速的人口老龄化是发达国家的主要担忧之一的一个优先级的研究。除了老人们,全世界成千上万的人受到大脑相关损伤的影响。这些疾病可以引起不同的情况下如创伤、事故,甚至通过基因的感情。可以获得脑损伤后出现的改变,随着年龄增长包括知识能力不同程度的损失。这些障碍干扰社会或职业功能,记忆,或抽象思维障碍,无法找到相关词汇之间的相似点和不同点,或执行常见的国内任务的困难,等等。具体来说,最常见的条件之一是遗漏的自然顺序来执行一个任务。比如,这个条件的灾民在应用前刷牙的牙膏或者牙刷但最终忘记接下来会发生什么。
最糟糕的结果之一是这些集体的一部分是减少个人自主权。长老和智力挑战人们通常需要特别关注一个治疗师,帮助他们执行任务,如系鞋带,日记洗澡或吃饭。
在这种背景下,我们提出一个自动调度系统的实现在一个社会机器人将协助患者在日常任务在家里。该系统将通知病人在预定时间的编程任务,还将有助于实现行走的病人通过他们的操作。它将检测如果用户如果不是做得很好并给反馈。
该系统的实现将提高个人自主权,提高老年人的生活质量和智力挑战的人。
因此,这项工作的主要贡献(我)一个可编程的时间表系统部署在一个社交机器人(2)集成不同的方法来监控如果病人表现他将要执行的操作(3)一个导航系统,它由一个组合的语义定位方法和传统的大满贯
剩下的论文结构如下。首先,综述了艺术的状态2。节3,我们的建议是彻底解释为给予概述,然后专注于系统的每一块。然后,实验在节中有详细描述4。最后,讨论了这项工作的结论和局限性5。
2。相关的工作
越来越多的老人们正在越来越重要的促进作用和技术进步的社会和辅助机器人。谈到社会机器人创建的必要性来定义什么是社交机器人。根据(1),它被定义为“物理实体体现在一个复杂、动态和社会环境充分授权行为的方式有利于自己的目标和它的社区。”
在这个特定的领域,我们必须把不同的工作基于他们的应用程序。在医疗环境中(有项目援助2,3),而其他的重点是情感和认知任务4,5),也有项目社会辅助任务在不同的环境中。这种状态的艺术都集中在最后一个问题。
1998年,PAM-AID(个人适应流动性援助)6)被创建。本系统旨在提供物理支持在行走和避障。它使用声纳、红外接近传感器和保险杠开关从环境中获得信息。
一年之后,系统提出了(7)出现了。它描述了实现机器人控制体系结构的设计与运动控制器结合操作任务,操作空间配方用于定义和实现臂轨迹和对象操作。
同年出现第一个所谓的智能轮椅(8]。从完全自主导航系统提供不同的功能:在一个未知的拥挤环境部分自治地方演习。两年后,在同一个话题,研究[9)被创建,它描述了安装的机械臂驱动轮椅协助残疾用户的日常活动。
2003年,出现了三种不同类型的工作。首先,要求等。10]描述的努力设计、原型和测试一种低成本,高主管个人罗孚的国内环境。然后,Pineau et al。11)描述一个移动机器人开发助理协助老年人轻度认知和身体损伤,以及支持护士在日常活动。他们用三个软件模块:一个自动提醒系统,跟踪和检测系统,一个高级机器人控制器。最后,波拉克等。12)使用人工智能技术构建个人的日常计划,观察和思考的执行,并决定是否当它是最合适的问题提醒。
年后,似乎PAMM [13)项目,这是一个系统的支持和指导。PAMM检测和演习远离障碍,它使用一个向上的相机寻找定位,也可以与中央计算机通信。中央计算机系统提供了设施包括位置的地图。反过来,中央计算机系统提供用户的位置,健康状况和请求。
2010年,[描述的系统14提出了]。它旨在设计一个社会辅助机器人监控用户的性能在一个坐着的手臂运动场景中,主要目的是为用户提供动力完成任务和提高性能。
今年也,”家探索机器人管家”(草)15)发表。它能有效地执行映射任务、搜索和导航通过室内环境,识别和定位几个常见的家居用品,和执行复杂的操作任务。
2011年,[描述的系统16)出现了。这是一个室内移动机器人照顾老人。人体生理参数监测系统,它可以照顾六照顾人通过使用各种各样的传感器。
ASIBOT [17发表一年之后。它可以帮助用户在共同的生活环境中执行各种各样的任务。自主机器人能够爬到另一个地方,从一个表面修复自己最好的地方来执行每一项任务。它也可以被附加到轮椅上,给用户可能沿着它作为一个包。
一个新的迭代上述草(15系统出现在2012年。草2.0 (18)由一个双手移动机械手,可以执行有用的任务和与人在人类环境。
创建于2014年,是一个多用户人机交互(HRI) [19)系统架构,允许社会自主机器人扑鼻的计划,时间表,和促进多用户活动,考虑到用户的生活必需品。在活动期间,机器人能够与一组用户提供关于基于个人的需求和个性化的援助。同年,机器人护理助理(罗娜)成立20.),这将帮助护士在执行密集的任务,防止肌肉骨骼损伤在卫生保健工作者。
机器人运动的导师(21)于2017年出版。创建的类人机器人学习锻炼例程从人类教练并执行他们在老人面前。它的主要任务是监测病人的性能和提供反馈。
2018年,深度学习(DL)算法引入辅助机器人系统。例如,基于移动机器人的远程医疗系统用于老年人在家里提出(22]。机器人可以执行不同的任务。用户可以控制机器人,叫它使用语音命令或电话,它也执行对象检测和估计。它甚至可以监控老人的姿态和收集和传输数据记录由一组传感器连接到机器人云进行进一步分析。灯塔,代表该机器人助理协助老年人在家在日常体育活动,提出了在23]。这个交互式机器人平台分为两个模块:推荐人(建议活动预定时间)和人体运动识别(顾名思义,它是人类造成的标识符)。这个系统可以实时显示使用深度学习方法正确认识到进行体育锻炼。
3所示。建议
在这项工作中,我们提出一个机器人系统的监控和与人交流受到认知障碍和前辈们的影响。该系统将帮助指导病人完成日常任务,引导和鼓励他们遵循一个预设时间表。提出系统的最终目标是提高生活质量的依赖人民和他们的自我自治。
系统由一个可编程的时间表和上下文。可编程计划由一个任务列表,病人必须在特定的时间执行。这种任务可能被推迟,如果病人被授权这样做。相反,上下文计划由一个任务列表,病人有权执行需求,这将取决于用户所在地的房间。
如图1,当病人通知完成一项任务的可编程的时间表,病人可以尝试完成它现在或延迟。如果病人选择执行在要求,机器人将首先引导病人到适当的房间,然后,它将提供指令来执行所需的任务。如果病人延迟一个任务时,系统会要求他完成它。
任务是否来自编程或上下文时间表,由一组动作,每一个目标的患者必须完成完成任务。治疗师的任务分配和设置负责病人或授权的亲戚。目前,我们的系统理解四个主要不同类型的行动:对象识别、行为识别、QR识别,并花时间行动。正如上面提到的,病人的负责人可以结合这些行动构建高级任务。例如,“倒一杯水”的任务将由三个不同的行动。首先,机器人会要求病人得到一个玻璃和显示它,然后,它将要求显示水的瓶子。这两把刷子都使用对象识别引擎为了检测玻璃和一个瓶子。最后,行为识别引擎将设置检测浇注的实际行动。如果用户始终未能完成一个动作,任务是自动流产(如果配置一样)和延迟。此外,护理人员可以通知事件,如果他们选择。 Similarly, the task “take the medicine A” would involve two tasks. First, the robot would ask to show the medicine A package, which would be labeled with a QR code. The action in this case would use the QR recognition engine to check if the object showed by the patient is correct. Then, it would spend some time idle waiting for the patient to take the medicines by making use of a spend time action. Through the achievement of the tasks, the robot is continually providing both visual and speech feedback to inform and encourage the patient upon the completion of the task.
值得注意的是,该系统旨在部署在社交机器人将遵循病人不论走到哪里,都是公众。
3.1。社会的机器人
一个胡椒机器人被选为了开发该系统。如图2胡椒的机器人是一个人形机器人由软银制造机器人。它功能等多种传感器雷达,激光,RGB-D摄像机,麦克风等。
(一)
(b)
我们采用两个主要原因:首先,它的外观是熟悉的和迷人的用户交互时感觉舒适。相反,它的特性适合完美我们的建议的要求。要求移动基础和规模,使机器人可以轻松地移动在室内环境中为了指导病人所需的房间,跟着他和一个麦克风,使语音和语音识别功能。他们提供了一个自然的交互机制;平板显示相关信息和反馈,提供另一种交互方法;摄像头监控病人和检测如果给定的方向被跟踪;和一个激光前负责检测障碍和提供当地的本地化功能。
值得注意的是,任何其他机器人,满足上述要求可用于部署该系统。
3.2。对象识别引擎
正如上面提到的,有行动的任务是检测一个特定的对象,例如,玻璃的检测任务,“倒一杯水。”
为此,我们实现了一个对象识别引擎(矿石)。铁矿石是基于InceptionResNetV2 [24)的体系结构。这DL-based方法证明提供最低的国家之一(和前5错误ImageNet ILSVRC 201225)的挑战。这种架构利用初始概念和剩余连接以获得高准确率,同时保持了计算成本。
我们采用了一个经典的卷积神经网络(CNN)计划在提出卷积神经网络(R-CNN)架构,以避免错误的检测。例如,当机器人要求的玻璃,它的目的是病人寻找对象,它在机器人的前面。尽管如此,如果病人在厨房里,很可能有眼镜在柜台上或桌子上,R-CNN检测。鉴于这种情况,很难区分病人是否持有对象的背景也出现在现场。相反,利用经典的CNN方法,对象被正确地检测到只要对象描述了输入图像。这种方式,我们迫使病人寻找所需的对象,并表明它故意的机器人。
矿石时使用的系统,它首先使用机器人的摄像头捕捉图像。图像分类的矿石,如果返回标签匹配所需的对象,行动是实现。如果没有,这个过程要反复预先制定的试验。如果对象没有正确地检测到,整个任务中止。我们考虑检测如果任何分数分配给一个标签是超过一定阈值。如果没有超过这个阈值标签,没有对象被认为是探测到。
注意,矿石时,必须使用高泛化能力是必需的。正如上面提到的,当要求玻璃,玻璃是可行的。所以,我们需要分类器识别任何类型的玻璃。
3.3。行为识别引擎
一次必要的对象执行要求的动作识别,下一步是正确地识别用户的行为。强劲,第一步是检测图像中的人(s)。然而,这不是一个简单的任务,由于需要系统的通用性。因此,设计行为识别引擎(BRE)应该能够正确识别用户的行为在不同的房间和房子。因此,背景减法技术被丢弃。另外,可以建立对病人的外表没有需求。因此,一个抽象机制是必需的。特别是,Openpose [skeleton-based表示26,27,28使用)。基本上,这两个分校多级卷积神经网络(CNN)输出18-keypoint身体骨架图像中所有的人,独立的背景或人,如图3。
(一)
(b)
(c)
(d)
从这个身体关键点信息,生成一个新形象集中在人类骸骨。通过这种方式,行为识别是减少人类构成分类。即,每个行为可以被定义为一个序列的几个人类的姿势,这样分类允许系统识别行为(参见图表示4例如)。
(一)
(b)
(c)
(d)
(e)
(f)
作为一个分类问题,CNN架构可以健康。特别是,本文ResNet50(29日使用了)。ResNet50是一个深剩余的50层网络训练手头的任务。
因此,BRE流程图可以描述如下:机器人RGB相机以一个形象,一个生成图像与人类骨骼。这skeleton-based形象提要pretrainedResNet50输出(图观察到的行为5)。
3.4。QR识别引擎
有行动的任务需要一个更好的检测意义,一个对象的一个实例。例如,在行动”给药,”机器人要求一个特定的药物。矿石不能用在这种情况下,因为所请求的对象是非常具体的,和它的主要目标是提供高泛化能力。所以,QR识别引擎(QRRE)是为了当所需的请求对象的特异性是至关重要的。
为此,我们实现了一个二维码探测器。QRRE基于Zbar [30.),这是一个开源的条码和二维码扫描仪。正如所料,对象必须手动标记记者二维码,所以QRRE可以认出他们来。我们选择这个方法在传统的对象识别管道(31日,32,33,34),因为它是更快的和可靠的。
QRRE时使用的系统,首先,它使用机器人的摄像头捕捉图像。图像是美联储QRRE,如果返回标签匹配所需的对象,行动是实现。如果没有正确地检测到对象在预先制定的试验,整个任务中止。
3.5。语音识别功能
为了让自然与机器人互动的方式,我们的系统利用内置的语音识别功能提供的胡椒机器人。语音识别引擎提供的细微差别(35),这是一个公司有经验的在这个领域。本公司负责开发顶级商业语音识别软件。
语音识别引擎能够识别用户配置的预定义的单词和语句。我们采用它作为一个主要的交互使用我们的系统提供了方法和当机器人问一个问题。例如,机器人预计“是的”或“ok”或“不”时,要求用户如果他现在想执行编程任务。机器人的平板显示一个“倾听”消息,和机器人使声波警报当语音识别引擎从病人期待一个答案,所以他会知道他可以与机器人使用这种方法。
3.6。语义定位系统
语义的目的定位系统(SLS)是计算位置在语义层面。为此,提出了基于SLS的(36]。在这个工作中,移动机器人的最优方法提出了其知识适应新环境。这个模块在以下方式工作。
首先,环境的机器人捕捉影像,并试图使用一个初始pretrained模型进行分类。用来训练该模型的图像来自未知的和不同的家庭。部署在一个新的环境,有可能系统获得较低的准确率。这是由于不同的新环境的视觉特征和模型训练的环境放在第一位。在这种情况下,我们可以提供信息收集数据和reidentify机器人位置。类别用户提供的是不被认为是到目前为止的模型,它将作为一个新的类别添加的。这种方式,机器人可以很容易地增加和适应新环境的知识。
值得注意的是,该模型拟合的SLS执行机器人实际上是部署之前,所以它可以精确定位本身一旦部署没有病人的干扰。
为了实现这一目标,我们使用体系结构显示在图6。这是这样工作的:一个输入图像是转发到ResLoc CNN架构。这是一个典型的CNN架构,持续直到完全卷积层都被移除,所以输出是输入图像的视觉特征描述符。因此,ResLoc CNN是一个的输出维特征向量。
每个图像的视觉特性和相应类别的训练数据集提取使用ResLoc CNN架构的一部分,插入数据库的特性。这个特性数据库是存储了数据模型,训练样本的特性。在推理阶段使用这个模型。
推理阶段,未知的图片转发给ResLoc CNN为了提取视觉特征向量。这时,一个K最近的邻居(资讯)分类器特征数据库上执行一个查询使用最近计算特征向量。接下来,进行轮询在邻居的类别,并返回最投票类别作为最终分类未知的图像。
资讯的性能高度依赖k参数(邻居)的数量。实验在这个问题上进行设置表现最好k。我们使用了骚扰(37)(近似)然而,分类器的实现。
然后,模型是一家专业更实际的样品,房子的部署。新样品插入某个房间里只有本地化失败。
由于这种方法,SLS总是更新模型以防止失去性能,因此,适应随着时间的推移过去。这是特别有用的外观环境不可避免地会改变。例如,家具是最终被改变或重新安排,另一种颜色的墙壁被漆成,或者是家用电器被取代。
3.7。运动规划系统
当一个新位置的目标是确定由于触发一个任务必须执行在另一个房间,我们需要一个系统,计算路径从当前目标的空间。这个任务可以通过使用一个简化的地图环境和一个专家系统,计算实际位置之间的所有路径房间和目标使用一些连接规则和事实。我们叫这个系统的运动规划系统(MPS)。
地图是建模为一个图,节点的房间,门,和之间的十字路口位置访问和边缘之间的联系这些地方。这些连接都有一个关联的方向运动的过渡(北、东、南、西)和旅游成本,表示节点之间的距离。同时,我们定义节点类型之间的转移矩阵,我们代表的作用必须从节点类型执行一个来B,如表所示1。交叉类型是一个节点标记外房间,不同的方式加入。内部类型是一个节点在一个房间里各种方式加入标记。行动是横门(cd),沿着走廊(fc), ND(而不是定义)。
|
||||||||||||||||||||||||||||||||||||||||
专家系统,计算节点之间的路径已经开发的Prolog,逻辑编程语言,提供了很好的工具,这种任务,如声明性规则和统一(限制管理)和回溯(图探索)。
知识分为两个分隔文件:事实和规则。事实是特定于具体环境的建模。他们包含的定义节点类型(房间,门,十字架,和内部),节点之间的连接方向和运动相关的成本,和一个动态的谓词,表明如果一个门是关闭的,它可以在运行时修改机器人传感器提供的信息。
规则是为每一个环境建模。他们检查节点之间的连接(直接或间接)和计算的道路,方向,从节点组行动,和成本一个来B。在事实文件中,节点之间的直接连接表示只在一个方向,所以我们定义规则,允许连接的反向计算,寻找来自节点的连接一个来B从节点B来一个扭转的方向运动,如源代码里所示1。同样的原理被应用于计算的操作,如源代码里所示2。谓语动作/ 3的Prolog表示过渡矩阵见表1。
|
|
建立节点之间的路径,我们递归搜索那些直接连接到当前的一个,直到我们达到最终节点。我们必须注意到,我们正在寻找路径没有循环(树),所以我们不允许任何节点的重复。没有这个限制,这种探索的计算就挂,进入一个无限循环。
由于Prolog模块的灵活性,我们不能只计算定义节点之间的路径一个和B,但我们可以让更多的查询,像发现的所有访问节点每个节点,使用相同的事实和规则知识。
3.8。导航和映射
我们还依赖于ROS框架完全控制机器人的运动。这个框架提供了公用事业与机器人互动和映射和导航方法:我们采用我们的系统。
移动机器人的任务从当前位置到另一个房子的一部分需要锚点的列表,它对应于所使用的标签(每个房间一个)由SLS和议员和记者在机器人坐标系的位置。当一个任务被触发它的目的是在不同的位置,机器人引导病人到目标位置。为此,使用SLS机器人定位本身。因此,语义标签。然后,语义标签路径点列表中查找。这样机器人大约是本地化。接下来,议员是用来建立一个计划从当前位置到最终目的地。这个计划是一个列表的锚点,机器人将试图达成一个接一个。
我们依赖gmappingROS包创建议员路径列表。这种方法读取激光提供的数据并创建一个占用网格地图使用它。理解的算法gmapping是彻底的解释38]。尽管旨在使用激光传感器,我们没有使用胡椒的集成激光传感器,因为缺乏分辨率,所以我们采用了深度图像假激光读数,如上所述在[39]。
这一步的输出是一个静态二维映射定义的限制机器人可以穿过墙壁,门,和建筑障碍,但不移动的障碍。在这张地图,我们定义的锚点的姿势议员,我们可以翻译语义位置的物理位置。
一旦我们建立环境地图,我们可以加载和使用它来执行导航。然后,我们需要确定机器人的位置和姿态的在每次移动地图。为此,我们使用了蒙特卡罗定位中实现自适应蒙特卡罗定位(AMCL) ROS包,这是解释(40]。该方法样品一组粒子在每个迭代中,表示一组可能的机器人的当前姿态。它使用传感器提供的信息来确定,预测和集中未来预测的有效性在年长的最可能的。
最后,我们必须解决机器人的当前姿态之间的路径规划和目标位置和机器人移动到目标。使用ROS完成这个任务move_base包,ROS导航堆栈的一个主要元素。它接收目标构成作为输入,然后与组件,比如全球和当地的规划者,恢复行为,costmaps和生成速度命令机器人的基础,直到达到所需的位置。这个节点是解释所使用的组件41),在页面的相关链接(图7)。
最后,值得注意的是,我们使用这种混合语义定位和传统的地图和导航系统,因为纯大满贯技术倾向于宽松的长期性能。机器人很可能不会恢复本地化一旦失去尽管准确的最先进的方法。然而,SLS提供了一个更准确的定位法,因为它是基于视觉特性而不是激光特性或测程法,通常不足以提供健壮的本地化。
3.9。人跟踪和行为
正如上面提到的,机器人的目的是保持的病人要注意到当它宣布一个计划任务。实施这种行为,我们把它设计为一个有限状态机器,因为它显示在图8。
在初始状态,它首先等待前面的病人显示机器人,说一个可定制的触发器语句。如果机器人检测到语句使用它的语音识别系统在部分解释3所示。5,那么它试图检测一个人。为此,我们依赖yolov3 - 320年(42]。这是一个地区卷积神经网络架构,能够检测对象的位置在图像平面,这些对象的标签,以及记者发现得分。该体系结构实现了0.51地图(测量/十字路口/联盟)的测试集数据集女士可可。目前最先进的方法对目标检测和识别提供一个像样的精度较低的计算成本。
所以,机器人使用的相机颜色数据转发这个架构来检测一个人。如果只有一个人检测,机器人试图维持它的中心视力在其基础向左或向右移动一个阈值。机器人本身之间也保持一个明确的距离和患者的一个可定制的距离。这个距离是使用前面计算激光传感器的机器人。如果病人走开了,机器人必须遵循他通过设置新的目标导航系统,部分中解释3所示。8病人,但总是保持在预设的中心视力和距离。值得注意的是,它不会离开当病人接近机器人。如果机器人失去跟踪的人,它将宣布演讲通知,然后,它会继续停止,并试图检测一个人一次。
这种行为保持直到编程或上下文任务被触发,并导航到一个目标是必需的。在这种情况下,机器人需要的角色,负责带领病人到目的地的房间为了执行请求的任务。当达到目的地的房间时,机器人转身(假定后病人)和变化给人再次检测的作用。
这个简单但有效的跟踪和以下系统使机器人保持除了病人在任何时候允许自然流畅的交互。
4所示。实验、结果和讨论
之前的部署我们的系统在实际的场景中,治疗师和病人的负责人必须定义病人能够执行的任务。这个试点经验的任务定义如表所示2。这些任务被ADACEA治疗师的建议,这是一个基础获得大脑受伤的人。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
然后,它需要建立初始模型的议员SLS和相应的地图。图9显示的计划测试的房子,有自己的房间。注意,导航系统将不使用完整的地图,但路径点以设定下一个导航目标。SLS子系统将提供一个好的近似定位导航步骤。
BRE和矿石模型也事先训练。我们的方法假定这一步已经完成了,可以使用前面提到的地图和训练模式。
下面我们提供实验的每一个组成系统。
同样值得注意的是,一些实验涉及实际的病人和他们的家庭,但在其他一些,病人要模拟的研究伙伴。这是由于患者缺乏授权。
最后,正如胡椒机器人集成处理器的计算能力都很有限,计算的矿石,正好和执行YOLO架构意思执行额外的电脑配备了Nvidia GTX 1080 ti GPU。机器人和其他电脑使用ROS框架互联。的神经体系结构开发使用Darknet和Keras框架。
4.1。对象识别引擎实验
架构被训练特别矿石。为了建立数据集,我们下载第一个400年最相关的图像与公共领域许可证谷歌图片为每个对象被探测到。这些对象是那些病人必须执行所需的任务。对象由矿石是牙刷,遥远,碗,牙膏,瓶子,鸡蛋,锅,玻璃和剃须刀。图像分布在训练、验证和测试的分裂 , ,和每一个。优化器选择的是亚当,学习速率为0.0001。架构是初始化ILSVRC 2012模型和训练了10时代达到一个验证的准确性和一个测试的准确性 。值得注意的是,检测阈值是根据经验设置为0.6。图10描述每个类的测试精度。图11这些对象描述了一些样品的正确检测到机器人在不同的任务指导的背景下。
(一)
(b)
(c)
(d)
(e)
4.2。行为识别引擎实验
目的是评估建筑研究院的表现,几个科目(总共9个;五男四女,)记录实施的五个考虑行为(即。刮倒,刷牙,节奏,和增加武器)在不同的场景中。如此,所有的视频序列被胡椒的RGB相机被分成帧和手动标记与观察到的行为。然后,这些照片被Openpose处理(26,27,28]。之后,数据扩充应用为了正确识别左和右撇子的行为。的总图像被用来训练和测试分类ResNet50 [29日)网络。特别是,75%的图片为他们培训和25%的测试。优化器选择是亚当,和150年的模型训练时期达到99.98%的测试精度。图12显示了混淆矩阵获得的培训和测试。
4.3。语义定位系统实验
正如上面提到的,这个模块的目的是帮助机器人了解地方的房子的位置。,机器人将能够识别的地方。
为了训练基本模型,从不同的住宅,然后我们把视频序列随机打乱和分布式成培训和测试分裂。表3显示了最终的每个类别的样本数量。我们只使用RGB帧。
|
||||||||||||||||||||||||||||||||||||
在这一节中所描述的实验进行了使用我们自己的数据集提供了一个为每个RGB图像语义类别。重要的是国家的基本模型是建立图像从四个不同的住宅。类别来自图像的位置。图13显示了5代表图像类别中可用数据集。
(一)
(b)
(c)
(d)
(e)
实验由测量的性能已经训练模型和图像呈现在图9。值得注意的是,引用模型训练在我们前面描述的数据集。
新知识的实验中,我们使用图像捕获的上述房屋。在这所房子,我们有相同的语义类别但不同的视觉表象。机器人然后继续获取新的信息环境,系统未能确定。随后,新信息被添加到当前的学习模型。
首先,我们评论的实验不同的房间只使用基本模型,然后我们讨论当系统发生分类的缺陷,我们获取信息的新环境。总结实验结果的执行可以在图中找到14。
实验1建立基线我们使用比较以下实验。的总精度测试 。这是起点,没有新知识补充道。
在上述实验进行了从2到6家,获得的结果(走廊 ),(生活 ),(浴室 ),(厨房 ),(卧室 当机器人不知道环境和100%的所有地方一旦增加了这些地方的信息。
实验证实了系统的准确性和验证它的语义本地化部署使用。
4.4。运动规划系统实验
实验的运动规划系统,我们使用的是房子的具体的例子描述的图9如图,列举节点15。我们已经定义了节点类型的每一个点在源代码里31和12之间的数量,所以每一行对应于同一numerated节点的定义。我们在源代码里定义了节点之间的连接4相关的成本和方向,机器人必须从节点一个来B。如上所述节3所示。7,连接节点之间的定义只是片面的。
|
|
首先,我们计算路径从厨房到其他房间,覆盖所有现有的节点图。结果表明,每个节点都可以达成。确保规则的可靠性格兰特反向连接,我们计算前的反向路径查询。
一旦我们检查这个系统计算所有路径及其逆转,我们测试的功能动态谓词/ 1关闭,所以我们无法达成的目标路径后如果有一些门关闭。
我们已经介绍了在我们的实验节点之间所有可能的路径。由于空间限制,我们只显示执行结果为例1。
|
4.5。导航和测绘实验
如上所述节3所示。8,我们使用了gmapping算法为了建立二维静态的环境地图,使用一个假的激光从深度传感器读取的胡椒。结果如图所示16。另外生成的地图,我们定义了议员的位置节点为了关联语义的物理位置,所以机器人可以执行之间的导航节点。
使用这张地图,辣椒可以使用上述执行本地化自适应蒙特卡罗定位激光读取。如图17由该算法,我们可以看到粒子采样与机器人的最可能的姿势。被激光well-identifiable位置时,粒子的密度对其实际位置集中。
(一)
(b)
导航与ROS已成功执行move_base包中。生成的costmaps规划师根据激光读取定位动态障碍,让他们来计算当前姿态和目标之间的最优路径。此外,辣椒包含额外的碰撞避免时块的运动基地声纳探测一个障碍。这个安全保证金从Pepper-integrated系统使得门穿越困难当门不够大。
4.6。人后跟踪和行为实验
在这种情况下,选择的架构并不是从头开始训练,但我们采用一个已经训练模型。这个模型是可可女士的训练数据集能够准确检测人员在其他对象。其余的对象的检测将被忽略,所以我们只获取检测标签的人。这种模型足够准确的检测人员在各种姿势,即使这个人是倒着的相机,坐或躺在床上或沙发上,甚至如果他们使用轮椅如图18。体系结构的准确性在这些情况下对我们的系统是特别重要的,因为患者极有可能经常呈现这些姿势。
(一)
(b)
(c)
(d)
(e)
跟踪方法试图维持病人总是在机器人视觉的中心在一个阈值和一个预设的距离。在实验中,定心阈值被设置为70 px。这个阈值使罚款定心过程,同时避免过度运动机器人由于病人或闪烁的小位移的检测区域的人。图19描绘了人们跟踪方法。病人和机器人之间清晰的空间设置为70厘米,这机器人足够远的地方使机器人和自由流动的病人,同时更足以保证流畅的交互。还有一个10厘米阈值我们前面提到的同样的原因。线性运动的速度设置为0.3 m / s和固有转动到0.3 rad / s的速度。我们注意到这种方法是高度依赖的响应时间。在我们的测试设置,意思是图像采集时间是126 ms,而人检测耗时301毫秒的意思。这两种措施包括内部通信开销。
(一)
(b)
(c)
(d)
(e)
后的人跟踪和行为表现强劲。机器人只搬的时候丢失了跟踪病人的异常快,所以它完全的机器人。在这种情况下,机器人问病人自己位置在前面,和跟踪恢复正常。
5。结论和局限性
监控和与人交流的机器人系统受到认知疾病提出了本文。系统成功集对象识别、行为识别、定位和导航方法记住并帮助病人完成日常任务。
尽管如此,系统有一些局限性。首先,初始阶段创建地图和模型训练是强制性的,必须由专家。此外,矿石,信徒必须重建的模型如果需要新对象,因为他们需要到目前为止不重要的任务,我们希望增加病人的时间表。这个问题可以通过创建一个适当的计划,考虑减轻病人的长期演进。
系统由ADACEA监督,这是一个基础获得大脑受伤的人,有效地确保它可以帮助患者改善self-autonomy和生活质量。
最后,值得注意的是,有一个视频的补充材料,描述了不同的子系统在测试环境中运行。
数据可用性
所使用的图像数据来支持本研究的发现没有提供,因为它们涉及弱势社会群体,和他们的负责人拒绝访问数据没有一个正式的请求。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作已经被西班牙政府支持tin2016 - 76515 r格兰特,支持菲德尔基金。Edmanuel克鲁兹是由一个巴拿马的格兰特博士研究IFARHU & SENACYT 270-2016-207。Jose Carlos兰赫尔是国家支持的系统的研究(SNI) SENACYT巴拿马。这项工作也一直支持西班牙格兰特博士研究ACIF / 2017/243和FPU16/00887。同时感谢Nvidia的慷慨的捐赠泰坦Xp和方形住宅区P6000。
补充材料
与本文附加视频演示我们的提议。在这个视频中,集成系统的不同部分进行描述。首先,人后跟踪和行为(部分所示3所示。9)。在这段视频的角度可以看到机器人。蓝色的垂直线标志图像的中心,而红色显示人的中心,这是一个绿色的盒子里说。代表人物在左边底部角落左边,前面,后面,和正确的运动命令机器人系统发行。红色是禁用的,绿色意味着命令发送。用户在一个房间,机器人成功跟踪并遵循病人。下面的部分显示了程序的实现进度和上下文。两个系统在部分解释3。程序安排的颜色用红色显示延迟或中止任务,迫在眉睫的任务是黄色的,蓝色的,剩下的任务。在这个实验中,本地化被洗牌模拟不同的地方。这样做是为了显示上下文相关的时间表。最后,两个完成任务。首先,由于“吃药”任务,所以机器人问病人如果他想参加任务。用户回答“好”,所以机器人利用其语音识别功能(部分3所示。5)开始的任务。然后,机器人问病人显示“医学。“在这种情况下,使用QRRE(部分3所示。4)正确识别二维码的药。第二个任务是“倒一杯水。”Once again the robot announces the task is due, and the patient triggers the task by answering “yes.” The robot asks the user to show a glass and the water, which are being recognized properly by the ORE (Section3所示。2)。然后,使用BRE倒动作检测(部分3所示。3)。检测成绩叠加在左上角。这个视频来自摄像机的机器人。注意,机器人检测到不适当的房间(厨房)来执行任务,但导航(部分3所示。8)是禁用的测试环境没有厨房。(补充材料)
引用
- c O’。鲁尼,m . p . o .兔子格雷格,r·d·多诺霍,r·布莱恩,什么是社交机器人都柏林大学,爱尔兰都柏林,1999。
- s . Ikeda f . Arai t .福田et al .,“体外病人个体化脑动脉的解剖模型评价血管内神经外科医疗机器人和系统,”学报IEEE / RSJ智能机器人和系统国际会议AB,页1558 - 1563,埃德蒙顿,加拿大,2005年8月。视图:谷歌学术搜索
- s . Ikeda f . Arai t .福田m . Negoro k .老大和高桥,“针对病人的神经与血管的模拟器评估我们医疗机器人的性能,”学报2006年IEEE机器人与自动化国际会议上,举行,页625 - 630,“国际机器人与自动化会议”2006年5月美国佛罗里达州奥兰多市。视图:谷歌学术搜索
- c . Kouroupetroglou d·凯西et al ., m·拉希蒂“痴呆:马里奥交互方法,”研究卫生技术和信息卷,242,pp。38-47, IOS出版社,荷兰,2017年。视图:谷歌学术搜索
- w·莫伊尔,c·琼斯,b . et al .,唱“动物机器人叫拥抱有什么影响在老年痴呆症患者的接触和情感反应吗?一个试点可行性研究”,国际社会机器人技术杂志》上,8卷,不。1,第156 - 145页,2016。视图:出版商的网站|谷歌学术搜索
- a·j·性质r·a·库珀b . Blasch和m . l .去骨,“智能老年人步行者:va-pamaid行走机器人的性能和安全测试,”康复杂志》上的研究和发展,40卷,不。5,423 - 431年,2003页。视图:出版商的网站|谷歌学术搜索
- h·f·Machiel Van der厕所,j·约瑟夫·瓦格纳n Smaby et al .,“Provar辅助机器人系统架构,”学报1999年IEEE机器人与自动化国际会议上,页741 - 746年,底特律,MI,美国,1999年5月。视图:谷歌学术搜索
- p . e .许y l .许k . w . Chang和c·盖斯,“流动性援助智能机器人轮椅的设计”,国际先进的机器人系统杂志》上,9卷,不。6,244年,页2012。视图:出版商的网站|谷歌学术搜索
- m·希尔曼k . Hagan s Hagan j·杰普森,r . Orpwood,”韦斯顿轮椅安装辅助设计实例:今年的故事,“Robotica,20卷,不。2、125 - 132年,2002页。视图:出版商的网站|谷歌学术搜索
- 大肠。r . Gockley、e·波特和Nourbakhsh,“个人探测器项目:国内的综合设计个人机器人,”机器人和自治系统社会互动的机器人,42卷,不。3 - 4、245 - 258年,2003页。视图:出版商的网站|谷歌学术搜索
- j . Pineau m . Montemerlo m·波拉克罗伊n, s杜伦,“对机器人助手在疗养院:挑战和结果,“机器人和自治系统,42卷,不。3 - 4、271 - 281年,2003页。视图:出版商的网站|谷歌学术搜索
- m·e·波拉克·l·布朗,d . Colbry et al .,“Autominder:智能记忆障碍患者认知矫正的制度,“机器人和自治系统,44卷,不。3 - 4、273 - 282年,2003页。视图:出版商的网站|谷歌学术搜索
- m . Karlsson p . Engelbrektsson h·亨特,a . m . O 'Niell h·皮特里和d . Zoldan”PAM-AID。个人适应流动性援助虚弱和老年人视力受损。d3。1。科技用户需求研究。”代表,技术报告,查尔默斯大学,哥德堡,瑞典,1997年。视图:谷歌学术搜索
- j . Fasola和m·j·马塔里奇”机器人运动教练:社会辅助机器人系统监控和鼓励老年人体育锻炼,”19学报》国际研讨会在机器人和人类互动交流维亚雷吉奥的,页416 - 421,意大利,2010年9月。视图:谷歌学术搜索
- s . Srinivasa d·弗格森c·海尔瑞迟et al .,“草:探索机器人巴特勒,”自主机器人,28卷,不。1,5 - 20,2010页。视图:出版商的网站|谷歌学术搜索
- h . t . Wang, x, y, z,和钱,“家庭护理机器人系统,”未来智能信息系统Ed,曾庆红d,施普林格,2011年柏林,海德堡。视图:谷歌学术搜索
- a . j . Huete j·g·维克多,马丁内斯,a, c,官员,“个人自治康复便携式辅助机器人在家庭环境中,“IEEE系统,人,控制论,一部分C(应用程序和评论),42卷,不。4、561 - 570年,2012页。视图:出版商的网站|谷歌学术搜索
- s . s . Srinivasa d•贝伦森m . Cakmak et al .,“草2.0:教训发展移动机械手的家,”IEEE学报》,卷100,不。8,2410 - 2428年,2012页。视图:出版商的网站|谷歌学术搜索
- w·g·路易·t·牧童,g . Nejat和j·c·贝克”的自主机器人辅助计划、调度和促进多用户活动,”进行的IEEE机器人与自动化国际会议上)举行(“国际机器人与自动化会议”,页5292 - 5298,香港,中国,2014年5月。视图:谷歌学术搜索
- m . j .丁y Lim索拉诺et al .,“给病人解除机器人护理助理(罗娜)”学报IEEE国际会议上技术实用的机器人应用程序(TePRA)沃本,页1 - 5,妈,美国,2014年4月。视图:谷歌学术搜索
- b·格勒a·阿里·沙拉和h Levent类似,“一个自主机器人运动对老年人的导师”,自主机器人第41卷。。3、657 - 678年,2017页。视图:出版商的网站|谷歌学术搜索
- p . Lv、b .周和k . Wu”一个新的远程医疗系统基于移动机器人用于老年人在家里,”医疗保健工程卷,2018篇文章ID 4949863, 11页,2018年。视图:出版商的网站|谷歌学术搜索
- a·科斯塔e . Martinez-Martin m·卡索拉和诉朱利安,“Pharos-physical助理机器人系统,”传感器,18卷,不。8,2633年,页2018。视图:出版商的网站|谷歌学术搜索
- c . Szegedy s Ioffe诉Vanhoucke, a . Alemi”Inception-v4 inception-ResNet和剩余连接对学习的影响,”2016年,http://arxiv.org/abs/1602.07261。视图:谷歌学术搜索
- o . Russakovsky d·贾·h·苏et al .,“ImageNet大规模视觉识别的挑战。”国际计算机视觉杂志(IJCV),卷115,不。3、211 - 252年,2015页。视图:出版商的网站|谷歌学术搜索
- z曹,t·西蒙,信息。魏,y酋长,“实时多人2 d姿势估计使用部分关联字段,”学报IEEE计算机视觉与模式识别会议(CVPR)火奴鲁鲁,页7291 - 7299年,美国,2017年7月,你好。视图:谷歌学术搜索
- t·西蒙·h·Joo)。马修斯,y酋长,“手关键点检测单一图像,采用多视图引导”学报IEEE计算机视觉与模式识别会议(CVPR)火奴鲁鲁,页4645 - 4653年,嗨,美国,2017年7月. .视图:谷歌学术搜索
- 信息。克里希那魏、v, t·金,和y酋长,“卷积构成机器,”学报IEEE计算机视觉与模式识别会议(CVPR)美国,拉斯维加斯山谷,NV, 2016年6月。视图:谷歌学术搜索
- k . x张,他任美国,j .太阳,“深残余学习图像识别,”学报IEEE计算机视觉与模式识别会议(CVPR)美国,波士顿,MA, 2015年6月。视图:谷歌学术搜索
- j·布朗,Zbar条形码阅读器,2018,http://zbar.sourceforge.net/。
- g萨曼吉拉尼和s . a . m .,”修改对象识别的尺度不变特征变换,”诉讼的第三国际研讨会语义媒体适应和个性化页,33-39布拉格,捷克共和国,2008年12月。视图:谷歌学术搜索
- d·g·劳”独特的形象特征尺度不变的要点,国际计算机视觉杂志》上,60卷,不。2、91 - 110年,2004页。视图:出版商的网站|谷歌学术搜索
- e . Rublee诉Rabaud、k . Konolige和g . b . Orb,“一个有效的替代筛选或冲浪,”程序在计算机视觉国际会议,页2564 - 2571,东京,日本,2011年11月。视图:谷歌学术搜索
- m . Rudinac b . Lenseigne p Pieter,其喷射出去,“关键点提取对象识别和选择,”机器视觉应用伏安的诉讼2009年5月,日本横滨。视图:谷歌学术搜索
- 毕宿五,http://doc.aldebaran.com/2-5/naoqi/audio/alspeechrecognition.html, 2018年。
- e·克鲁斯,j·c·兰格尔f . Gomez-Donoso z鲍尔,m·卡索拉和j . Garcia-Rodriguez”找到的地方:如何培养和使用卷积神经网络动态学习机器人,”国际神经网络联合会议(IJCNN),页3655 - 3662,里约热内卢,巴西,2018年7月。视图:谷歌学术搜索
- 骚扰,https://github.com/spotify/annoy, 2018年。
- g . Grisetti c Stachniss, w . Burgard”改善与rao-blackwellized粒子过滤器,网格映射技术”IEEE机器人,23卷,不。1,34-46,2007页。视图:出版商的网站|谷歌学术搜索
- 诉佩蕾娜·t·佩雷拉,j .康奈尔·m·曼和m . m . Veloso。为自主导航和个性化设置胡椒与用户交互,CoRR、abs / 1704,2017年。
- d·福克斯,w . Burgard、d·弗兰克和杜伦,“蒙特卡罗定位:高效的移动机器人的位置估计,”16国家会议上人工智能(AAAI 99)美国佛罗里达州奥兰多,1999年7月。视图:谷歌学术搜索
- ROS,Move_Base,2018岁的活性氧http://wiki.ros.org/move.base。
- j . Redmon和a·哈蒂”YOLOv3:增量改进”,2018年,http://arxiv.org/abs/1804.02767。视图:谷歌学术搜索
版权
版权©2018 Edmanuel克鲁斯等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。
