文摘
目前环境辅助生活(AAL)环境利益重点作为一个选项以协助和监控残疾人和老年人。这些系统可以提高他们的生活质量和个人自治通过检测等事件进入潜在危险地区,潜在的事件,或延长停留在同一个地方。尽管如此,仍有地区的范围之外AAL系统由于摄像机的位置。也存在危险的来源范围的相机AAL系统不能检测到。这些危险的来源相对规模较小,阻挡或非静态的。为了解决这个问题,我们建议将机器人这地图发现地区寻找新的潜在的危险地区,光芒四射的注意。机器人然后将这些信息发送给AAL系统以改善其性能。实验在现实场景中成功地验证我们的方法。
1。介绍
众所周知,环境辅助生活(AAL)环境将是一个关键特性的家庭,办公室,甚至商业设施在不久的将来。AAL系统通常由多个传感器和致动器的安装在家里和某种形式的沟通,允许数据聚集。智能化处理这样的数据,在地方或云计算,可能提取关键信息人住在那里,如监测健康或人类活动的识别。此外,由这些系统最常见的任务之一是自动检测潜在的危险和有害的地区附近的环境,如楼梯,厨房、浴室和发送警报的人住在那里,他们的亲属。AAL提供创新方法,人口老龄化的挑战和身体上或精神上的挑战,帮助他们保持活跃,保持社会交往,独立生活步入老年。
要做到这一点,很多相机通常放置在天花板的房间为了覆盖尽可能广泛的区域使用最小数量的设备。外部系统需要相机饲料和能够检测潜在的有害的地方,一个人下降,或延长停留在一个特定的房间,其他事件。尽管如此,小的危险来源如电动面板和套接字在散热器或烤箱仍然忽视由于放置摄像机和提到的规模相对较小的元素。这些区域目前手动引入系统。虽然并不理想,原因是可以接受的固定性质的危险来源,随着时间的推移这将不会改变立场。
然而,存在共同的威胁像刀子,一只狗,或者一个机器人吸尘器,除了体积小,也非静态的,即随着时间的推移,他们的位置可能会改变。在这些情况下,并不是可行的手动设置固定区域的危险。最后,值得注意的是,可能会存在闭塞地区造成人员或家具甚至相机的视野。在这种情况下,是不可能发现任何危险的来源。
这项工作的主要贡献是国内社交机器人到光芒四射的集成系统检测危险元素,不能只检测到摄像头由于其尺寸,流动的性质,或位于一个阻挡固定摄像机。的优点和实用建议在实际验证办公室和家庭环境。
剩下的论文结构如下:首先,综述了该领域的最先进的2。部分3提供建议的系统描述。接下来,实验部分中描述4。最后,提出了这项工作的结论部分5。
2。相关的工作
环境辅助生活(AAL)是一个新兴的多学科交叉的领域旨在利用信息和通讯技术(ICT)在个人医疗和远程医疗系统应对不断增长的老年人口的影响(1]。它的目的是帮助人们有一个独立的监控生活科技的使用和帮助。
AAL提供支持性的家庭环境通过集成传感器、执行器、智能接口,和人工智能(2]。有有趣的评论AAL字段(3- - - - - -6),和几个AAL框架和标准化工作提出了如联盟(7),辅助生活平台(夹)在英国达拉斯程序,或开放服务网关协议(OSGi)平台。这些旨在提高医疗设备在医疗保健系统的互操作性和集成处理市民的生命体征。然而,目前并没有被广泛接受的事实上的标准。
传感器采用AAL系统包括可穿戴设备(8),物联网设备(物联网),甚至相机。他们中的一些人分享功能的动作捕捉和人类跟踪系统(9,10]。特定卫生传感器像血压和心电图偶尔也会考虑。物联网设备的使用是一个增加的趋势(11- - - - - -13];他们允许一个无处不在的、廉价、灵活的人监视。一个良好的分析可以发现14]。
关于通信、无线系统像蓝牙或wi - fi是普遍的。低功耗技术通常是首选的应用领域。
实际上,秋天检测是一种最有趣的情况进行监视。在这种背景下,有几个技术产品在市场上。第一个吊坠等传统监测系统或腕带穿的病人,通常必须激活这些设备在需要的时候,按下一个按钮。系统发送紧急调用适当的医疗服务。这些传统的系统需要人工干预来报告一个报警或寻求帮助,和用户的潜力不服从(有意和无意的)可能是一个问题。在某些情况下,例如,如果一个病人落在地上晕倒的结果,他或她将无法激活设备,这可能是危险的,因为损害的严重程度可能会增加随着时间的增加在地板上没有医疗援助。第二组可穿戴系统依靠加速度传感器和倾角传感器自动检测下降,但是用户可能会发现不断运送这些设备是烦人的。
其他的解决方案是嵌入到环境中。他们使用外部监控设备,因此不需要用户的遵从性。基于floor-vibrations系统,红外探测器阵列和相机。在这个广泛的可能性,人工视觉开发应用程序时提供了一个非常好的传感器智能空间。相机都是被动传感器,提供大量的信息和最相当的成本效益。然而,这种解决方案的缺点是,他们有时被视为入侵病人的隐私。一些基于视觉辅助系统使用全向摄像机。
除了AAL系统,辅助机器人的使用作为一个帮助老人的日常生活也是一个活跃的研究课题广泛探索(15- - - - - -17]。良好的机器人助手可以在修订(18]。他们中的一些人已经在实验室测试场景,像Nao机器人19),但最有趣的提议,机器人已经测试真正的家园,即使在长期的实验。霍比特人机器人(20.)是一种相关的案例研究。它是一个护理机器人能够预防和检测以及应急检测和处理。其与用户的交互是基于多通道用户界面包括自动语音识别,语音,手势识别,图形触摸式用户界面。其他有趣的例子是马克斯的同伴机器人(21),欧盟内部发达FP7 Robot-Era之下几个机器人平台项目(22),GIRAFF机器人(23),远程操控机器人(24]。
辅助机器人可以提高老年人的生活质量。他们可能会帮助把对象,在监视人们的活动,认知或情感刺激(如帕罗机器人(25]),提供提示,为医务人员提供远程监控,检测紧急情况下,医疗等。机器人通常具有一般喜欢自主导航机器人功能,操作,或感觉还有辅助特定功能。例如,人类机器人交互能力是非常重要的在这个应用程序域。
许多项目也研究了机器人的使用结合AAL系统(26,27]。例如,Hendrich et al。28)开发了一个光芒四射的系统集成服务机器人传感器网络和用户监控。开发了家用机器人有ROS中间件的基础上,和其中一个拥有先进的操纵能力。他们也创造了裴中间件,维护所有传感器的状态在AAL环境中,管理高层语义信息的对象和任务,并提供了象征性multirobot规划师,控制不同的机器人,传感器和智能家电。
此外,用户验收是一个热门话题在辅助机器人的实用性很大程度取决于他们的反应导致老年人的最终用户。许多机器人在医疗案例研究包括测量和分析用户的认可。它提供了广泛的比较研究之一29日)有70多机器人在六个月的时间在用户的主。这表明用户的评价机器人开始下降,但后来上涨后,被用于更长一段时间。此外,一些接受模型(30.)和验收测量方法(23提出了。
3所示。系统描述
该系统旨在国内机器人集成到一个光芒四射的环境。如前所述,光芒四射的主要任务之一是发现潜在的危险因素。然而,有许多的威胁,将相机的注意系统由于其规模相对较小,或因为他们是在一个闭塞区或流动。为了提高AAL系统,使其意识到这些威胁,我们建议使用移动机器人探测潜在危险区域固定相机无法感知,从而提高系统的性能和鲁棒性。
在这种方法中有两个主要元素。第一个是光芒四射的环境由许多相机固定在天花板上能够准确定位场景中的人,人在危险时发出警报。第二个是一个负责机器人在环境中不断发现新的威胁并将它们发送给AAL系统为了把这些威胁到它的警报系统。下面两个子系统都详细描述。
选择的移动机器人是胡椒。胡椒是一种社会机器人由软银制造机器人。它有一个轻型机载计算机能够执行简单的任务。它能够在飞机,像房子的地板,还集成了颜色和深度照相机。我们使用了辣椒机器人要实现我们的系统,但任何机器人彩色摄像机、移动基地,和一个深度摄像头或激光可以使用。
3.1。环境辅助生活系统
生活环境辅助系统提出了基于人们使用深度传感器探测和跟踪3 d。使用3 d信息的跟踪和他们的历史的位移,该系统可以检测一组风险情况。这个系统工作24/7使用深度信息从一个红外传感器作为独特的输入。图1显示了一个光芒四射的计划系统。
3.1.1。背景减法
作为输入,跟踪算法预计只有前台的场景。这就是为什么我们需要先删除背景。这个任务是解决使用统计background-learning算法基于混合高斯模型的但包括一个关键的改进。传感器的噪声的强度取决于场景之间的距离和传感器本身。为了减少这种影响,我们引入一个logarithm-based图像离散化和归一化(图2)。这减少了距离的传感器在一组箱距离越长,每个深度越大。使用这个正常化,我们可以减少传感器噪声的影响。
3.1.2。多通道进化算法对3 d人跟踪
多通道进化算法被设计来执行检测和跟踪行为。该算法是基于一组单一的代理人:(我)单:对应的表示一个人在三维空间中,棱镜的位置(x,y,z)和它的大小(dx,dy,dz)。这个代理还包含有关健康的信息和相关的点云的子集。(2)种族:一组单代理的实例。所有这些试图解释一个代理。多种族共存的内部算法和每个包含不同种族的候选人。(3)探险者:独立单一的代理。这个代理试图生成提示分配新的比赛。一个资源管理器可以生成一个新的种族,只要有足够的证据。(iv)剥削者:单一种族的成员。剥削者试图提供最准确的解释一个代理。
算法的完整的管道在图说明3。算法的第一步是更新现有的种族使用基于进化的技术精英和热突变。每个种族都包含一系列的剥削者的最佳候选人选择使用健康函数相结合的密度和完整性:
健康的密度公式是指每平方米的数量分内部整洁的和完整性的比例分对开拓者的比赛,有更多的点。给出最好的剥削者热噪声,随机进化的领域最成功的和那些糟糕的健康是消除。
下一步是创建n“单身”代理(探险家)仍然包含数据的区域,一旦信息用于更新比赛被移除。他们都是随机生成的剩下的点云。如果任何这些代理通过相似性的标准尺寸的人类和包含一个最小数量的点,将生成一个新的比赛。如果有比赛没有相关数据,使用卡尔曼滤波器来估计也更新的进化。
3.2。潜在的危险地区
系统后,在本节中,我们解释什么是危险地带。潜在的有害元素的环境视为危险的区域。元素,如电动面板或电插座,电刑的风险或休克,散热器或烤箱烧的危险,和一个机器人真空吸尘器或一只狗使人旅行,秋季,例如,被认为是危险的,应该被跟踪的系统。此外,家具或环境的物品,从本质上讲,任何元素高出地面也被认为是潜在的危险地区。
这个AAL能够检测一组风险情况下基于每个人的位置和他们的时间轨迹:(我)秋天:系统能够发现如果一个人已经在监管范围之内。一旦发现这种情况,系统可以等待几秒钟来验证是否实际上是一个危险的情况或只是触发自动报警。(2)危险地区:一些地区监督区域内可以被贴上危险。如果AAL系统检测到一个人接近这些地区,警报会自动触发。这是有用的在该地区有一个阳台或退出门,例如。(3)房间入口或出口:光芒四射的计算有多少人位于每个区域。这可能是有用的检测禁止进入区域的打扫房间或药物的房间一个养老院。(iv)缺席:另一个危险的情况下可以没有一个人从一个特定的房间在很长一段时间。(v)延长停留:监视厕所与任何类型的传感器能产生争议。为了避免包括一个传感器在这样的房间里,AAL系统检测到一个人进入一个房间没有另一个出口,可以触发警报,如果人不返回到主的房间在一个特定的时间内。
正如前面提到的,一些危险区域很容易检测到AAL系统,但是仍然存在不能检测到有害的来源。有三种潜在威胁,依然光芒四射的注意相机系统:(我)相对较小的元素:由于视野的摄像机AAL系统,一些对象可能被认为是一个相对较小的尺寸。这将导致任何实验处理的图片失败,因为没有足够的视觉信息。此外,他们可能会不被感知的三度空间的相机。这些类型的对象包括刀、剃须刀、鞋,或一个机器人吸尘器。(2)闭塞的元素:可能存在的区域环境,光芒四射的相机系统不能覆盖。例如,一只狗可能是背后的一个表,这是一个绊倒的风险,和相机不会发现它。(3)流动的元素:nonfixed元素也代表一组危险的对象,他们不能被探测到的光芒四射的系统。
为了使系统检测到这些区域并发出相应的报警,我们需要一个额外的代理。我们建议使用移动机器人,它会在环境中寻找这些威胁。
3.3。对危险区域检测使用一个机器人
如前所述,有各种各样的情况下,AAL不得检测危险物品和事件。我们建议移动机器人到光芒四射的集成系统能够检测这些情况下,送他们光芒四射,以改善其性能。
选择的移动机器人必须装备颜色和深度相机,它假定可以移动的环境。机器人运行管道图中描述4详细描述在以下部分。
3.3.1。检测的对象在地上
值得注意的是,高出地面的所有对象可能是一个危险的来源情况所以AAL系统必须考虑的。如前所述,AAL系统使用一个静态的环境地图,使其检测固定障碍墙和门。尽管如此,移动障碍也是一个危险的来源,所以我们提出以下算法检测固定和移动对象和障碍在地面之上。该算法在移动机器人运行。
首先,机器人捕获一个彩色图像和相应的深度图。使用这两种数据流生成一个彩色点云。然后,场景的合成点云转换全球机器人坐标系 。的算法,如果是第一帧,身份的转换 ,即初始假设机器人坐标系作为全球机器人坐标系。如果不是第一帧,当前的转换累积到全球转型 。计算当前的转换T,我们使用机器人测距。通过这种方式,每个点云 是全球坐标系转换为机器人吗 ,因此建立一个立体的环境的地图 。
下一步是检测地板上飞机,所以我们使用RANSAC (31日进行这个过程。RANSAC model-fitting算法是将一组数据,并试图把它在一个模型。在我们的例子中,输入数据是最近获得的点云模型是一个平面。因此,这一步返回系数所有场景中检测到的飞机。每架飞机被建模为 。一个简单的测试,包括检查是否z组件是0在阈值,进行拒绝不是在地面上的飞机。飞机预计在传感器收集的数据,很可能z组件不是0,但非常接近。近似平面的点,躺在地上在阈值点云的删除。在这一点上,只高出地面的对象仍然在点云。这个阈值可以防止噪音和人工构件可能被检测到的障碍。然后,每个对象的点投影到先前计算的地平面。因此,地面的2 d地图障碍。
在下一步中,欧几里得聚类过程是为了执行段和隔离的障碍。欧几里得聚类方法本质上组近点。集群容忍阈值设置点在这个阈值被认为是同一集群的一部分。结果,这一过程将返回一个集群为每个障碍。一个矩形然后安装在每个集群的点。矩形是用于构建危险区域挤压潜在的危险地区Z轴为了再次变换映射到三维空间。注意,集群不是为了语义;我们追求最好的几何拟合。因此,每个集群可能不能代表一个特定的对象。
最后,目前的危险区域融合之前检测到危险地区如果他们重叠。这个过程是循环的机器人的移动,从而构建一个映射的环境和跟踪潜在的危险地区。我们叫这个算法的障碍在地面跟踪(油气痕迹)。
3.3.2。肤浅的对象探测器
虽然油气痕迹算法执行的相当好大的障碍,一些危险的地区仍不能被检测到,如上所述。例如,对象像墙或地板插座,电器面板、或吸尘器不描述算法检测到的,因为他们太小所感觉到的3 d相机。因此,我们提出以下管道检测这些案件。执行这个算法与油气痕迹。
首先,机器人的彩色图像被相机是美联储region-convolutional神经网络(R-CNN)。R-CNN能够返回边界框并检测对象的类别。然后,每个区域内的点检测对象提取的兴趣。这个过程是非常简单的彩色图像,点云是预先注册。其次,对于每一个边界框内点的子集,median-centroid计算。这样做是由于物体的存在点的边界框。边界框是矩形,大部分分属于感兴趣的对象,但仍存在背景点。一个立方体就适合每个对象的点,但这一次,保持立方体的中心前面median-centroid计算。
通过这种方式,我们可以使用颜色信息来检测这些风险不是立体的传感器感知或忽视了油气痕迹和建立一个更全面的地图有潜在危险的地区。我们叫这个算法检测器(SOD)的表面的对象。
最后,潜在危险地区发现的油气痕迹和SOD管道运行机器人合并和发送到AAL系统以检测是否人进入这些区域之一。
值得注意的是,可能存在潜在的危险区域,可以检测到不同的系统在同一时间。例如,墙壁是由三种方法检测到的。此外,位于对象的其他对象也多余地检测到。例如,电插座在墙上或刀在桌子上。不过滤这些情况的原因是双重的。首先,冗余检测提高系统的鲁棒性,其次,它可以增强AAL发出的警报系统通过添加语义数据。
3.4。3 d世界注册AAL和机器人之间的引用
如前所述,光芒四射,机器人不断地分享信息。例如,机器人检测到的潜在危险对象发送到光芒四射。机器人传输的三度空间的位置对象的参考框架。尽管如此,如果用户侵入附近检测到该对象的光芒四射。鉴于这种管道,这个过程只能进行两个系统是否工作在同一参考系。这个过程如图5。
值得注意的是,集成两个系统的工作在自己的引用和坐标不是一项容易的任务。为了系统之间进行交互,都需要在同一坐标系使用相同的参考轴。
为了解决这个问题,两个系统都使用相同的坐标校准参考。一方面,AAL检测到一个已知的模式(位置和大小都是已知的,图6(一)),并估计其位置使用Perspective-N-Point算法(32]。这种方式,摄像机位于坐标系内的模式。机器人遵循相同的过程。它解决了Perspective-N-Point问题定位坐标系表示的模式(图6 (b))。这个校准过程使两个设备(AAL和机器人)共享相同的坐标系变换矩阵获得参考使用和 。
(一)
(b)
这个校准步骤是执行一次在安装阶段。然而,如果机器人移动,转换我们之前计算不再有效。为了解决这个问题,我们依靠大满贯的方法。
机器人的定位环境内使用SLAM算法。具体地说,它使用GMapping ROS包(33),实现了蒙特卡罗定位算法。该算法使用激光扫描作为输入。尽管如此,机器人的激光传感器相当有限和噪声;我们使用了深度相机来模拟。首先,深度图是使用上述深度相机捕获。然后,我们提取的中央行深度地图。随着深度的值映射实际上是场景中物体的距离,激光扫描的重新解释是简单。这个过程叫“FakeLaser”图4。因此,这种方法提供了额外的转换 。这一连串的转换描述机器人的位置,所以他们都是用于计算坐标系统之间的转换的光芒四射,即使它移动机器人。
总结,光芒四射,机器人都是校准使用一个共同的模式。结果,都在相同的3 d设备局部坐标系的变换矩阵和 。这一步可以让3 d对象的转换被光芒四射的机器人坐标系。如果机器人的移动,转换不再有效,所以我们依靠提到SLAM算法计算额外的转换 。转换链使机器人的坐标系之间的变换,光芒四射,即使机器人动作。
4所示。实验
在本节中,我们描述了实验的光芒四射,油气痕迹和SOD算法分别为了验证检测潜在的危险地区。然后,结合管道和光芒四射的结果系统也提出了。
值得注意的是,我们使用了一个AAL Pentalo实验室提供的系统功能一个英特尔i3电动NUC (i3 - 7100 u)和一个华硕这款产品传感器两(图7)。这个传感器提供了RGB和深度的信息。我们只使用深度信息AAL系统的核心算法。RGB信息只用于视觉验证。我们也使用了辣椒机器人的移动机器人的选择。这个机器人配备了一个颜色和一个深度摄像头,能够移动,通过self-odometry计算两个坐标系之间的转换。由于机载处理器的计算能力有限,所有的计算都是上执行一个辅助计算机配备英特尔i5 - 3570 CPU、16 GB DDR3内存,和1080 ti Nvidia GPU。R-CNN实现利用GPU加速算法。设备之间的通信是由活性氧动力学(34],JdeRobot [35),和冰36]。操作系统的选择是Ubuntu 14.04。
使系统的验证尽可能准确,日志系统。这个系统能够从一组设备和记录信息的所有信息保存到计算机的硬盘。随后,这些数据可以重播相同如何提供的物理设备。这个过程是为了验证应用的精度情况后发现所有的实验。在这个过程中,我们可以综合再现真实的日常生活实验包括外部扰动数据来验证算法的鲁棒性。自动求值程序创建,以确保实验的精度。这个评估者将复制记录日志(包含某些高风险情况)与不同类型的噪声的3000倍。如果检测到预期的风险情况,测试将被贴上一个成功。每个测试将需要3000倍的时间记录日志。
4.1。AAL在居住环境进行测试
在本节中,我们将测试AAL系统在住宅环境。
居住环境中使用的设备由一个节点有两个深度设备(图8(一个))。每个设备的视野中可以看到数据8 (b)和8 (c)。(我)下降情况7米的阻塞程度高的设备,只有一个设备(图9(一个))(2)下降的情况在房间的中心区域是由两个设备(数据9 (b)和9 (c))(3)阳台的门附近的一个接近危险情况(图9 (d))(iv)延长停留的情况一个检测到的人进入厕所,十分钟内不返回
(一)
(b)
(c)
(一)
(b)
(c)
(d)
所有的情况下都正确检测率100%。每个风险状况评估使用不同的值的3000倍噪声干扰系统的深度传感器。这项实验的结果展示在表1。
4.2。AAL在临床环境下进行测试
第二个实验关注潜在的场景,这个系统也可以应用,养老院的临床环境。在这种情况下,一组或两个设备和单个节点分布方案后呈现在图10 ()。每个传感器的视场中可以看到数据10 (b)和10 (c)。使用这种方案,一套四个风险的情况下被重新创建:(我)下降的情况收集与单一设备从传感器(图9米(11日))(2)第二个房间的中心下降局势同时记录下设备(数据11 (b)和11 (c))(3)三分之一下降情况非常接近窗户,太阳的红外线设备的性能的影响(iv)延长停留的情况当检测到的人进入厕所但不返回在10分钟
(一)
(b)
(c)
(一)
(b)
(c)
(d)
所有3000年秋天事件中正确检测到重复的情况不管噪音水平,而扩展的保持情况的准确性为96%。与高水平的噪音,这些高风险情况下没有检测到。在这些失败,系统检测到的人使用门离开了房间。卫生间的门约9米的传感器,所以数据已经非常吵不引入额外的噪音。所有情况下没有额外的噪音被正确地检测到。这个实验的结果如表所示2。
4.3。地面机器人运行的对象跟踪算法实验
该算法需要提供的点云胡椒机器人作为输入。的点云密度在每一个决议,这意味着有307200点。油气痕迹算法的第一步是地板的去除飞机,这与RANSAC执行。目标模型是一个平面,内围层阈值是3毫米。投影在地上飞机非常简单,没有参数。欧几里得聚类过程拒绝集群只有不到200点。这样做是为了过滤小集群可能出现由于噪声出现在点云。此外,集群宽容是3毫米,这是两个相邻点之间的距离在同一平面上。所有这些参数都设置经验。
机器人是部署在办公环境。放置在房间的中心,由旋转360度转执行它的底部。每一帧的油气痕迹算法执行。
这个实验的结果如图所示12。正如预期的那样,大多数的对象和正确检测到障碍物,和潜在的危险区域中创建三维地图。没有发现只有三个对象:笔记本电源适配器,一把刀和一个瓶子。他们忽视了油气痕迹算法由于地板平面耐受阈值。瓶子也被放置在地板上,但其立体的信息由于其最小集群大小。值得注意的是,由于材料,唯一瓶子感觉到的一部分相机标签。塑料的形状不能RGB-D传感器检测到的机器人。
(一)
(b)
(c)
(d)
4.4。机器人运行表面在办公环境对象检测器算法实验
如前所述,彩色图像和点云是由胡椒机器人决议。点云的形象和登记,对于彩色图像的每个像素,有一个对应点的点云。然后,彩色图像的大小 ,这是输入的大小YOLOv3 [37)的体系结构。yolov3 - 416是选择R-CNN实现。这个版本提供了35 fps英伟达1080 ti,适合实时使用,而目前最准确的架构。此体系结构的输出的边框组成的检测对象和相应的类别。
而不是将一个已经训练模型,我们训练一个从头开始。如前所述,该系统必须检测可能出现的危险物品在室内环境。我们选择对象的类别是电气面板、缠结的电线,墙壁和地板安装插座、刀、烤箱、鞋子、瓶子、滚铣刀,猫、狗、和机器人真空吸尘器。总的来说,我们认为11个类别。为了训练模型,我们建立了一个自定义的数据集。要做到这一点,图像自动从下载的免费图片网站。每个类别的图片数量是平衡的,所以数据集的理解每个类图像。图像自动批量下载通过搜索关键字之前提到的。一个5人团队代理策划数据集通过确保正确的图像描绘了类别和手动标记的边界框对象。最后,我们使用样本的训练,被用于验证和其他测试。一旦我们建立了数据集,我们训练体系结构使用YOLO损失意思25000时代。然而,最好的十字路口在联盟得分在21700年达成的时代。该模型选择和参与实验。结果,该系统能准确地检测到被认为是危险物品和国家形象,描绘他们的面积使用场景的图像捕获的胡椒机器人。
立体的次区域提取和质心计算没有参数。
我们测试了油气痕迹在同一办公环境我们SOD系统部署。我们发现关注那些没有被系统油气痕迹。我们测试了以下场景:(我)对象躺在地板上,不考虑油气痕迹(2)对象坐在其他对象和障碍(3)对象集成到其他对象和障碍
正如前面提到的,油气痕迹未能发现一些对象,如笔记本电脑电源适配器和一个瓶子在地板上。这些对象仍然忽视因为油气痕迹的某些步骤算法过滤,但SOD是能够正确检测一遍。
在油气痕迹的实验中,刀和电源插座没有发现单独但桌子和墙壁的一部分。在这种情况下,SOD贡献新的潜在危险的地区,但不包括语义信息。然而,对象的语义信息提供了非常有价值的数据来提高光芒四射的警报系统。例如,如果检测到事件下降之后,光芒四射的违反潜在危险区域电源插座,病人可能遭受电击。
瓶子也忽略了油气痕迹。塑料表面的深度传感器无法计算距离。唯一的一部分瓶子代表点云的标签。尽管如此,在标签的数量不超过最小值点的聚类过程的规模油气痕迹,所以过滤。然而,正确地描述了瓶子的颜色信息,因此SOD系统能够探测到它。图13显示了这些实验。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
4.5。机器人运行表面物体检测器算法实验的家庭环境
家庭也有多个来源的潜在危险烤箱或电气面板等领域。因此,在这个实验中,我们部署机器人在一个实际的家庭环境,跑SOD算法。我们将把重点放在相同的目标在过去的实验:(我)对象躺在地板上,不考虑油气痕迹(2)对象坐在其他对象和障碍(3)对象集成到其他对象和障碍
在家里,不太可能有对象躺在地上,将是一个危险的来源。例如,SOD算法只检测到家里的狗。尽管如此,我们的算法还发现各种潜在的危险对象集成到,或坐在其他对象。例如,机器人吸尘器,烤箱,滚刀、电气面板和电源插座,和刀被正确地检测到有潜在危险的地区。正如前面提到的,一些危险区域将包括在障碍检测油气痕迹所以SOD只贡献语义信息。
图14显示了一些潜在危险地区发现的草皮。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
4.6。定性评价的事件
在这个实验中,我们模拟一个事件在一个办公环境(图15)。光芒四射的时候发现一个人的地板(数字(16日)和16 (b)使用通用接口),它提出了一个报警AAL和机器人(图17)。报警器由位置检测到事件中,一个相应的图像,和事件的语义,在这种情况下是“下降。“如果更多的语义信息是可用的,这将是包含在警报。例如,如果机器人之前检测到一个自动吸尘器在房间里,这些信息将被包括在内。警报是广播通信系统使用ROS的话题。可以有多个侦听器轮询警报,例如,机器人。在这种情况下,胡椒机器人导航的位置事件检查是否这是一个积极的检测和附近是否有其他非静态的危险来源。机器人还要求用户如果他/她需要帮助。图像从机器人的角度来看,发现额外的危险(如果有的话)的来源,和人的反应的问题还包括机器人报警。
(一)
(b)
(一)
(b)
如前所述,可以轮询一些听众警报除了机器人。例如,手机可以连接的警报也可以达到人的亲戚或分配的护理员。
每个子系统的响应时间报告在表3。AAL系统,改变的检测人入侵的危险区域并提高相应的警报,能够运行在大约12 fps。油气痕迹和SOD系统并行运行在外部服务器控制机器人,在大约3 fps。SLAM算法在机器人的机载计算机运行21 fps。
5。结论
摘要国内机器人的集成在一个环境协助提出了生活环境。AAL系统功能RGB-D相机可以检测危险事件,如一个人下降或周边违反。尽管如此,有小和阻挡潜在危险区域,不能检测到摄像头。因此,为了提高AAL功能,我们提出利用移动机器人。在这种情况下,一个胡椒机器人负责检测小,非静态的有潜在危险的地区,如墙附近,一个机器人真空吸尘器或刀。这些对象的位置是转发到光芒四射,所以可以考虑更危险的地区。
我们将在三个不同的测试系统环境(家庭、临床和办公室)高的成功。详尽的实验支持系统的高精度和适用性。此外,处理时间也回适合实时利用率。
关于我们的方法的局限性,我们意识到机器人定位过程中倾向于积累误差的特征位置在单调。这是由于我们的模拟方式的激光传感器SLAM算法。在报道38),辣椒机器人的精确的版本有一个容易出错的深度相机由于设计错误。结果,深度数据显示高水平的变异,从而提供错误的措施,最终导致定位错误。
对于未来的研究,我们正在探索使用卷积造成机器(CPM) [9,39,40)来识别一个人的关节的三维位置,从而跟踪他们的三维骨架。CPM技术检测的对象表现出良好的性能。首先,关节位于彩色图像,第二,他们的3 d位置估计考虑从RBG-D传感器的深度信息。这个三维骨架跟踪开门的精细检测危险的情况下,作为武器,头,腿分别估计。此外,替换当前的光芒四射的人实时检测使用一个完全基于深度学习方法也在发展。神经网络提供的鲁棒性将有希望改善与静态检测甚至人闪电和困难的条件。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由西班牙政府支持tin2016 - 76515 r格兰特,支持菲德尔基金。这项工作也由西班牙格兰特博士研究(ACIF / 2017/243和FPU16/00887)。由于是由于Nvidia的慷慨的捐赠泰坦Xp和方形住宅区P6000。