文摘
视觉在儿童心理发展中起着至关重要的作用。因此,早期诊断的任何视觉差距和实现正确的治疗是非常重要的。然而,执行这样一个程序的儿童,特别是儿童大脑障碍提出了一些限制由于合作问题。视觉上的诊断和治疗(VisDaT)系统提出了旨在帮助治疗师涉及这些孩子的正确诊断和治疗。它利用计算机连接到两个显示器和配备了专门的软件。主要系统组件如下:一个眼动跟踪记录孩子的眼球运动和数码相机在线监测孩子的反应。系统配备了专门的软件,这创造了机会和一个专用的刺激孩子的视觉刺激和事后分析会议记录,这使决策未来治疗。
1。介绍
从出生的那一刻,每个人面临的挑战是了解世界,为此必须激活所有的感官。有一个巨大的进步在生命的第一年,技能和适当的视力发展对这一过程有相当大的影响。认识形状、颜色或其他人们的情感时显著促进眼球运动的系统与大脑配合正确。然而,并不是所有的人都很幸运,他们的视力受损的开始他们的生活成为削弱或破坏。缺乏能力正确地看到周围的世界可能会导致一些严重的负面影响,尤其是对孩子,因为它减缓认知过程也可能影响社会心理关系。当问题变得更严重担忧婴儿或年长的孩子的视力障碍都伴随着其他禁用条件如脑损伤(1]。困难源于一个孩子无法沟通,以及他/她所看到的,这使得达到诊断要求的任务。评估的程度是至关重要的孩子能够使用他们的视力有缺陷,因为即使是弱视觉能力可以作为视觉增强的基础(2),随后可能带来整体智力发展(3]。复杂的残疾儿童需要系统的脑刺激。如果许多视觉、听觉和触觉刺激吸引孩子的注意力,然后大脑接收的信息从不同的感官组织他们认识到,分析和整合。因此,治疗,要准备好适合一个特定的障碍,基于功能性视觉评估考试(4]:(我)视觉刺激固定correctness-ability保持视力,(2)眼球motility-ability追踪一个移动刺激眼睛,(3)功能性视觉acuity-a距离孩子识别给定大小的一个角色,(iv)对比敏感度的影响提出的对孩子的视觉能力对比,(v)vision-an区域,其中一个孩子能够看到介绍对象。
在一系列测试确定条件下,孩子能够感知对象,从参与者预计一个反馈。正如已经提到的,它可能造成一定的困难,因此支持技术寻找。证明有用的解决方案处理上述问题是眼动跟踪技术,它提供了注册和眼球运动分析方法,从而评估视觉质量。
这是激励因素的决定进行研究开发环境视觉上各种视觉障碍儿童的诊断和治疗。在本文中,我们提出这样一个解决方案的讨论其可能的应用程序。解决方案提供了使用专门的设备收集眼球运动和多组分系统促进收集数据和其进一步处理和分析。
本文从介绍眼动跟踪方法和眼动数据处理部分中给出2黑眼圈跟踪的基础。提出的描述系统包括主模块和算法中描述部分3-VisDaT系统。随后,VisDaT系统用法的一些例子,一起获得的初步结果,介绍了部分4结果。最后一个部分总结了研究。
2。眼动跟踪基础知识
当考虑应用程序的眼动跟踪方法,第一个决策必须关注设备使用记录眼球运动。在当前使用technologies-electrooculography [5)和video-oculography系统(6,7)——后者,由于其低侵袭性,显然是选择children-oriented实验。VOG眼睛追踪器不需要直接接触眼睛,因为他们通过数字摄像机,记录眼球运动捕获的眼部图像序列。眼部图像可以通过红外照明器的应用。大多数实现都使用近红外光源波长约为880纳米,肉眼几乎看不见,但仍可能被大多数商业相机(8]。眼睛图像的基础上,专门的算法被用来评估学生的中心和立场的差异来确定眼球运动。这样的计算利用反射引起的光落入眼睛(图1)。
这些反射几乎是稳定的,不管一个眼球旋转,中心为学生提供参考点位置。有四个这样的反射叫浦肯野图像(图2):(我)第一个浦肯野图像(P1)从外表面角膜反射(CR也称为闪烁)。(2)第二个浦肯野图像(P2)的内表面角膜的反射。(3)三浦肯野图像(P3)外(前)的反射表面的镜头。(iv)第四浦肯野图像(P4)是反映内心(后)表面的镜头。
视频眼睛追踪器通常只使用第一个,因为这是最聪明的和最简单的反射来探测和跟踪。之间的差别向量瞳孔中心和角膜反射表明眼动的方向和范围。
这种解决方案的局限性是,眼睛应该保持可见在录音中,因为后续的眼职位评估基于连续获得图像的信息。Construction-wise, VOG眼睛追踪器可分为三类:(我)塔的眼睛追踪器——使用tower-based人体工程学的下巴休息,以确保稳定的位置,使用高端相机记录眼睛位置位于正上方病人的眼睛。他们确保最好的准确度和精密度在所有类型的眼睛追踪器。(2)远程眼睛追踪器非接触式,放置在距离面前一个检查的人。因为这个距离,这样的眼睛跟踪不准确,但也不那么繁琐的用户没有下巴休息和头部动作允许有限。(3)眼镜移动,可穿戴的眼睛追踪器旨在捕捉视觉行为在任何环境中。这样的眼睛追踪器通常配备两个cameras-eye和场景纷纷掏出允许用户自由运动。获得的数据来自两个相机必须同步计算注视的位置。
因为我们需要确保眼睛被一个眼动跟踪相机,一座塔眼动跟踪似乎是最好的解决方案。然而,不难想象它可能是多么困难的孩子,即使在健康的情况下,仍然坐在位置固定头部。时更加复杂问题有各种障碍的孩子们问好。另一方面,戴眼睛追踪器允许免费在录音磁头移动;然而,他们可能会未经调整孩子的头,这使得它不舒服和不安。有试验设备适合儿童克服这个问题(9),但必须强调一个实验进行了这样一个设备,而孩子驱动,因为现场被其控制下的一个孩子,很难自动关联一个场景摄像机图像与目标刺激。因此,远程眼睛追踪器被认为是一个解决方案(使用10,11),尽管将一头远离一个眼动跟踪会导致一个眼动信号的损失。上述问题是加强儿童脑瘫等障碍时考虑,因为缺乏控制头部动作的能力。因此,检查设置可能会辅以额外的设备如一个推车、汽车座椅或轮椅适当限制婴儿的运动(12]。
2.1。注册数据处理
确保注册眼睛位置的可能性只是第一步获取信息关于儿童的视觉质量。有一些额外的步骤,进行改变注册数据转换成有价值的信息。第一步的目的是调整一个眼动跟踪环境到一个特定的孩子,这可能是在校准过程中获得的。
通常应用校准过程由两个阶段组成。在第一个,人的眼球运动检查注册的时候看刺激的已知位置scene-usually还有点均匀分布在一个屏幕上。对于一个实验与成年人,有9分。随后,与适当的关联一个眼动跟踪输出点,一个函数映射注册眼睛位置点的场景定义。它是用来提供用户的凝视的坐标(1)。因为眼球运动的特殊特性的系统,这个过程是每个独立进行,检查人(13]。 在哪里xe和ye代表从眼动跟踪和获得的数据x年代和y年代估计是注视着屏幕上的坐标。
这个函数f可以定义以各种方式(14];然而,常用的解决方案是第二个多项式回归。
不是必须利用多项式的每一项的映射函数。期间可能会调整到一个特定的环境配置,根据提供的注视点的准确性。评估的最简单的方法是使用均方根误差(RMSE),测量之间的差异刺激位置和映射的注视点: 在哪里G我是一个观测值和是一个计算的值映射函数。然而,还可以运用其他方法(15]。
应用上述过程可能很困难的孩子(16),因为他们失去了他们的注意力很快和校准点的数量应该减少至少5 (11]。有时甚至是不可能使用这么少点,因为沟通的问题或与理解规则。它让我们进一步减少点2 (9,12)或其他对象的使用有趣的儿童。这个解决方案是用于描述的工作17),一个小,视觉吸引力的玩具被显示在一个五预定义的空间位置。同样,在18),婴儿显示注意力getter放在左上角和右下角的角落一个虚构的矩形对应的刺激在测试。校准程序是重复,如果婴儿注视测试刺激之外的假设空间精度。
然而,当孩子们受到严重的脑损伤(4),可能需要额外的简化;因此,寻找扩展方法。本文的目的是展示解决方案准备申请检查孩子的视觉质量与语言交流是非常困难的。
3所示。VisDaT系统描述
一个环境意味着视觉诊断和治疗,证明有用,应该配备许多视觉,听觉,触觉刺激,迫使大脑组织认识到,分析和整合。此外,它应该灵活适应孩子们的需要,这是不同的依赖于他们的年龄和障碍。为此,VisDaT系统开发合作与一群布鲁诺协会的治疗师参与日常护理受损的孩子。他们提供了许多有用的工具开发指南,尤其是孩子的身体状况和刺激的详细说明。基于收集到的知识,做了一些假设关于硬件和软件配置。这些假设和系统实现在后续部分中描述的条件。
3.1。假设
第一和最重要的情况是无法解释和鼓励组前面描述的孩子遵守规则的眼动跟踪过程。促进眼球运动登记在这样困难的情况下,必要的准备工作,将是可用的,即使不可能正确地调整用户。这对需要新方法,可以克服校准问题,隐式的过程,没有任何用户的合作。甚至,当系统不是校准,它应该给一些反馈信息如果用户以某种方式回应刺激。
另一方面,系统应该对儿童的吸引力,让他们尽可能地考虑他们的视觉障碍。因此,刺激之前应该准备一个初始识别的对象是有趣的孩子。是方便定义特定的刺激和反馈对于每一个孩子,也就是说,具体的颜色,形状,和声音,一个特定的孩子通常发现有吸引力。此外,提供一个奖励系统,视觉和音响系统的响应应该引入触发适当的孩子的反应。这些反应可以激活自动或手动操作符进行眼动跟踪会话。人们认为这将是一个治疗师与孩子每天。
3.2。系统实现
VisDaT系统的扩展版本的原型(19]。它由双显卡的电脑,显示器,两个部落眼动跟踪,天才眼摄像头,和扬声器。检查人(孩子)坐在前面的一个显示屏幕(刺激)和手表的刺激。眼睛部落位于下方显示使用一种特殊的山和记录孩子的眼球运动在整个会话。天才相机位于上方显示和记录孩子的运动。这些信息可能有助于会话的事后分析。使用扬声器发出声音,这被视为一个孩子积极参与奖。其他显示(控制屏幕)位于附近,但在这样一种方式,其内容是不可见的检查人。系统的操作员观察控制屏幕上的内容,并使用鼠标改变屏幕的内容刺激和影响眼动跟踪的工作。眼动跟踪的输出和网络的运营商提供的照相机。 The simplified setup of the system is presented in Figure3。
(一)
(b)
该系统是由专门的软件控制。它是用Java语言写的;因此,它是独立于操作系统的。然而,迄今为止,已经测试了10只在Microsoft Windows环境。本文中给出的工作场所使用戴尔电脑精密T1600与英特尔至强3.1 GHz CPU和4 GB内存,但任何电脑和至少一个USB3插座应该是合适的。
3.3。解决缺少校准问题
就像前面提到的2,一个典型的校准情况下,当一个参与者要求遵循着眼睛点显示在屏幕上,对那些有智力障碍的儿童是不切实际的,他们不太可能遵循任何指示。因此,而不是传统的calibration-presentation场景中,两个其他技术提出了系统:微分分析(DA)和隐式标定(IC)。
3.3.1。差分析
任何使用的部落眼动跟踪之前必须校准,使注册成为可能。因此,首先,必须校准的操作符。然后,眼动跟踪的输出计算基于运营商的校准和这个输出用于后续实验。这种方法并没有给出准确的绝对注视坐标,但是它可以用来检查,如果眼睛移动。
我们之前的实验表明,当一个人的眼动跟踪校准用于注册别人的眼球运动,在大多数情况下,计算凝视的方向运动是相似的,但不如校准用户准确(20.]。
这些录音是可视化图的例子4。图4(一)显示了校准记录的人,同时为其他用户,以下三个评估使用相同的校准功能。红色十字架表示刺激的位置,蓝色的眼动跟踪的输出,和绿线连接计算注视坐标与实际刺激的位置。可能会注意到,在所有情况下,眼睛的位置在一个方向转移,对刺激。这意味着当相同的校准模型适用于不同受试者的数据应该显示正确的眼球运动的方向,但不是正确的眼睛位置。因此,当不需要提供一个注视点精度高,建议的解决方案将履行其任务;也就是说,它会指出一个眼球运动的方向。
(一)
(b)
(c)
(d)
所以,即使眼动跟踪不校准被观察的人,很有可能真正的运动方向相同的眼动跟踪显示。因此,引入了一个特殊的组件称为gaze-rose和运营商的屏幕上是可见的。眼球运动的gaze-rose显示当前方向(图5)。
这个方向的形式提出了一个向量(dx,dy)计算向量的合成运动的前五录音(在一个时间窗口大约80毫秒的记录)。对于一个给定的时刻,k向量的坐标计算使用公式: 在哪里x我和y我注视坐标阅读眼动跟踪。
gaze-rose可用于检测,如果一个孩子对一个新的刺激。例如,当刺激出现在屏幕的右侧,操作员通知突然向右眼球运动(右红色箭头gaze-rose),她/他可能认为这场运动是对刺激的反应,什么是最重要,孩子看到这种刺激。
3.3.2。隐式标定
明确系统的校准与孩子的合作是不可能的,必须做的隐式在正常活动。它需要获得一些对:一个眼动跟踪output-actual注视坐标。考虑到这种配对,可以构建一个回归函数映射眼动跟踪输出注视坐标。当然,功能更有效,更分和更高质量的数据。然而,在那些有智力障碍的儿童的情况下,我们必须达成目标的限制。因此,校准完成的fly-when任何刺激出现在屏幕上和操作员通知任何孩子的反应(gaze-rose)——这可能意味着孩子期待的刺激。一个点击操作的屏幕校准触发收集数据的过程。隐式标定算法如下:(1)刺激出现在屏幕上。(2)孩子眼睛转向刺激。(3)操作者能运动,,当它完成后,点击通知系统的刺激,孩子现在看着这一点。(4)眼动跟踪系统开始注册的输出和触发潜在的反馈(声音或电影)。(5)眼动跟踪的输出变化时(表示后续的眼球运动),校准模块停止登记并添加点击点的坐标一起注册的眼动跟踪现有校准数据集的输出。(6)校准函数是所有校准数据集的数据重新计算使用。
当然,更多的点导致更好的校准模型,但即使是一点校准可能是有价值的。例如在[20.],它已经表明,即使在一个点校准,可以评估的九个部分屏幕的用户看到。
收集点的数量并不是唯一的因素,影响精度。同样重要的是,如果点或多或少是均匀分布在一个屏幕,如果校准区域对应于实验的进一步的场景。因此,例如,如果一个实验任务是探索儿童视力的效率在水平方向上,刺激应该包含对象沿轴的出现。或者,如果一个实验是基于屏幕的中心区域,刺激围绕这个焦点应该集中在一个特定的半径。
另一个非常重要的因素是录音的质量。如果操作员点击点的孩子立即把它的头或闭上眼睛,眼动跟踪的质量的产出可能会恶化,对模型添加这样一个点可能会加剧整个模型的准确性。与高、低偏差点的例子可能会观察到在图4。因此,在构建模型之前,应用程序会自动检查眼动跟踪输出为每个点的偏差,然后删除点的偏差明显高于其他人。
的偏差N数据记录为一个注视点计算如下: 在哪里x我和y我眼动跟踪输出和吗μx和μy是两个方向的平均价值。当注册有超过三分,最高的点偏差从计算自动删除。
下一步是创建双(x年代,y年代)和(μx,μy),x年代和y年代屏幕坐标和吗μx和μy眼动跟踪的平均输出注册为这一点。然后使用这些对计算中给出的多项式的系数(2)通过经典Levenberg-Marquardt算法(21]。然后,结果立即被用来计算注视点在控制屏幕上。
3.4。自动和手动的反馈
有时,眼动跟踪的数据可能不是校准充分和它可能很难让系统自动产生当一个孩子看起来直接刺激的反馈。因此,运营商有机会生产手动反馈。如果操作员注意到孩子对刺激的反应(利用gaze-rose),他/她可能会点击它。它添加点校准模型,同时,触发动作连接到这种刺激(声音或运动)。
3.5。事后分析。
所有事件在每次会话都记录在一个特定的格式存储模块旨在保持数据的进一步分析。记录包括眼动跟踪输出、视频注册的相机,和刺激的屏幕截图。开发的软件提供的功能促进眼动分析通过图表、扫描路径,热图(22]。最后两个技术使用眼动events-fixations和对准目标。当一个人首先是定义为一个运动的眼睛几乎是稳定的过程中获取信息从一个场景。另一个是两个固定之间的快速运动(15,23]。在提出系统的情况下,IDT算法已被用于这些事件检测(24]。该算法是基于测量色散之间的后续眼睛的位置。如果分散低于指定的阈值,目光被认为是属于一个固定。提出了软件使用0.5度阈值。
4所示。结果与讨论
描述系统的一般模式,在图提供6测试使用的各种刺激。刺激不同形式、填充和类型的反馈他们在应对生产孩子的反应,其中包括以下几点:(我)改变形状(2)改变颜色(3)发出的声音(iv)动画
4.1。刺激的例子
第一个刺激的一个例子是一个简化的脸在屏幕上移动(图7)。面部表情是悲伤,直到孩子看了看脸,使脸上的笑容。
(一)
(b)
一些孩子对颜色变化非常敏感。一个刺激呈现在图8。蝴蝶时改变颜色从黑色到红色主题看着它。
(一)
(b)
发出声音的能力给出了系统刺激孩子不仅在视觉上的机会。据治疗师,教给孩子们是非常重要的,不同类型的刺激可能发生的结合。这样的刺激呈现在图的一个例子9。当一个孩子看着动物之一,适当的声音发出。
通过刺激计划的编辑器,也可以准备更复杂的刺激包括简单的动画。这种动画反馈的一个例子是呈现在图10。这个刺激的任务是介绍一些对象的运动引起的坚定的目光。如果是放在喷壶,它改变了它的位置为花浇水。针对眼睛的花改变它的形状。
4.2。可视化例子
本节中给出的实验动画刺激有关。在实验期间,一辆自行车从右到左移动在屏幕上。孩子应该跟随移动物体的眼睛。眼睛跟踪数据被记录在实验和可用于事后分析。图11介绍了刺激的一部分一起扫记录了一个孩子。可见,孩子的眼睛跟着对象。
信息可视化呈现在图12。提出了眼睛的位置分别在水平和垂直方向上的当前位置相比自行车刺激(彩色带)。很明显,孩子的眼睛跟随着物体移动的水平。
图13呈现相同的可视化,但对另一个孩子更严重的差距。这一次孩子能够按照对象只有在刚开始的时候的表现,即使如此,眼动信号非常不稳定,消失一些时间。
更多的例子讨论了系统的使用(19]。
提出的明确的评估在短的角度来看,系统是不可行的,因为它的有效性很大程度上取决于孩子的年龄,障碍,和一般健康状况影响的规律性治疗实验。第一个和基本的可能性是仔细观察孩子的治疗师,谁知道孩子最好的。此外,我们可以指出一些因素,这可以帮助确认我们的观察,即时间第一的目光刺激,增加持续时间固定的刺激,再追求刺激,或更精确的眼跳的动作。第一个提到的指标可能表明更好的感知的对象。第二个和第三个的可以提供的证据保持关注和改进的能力更好的运转眼球运动的肌肉。最后,达到刺激位置更准确可能揭示更好的对象的识别和眼球运动的系统的工作进展。
所有这些指标可能治疗期间收集整理和比较各种图表为推理提供方便的方法对治疗结果和视力进步。
5。讨论和结论
儿童沟通不同需要特别的护理和治疗,因为很难解决许多日常问题由于他们连接的问题。因此,这些孩子的生活是困难的,不仅因为健康问题,还因为他们的需求没有得到适当的满足。
本文提出的解决方案是一个一步对减轻沟通困难,是作为一种工具提供的客观评估孩子的视觉质量和感兴趣的领域。这是通过负担得起的眼动跟踪的应用,开发的系统可能会成为可用于更广泛的人群。然而,这个设备并不满足与不平等的孩子他们不合作。出于这个原因,必须阐述其他解决方案,包括应用程序在两个显示器,隐式标定过程,和多媒体模拟自动应对预期的眼球运动。
提出系统的初步的实验方法证实了讨论的解决方案的能力成为揭示支持孩子的视觉表现。然而,它必须强调,这并不是唯一的这个工具的功能。确定孩子的视线引入的可能性进行适当的治疗,这可能是在展示环境中实现的。使用相同的刺激或其连续调整到一个特定的孩子不断刺激大脑和眼球运动的系统。这个功能已经实现由于方便的机制刺激集的扩展,为每个系统操作员容易执行。这个特性提供了其他机会的系统利用率不仅为孩子们,也对任何“困难”那些不能或不愿意合作,如成人患有各种疾病,包括,例如,帕金森症,酒精疾病,甚至厌食。
目前,作者打算进行详细的临床试验合作创建的系统发育障碍儿童协会布鲁诺位于Rzeszow,波兰。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
作者要感谢布鲁诺协会员工的合作和帮助以及学生的西里西亚工业大学:Katarzyna Kruk和Michalina Dzierzega为他们帮助创造的刺激,进行初步实验。本文中给出的研究支持了西里西亚理工大学批准号BK / 263 / RAu2/2016。