PDF
研究文章|开放获取
约旦Hashemi马里亚诺·珀,蒂亚戈·Vallin脊柱,艾米esl, Vassilios Morellas,尼古拉斯·Papanikolopoulos Helen Egger,杰拉尔丁道森,萨皮罗吉尔勒莫, ”低成本和非侵入式测量与计算机视觉工具在婴儿的行为”,自闭症研究和治疗, 卷。2014年, 文章的ID935686年, 12 页面, 2014年。 https://doi.org/10.1155/2014/935686
低成本和非侵入式测量与计算机视觉工具在婴儿的行为
约旦Hashemi
,1
马里亚诺·珀,1
蒂亚戈Vallin脊柱,2
艾米英语,3
Vassilios Morellas,4
Nikolaos Papanikolopoulos,4
Helen Egger,5
杰拉尔丁道森,6
和
萨皮罗吉尔勒莫7
1电子与计算机工程系,杜克大学,杜伦大学,数控27708,美国
2研究所的计算,13083年坎皮纳斯,SP、巴西坎皮纳斯大学
3明尼阿波利斯明尼苏达大学儿科学系,MN 55455,美国
4大学计算机科学与工程系明尼苏达州,明尼阿波利斯,MN 55455,美国
5杜克大学精神病学和行为科学系的达勒姆数控22708,美国
6精神病学和行为科学系的医学院,杜克大学,杜伦大学,数控27708,美国
7电子与计算机工程系、计算机科学、生物医学工程系,杜克大学,杜伦大学,数控27708,美国
文摘
儿童发育障碍的早期检测是关键的结果,允许启动干预促进发展和改善预后。自闭症谱系障碍(ASD)的研究表明,行为迹象可以观察到在生命的第一年。这些研究涉及广泛的帧视频孩子的自然行为的观察和分析。虽然不干扰,这些方法非常耗时,需要高水平的观察者培训;因此,他们繁重的临床和人口众多的研究目的。这项工作是一个长期项目的第一个里程碑非侵入性的早期观察孩子们为了帮助检测和研究神经发育障碍的风险。我们专注于提供低成本的计算机视觉工具来测量和识别自闭症行为迹象基于组件的自闭症婴儿观察量表(AOSI)。特别是,我们开发算法来测量反应一般ASD风险评估任务和活动的评估视觉注意力的AOSI跟踪面部特征。我们展示结果,包括比较专家和非专家医生,这表明该计算机视觉工具可以捕获关键行为观察和潜在增加医生的行为观察获得真正在临床评估。
1。介绍
孩子的自然行为的分析是至关重要的发展障碍的早期检测,如自闭症谱系障碍(ASD)。例如,一些研究揭示了行为表明自闭症儿童的早期家庭视频,后来被诊断为自闭症谱系障碍(1- - - - - -5]。这些研究涉及录像婴儿行为,然后编码和分析数据后验,逐帧观看由观察者通常使用列车数周达到评分者间信度。需要数小时的劳动,从而使这种分析繁重的临床设置以及大数据研究发现或改进的目标行为标记。虽然孤独症的早期筛查的临床工具可用,它们需要由专家管理和解释。许多家庭在低资源社区缺少便利的自闭症专家。这项工作检查潜在的好处,计算机视觉研究可以提供早期发现ASD风险行为。它是一个长期项目的第一个里程碑,旨在发展低成本、自动定量分析工具,可以使用全科医生在儿童发展和一般环境中识别儿童自闭症的风险和其他发育障碍。
虽然对ASD的根本原因是未知的,一些神经病理学研究表明,自闭症可能起源于早期大脑发育异常在产前生活(6]。此外,Zwaigenbaum et al。7)认为,许多ASD患儿表现出一些特定的行为标记早在生命的第一年。在高风险的兄弟姐妹的孩子以后发达ASD,可以观察到这些症状涉及视觉注意力的活动中,通常表示为脱离困难,注意力转移8,9]。此外,高危婴儿兄弟姐妹已经被证明证明受损的视觉注意力的发展和个月(10]。这个说,仍有许多研究需要做决定潜在风险指数。例如,一项研究由Nadig et al。11)发现没有显著差异response-to-name脱离高风险和低风险之间的婴儿。
尽管自闭症症状通常出现早期和蹒跚学步的综合症可以诊断,ASD诊断的平均年龄在美国接近5年(12]。最近,研究表明早期检测和诊断的好处,以便早期强化干预。早期干预,在幼儿园和持续至少2年,可以大大提高儿童的结果(13]。检测ASD风险和全套前开始干预行为症状似乎最终可能产生更大的影响,防止困难的行为和延迟发展轨迹抓住(14]。尽管自闭症的诊断涉及的内容比检测症状,改善成本效益的可用性和访问方法来识别哪些孩子可能需要进一步评估可能的风险和价值。为此,我们专注于发展半自动计算机视觉视频分析技术测量ASD-related行为可以用于早期检测研究。
更具体地说,本文的主要目标是利用计算机视觉和验证工具来获取可靠的两个关键视觉注意力的行为,注意力和视觉跟踪的脱离,属于自闭症婴儿观察量表(AOSI) [15),行为观察的工具收集信息关于早期自闭症风险迹象16]。(在本文中,我们把AOSI和得分基于dsm - iv。研究需要评估的措施自闭症的早期迹象来自自动化视频编码,比如AOSI,与后来的诊断自闭症的基础上新成立的第五版标准。这是正在进行的努力,我们的团队的主题。)因此,研究的目的是检查措施源自计算机视觉之间的通信工具和临床评估由一个训练有素的专家。为了展示我们的工具的有效性,我们比较计算机视觉方法的结果的AOSI训练有素的专家进行了评估和三个非专家。为此,我们工作的目标是证明所提供的准确和客观的测量我们的低成本的方法和他们的潜在的用于研究自闭症风险的识别标志。工作在这样一个特定的人口是独一无二的婴幼儿在计算机视觉社区,使小说申请心理学社区。尽管数据是来自实际临床评估,从评估的任务很容易管理和/或涉及孩子的自然行为的记录,从而打开门广泛的行为研究,考虑到实际的分析和介绍自动完成。
这些工具可以帮助医生和研究人员在风险标记识别任务,提供准确、客观的测量。这些测量可以进一步提供意味着匿名的前提下提高临床的shareability记录。此外,特别是对于研究、自动分析将允许研究人员分析大量的自然录制视频,打开大门为数据挖掘对当前评估的改进协议和新发现的行为特性。这个项目是由一个多学科小组结合专业人士从心理学、计算机视觉和机器学习。当成一种研究策略17- - - - - -19),需要实验室评估,我们的一个主要目标是提供不捕获系统,不一定导致孩子们行为修改。换句话说,硬件不能约束测试环境;例如,孩子们不要求穿任何类型的传感器20.,21]。
2。方法
2.1。AOSI程序任务
AOSI包含一组表的任务设计评估特定的行为,每一个任务由一定数量的按下和孩子的反应得到的分数。注意根据AOSI,脱离为特征的“解除和移动能力的眼睛/注意力从两种视觉刺激竞争”(15,22),而视觉跟踪的特点是“视觉上横向移动物体的能力在中线”(15,22]。AOSI评估期间,临床医生执行三个试验分离关注的任务和两个试验的视觉跟踪任务,每个参与者。每个试验收到AOSI-tabulated得分,按照下列的指导方针。
脱离的关注。这个活动包括(1)摇动一个嘈杂的玩具婴儿的一边,直到他/她的注意力然后(2)震动了第二个嘈杂的玩具另一侧,同时继续动摇第一个对象。延迟响应在高危婴儿已被证明是与后面的ASD诊断(7,15]。审判被认为是“通过”如果孩子看起来第二个物体在不到1 s,认为“延迟”如果孩子照看1 - 2 s延迟,并认为“困”如果孩子看起来超过2秒后。
视觉跟踪。评估这个活动,以下执行:(1)喋喋不休或其它嘈杂的玩具是用来吸引婴儿的注意,(2)喋喋不休的定位是一个婴儿,和(3)摇铃然后默默地在齐眼的高度跨越中线搬到另一边。在高危婴儿,一个中断、延迟或部分目光跟踪已被证明是与后面的ASD诊断(15]。取决于持续、顺利参与者能够跟踪对象,试验被认为是“传递”,“推迟或中断,”或“部分或不跟踪。”
临床医生做了一个“活”判断这些时间框架或看视频这个任务如果可用。最后,一个总分为每个任务是通过合并计算个人试验。我们的协议比较所做的评估专家(1)心理学家考官一直训练AOSI以及自闭症儿童的诊断,(2)儿童/青少年精神病学家,(3)两个心理学学生没有特定的孤独症培训,和(4)的结果我们的新计算工具。儿童/青少年的精神病学家和心理学两个学生分配他们的分数按照AOSI指南,未经训练,看同一个视频时使用的自动方法。这个设置允许我们对比自动方法的发现与人类全方位的专业评估。
2.2。计算机视觉算法评估视觉注意力
分析孩子的视觉注意力的反应活动,我们自动估计的变化两个头部姿势动作:偏航运动(左和右)和音高(上下运动)。对于注意力的视觉跟踪和脱离任务,这包括横向运动,我们专注于偏航运动。我们开发的计算机视觉算法估计这些头运动从低成本的相机。算法跟踪特定的面部特征:左耳,左眼,和鼻子(见的形象图1)。从他们的职位我们估计参与者的偏航和俯仰运动。唯一的用户输入我们的算法是在初始化期间。在第一帧,用户在左耳边界框的地方,左眼,鼻子(图7)。这可能是通过标准的特征检测技术来避免。我们标志着对象,尽管这样做也会自动从先验知识的视觉和声音的特性(例如,颜色或吱吱声)。额外的技术细节可在附录一个和B(图6介绍了我们的视觉注意力的数据流分析系统)。我们应该注意,我们利用和扩展计算机视觉技术,形成虚拟的基础都自动分析系统,因此被广泛验证的文献。
(一)
(b)
得分为我们自动方法基于自动视觉检测估计头部运动的测量。标记后的第二个对象提出了脱离注意力的任务,我们的方法能够自动确定当参与者开始和完全脱离第一第二个对象。我们分配脱离推迟基于多少帧/秒需要参与者的头部运动完全过渡到第二个物体(注意,我们录制视频以每秒30帧)。我们将每个延迟的第二个优势适应人类生活的错误判断。视觉跟踪任务的评分是由目视检查头部运动测量的对象是横向移动前的参与者。更具体地说,分数分配基于测量数据是否显示充分的侧头运动,也依赖于测量的变化率。分配一个“通过”如果头部运动测量显示充分的侧头运动和平稳的变化。如果有一个实例测量展览高原或变化率为短时间内改变方向,但测量仍然显示完整的横向运动,一个分数分配“中断”。试验,测量不表现出完整的横向运动,一个“部分”或“不跟踪”分数分配。的例子,我们的方法的测量“,”“中断,”和“部分”或“不跟踪”跟踪分数图所示3。开发了自动化技术在更高的分辨率和准确性比标准秒的间隔使用的专家医生在现场测试。
2.3。参与者
这项研究的目的不是为了检查早期评估和结果之间的对应关系,而是我们的工具的能力,准确地捕捉行为的个体差异。我们寻求包括样本的多样性AOSI将预期的反应;因此本研究的样本人口包括12个高危参与者在一家诊所检查,包括男性和女性年龄在5到18个月。批准本研究得到的机构审查委员会明尼苏达大学和我们收集数据的一系列ASD评估正在进行的会话并发研究上执行一组高危婴儿,在明尼苏达大学的儿科。
对所有参与者高危婴儿兄弟姐妹的孩子被诊断为自闭症,早产儿,或者作为一个参与者表现出发育迟缓。表1总结了这些信息。才注意到,参与者是临床诊断个月大的时候,只有参与者3号提出了结论性的自闭症的迹象。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2.4。硬件
在临床的设置中,我们使用一个低成本还装有英雄高清彩色摄像机(1080 p分辨率的30 fps),由临床医生自由放置在表2和4英尺之间的中心距离参与者,以确保它仍然还在每个试验和捕捉临床医生和参与者(如左图的图1)。显示的图片这是downsampled,模糊,和/或部分屏蔽保护匿名(处理是在原始视频)。
3所示。结果
3.1。脱离的关注
表2总结了我们的方法的结果,临床评估,评级由儿童/青少年脱离的精神病学家和心理学两个学生注意力的任务。(看到所有视频结果在网上补充视频文件http://dx.doi.org/10.1155/2014/935686)。自当前设置的视觉注意力的任务只涉及一个相机放置不干扰,有试验,我们当前的方法不能处理(这可以很容易地解决未来的第二个廉价的相机)。这些试验包括实例当参与者离开相机的视野或者当一个玩具或物体阻碍它。(标准人脸检测算法,比如那些用在数码相机、可用于自动提醒临床医生的这种情况下的重新定位相机。)对于表2,空白空间和一个水平线的试验对应这种情况下。24试验的临床医生分配一个“通过”得分,我们的方法,23日同意了“延迟”的其他试验。3试验的临床医生进了“延迟”我们同意2试验方法,评分为“通过。“临床医生没有分配一个分数为2号,说明这是一个“被宠坏的”试验的参与者害怕玩具。然而,我们显示我们的方法的结果例证可能脱离的关注分数。
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
为了进一步阐明我们的结果,图2显示我们的方法的例子的结果和重要例分离关注的任务。在图2(一个),参与者能够脱离第一个对象,看看第二个在0.7秒(21帧)的第二个物体。这将是得分为“通过”AOSI测试。参与者在图2 (b)抬到第二个对象在1.3 s(40帧),这将是“延迟”AOSI测试得分。
(一)
(b)
(c)
(一)
(b)
(c)
3.2。视觉跟踪
表3总结了我们的方法的结果,临床评估,评级由儿童/青少年精神病学家和心理学两个学生的视觉跟踪任务。是在表2,空白空间和一个水平线的试验不能使用我们的自动方法。14试验的临床医生评估为“通过”,我们的方法同意13人,取得了一个“打断”1的试验。所有4试验临床医生评估为“打断了她,“我们的自动方法是一致的。临床医生得分两个试验”部分,“我们的方法取得了其中的一个“部分”和其他“中断”。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
图3显示了重要的例子,我们的结果视觉跟踪任务。图3(一个)演示了一个参与者收到了“通过”AOSI视觉跟踪的任务,由于参与者能够顺利跟踪对象在最小延迟对象走到参与者的权利。在图3 (b)参与者表现出“打断”跟踪运动。对象被打断的参与者的跟踪对象在临床医生的脸移动。而不是跟踪对象在临床医生的脸,移动参与者停止跟踪对象,看着医生为0.46秒(14帧)之前继续追踪对象,因为它移动到参与者的离开了。这种短期行为可以由一个自动检测系统。在图3 (c),参与者将显示一个“部分”跟踪AOSI得分。对象跨越临床医生的脸,参与者完全停止跟踪对象,而临床医生直视。
3.3。对比评级由自动计算机视觉方法,非专家临床评级机构和专家的临床医生
我们下一个比较评级由非专家临床评级机构(儿童/青少年精神病学家和心理学两个学生)和由计算机视觉方法评级由一个专家的临床医生。获得的结果由儿童/青少年精神病学家和两个心理学学生表中给出2和3。27的视觉脱离试验(表2),这两个心理学学生同意试验,临床医师13日和16日的分别,而儿童/青少年精神病学家同意22日试验。计算机视觉系统同意专家的临床医生在25的27例。同样22视觉跟踪试验(表3),这两个心理学学生同意的专家医生13和14试验,分别,而儿童/青少年精神病学家同意16试验。计算机视觉系统的22例19日达成一致。表4显示了每个人的评分者间信度值与专家医生相比,基于加权科恩kappa范围为0 - 1,其中1表示完全同意。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||
4所示。讨论
除了提供一个广泛的可部署的低成本工具ASD风险评估,如果未来的研究验证,一个自动化的方法的潜在好处头部运动估计的三倍。首先,它将提供准确定量测量任务评估婴儿视觉注意力,比如AOSI任务,提高临床记录而不妥协的shareability匿名性。其次,它也可能有利于发现新的行为模式,轻松地收集大量数据和采矿。第三,它可能增加的粒度细尺度分析提供数据。结果表明,计算机视觉方法相比,专家临床表现很好,超过了其他三个非专家。使用未加权的卡帕,布赖森et al。15)公布的平均评分者间信度得分相结合对注意力和视觉跟踪的脱离。虽然我们的平均加权分数相结合不是高达原始报告的作者,它仍然被认为是优秀的(大于根据他们的说法。
4.1。脱离的关注
专家医生的结果相比,计算机视觉方法实现高精度。在表2,得分的方法获得一个假阳性试验“延迟”,临床医生得分为“通过”(参与者数量6),错过了一个“延迟”试验(参与者数量11)。在当前项目中,时间分辨率是每秒30帧,从而发现可能的潜在的头部运动模式。图2 (c)提供了一个有趣的模式在参与者的头部运动。它不仅看第三个参与者在1 s第二个物体(这就是“延迟”AOSI),但参与者显示分段常数侧头部动作相比其他两个例子(呈现更平滑的运动),一个模式检测用肉眼几乎不可能。再次,自动和定量测量等有可能添加关键信息可以帮助风险检测,如AOSI评分的新方法。研究一个更大的人口,新的时间间隔(及其变异性)得分可能会发现,这些假阳性可以分析不是一个严格的“通过”或“延迟”,而是介于两者之间。
4.2。视觉跟踪
再次,专家医生的结果相比,实现了高精度的自动化方法。如表所示3,临床医生在一个试验仅属于积极参与者被诊断为“延迟”;然而,根据不干扰我们的相机位置(选择的医生),它是不可能不断提取对象的位置足够精确地分配“延迟”分数。在未来的研究中,有可能扩展设置包括一个开销相机准确记录在对象的位置。方法的另一个方面是,它提供了准确、定量测量参与者的头部运动;因此,一个能够自动确定当参与者看了对象之间的延迟或参与者停止多久他/她的跟踪。
5。结束语
这项工作是一个长期项目的第一个里程碑关注发展的非侵入性的早期观察孩子为了帮助检测和研究神经发育障碍的风险。与援助的目标和增加视觉分析功能评价和发展监测ASD,我们提出(半)自动计算机视觉工具观察相关的特定重要行为在AOSI ASD引起,在视频分析提供了新的挑战和机会。拟议的工具,如果验证在未来的研究中,可以显著减少努力,只需要交互的单帧初始化。最终的目标是最小化需要广泛的培训和添加定量测量的准确性和客观性。我们专注于两个视觉注意力AOSI期间执行的活动。我们开发了特定的计算机视觉算法对这些活动,取得令人鼓舞的结果,与专家的判断。自动化的方法被证明是更符合专家的临床医生的评级,这些由人类专家观察员;应该注意的是,这些人类观察员仍然有较高的专业知识比通常可用在大多数学校设置。
提议的方法的改进和扩展是一个持续的工作,我们计划提供的代码的方法。当前的限制我们的方法包括要求参与者的脸出现在视频中,估计偏航和俯仰运动相互独立的,和我们只有相对高清视频测试序列(从低成本的英雄还装有摄像头)。尽管目前的研究包括在内高危婴幼儿,一些我们的研究的局限性包括使用只有一个专家考官以及样本量小和相对未受损伤的(虽然如前所述,利用工具被广泛认可的文献)。视觉注意力的任务,我们计划补充孩子的运动估计的估计红审查员的行为。工作提出了工具的有效性与一个特定的检查评估。这些工具扩大到更广泛的临床和自然的设置,涉及不同的考官,考官与不同级别的培训、互动的质量,订婚,还应该考虑考官之间的可变性。这些examiner-related行为包括如何远离参与者考官玩具(s),玩具的位移速度(s)在评估、音频信号从考官,考官的头部位置的他/她是否看参与者。研究考官的可变性的性能在临床和自然的设置,如在参与者的家,是一个重要的主题为未来的研究应考虑之前进行数据挖掘分析。方法考察了考官的行为也会让考官接收即时反馈是否审判或按需要重做。请注意,这也可能导致一个审查员自动方法培训。基于AOSI任务探讨了工作的设置,我们假设参与者的头运动到他/她的视线方向是直接相关的。这个假设被称为“中心偏见”,建立在目光估计和凸起检测文献[23,24]。进一步研究和扩大了这一方法的范围,我们计划来验证假设的头部运动之间的直接关系和眼球运动在一个特定的人口的婴儿和儿童自闭症的风险或自闭症;参见[25)对于一些早期的研究结果在这个方向。
5.1。计算机视觉的延伸ASD行为观察的工具
有额外的ASD的潜在行为风险指数,包括在和超出了AOSI的范围,比如面部表情在第一个生日回家视频26)和安装一个摄像头附近考官的脸估计参与者的目光27),目前没有解决的方法,但我们的目标是解决在未来,无论是技术方法和评估的有效性和可靠性。计算机视觉工具持有承诺作为捕获行为的小说和有成本效益的方法,可用于临床和研究设置。在这项工作中使用的方法,我们还提供初始数据表明这些方法可能在少结构化情况下有用,比如追踪参与者的头部运动在控球活动(图4),提供信息等与考官参与者的互动参与者的时间来查找在收到一个球。
此外,计算机视觉工具并不只局限于协助视觉注意力相关标记。我们组也不干扰发展工具协助运动模式的评估28]。通过细致的过程的拟合曲棍球手参与者在每一帧,埃斯波西托et al。29日)发现,自闭症幼儿经常在生命早期呈现不对称的手臂位置。使用计算机视觉,我们能够自动估计D身体造成幼儿的视频片段(图5)以及估计臂角度相对于地面几乎没有用户干预(见参考资料提到的技术细节和评估)。唯一需要用户干预包括交互式地创建一个分割掩模在初始帧的视频片段。通过创建不干扰和半自动计算机视觉工具,这样,可以分析大型数据集,可能导致新的和/或改进的发现行为标记。
附录
答:跟踪和验证面部特征
本节提供技术细节对跟踪算法的面部特征和计算头部运动。大变化的数据和缺乏控制相机定位要求使用非常简单和强大的功能和算法。
我们假设,在第一帧,我们有边界框的三个面部特征:左耳朵,左眼,鼻子(见,例如,图2)。这些边界框是在实践中选择用手在第一帧。可以实现完全自动初始化,但这不是现在的工作的目的。用户干预仍然是最小的。
我们的目标是在跟踪这三个面部特征。方案后松散地基于TLD跟踪器(30.),我们使用密集的运动估计,加上验证步骤,雇佣了一个offline-trained面部特征检测器。密集的运动估计(31日]跟踪精度高的特性在大多数情况下,但是,当孩子的头部动作迅速,光照的变化有时会导致跟踪落后于功能。因此,我们验证跟踪器的输出使用面部特征探测器在每一帧(图6)。
验证的特性我们训练左眼,右眼,左耳朵,鼻子探测器。为此,我们由中间人和组织适应广泛使用的方法32),提出了行人检测,我们特别设置(参见[33,34])。我们的方法使用流行的多尺度直方图的面向梯度(猪)使用像素块和9取向分别描述符来表示每一个面部特征,然后把这些描述符使用支持向量机(http://www.csie.ntu.edu.tw/ cjlin / libsvm /)和径向基函数的内核(见[32)进行进一步的技术细节)。作为积极的训练样本,我们使用来自孩子的手贴上面部补丁在我们的实验环境。作为消极的训练样本,我们提取随机补丁从多个孩子的脸。我们的分类器训练任何一个时间进行了实验。然后,我们使用它为所有实验不需要再培训或参数设置。
对于每一帧,搜索区域周围的面部特征探测器定义边界框的追踪。左眼,左耳朵和鼻子出现在每一帧给定摄像机位置和最后检测位置确定的位置,表现出从分类器(即最大响应。,每个特性的极值分类器输出)。跟踪的边界框验证如果他们的中心是在边界框返回的探测器;然而,如果跟踪探测器的中心之外的边界框连续两帧,那么相应的边界框的追踪中重置到一个新的位置检测器的边界框。确定的右眼艾滋病的估计偏航运动。右眼的矩形搜索区域,不是因为它出现和消失不断跟踪由于相机的位置,是根据检测到的位置鼻子和之间的水平和垂直距离发现左眼和鼻子。更具体地说,发现鼻子的位置之间的搜索区域是+ / -之间的水平和垂直距离发现左眼和鼻子。也作为右眼使用限制搜索区域是鼻子必须左派和右派之间的眼睛。
因此,使用我们的方法,我们能够追踪面部特征通过一个密集的运动估计,通过面部特征探测器并验证他们的位置。估计头部运动,看到下面的,我们使用的面部特征位置密集的运动估计。密集的运动估计比检测器提供平滑和更精确的位置。
b .偏航和俯仰运动估计从面部特征
来提供一个精确的运动估计的螺旋角,我们累计总和的垂直坐标变化的左眼和鼻子的左耳每一帧。我们期待一个正和孩子时查找和负和孩子向下看时,大小代表多少孩子向上或向下。
估计偏航运动,我们计算两个比率根据创建的三角形的左耳,左眼,鼻子(图7);我们也使用信息的存在。让,,表示位置的鼻子,左眼,左耳,分别。第一比率,我们的项目定义的线,从而定义的点;然后我们定义,在那里是欧式距离。对于第二个比率,我们项目定义的线,定义。
这两个比率和是成反比的。查看图7我们可以观察到,当面对是在概要视图,将大很小,反之当面对正面视图(更对着镜头)。把这两个比率为一个值,我们计算它们之间的归一化差异,。因此,当孩子希望他/她离开了,→−1;当孩子是希望他/她吧,→1。右眼的存在进一步验证婴儿正在离开。
我们将右眼是否存在或不确认婴儿向左或向右看是最大和最小值。
利益冲突
作者宣称没有利益冲突有关的出版。
作者的贡献
j . Hashemi m·珀和t . v .脊柱同样导致了这项工作。
确认
作者想感谢参与者和他们的家庭的参与。这部分工作由NSF资助1039741和1028076,斗篷(咳嗽1018/11-6)和(2011/01434-9)博士奖学金来自巴西、ONR, NGA, ARO, AFOSR。
补充材料
提供的辅料有3个视频包含我们的自动方法的结果:分离关注的任务,视觉跟踪的任务,球滚动的活动。这些视频的结果也在表2和3。注意,视频是模糊和downsampled参与者的隐私。mp4格式的视频编解码器(h)和测试使用windows媒体播放器,quicktime, VLC播放器。
玩的颜色对象(s)在临床医生的手(s)表示,如果对象是向左或向右的参与者。边界框的颜色在每个参与者的头,以及边界框上方的文本,代表如果参与者想脱离的左边或右边的注意力和视觉跟踪任务的临床医生根据我们的方法。对于球滚动活动,边界框和颜色的文本表示参与者是否向上或向下看根据我们的方法。
引用
- j·l·阿德里安·m·福尔a Perrot et al .,“自闭症和家庭电影:初步结果。”自闭症与发育障碍杂志》上,21卷,不。1,43-49,1991页。视图:谷歌学术搜索
- j·l·阿德里安·a·Perrot d·萨特et al .,从家庭电影“自闭症的早期症状。评价和比较1和2年的生活使用I.B.S.E.规模,”Acta Paedopsychiatrica,55卷,不。2、71 - 75年,1992页。视图:谷歌学术搜索
- g•勒舍尔指出:“感觉运动和自闭症儿童动作发展,从婴儿到幼儿,”儿童心理学和精神病学杂志和盟军的学科没有,卷。31日。5,749 - 761年,1990页。视图:出版商的网站|谷歌学术搜索
- g . t . Baranek“自闭症婴儿期:感觉器官的回顾视频分析和社会行为在9 - 12个月大的时候,“自闭症与发育障碍杂志》上卷,29号3、213 - 224年,1999页。视图:出版商的网站|谷歌学术搜索
- f . Muratori美国大师,“孤独症的早期迹象在生命的第一年,”自闭症在婴儿的迹象:识别和治疗Karnac,页46 - 62年,伦敦,英国,2007年。视图:谷歌学术搜索
- p . m . Rodier“会聚在自闭症脑干损伤的证据,”发展和精神病理学,14卷,不。3、537 - 557年,2002页。视图:出版商的网站|谷歌学术搜索
- l . Zwaigenbaum布赖森,t·罗杰斯w·罗伯茨,j·布莱恩,学学科带头人,彼得·扎和p .“孤独症的行为表现在生命的第一年,”国际发展神经科学杂志》上,23卷,不。2 - 3、143 - 152年,2005页。视图:出版商的网站|谷歌学术搜索
- r·兰德里和s e·布赖森“脱离受损的关注与austism年幼的孩子,”儿童心理学和精神病学杂志和盟军的学科,45卷,不。6,1115 - 1122年,2004页。视图:出版商的网站|谷歌学术搜索
- m . Elsabbagh a . Volein k Holmboe et al .,“自闭症早期的视觉定位更广泛的表型:脱离便利化,”儿童心理学和精神病学杂志和盟军的学科,50卷,不。5,637 - 642年,2009页。视图:出版商的网站|谷歌学术搜索
- m . Elsabbagh j·费尔南德斯,s .简韦伯g·道森,t·查曼和m·h·约翰逊,“脱离婴儿期的视觉注意力与新兴自闭症学步,”生物精神病学,卷74,不。3、189 - 194年,2013页。视图:出版商的网站|谷歌学术搜索
- A . s . Nadig s Ozonoff g . s .年轻,A . Rozga m·西格曼和s·j·罗杰斯,“名字反应的前瞻性研究婴儿患孤独症的风险。”儿科与青少年医学档案,卷161,不。4、378 - 383年,2007页。视图:出版商的网站|谷歌学术搜索
- p . t . Shattuck m . Durkin m .由et al .,“时间的识别儿童自闭症谱系障碍:发现以人群为基础的监测研究,“美国儿童和青少年精神病学》杂志上,48卷,不。5,474 - 483年,2009页。视图:出版商的网站|谷歌学术搜索
- j·s·霍华德,c·r·斯帕克曼·h·g·科恩,g .绿色和h . Stanislaw”比较密集的行为分析和折衷的治疗自闭症儿童,”发育障碍的研究,26卷,不。4、359 - 383年,2005页。视图:出版商的网站|谷歌学术搜索
- g·道森,”早期行为干预、大脑可塑性和自闭症谱系障碍的预防,”发展和精神病理学,20卷,不。3、775 - 803年,2008页。视图:出版商的网站|谷歌学术搜索
- s e·布赖森l . Zwaigenbaum c·麦克德莫特诉Rombough和j·布莱恩,“自闭症婴儿观察量表:规模发展和可靠性数据,”自闭症与发育障碍杂志》上,38卷,不。4、731 - 738年,2008页。视图:出版商的网站|谷歌学术搜索
- k·唐宁,k . Concannon诉Vogel-Farley c·a·尼尔森和h . Tager-Flusberg AOSI在9个月可以区分自闭症婴儿在高或低风险吗?“在自闭症研究国际会议(亚11)美国加州圣地亚哥分校,2011年。视图:谷歌学术搜索
- w·琼斯、k·卡尔和a . Klin”缺乏优惠希望接近成人的眼睛预测水平的社会残疾2岁幼儿自闭症谱系障碍,”普通精神病学文献,卷65,不。8,946 - 954年,2008页。视图:出版商的网站|谷歌学术搜索
- m·弗里斯t Foulsham p·查普曼,“视觉显著的影响在自闭症谱系障碍的固定模式,”这项研究卷,49号1,第160 - 156页,2011。视图:出版商的网站|谷歌学术搜索
- a . Klin w·琼斯,r·舒尔茨f·沃尔克·d·科恩,“视觉固定模式在观看自然社会环境预测自闭症患者的社交能力”普通精神病学文献卷,59号9日,第816 - 809页,2002年。视图:谷歌学术搜索
- m . s .古德温,s . s . Intille f . Albinali和w·f·软颚顶的“典型的汽车运动的自动检测,”自闭症与发育障碍杂志》上第41卷。。6,770 - 782年,2011页。视图:出版商的网站|谷歌学术搜索
- f . a . Boujarwah萨德勒,a . Mogus g . d . Abowd和r . i Arriaga”理解为富有挑战和机遇的描述典型的自闭症儿童的行为:一个概念探索和验证”学报》国际ACM SIGACCESS会议12日在电脑上和可访问性(资产10),页67 - 74,奥兰多,佛罗里达州,美国,2010年10月。视图:出版商的网站|谷歌学术搜索
- s e·布赖森l . Zwaigenbaum j·布莱恩et al .,“未来的一系列高危婴儿患自闭症,”自闭症与发育障碍杂志》上,37卷,不。1、12 - 24,2007页。视图:出版商的网站|谷歌学术搜索
- 美国甘露聚糖、k h .知更鸟和d s伍丁“眼跳眼球运动的自动控制视觉检查简要介绍二维图像,”空间视觉,9卷,不。3、363 - 386年,1995页。视图:谷歌学术搜索
- a . y . Li Fathi, j . Rehg“学习预测的目光在自我中心的视频中,”《计算机视觉国际会议(ICCV 13),悉尼,澳大利亚,2013年。视图:谷歌学术搜索
- h·布洛赫和i Carchon”出现在婴儿,眼头协调”大脑研究行为卷,49号1,第90 - 85页,1992。视图:谷歌学术搜索
- j . Osterling g·道森,“自闭症儿童的早期识别:研究第一个生日家庭录像带,”自闭症与发育障碍杂志》上,24卷,不。3、247 - 257年,1994页。视图:出版商的网站|谷歌学术搜索
- 李y, z你们,a Fathi et al .,“检测使用可穿戴眼球追踪眼镜,眼神交流”学报》第14届国际会议上无处不在的计算(主要的12),页699 - 704,宾夕法尼亚州匹兹堡,美国,2012年9月。视图:谷歌学术搜索
- t . v .脊柱,j . Hashemi m·珀et al .,“自动协助评估典型自闭症谱系障碍诊断、电动机模式”第59届。美国儿童与青少年精神病学会学报2012年,旧金山,加利福尼亚州,美国。视图:谷歌学术搜索
- g·埃斯波西托,p . Venuti、f·阿皮和f . Muratori”在自闭症幼儿不受支持的步态分析,”大脑和发展,33卷,不。5,367 - 373年,2011页。视图:出版商的网站|谷歌学术搜索
- z Kalal、k . Mikolajczyk和j . Matas“Face-TLD: tracking-learning-detection应用于脸,”学报17 IEEE国际会议上图像处理(ICIP 10)香港,页3789 - 3792年,2010年9月。视图:出版商的网站|谷歌学术搜索
- m·珀和g Sapiro分离而且匹配为有效的运动估计和非线性正规化,”19 IEEE国际会议上图像处理程序(ICIP 12),页1517 - 1520,奥兰多,佛罗里达州,美国,2012年10月。视图:出版商的网站|谷歌学术搜索
- n .中间人和b区格”的梯度直方图的人体检测,”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR ' 05)圣地亚哥,页886 - 893年,美国,2005年6月。视图:出版商的网站|谷歌学术搜索
- m . Everingham j . Sivic, a . Zisserman”“你好!我的名字是…巴菲”在电视视频字符自动命名,”英国机器视觉研讨会论文集(BMVC 06年)2006年,爱丁堡,英国。视图:谷歌学术搜索
- t . Vatahska m . Bennewitz,美国本克先生,“从图像,基于功能的头部姿势估计”第七届IEEE-RAS学报》国际会议人形机器人(机器人' 07),页330 - 335,宾夕法尼亚州匹兹堡,美国,2007年12月。视图:出版商的网站|谷歌学术搜索
版权
版权©2014年乔丹Hashemi et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。
