对于许多应用程序在图形、设计和人机交互,必须了解人类在一个场景与一个特定的任务。例如,面向任务的视觉注意力的理解是有用的自动目标识别( 1)、图像理解、或图片搜索 2, 3]。它可以用来直接视觉搜索和漏斗状图像视频压缩 4, 5和机器人定位 6, 7]。它也可以用于广告设计或实现的智能相机( 8]。

然而,它是不容易的模拟人类视觉行为完全面向任务的机器。注意是一个抽象的概念,它需要客观指标进行评估。判断实验结果直观的观察是不精确的,因为不同的人可能关注同一场景的不同区域,即使任务。为了解决这个问题,眼动跟踪设备,可以记录人眼定位,对准目标,凝视着通常使用。调查人的眼动数据为研究提供更客观的地面真值计算模型的关注。目前,有超过二十多个数据库与眼动跟踪数据对图像和视频在公共领域( 9),主要集中在“自由观看”的眼球运动。

大多数现有的计算视觉注意力显著模型经常被评估与预测人类固定在自由观看任务中,一些生物灵感和基于自底向上计算模型和其他结合基于自底向上的形象特点线索和自上而下的图像语义相关的线索。尽管做好定性模型,模型用有限,因为他们经常只在上下文无关的场景表现良好。

出于这一点,我们两个的贡献。首先是大型数据库的面向任务的眼动跟踪的标签和实验分析,第二个是一个监督学习模型的特点,结合基于自底向上的形象特点线索和面向任务的图像语义相关的线索。数据库包括眼睛跟踪数据在1307张图片来自11个不同的用户。据我们所知,这是第一次这样一个广泛的面向任务的眼动跟踪数据可用于定量分析。对于给定的图像,使用眼球追踪数据创建一个“地面实况”显著地图代表观众实际上看起来与一个特定的搜索任务。我们引入一组自下而上的形象特征和目标位置特征定义突出位置,并使用线性支持向量机训练特点的典范。我们比较显著的性能模型创建不同的面向任务的关注和显示我们的方法执行模型在预测人类视觉注意力的区域比麻省理工学院( 3),这是一个最好的模型在预测上下文无关的人的目光。

本文的结构如下:部分 2提供了一个简短的描述和讨论的一些以前的作品。部分 3是用于描述数据库的特点。节 3.1,我们目前的数据收集方法,图像、眼动跟踪数据和地面实况数据。部分 3.2分析了数据库的属性。我们的模型的详细描述部分 4评估我们的方法使用流行的卓越模型评价分数(AUC)与麻省理工学院卓越模型。在上一节所讨论的讨论和结论。

关注和卓越在视觉感知扮演重要的角色。在过去的几年中,20多个这样的数据库现在可用在公共领域。固定在脸上(国际足联)[ 10收集从八个科目执行2 s长自由观看任务180颜色自然图像。它演示了面临的事实吸引重要的视觉注意力。受试者发现专注的脸在前两个固定概率超过80%。NUSSEF数据库( 11从池中)是编制的758张图片和75年的主题。每个图像提出了5秒钟,free-viewed至少13个主题。与他人相比,这个数据集的一大特性是,758年的图像数据集包含大量的语义情感对象/场景等富有表现力的面孔,裸体,不愉快的概念,和交互式操作。麻省理工学院数据库从贾德et al。 12收集从Flickr和LabelMe]包括1003图像。眼动数据记录来自15个用户自由主张这些图片3。在这个数据库,注视周围发现的脸,汽车,和文本。许多固定偏向于中心。鸽子数据集( 13)包括101个自然灰度图像( 14]。眼球运动来自29个观察者自由主张收集的图像。然而,所有这些数据库记录眼球运动“自由观看”。另外,麻省理工学院CVCL搜索模型数据库( 15)是记录用户理解的面向任务的眼动模式。观察家们被要求执行一个人检测任务,和他们的眼球运动被发现是一致的,即使目标是缺席。这个数据库记录是基于面向任务的关注,但它的任务是单身。所以有必要创建一个内容丰富的数据库基于面向任务的关注。

几个视觉注意力模型是直接或间接地受到认知概念从心理或神经生理学的研究。赢家通吃(WTA)生物合理的架构与功能集成理论是由科赫和Ullman [ 16]。建立在WTA Itti et al。 17)首先实现使用center-surround机制计算模型和层次结构来预测突出的地区。在这个模型中,一个图像predecomposed成低级属性,如颜色、强度和方向跨多个空间尺度。WTA推理拿出最显眼的位置特征。后来,Le Meur et al。 18)提出了一种自底向上的相干计算方法基于人类视觉系统(HVS)的结构,使用对比敏感度,知觉分解,视觉掩蔽,center-surround交互技术。Krauskopf提取特征的颜色空间和实施特点在三个独立的平行通道:可见性、感知分组、和感知。特征映射为每一个渠道获得,然后一个独特的特点地图是由这些渠道的结合。基于各向同性对称和径向对称Reisfeld运营商et al。 19)和颜色的对称性Heidemann ( 20.),Kootstra et al。 21)开发三个symmetry-saliency运营商和比较人眼跟踪数据。伊斯坦布尔~圣文亚当和伊斯坦布尔~圣文亚当(a . e . 22),马拉et al。 23),而穆雷et al。 24)其他模型指导下的认知结果。

另一类推导数学模型。Itti和Baldi 25]意外刺激定义为那些显著改变一个观察者的信念。这是在贝叶斯框架建模计算KL分歧后和之前的信仰。同样,Zhang et al。 26)提出了太阳(使用自然统计显著)模型自下而上的自然特点出现的self-information视觉特性。布鲁斯和Tsotsos [ 27]目前视觉特点的模型建立在第一原理信息理论公式被称为基于信息最大化(AIM)的关注。亚伯和Lindenbaum的Esaliency工作 28)使用一个随机数学模型来估计最可能的目标。Scholkopf et al。 29日]提出了基于视觉特点(GBVS)模型,利用马尔可夫链的方法来描述不同和质量浓度区域。搜索引擎优化和Milanfar [ 30.和刘et al。 31日其他两个方法是基于数学模型。

另一类模型在频域计算特点。侯和张 32)相关光谱谱残差模型(SRM)提出的残留特征光谱域到空间域。在[ 28),亚伯和Lindenbaum Esaliency提议,一个随机模型,估计的概率一个图像的兴趣。他们大概首先分割图像,使用一个图形化的模型近似全局考虑,以确定哪些地方更突出。

我们建议的方法是与那些学习的模型映射记录眼睛注视或标记突出的地区。这些模型使用一些高级特性从早些时候获得数据库,开展学习机制来确定模型参数。Torralba et al。 33)提出了一个注意力的指导方法,结合了自底向上凸起,场景上下文和自上而下的机制来预测图像区域可能迷恋于人类现实世界的场景。基于贝叶斯框架,模型计算的全球特性通过学习的环境和结构图像,和自上而下的任务可以实现场景先验。瑟夫et al。 34)提出了一个模型,增加了几个高层语义特征如脸、文本和对象预测人眼注视。贾德et al。 12)提出了学习型方法预测凸起。他们用33特性包括低级特性如强度,颜色,和方向;中层地平线探测器等特性;和高级特性,比如脸检测器和一个探测器的人。该模型使用支持向量机(SVM)二元分类器训练。赵和科赫 35)提出了一个模式类似于Itti et al。 17),但与面临额外的特性。他们的模型结合了特征图和学会了权重,使用一组活跃的方法解决最小化问题。在上述模型中,一些关注添加高级特性改善预测性能,而其他人使用机器学习技术澄清特征之间的关系及其特点。然而,所谓的高级功能是模糊概念和不包含所有类型的环境。

这些特点的模型被用来描述roi在自由观看任务中,但是他们的使用在特定的任务仍然非常有限。最近的结果表明,在面向任务的视觉注意力,受试者被要求找到一个特定目标的显示,自上而下的过程中发挥主导作用的指导眼球运动( 36- - - - - - 40]。然而,所谓的自上而下的功能是模糊概念和不包含所有类型的环境。这里,我们利用更多的信息概念包括低级,目标位置,并使用机器学习中心偏差,眼睛定位预测。

我们收集了大型数据库的眼睛跟踪数据,允许大规模定量分析固定分和凝视路径和提供地面实况数据显著模型研究[ 41]。相比之下,几眼动跟踪公开的数据集,我们的新数据集的主要动机是为研究面向任务的视觉注意力,也就是说,观察人士而决定是否一个场景包含一个目标。

相比之前的计算模型,结合大量的生物的过滤器在一起估计视觉特点,我们使用一个学习方法直接从人眼跟踪数据训练分类器。对于每一个图像,我们预先计算的特征图图像的每个像素的大小为200×200和使用地图来训练我们的模型。图 6地图显示功能。通过分析数据集,我们提倡低级,高层,中心之前的特性。

低级特性,强度,方向,和颜色对比一直被视为重要特性自底向上凸起。我们包括三个通道对应这些图像特征计算Itti和科赫的显著方法( 43]。关于高级特性,根据我们的数据分析,我们发现,人类总是注视点位于目标对象。所以我们使用目标对象的位置作为高级特性。首先,边界框对象标记,我们用它们作为目标对象的区域。其次,在盒子中,我们使用每个像素的距离框而不是像素的中心。最后,盒子,我们使用零而不是像素。中心偏差,当人类拍照,他们自然框架感兴趣的物体图像的中心附近。出于这个原因,我们包括特性表示每个像素的距离中心( 12]。

评估我们的模型,我们遵循了5倍交叉验证方法。数据库分区的方法为五个随机子集,每个都有 米 图像。每个子集选择顺序测试集和余数作为训练集。每次我们从4部分训练模型和测试在其余部分。结果然后平均超过所有分区。从地面真理注视点每个图像地图,20像素被随机采样前20%的显著位置,和20像素采样从底部70%显著位置产生训练集3200正样本和3200年负样本。选择1:1的目的抽样比率是平衡正负样本像素的分布在相同的图像。我们选择样本前20%和底部70%为了样品正面的和负面的。训练样本归一化零均值和单位方差。同样的参数用于规范化测试集。

我们使用线性支持向量机( 44]训练模型,首次使用学习每个低级的重量,高层,中心属性在决定之前注意分配的意义。我们使用模型与线性内核,因为他们是更快的计算,以及随之而来的权重属性是直观的理解。为每个组,平均(Avg)和相应的标准差(STD)学会的执行的实验数量重量每个属性如表所示 2。很明显,中心的属性的位置偏差和目标对象的体重高于其他人。显然,在狗群,中心偏差的重量比其他人更强。然而,在椅子上,定位目标对象的重量比其他人更强。对于这一现象,流动可能是至关重要的。领域的目标对象可能导致这一现象。但是我们不知道详细的关系。属性的权重也同意先前的发现在图形-背景感知,在视觉搜索任务中,受试者被要求找到一个特定目标的显示,自上而下的指导过程中发挥主导作用的眼球运动。

以度量性能特点的模型,我们表现的比较模型与麻省理工学院模型( 3)这是一个最好的模型在预测上下文无关的人的目光。模型包含自底向上凸起和高级图像语义和适用在自由观看上下文预测凸起。使结果具有可比性,麻省理工学院的模型是一样的训练集训练我们的方法。图 7显示热量地图模型和比较模型。这是一个图像结果在每组。我们进行了实验160图像随机选择。

图 8显示了我们的模型接受者操作特征(ROC)和麻省理工学院的模型。这些曲线显示在注视点的比例显著地图建立卓越模型(检出率)与选择的图像面积的比例显著地图(误警率)。卓越模型生成特征图的加权线性组合使用学到的每个属性的权重。它显示了每个主题的注视点可以显著预测的模型。对于每一个类别,我们计算的平均(Avg)和相应的标准差(STD)执行的实验数量的ROC曲线下的面积(AUC),表所示 3。

可以看出,麻省理工学院(MIT)模型,性能并不总是好;然而,我们的模型比麻省理工学院。例如,在瓶、汽车和椅子类别,麻省理工学院的模型预测精度较低的注视点区域(AUC = 0.7881, AUC = 0.7865, AUC = 0.8152)比我们的模型(AUC = 0.8566, AUC = 0.8873, AUC = 0.9015)。从表 3,我们知道的重量目标对象的位置是第一次在车里和椅子类别。因此,促进准确性主要目标指导因素的结果。然而,即使我们的模型无法与人类竞争协议。

根据图 8和表 3,这显然表明,瓶子,汽车,和椅子类别,麻省理工学院(MIT)模型具有较低的性能,而我们的模型有更好的性能比。的主要因素是,在这些类别的目标对象是小或不明显,所以当受试者免费阅读,他们不是卓越的地图。然而,在面向任务的关注,他们成为显著图;这就是为什么自由观看模型不是适当的面向任务的。

我们都知道最近的一些数据集( 10- - - - - - 12, 45所有设置自由观看时间2 - 5 s /形象。在我们的范例中,时间为研究对象,主要是出于以下因素。如果查看持续时间太短,受试者可能没有足够的时间来找到目标对象的重量,也促进中心偏见。另一方面,如果观看时间太长,随着观察的进行,自顶向下或其他因素(如受试者感觉无聊和累)发挥作用和注视点成为吵着。此外,如果观看持续时间太长,注视点可能成为自由观看。

日常人类活动涉及的视觉引导行动,要求观察员来确定特定对象的存在和位置。在此基础上,我们研究了一致的人类凝视点是如何在一个图像。先前的研究和经验表明,几人的注视点位置强烈表明,一个新的主题看,是否target-absent, target-present。我们实现了计算模型的target-present视觉搜索和评估模型预测主题的注视点的位置。在我们的经验中,当受试者看一个场景与一个特定的任务,他们一直付更多的关注目标对象的位置,忽视了其他凸起物,如文本和人。因此,我们的模型结合的位置目标的高级特性。最终,注意力模型指导预测95%的人类与目标对象的位置组件提供最解释力。

在这个工作我们做出以下的贡献。我们开发一个眼动跟踪的数据集合11人在1307图像和公共研究使用。它是最大的眼动跟踪数据库基于视觉搜索,不仅提供准确的受试者注视点但也为每个图像分割的目标对象。在这个搜索任务,目标对象的位置是一个主导因素。我们使用机器学习训练自下而上,自上而下模型基于低级的凸起,高层,中心之前的特性。最后,为了证明我们的模型的性能,使用相同的方法来训练麻省理工学院(MIT)模型。

未来工作我们有兴趣研究,受试者的注视点紧密聚集在非常小的和特定的区域,但是我们的模型选择一个更一般的地区包含许多对象没有注视点。我们相信目标对象的特征,如大小、规模、和形状将主题围绕目标,应该更仔细地研究。