文摘

自动目标识别图像中最重要的主题之一安全和商业应用。由于视觉神经科学的最新进展,研究人员倾向于延长生物合理的方案来提高目标识别的准确性。预处理是视觉识别系统的一部分,已经收到了更少的关注。在本文中,我们提出一个新的、简单,生物启发的前处理技术通过使用数据驱动的视觉注意力机制。在本部分中,视网膜神经节细胞的反应(RGCs)模拟。在获得这些反应,一个有效的阈值被选中。的点最多的原始图像信息提取的根据。然后,创建了新图片,这些点,最后,通过结合这些图像熵系数,最突出的对象。提取适当的特性后,分类器分类的初始图像到一个预定义的对象类别。我们的系统评估在加州理工学院- 101数据集。 Experimental results demonstrate the efficacy and effectiveness of this novel method of preprocessing.

1。介绍

在人工智能领域的一个挑战是目标识别。这个过程的目的是将一个对象到一个预定义的类别。在这个领域有各种各样的挑战,如凌乱和嘈杂的背景或物体在不同光照和对比度的环境。人类可以检测和分类对象没有任何努力在很短的时间内。研究人员认为,识别系统更接近人类视觉系统会更好。换句话说,许多研究[1- - - - - -3]表明,灵感来自于人类的视觉系统,识别系统可以被设计成具有相对较高的精度。根据视觉神经科学的最新进展,研究人员倾向于开发生物合理的算法来提高目标识别系统的准确性。对象识别大大依赖于图像表示,为此,在这篇文章中,一个新颖的生物启发模型阶段。图像表示模型中,bag-of-words(弓)表示4)已普遍使用,因为它是健壮的翻译对象的规模和变化。三种不同模块的弓模型提取、编码和池不同的特性。k - means聚类,这是申请功能编码,将引起严重的信息损失,因为困难的每个特性分配给最近的聚类中心。所以,柔软的k - means (5)和稀疏编码(6)程序提出了克服这一问题。

稀疏coding-based方法被广泛使用,因为他们有更少的参数比软k - means和更可靠的性能。一些不同的稀疏coding-related特征编码技术(6- - - - - -8提供和获取最好的形象展示成果。在稀疏coding-based策略,稀疏编码的图像是由一个向量匹配特征池模块内的个人形象特征。

在船头的模型中,整个图像池区域,因此,空间信息可能会丢失。这些数据可以显著影响识别准确性。

一个空间金字塔匹配(SPM)计划(9]介绍了代表一个图像。该算法分为细地区引入保持空间信息。

可以说,目前的对象识别方法主要是使用机器学习的方法。有几种解决方案,提高识别的准确性,如收集更大的数据集,使用强大的学习算法,通过使用更好的技术和防止过度拟合。近年来,已经采取了重大步骤,使识别系统更加有效。

深层神经网络(款)是最好的算法之一,显示良好的结果在基准数据集10,11]。其中最适用的网络之一是卷积神经网络(cnn) [12- - - - - -14]。这些网络变化的多层感知器,灵感来自于生物过程。这些模型有一个巨大的学习能力中,我们可以了解成千上万的对象从数以百万计的图像通过使用它们。

另一套方法用于目标识别分类的对象。我们所知,对象通常更引人注目的背景对象识别系统。认识到人类视觉系统中的对象特点密切相关检测。生物系统使用这个过程可以删除不需要的信息,关注重要区域图像。在这个过程中,两个因素决定的相关信息:自顶向下(TD)或者自底向上(BU)。

有几种方法来提取高亮区域的图像,包括(15- - - - - -22]。在[15),提出了一种新的分类方案相结合CNN和视觉注意力机制;Shariatmadar和法耶兹(可并16)提出了一个模型,该模型结合了自下而上和自上而下的特征提取的图像的一部分;他在[et al .,17),扩展Itti模型通过使用结构张量;罗等。18)确定的突出对象基于增强骨干网络;杨et al。19)发现的突出部分图像通过引入double-random-walks;在[20.),布鲁里溃疡和TD功能单一的图像是用来检测凸区域;王et al ., (21),提出了一种模型的特点检测相关的多层次深金字塔(MLDP),最后,在22),潜水员的目标检测是基于卓越执行检测方法。

图像质量评估(23)、视频编码(24,25)、图像对比估计(26),和图像水印(27)其他用途的显著区域提取。

研究人员表明,凸起的发现有一个固有的利用率目标识别(28- - - - - -31日]。在[28),立即分类获得卓越的图像分类地图。Shokoufandeh et al。29日)代表3 d对象通过构建分层图安排基于显著图。Moosmann et al。30.卓越的特点来提高分类器)用于识别的对象。在[32),第一层的卓越网络HMAX [33使用)体系结构。Frintrop et al。34)训练分类器依靠引人注目的领域而不是整体形象加快分类速度。

在本文中,通过模拟人类视觉系统和使用机器学习算法,我们设计了一个系统进行目标识别。事实上,在模拟RGCs反应的RGB图像(图像)的新表示,飙升地图是通过选择一个合适的阈值。图像像素对应于峰值突出突出对象(BU凸起检测)。然后,凸起submap是线性结合熵系数。在最后阶段,显著对象的特征提取和分类器分类预定义的类。

简单地说,这项研究的中心贡献表示如下:(我)使用RGCs反应获得良好的图像表示(激励人类视觉系统)(2)确定只有那些像素产生动作电位(鼓舞人心的飙升在人类神经网络)(3)降低计算成本对象识别的图像中提取最突出的对象

本文的其余部分是准备如下。我们的描述结构开发的部分2。节3,实验是我们提出的系统进行评估。讨论和结论给出了部分4和5,分别。

2。系统概述

图1显示了该方法的综述。首先,原始图像中定义CIE LAB颜色空间,并且每个频道由模拟预处理RGCs人类视网膜。然后,合成图像被送入一个道钉生成器。在这个阶段,像素比选择一个预定义的阈值。新图像获得的这些像素凸起submap,结合线性熵系数,所以最后显著地图(感兴趣的区域(ROI))。最后,从ROI提取适当的特性后,分类步骤完成,标签是分配给每个初始图像。所有这些阶段都在以下部分中描述的(因为这篇论文的重点是代表一个图像和提取ROI、特征提取和分类过程简要描述)。

2.1。图像预处理

图像预处理是每个识别系统的前端。在这个阶段,一个良好的和有意义的表示原始图像获得进一步的处理在接下来的步骤中(本文新的描述相当于ROI提取)。该方法的各个阶段获取的新的表示原始图像如下。

2.1.1。颜色空间转换

在这个阶段,RGB图像编码为三个颜色通道CIE LAB颜色空间中定义。CIE LAB颜色是一个三维空间,包括整个人类色彩感知的光谱范围。这颜色空间代表颜色为三种状态:L(轻),红(绿色),b(蓝色黄色)。因此,人类的视觉上的四个个人颜色(黄、蓝、绿、红)。换句话说,LAB颜色空间模型对手色彩在人类视觉系统的特性。不同的颜色空间(如CMYK和RGB,设备相关的)不是为了模仿人类的视觉感知。换句话说,这些空间模型物理设备的输出。

简单地说,本文的目标是提供一个基于人类视觉系统的预处理方法。因此,实验室颜色空间选择对后续图像处理这些原因:(1)考虑到颜色的均匀分布在人类的视觉,(2)造型对手颜色在人类视觉系统的特性,和(3)三项刺激模式的模仿人类颜色视觉系统由许多数码相机。

对于这个转换,两个转换完成:RGB空间XYZ空间和XYZ空间CIELAB空间。它们的公式如下所示: 在哪里

2.1.2。模拟RGCs的反应

在这个阶段中,我们使用相同的功能的RGCs人类视网膜。

人眼的视网膜神经元附近的内表面被称为视网膜神经节细胞。视觉信息传递给这些细胞通过双极和视网膜无长突细胞。他们非常不同的维度,协会,对光学刺激和反应。至少有五个核心类别的视网膜神经节细胞,这是基于他们的目的。这些类之一,被认为是在这个纸是小型细胞(parvocellular或P通道;P细胞)。小型视网膜神经节细胞的parvocellular层映射到外侧膝状体核。阳伞细胞是视网膜神经节细胞总数的大约80%,获得信息从几视杆细胞和视锥细胞。他们有一个快速的传输速率,可以对低对比度的刺激做出反应。他们有简单center-surround接受领域,中心可以关闭或在周围的是相反的模式(一个感觉神经元的感受野的特定区域的感官空间刺激将激活神经元的放电)。 Three main steps in modelling these cells are as follows (for modelling Midget cells, we further developed receptive fields for peripheral and foveal cells which have ON and OFF parts):步骤1:初始化基本参数(标准差的高斯函数)根据表1(35]。第二步:做一个不同的高斯(狗)过滤器模型RGC接受字段。在这个阶段,中心和周围的高斯函数模拟了狗过滤器的RGC细胞。这些过滤器的三个步骤如下:(我)使中央高斯 (2)将它转换为二维滤波器, (3)规范总和为1, 强调,本文的目标是不使用的概念相关峰值和兴奋性神经元在大脑的不同区域。唯一的生物在本文使用模拟视网膜神经节细胞的反应没有飙升编码。图2的接受域显示中心和周边视网膜中央凹小型细胞。步骤3:将RGC模型应用于图像矩阵视网膜中央凹的途径。

在这一步中,图像的卷积RGC过滤器。这一步的结果是六个反应:小型视网膜中央凹/外围了反应的三个通道L, A, b图3显示视网膜中央凹的反应/周边小型细胞三个渠道。

最后,六个原始图像得到的地图,这是美联储下一步。我们相信,通过RGCs的反应,更好的表示原始图像。

2.1.3。Binary_Map代

在这个阶段,个体的视觉系统的前端是灵感。本节中,由几个主要层的神经元(视网膜光感受器的初级视觉皮层),如图4。

有两类感光细胞称为视杆细胞和视锥细胞。棒有伟大的感性低水平的照明,和锥需要高水平的强度。这些细胞易受电磁波谱的一个特定的时间间隔将视觉信息转换为神经信号。这个生物通道的输出动作电位。

生理学、动作电位与膜电势的而且局势在细胞立即上升和下降。在神经元动作电位发生,这是兴奋性细胞。在神经元中,细胞间交流是用动作电位。神经元火时,动作电位或峰值发射。

如果图像像素是感光细胞动作电位是用二进制字符串,表示我们可以模仿上面的生物通路linear-nonlinear级联。一个线性函数的线性组合不同的权重是双极细胞,和整流器非线性函数是函数(与阈值进行比较)。

这个阶段的目的是生成的二进制字符串通过选择一个合适的阈值。相反,每个像素RGCs反应相比,限制如下: 在这

在上面的公式中,L, A和B是三个通道的实验室空间。

在各种实验中,我们发现每个图像的均值是相同的图像的最佳阈值。换句话说,每个试验得到的图像的平均值。

阈值适用于当它可以检测突出在多个图像对象。换句话说,因为许多图像中的对象与背景区分开来的平均图像像素,这个阈值适当的(显著目标检测实验结果(部分3.3。1))。

如果没有正确地选择阈值,预处理步骤不会工作成功。结果,在识别阶段对象类是不正确地分配。换句话说,分类的准确性取决于对象的正确检测在预处理阶段。这个发现也对应于阈值的选择。因此,准确选择这种方法,图像的对象能被探测到的高准确性,最后,正确的类的对象可以保证在分类阶段。

2.1.4。新形象的代表

到目前为止,我们有6个二进制映射对应的RGCs神经节细胞的动作电位。然后,通过使用这些地图,这些像素的原始图像在每个L, A, B通道形成一个新形象。因此,将会有两个新的图片为每个实验室渠道:一个用于视网膜中央凹响应和一个用于外围off-pathway神经节细胞的反应: 在这 和 。在这个阶段,我们有六个新图像的像素对应于这些神经元发出一个动作电位。

2.1.5节讨论。ROI提取

这个阶段是最后一步在预处理阶段提出如下:(我)计算的熵系数从每个New_Image前面步骤中获得的(2)线性结合New_Images随着熵系数(3)种植的最终结果ROI的形象

提出了获得NewImages融合规则如下:

在这个方程,最终的图像是由结合与(我= 1,2,3)和与(j= 1,2,3)。的和系数(系数)是由熵测量,我和j对应于L, A, B通道。指定图像的纹理统计测量的随机性称为熵。在每一个图像,这一标准确定

在上面的方程中,米是最大的形象价值,值的概率是我,系数定义如下: 在哪里 代表两种途径获得的新图像的指数L, A, B通道。的熵是吗jth和的重量吗我New_Image。

这个阶段,年底Final_Image裁剪,然后喂给特征提取阶段。

总结了图像预处理的算法的步骤1。

2.2。特征提取和分类

特征提取是视觉识别的最重要的阶段之一。在这一阶段,为更好的分类判别特性在未来处理提取。在本文中,我们使用Log-Gabor函数(36)获取局部频率信息。Log-Gabor过滤器给有用的信息接受字段从简单的细胞位于V1的人类大脑。对利用图像的形状特征的多样性,银行Log-Gabor过滤器使用(三个尺度和八方向)。然后,我们使用了主成分分析(PCA)降维。获得的128 -维向量。后提取主成分分析向量不同的照片,支持向量机(SVM)是训练和作为分类器。在本文中,一个简单、线性和多类支持向量机。创建二进制分类器,和一个区别是由一个标签和其他标签(one-versus-all)。当一个新实例来分类在这种情况下,“赢者通吃”的过程就完成了。

本文利用支持向量机与线性内核因为其结构可以有效地实现在大脑皮层37]。同时,用户必须选择几个参数,不需要指定参数不同的内核。

此外,使用非线性内核进行实验。这些内核并没有显著提高该模型。因此,一个线性内核似乎是正确的选择。摘要线性Lib-SVM分类器(38使用)。

3所示。实验结果

我们建议的方法与其他先进的算法相比,在本节凸起检测和目标识别。换句话说,预处理阶段的输出解释方案被认为是一个显著的对象。然后,提取的显著对象划分为一个预定义的类(表2)。

3.1。实验装置

(1)数据集。在显著目标检测阶段(预处理单元的输出),该算法评估两个公开数据集:MSRA-B [39]和ECSSD [40),在分类阶段,加州理工学院- 101 (41使用数据库。MSRA-B有许多自然图像(所以,比较大规模的),和ECSSD(表结构复杂的图像2)。这两个数据集的地面实况手动分割。(2)实现细节。在我们的实验中,我们的计划是在MATLAB进行2013 b在戴尔成就3300年英特尔i5 M520 2.4 GHz CPU和8 GB RAM。

3.2。评价指标

在我们的实验中,一个广泛的选择指标称为F-measure使用。这种方法计算综合评估方案的性能并确定如下:

在上面的方程,定义如下的精度和召回数量。是固定提出的0.3 (42强调精度: 在哪里G上面的关系和地面真理B是突出的二进制映射对象。

3.3。绩效评估

3.3.1。显著目标检测

在本节中,该方法比较各种凸起检测方案,其中包括GC [43],MC [44],HC [45],RC [45圣(),46,科幻小说47],HS [40],RBD [48],HDCT [49],DRFI [50],GMR [51),安全域(52],MFS [53]。

在图5,最大F-measure使用调整阈值是用来比较两个基准数据集上的各种方法。根据这个数字,我们提出的方法与在两个数据库最可靠的方案。值得注意的是,ECSSD和同行的数据集,我们的方法的F-measure只有3.39%和3.79%不到最好的模型(50),分别。与其他方案相比,我们的方法是稍微比这些数据集上最好的系统。

3.3.2。对象识别

就像前面提到的3.1,我们使用了加州理工学院- 101数据库(41)来评估我们的方法的性能。这个数据库包含101个对象类和每个包含40到800张图片。考虑不同的训练图像后,我们发现实验15训练图像每个类是最好的。我们15图像用于训练,每组50个其他选择图像进行测试(图片是随机选择的)。所有的算法相比,该方法在接下来的部分中也选择他们的训练和测试图像以同样的方式。如果少于65图像可用于一个类别,我们15日训练随机图片每个类,然后检查所有未使用的图像。用于描述结果在这个数据库中,我们估计每个类别的平庸的效率。表3显示我们的每个类结果。这个表展示了前十best-classified类别利用加州理工学院- 101数据库。

从这些类典型图像如图所示6。

后图像如图6,可以说,我们的研究结果很好的平均,因为(我)这些类的图片有一个简单的背景,和ROI提取方法可以获得一个很好的代表一个对象。(2)这些类的形状是一个优秀的歧视性的特性,所以我们计划显著检测相当好。(3)在大型猫科动物等类别,刺猬,蝴蝶,我们的算法没有可接受的精度。这种观察的原因是杂乱的背景和缺乏适当的特性。相反,与自然物体的图像,应考虑附加功能,如颜色和质地。看来,通过结合不同的元素有效,我们可以适当地识别这些类别的对象。

通常,对象分为两类(自然和人为)。物理对象通常有一个凌乱的背景和不同的颜色,所以我们在认识到这些对象的方法无能为力(当然,如果背景很简单,我们的算法将相对较好)。

在下面,我们的方法和其他算法的比较表4。这种比较是完成的八个类别的加州理工学院- 101数据集。应该注意的是,对于一个公平的比较,训练和测试图片必须为所有方法是相同的。因此,上市不使用其他方案的结果(不同的算法被作者重新实现),和精度值报告使用相同的训练和测试图像算法。

该计划由伯格(54)是一种最可靠的非生物启发方法。在他的作品中,并给出了形状通过抽样几个像素位置获得的输出一个边缘发现的过程。Lazebnik et al。9)采用视觉单词的内核空间金字塔匹配尺度不变特征变换(筛选)55)描述符。HMAX [33),一个著名的建筑中提取生物启发的视觉特征,达到51.2%的准确率在使用支持向量机作为分类器(在他们的方案中,15图片用于培训)。这种模式,基于考虑视觉接受的领域中发现猴子和猫视觉皮层,为实时的目的通常是极其缓慢的。同时,研究人员在56]表明神经形态视觉物体识别结构由神经科学原理识别和人类大脑的视觉注意力。陆et al ., (57),增强HMAX模型通过修改S2层的路径选择。为此,他们使用的概念突出的地区形象。最后,Norizadeh et al。58)开发了一个增强模型HMAX基于筛选功能。这些特征是用来选择最多的地区信息。

基于示例数据的机器学习计划开发一个模型,确定为“训练数据”来做决定。根据这个定义,上述方法都使用机器学习算法。根据表4,不同的方法在不同的类可以有最好的准确性。总结了这些方法的一些规范表5。

报道在表4看来,我们的方法比其他研究工作,是2%不到斯拉模型面临的对象。可以说的新的表示图像通过使用RGCs响应可以得到一个精确的ROI的照片通过强调突出对象和去除冗余信息。

同时,MATLAB代码的一些方法,如(33),是公开的,已用于我们的比较。然而,一些计划,比如[55- - - - - -57),重新实现了作者。

应该注意的是,在本文中,我们重点是预处理阶段。目的是表明,如果完成了高精度图像预处理,最终会提高分类精度。换句话说,我们的目标是找到一种有效的浅在分类模型,该模型可以实现高精度执行精确的预处理。同时,训练数据的数量在这个问题上远小于数据用于深网络培训。例如,在加州理工学院的数据量比ImageNet要小得多。因此,我们使用了加州理工学院- 101数据集比较肤浅的网络。出于这个原因,发现没有比CNN网络。

4所示。讨论

由于该方法使用RGCs反应在人类视网膜图像演示,实现最佳的性能比其他方法在加州理工学院- 101数据集。相反,如果我们有一个适当的表示图像的识别系统的初始阶段,我们将发送的信息分类器的最后一步。在人类的视网膜,基本信息和关键数据转移到视觉皮层越少。通过使用这个想法,我们获得的新的表示原始图像与RGCs反应。

我们建议的方法包括的一些功能(我)如果图像有超过一个对象,我们的方法可以发现和消除不相关的数据从一个图像(如果背景不是太混乱)(2)在人造物体和简单的背景图像,我们的算法可以提取最重要的信息(3)简单性和鲁棒性照明和噪音是我们计划的其他优点

我们建议的方法的局限性包括(我)在我们的算法中,只有使用形状特征。集成特性可以用来获得更好的识别精度。例如,预处理步骤中可以使用的颜色特性(不同渠道的颜色(Blue-off Red-off,红色,等等)根据视觉感知的人类视网膜)或特征提取阶段(例如,颜色命名)。(2)该方法不工作相对较好,主要是在处理与拥挤的背景图片(凸ECSSD数据库对象检测的结果部分3.3。1)。原始的想法来解决这个问题是考虑不同渠道的组合在不同的颜色空间使用独特的颜色信息对象。接受这个想法取决于进一步的实验。(3)我们的方法的另一个限制是,我们不考虑闭塞的挑战。相反,我们的方法可以工作得很好,当对象是没有任何遮挡。当然,建议的算法可能适用于一些部分闭塞的图片,但如果有很多图像中遮挡,我们的计划不会有用的。(iv)使用Matlab软件实现方法。该算法的速度可以提高通过使用c++的执行或采用并行处理技术。

5。结论

在本文中,使用自然场景视觉识别方案。在这项研究中,我们关注的是图像的预处理阶段,揭示更类似于人类视网膜和最后的处理图像分类精度会更高。首先,每个原始图像在六表示激活地图,这是人类视网膜的模拟视网膜神经节细胞的反应(两个反应三个通道的小型细胞实验室颜色空间)。造型RGC的反应后,可接受阈值选择和创建一个Binary_Map通过比较RGC的响应阈值。这种二元掩模形式的新的表示原始图像。最后,通过计算每个图像的熵系数,结合,最终的图像。这张图片突出最重要的信息并删除冗余背景。

各种实验的结果提出了部分3为识别对象验证了该方法的适用性。未来的一些作品获得更好的识别精度可以提到如下:(我)使用不同的颜色通道的鼓舞人心的色彩感知人类的视网膜(2)将形状特征与纹理和颜色(3)实现粗和细分类的最后一步视觉识别系统:这种类型的分类是推测出现下颞叶皮层(IT)在人类的大脑59](iv)使用PASCAL-S和贾德考虑与复杂场景的图像数据集(v)深层网络调查提出了预处理方法(测试该方法在图像网络数据库)细粒度的分类和实现合理的结果

数据可用性

使用的数据来支持本研究的结果中包括补充信息文件和公开。

的利益冲突

作者宣称没有利益冲突。

确认

作者承认Amirkabir科技大学(德黑兰聚技术)的财务支持和加工设备的工作。

补充材料

这三个公共数据集用于支持这项研究是可用的,,。(https://mmcheng.net/msra10k/ http://www.cse.cuhk.edu.hk/∼leojia /项目/ hsaliency / dataset.html http://www.vision.caltech.edu/Image_Datasets/Caltech101/补充材料)