文摘

如今,视觉编码模型使用卷积神经网络(cnn)和杰出的表现在计算机视觉模拟人类信息处理的过程。然而,编码模型的预测性能差异基于不同的网络由不同的任务。在这里,网络任务编码模型的影响进行了研究。使用功能性磁共振成像(fMRI)数据,自然视觉刺激的特点提取使用分割网络(FCN32s)和一个分类网络(VGG16)与不同的视觉任务但类似的网络结构。然后,使用三套特性,即。,segmentation, classification, and fused features, the regularized orthogonal matching pursuit (ROMP) method is used to establish the linear mapping from features to voxel responses. The analysis results indicate that encoding models based on networks performing different tasks can effectively but differently predict stimulus-induced responses measured by fMRI. The prediction accuracy of the encoding model based on VGG is found to be significantly better than that of the model based on FCN in most voxels but similar to that of fused features. The comparative analysis demonstrates that the CNN performing the classification task is more similar to human visual processing than that performing the segmentation task.

1。介绍

复杂的神经回路在人类的大脑让我们容易理解外部视觉世界。然而,视觉区域编码视觉刺激的机制尚未阐明。因此,视觉编码的发展模型来预测体素引起的任何输入的刺激做出反应,也就是说,模拟视觉输入之间的复杂非线性关系,唤起了体素反应,引起了广泛的关注(1,2]。它可以解释如何通过神经回路(大脑处理视觉信息3]。在视觉研究基于功能磁共振成像(fMRI),线性化编码已被广泛应用于这些模型。它由一个非线性映射从视觉刺激特性和线性映射特征体素的反应(4]。非线性映射是至关重要的视觉编码可以由伽柏等各种特征提取器实现小波金字塔(GWP) [5),面向的柱状图的梯度(猪)6],局部二值模式(LBP) [7)、尺度不变特征变换(SIFT) [8),和卷积神经网络(cnn)。另一方面,线性映射通常使用线性回归模型与特定的正则化。

近年来,cnn已经广泛应用于视觉编码模型。美国有线电视新闻网(cnn),提出了基于网络结构的早期发现和视觉系统(9),可用于各种各样的计算机视觉任务,比如图像分类(10,目标识别11],和语义分割[12]。研究表明,深层网络与人类的视觉系统,可以自动学习有效的具体任务和预测功能从大型数据体素的反应来衡量fMRI多层次的方式(13]。Agrawal et al。14)首次提出一个CNN预测人类大脑活动基于低级视觉输入(像素)。Guclu和van Gerven [15,16]说明之间的相似性CNN和视觉处理机制在腹侧视觉通路,负责对象识别,和背视觉通路,负责运动知觉。这些研究表明,CNN是类似于视觉通路从低水平向高水平。温家宝et al。(17)建立了一个基于深层残留网络编码模型(DRN),它已被证明执行比浅AlexNet视频刺激。他们的研究表明,预测精度的改善是由于更好的功能表达的深层网络剩余结构。因此,在计算机视觉中,选择一个网络来获取合适的功能转换是至关重要的,这直接影响编码性能(18]。

2016年,yamin和迪卡洛19)提出了一个特别重要的挑战,这是一个模型优化分类可以更好地解释神经数据以外的任务。特别是,该深度网络执行不同的计算机视觉任务可以从相同的图像中提取不同的特征的刺激,导致编码模型的性能的变化。目前,研究基于深层网络编码模型仅限于视觉分类任务,这是不同于人类视觉系统的复杂性和多样性。

在这里,我们探讨网络任务编码的性能的影响,模型通过构建模型基于特征提取分割网络特征提取分类网络,融合的两个特点。我们使用最大的数据集数据集出版,BOLD5000 [20.)、训练和测试编码模型。我们计算之间的皮尔逊相关系数预测和实验fMRI反应比较三种编码模型的预测性能。使用结果,我们描述变更的影响在网络任务的视觉编码模型。然后,我们讨论的优点和缺点模拟人类视觉处理。

在这项研究中,我们的主要贡献如下:(1)分析当前编码方法的缺点是基于人类视觉系统的复杂性和多样性,(2)我们建议使用不同的该网络构建编码模型,和(3)分析不同的影响该网络编码的性能模型,为后续的研究提供一个可能的方向视觉编码。

2。材料和方法

2.1。实验数据

我们使用公共功能磁共振成像数据集,BOLD5000 [20.),它可以从下载https://bold5000.github.io/download.html。视觉刺激的细节和功能磁共振成像协议的其他地方讨论了数据集20.]。因此,我们只简要总结本节的数据集的详细信息。

数据集由功能磁共振成像数据收集从四个主题,三个有全套的数据。因此,我们只使用三个科目的数据。全组数据包括16核磁共振扫描会话,与15个功能会话和一个会话获得高分辨率的解剖和扩散数据。每个功能会话持续了1.5小时,包括8和9映像运行和一个额外的功能定位器运行和运行7和10形象。

刺激包括5254张图片,其中4916是独一无二的。从三个计算机视觉获得的图像数据集:场景理解(太阳)21),常见的对象上下文(可可)22],ImageNet [23]。他们downsampled 像素和∠约4.6度的视角。使用一个刺激的呈现与事件相关的设计。每次运行由37个刺激,大约从重复的图像。每个图像提出了1秒钟,后跟一个固定交叉,持续9秒。在每次运行的开始和结束,固定交叉显示了6秒,12秒,分别。功能磁共振成像数据获得使用3 T西门子Verio磁共振扫描器在卡内基梅隆大学校园32路相控阵头线圈。重复时间(TR)是2000 ms,回声时间(TE) 30毫秒,视野是212毫米,切片厚度为2毫米。

我们使用的数据覆盖五在人类视觉皮层视觉区域,即。,early visual area (EarlyVis), the lateral occipital complex (LOC), the occipital place area (OPA), the parahippocampal place area (PPA), and the retrosplenial complex (RSC). Note that different visual areas perform different visual functions. EarlyVis in this dataset goes beyond the typical V1 and V2 areas. Human visual cortex V1 is mainly responsible for the detection of local features and provides this information to the middle or even higher visual areas [24,25]。V2稍微复杂调制为定位,空间频率的颜色,对复杂形状和温和的调制(26,27]。其他四个地区属于先进的视觉区域,执行更复杂的视觉任务,比如感知的边界一个场景(28)、加工形状(29日),编码和识别环境场景(30.),和处理方案31日]。

2.2。该方法的概述

一般来说,线性化编码采用两步策略,要求两个计算模型编码体素。第一个是功能转换,这是一个非线性从输入空间映射到特征空间用特征提取器。另一个是线性回归模型,它是一个线性特征空间立体像素空间的映射。功能转换模型的参数通常是固定的,不需要进一步的训练。另一方面,线性回归模型的线性权重需要训练。在这篇文章中,我们构造CNN-based视觉编码模型,使用分类网络VGG和分割网络FCN提取输入刺激的特点。图1显示了整个过程。

5254年自然图像被随机分成一组4754图片和一群500的图片。两组图片和相应的体素的反应被认为,与一组作为训练集,另一个作为测试集。我们使用pretrained VGG16和FCN32s完成功能转换,然后使用轻松构造一个线性回归模型。我们映射两个网络的特征提取和融合特征体素反应的视觉区域学习权重系数。因此,我们获得三种编码模型基于不同CNN特性。测试集上的编码模型然后测试来获取每个体素的预测精度。在这里,我们定义了预测精度之间的皮尔逊相关系数观察到的整个测试集和预测反应。高相关系数对应一个编码模型的预测精度高,这意味着特性和体素的反应更线性相关的。

2.3。基于VGG16分层提取视觉特征

提取自然图像使用分类网络的特点,我们采用pretrained模型基于开源的VGG16深度学习框架PyTorch [32]。VGG16,这是牛津大学2014年提出的分类模型(3316),包括隐藏层(13卷积层和3层完全连接)。卷积中的每个人工神经元层对应一个特征检测器,称为特征地图,代表输入刺激的特点。每个卷积层有64,64,128,128,256,256,256,256,512,512,512,512,512,512,512,1000(类数据集)的内核。为了使梯度下降法和反向传播更有效,激活函数修正线性单元(ReLU) [341 - 15]使用人工神经元层。池层,减少冗余也可以解释为一种非线性将采样操作。最常见的池层是最大的池和平均池。VGG16架构层2、4、7、10、13采用最大池,而14和15层采用非线性变换消除正规化。的架构VGG16表所示1。

2.4。基于FCN32s分层提取视觉特征

提取自然图像使用分割网络的特点,我们采用pretrained FCN32s语义分割(11]。在这种结构中,FCN完全连接层转换成卷积层。最后一层的输出图像采样32倍获取图像,并与原始输入图像大小相同。FCN32s初始化网络的结构参数VGG16,丢弃最后分类层,并将所有完全连接层转换为卷积层;因此,它被称为一个完全卷积网络。我们使用一个 卷积的通道大小21来预测每个位置的得分(包括背景)的帕斯卡类。然后,反褶积层添加到输出的像素级向上示例输出。

FCN32包含16卷积层各有64,64,128,128,256,256,256,256,512,512,512,512,512,512,4096,4096,21(类数据集)的内核。在FCN32s架构,ReLu用于层1 - 16。层2、4、7、10、13采用最大池,而14和15层采用辍学正则化来实现非线性变换。的架构FCN32s表所示1。

FCN32s架构我们使用2017年发布的是可用的https://github.com/meetshah1995/pytorch-semseg。我们训练FCN32s 2913高分辨率图像Pascal-VOC 2012数据集的语义分割使用PyTorch [32]。每个输入图像表示为三个RGB颜色通道和通过卷积的过滤层。卷积的跨层1-13 3像素层,7层14像素,1像素层15日和21像素在16层。在培训过程中,我们采用动量和体重衰减随机梯度下降法。0.01学习速率是初始化,最后一个十字路口在联盟(借据)是0.59。我们训练有素的FCN32s分割数据集获得pretrained网络编码模型的特征提取。

2.5。培训从特征映射到基于稀疏表示的体素的反应

对应于每一层的CNN特性,可以构造一个线性模型将CNN特性映射到视觉区域的体素的反应。反应的一种体素所有训练样本,该模型可以表达的

在这里,测量了体素的反应由一个吗矩阵,训练样本的数量;CNN特性的图像由一个吗 矩阵,维度的特性和最后一列是常数向量;是要解决的权重系数由一个吗 矩阵;和是噪声项。

然而,训练样本的数量明显小于体素的数量在视觉领域。因此,方程(1)是一个不适定方程没有一个独特的解决方案。此外,在几项研究[35,36),视觉皮层使用稀疏编码刺激的表达,这意味着一个特定的刺激只会激活一些特定的视觉神经元。因此,稀疏表示可以作为有效的工具与自然图像编码信息。考虑稀疏系数 ,方程(1)转换为传统稀疏表示问题,通常被认为是一个np难问题,定义如下:

近似方程的解决方案(2),我们使用贪婪算法(37),此前的启发式局部最优选择在每个阶段的意图找到全局最优,计算相当快的稀疏信号迭代的支持(38]。考虑到编码模型必须为每个立体像素估计,我们需要运用的方法应该足够快和简单的减少时间成本。因此,我们使用贪婪算法的稀疏编码模型,特别是闹剧算法。

玩耍是一个迭代拟合技术,减少模式匹配和数据之间的差异(39,40]。具体计算过程见算法1。

每一层的功能FCN32和VGG16训练集映射到立体像素空间的闹剧,和重量系数。在这里,最后一个非零项的系数是100。然后,测试集的预测体素的反应是通过每一层的权重系数。我们比较之间的相关性预测和测量体素反应的反应。基于相关系数,预测精度最高的被选为每个体素;即功能层最高的相关性是为每个体素作为最好的功能层。线性映射的体素的反应的最佳功能层添加到获得voxel-wise编码模型。

2.6。基于融合的特性组合编码模型

适合人类视觉机制的多样性,我们融合了一些图像特征提取分类和分割网络和建立了一个基于融合特征编码模型。首先,我们使用的闹剧算法构造一个线性映射的体素反应所有的图像特征提取FCN32s和VGG16获得的训练集和测试集上的预测图像特性。为特定的某层CNN一维特性,该模型可以表达的

在这里,CNN特性的图像由一个吗矩阵,训练样本的数量;测量了体素的反应由一个吗 矩阵,是像素点的数量,最后一列是常数向量;是要解决的权重系数由吗 矩阵;和是噪声项。

减少无效的影响特性,我们计算预测和实际图像特征之间的相关系数。根据排名的相关系数从大到小排序,第一个10%的相应图像特征维度(包括图像特征提取的一部分FCN32s和VGG16)选择在每一层。

视觉编码进行了特征选择后,根据培训中提到的方法从功能映射到基于稀疏表示的体素的反应。选择维度的特征提取的训练集和线性映射到的体素反应的闹剧。然后,不同功能层的基础上预测了体素的反应(包括图像特征提取FCN32s和VGG16)是通过使用获得的权重计算。对于每个体素,预测精度最高的特性被选为最佳的功能层,和voxel-wise视觉编码模型成立。

2.7。量化的标准

我们定义了体素的预测精度之间的皮尔逊相关系数来衡量和预测的反应在所有测试集的500张图片:

在方程(4),代表了预测体素反应,在测试集代表了测量体素的反应,和代表它们之间的相关系数,即。编码的准确性。

检查是否每个体素的预测精度值明显偏离零假设,我们随机打乱的实测值和预测值的配对反应在500个图像测试集1000次,在每一个随机样本重新计算了体素的预测。这个计算建造了一个零假设为每个立体像素分布。对于所有体素,预测精度值高于0.13是重要的( )相对于其零假设分布。

检查模型优势的意义,也就是说,像素点的数量,可以预测的模型,大大超过其他,我们随机排列(概率50%)每个体素的两种模型的预测精度比较,然后计算每个模型的优势(压的百分比最高的预测精度)。在这篇文章中,我们重复排列的1000倍,和零假设分布。从零假设分布,得出的结论是,对于任何两个模型,该模型可以准确预测超过53%的体素的反应明显比其他模型( )。

3所示。结果

3.1。预测精度的比较

3.1.1。比较VGG16-Based和FCN32-Based编码模型

评估不同网络的编码功能根据不同的训练任务,我们计算像素点的预测精度5 roi模型:基于两个编码分类网络和网络分割。我们使用一个散点图比较两个模型的准确性并分析其性能。每个情节都代表一个五roi的体素。每个点的纵坐标代表编码FCN32s模型的精度最高,而横坐标代表编码VGG16模型的精度最高。这里,意义相关阈值预测是0.13 ( )。结果表明,基于VGG16编码模型的预测精度优于基于FCN32s编码模型。图2显示结果为1,而主题提出了2和3的结果数据3和4。

VGG16-based模型FCN32-based模型相比有明显优势的五个视觉区域( )。结果表明,基于分类编码性能的网络特性明显优于基于分割的网络特性,这意味着不同的网络任务会影响编码的性能模型。然而,一些体素FCN32-based模型有更好的预测精度比VGG16-based模型,这意味着仍有不一致之间的分类或分割网络和人类大脑的视觉编码机制。

3.1.2。对比VGG16-Based、FCN32-Based和融合特征编码模型

探索之间的关系分割特征和分类特征在视觉编码,即。,the intersection and union of classification and segmentation tasks in the human visual system, we compared the prediction performance of the encoding model based on fused features with that of the VGG16-based and FCN32-based encoding models. The results shown in Figure5是用来比较三个模型的准确性并分析其性能。

符合课题2和课题3的结果数据6和7,融合基于特征编码模型的预测性能明显优于FCN32-based编码模型( ),虽然从VGG16-based编码的模型略有不同。在某种程度上,这表明熔融特性可以显著提高编码模型的预测性能与分割的特性,但与分类特性的影响不大。换句话说,在这个过程中人类视觉系统感知的外部刺激,分类任务执行的视觉区域涵盖了大部分的分割任务;,在完成的过程中外部的分类对象,对象的分割是基本完成,这意味着人们可以识别分类,大小和位置的对象几乎在同一时间当他们看到一幅画。

3.2。特征量和预测精度之间的关系

我们比较和分析的影响特征编码的性能方面的数量1,如图8。结果问题2和3所示的数据9和10。结果表明,太少或太多的特性可以编码模型的性能产生负面影响。特别是,少量的特性导致缺乏有效的信息,虽然大量的特性导致有效信息的冗余。

3.3。每个CNN层预测性能的贡献

进一步比较不同网络的编码差异基于不同的训练任务特征模型和验证层次相似性cnn和人类视觉系统,我们分析了两个cnn的最佳编码功能层。以细节为体素不同的roi,我们统计的哪一层来自CNN的最佳编码层。图11显示了每一层的贡献的两个在不同的视觉区域特性模型体素的反应。和主题的结果2和3所示的数据12和13。的数据,很明显,初级视觉区域的体素的反应可以更好的预测的特性在低层无论网络的任务。对于其他四个高级视觉领域,功能更高级的层次可以更好地预测体素的反应(Mann-Kendall方法, )。

本研究验证了层次相似性cnn和人类视觉系统。这也证实了人类视觉系统和cnn同样以分层的方式处理视觉信息(15,16]。具体地说,在人类大脑的视觉信息处理途径,初级视觉领域过程相对简单的信息,如边缘和形状,和先进的视觉区域过程更加复杂的视觉特征,如语义和色彩。这是类似在cnn低层处理简单的特点和深层处理更复杂的功能。

4所示。讨论

4.1。基于分类编码模型网络(VGG16)具有更好的预测性能

从获得的预测精度,我们发现基于分类编码模型网络优于基于网络分割。与此同时,基于融合特征编码模型的预测性能明显优于基于分割和模型的几乎一样的基于分类模型。

我们的结果表明,基于不同的计算机视觉任务可以影响不同的网络编码的性能模型。我们也可以推断出,在某种程度上,视觉分类任务可以更好地适应人类视觉信息处理比视觉分割任务,人类的大脑已经完成对象的分割过程中完成视觉分类任务。这是一致的发现大卫•h•胡伯和威塞尔1981年诺贝尔奖得主,视觉系统的信息处理层次在视觉区域和大脑的工作过程是迭代和抽象(41]。经视网膜获取原始信息,视觉区域V1首先过程特征相关的边缘和方向。然后,视觉区域V2过程特性与轮廓和形状有关。最后,更高的视觉区域执行更细化分类通过迭代更高级的抽象。因此,人类视觉系统已经实现了大部分的分割任务在外部刺激信息处理实现的分类。这个过程是嵌入在我们的大脑,几乎瞬间发生。

从的角度自然进化,原始人类只需要确定一个物体在视野威胁他们避免风险。这意味着对象只需要分类不需要特定的细分。

从实验的角度,受试者执行任务的好恶来判断输入的刺激,而不涉及具体的视觉分割。这可能限制会影响编码的性能。不过,我们可以推断出在人类的情况下执行默认的视觉任务,视觉系统为主的分类对象。另一方面,当执行特定的视觉任务,如视觉注意力的任务,人类可能提供更多的优先对象分割。

4.2。关系在人类视觉系统分类和分割任务

基于分类和视觉编码模型分割该网络有优点在预测体素反应,这表明不能完全模拟人类视觉系统在一定该网络和执行各种视觉信息处理期间和复杂的视觉任务。我们发现,基于分类编码模型的预测性能特性明显优于基于模型的分割特征;因此,CNN执行分类任务更类似于人类的视觉系统。基于融合特征编码模型,基于分类特性几乎相同的性能,这表明分类任务类似于大多数细分任务。换句话说,在视觉处理过程中,人类的大脑完成的大部分视觉分割当视觉刺激是机密的。

4.3。这三个模型的预测精度不高

从编码的角度效率,Guclu和van Gerven [16)采用运动识别网络预测体素反应了背侧神经。此外,最近的一项研究调查的影响不同的深层网络计算机视觉任务执行视觉编码(19]。这表明对编码效率的研究开始获得该领域的吸引力。

在这项研究中,我们使用BOLD5000数据集,这是最大的公开发表的数据集。然而,获得三个编码模型的预测精度并不是特别高,这可能与刺激的多样性的数据集和没有限制在实验中受试者的景点。应该强调,受试者只判断他们是否喜欢或不喜欢的输入图像在实验。因此,这种限制在任务可能影响编码的性能。此外,它是未知是否基于分割网络编码模型的性能会提高如果受试者进行了相应的视觉分割任务。这需要解决在未来的工作中,突出它的重要性和相关性。

5。结论

总之,我们的影响进行了探讨不同网络基于不同的任务编码模型。我们发现基于融合特征编码模型的性能明显优于基于分割的模型几乎是一样的,基于模型的分类。这表明执行分类的CNN的任务是更类似于人类的视觉系统,细分的、最刺激的视觉系统完成的过程对象分类。然而,我们还发现,基于分割编码模型有更好的预测性能在一些体素,这也进一步说明了人类视觉机制的复杂性和多样性。在未来,我们将考虑更多类型的网络,执行不同的计算机视觉任务,目标检测和目标识别等,旨在不仅改善预测性能也更好地实现人类视觉的机制。这里,我们展示了一个有价值的方式,开发一个计算神经科学模型从计算机视觉的角度。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

工作是国家重点支持的研究和发展计划,中国在2017年格兰特yfb1002502和中国国家自然科学基金(No.61701089)。