文摘
相关的实质性的信息对人类大脑条件可以通过各种非侵入性评估技术解码功能磁共振成像。探索人类大脑的神经活动可以透露一个人的思想主题的感知,思考,或可视化。此外,深度学习技术可用于解码大脑的多方面的模式在应对外界刺激。现有技术能够探索和人类主体的思想被分类的功能磁共振成像数据。功能磁共振成像图像的容积成像扫描高度尺寸以及需要大量的时间训练当美联储在深入学习网络作为输入。然而,麻烦更高效的学习高度维高级功能的训练时间和准确解释大脑的体素减少误分类错误是必要的。在这个研究中,我们提出一种改进的CNN技术特性将功能一致。最优特征降维后将被选中。高维度特征向量将转化为低维空间降维通过autoadjusted重量和最佳活化功能的组合。此外,我们解决问题的训练时间增加了使用时髦的激活函数,使其密度和提高效率的模型训练时间少。 Finally, the experimental results are evaluated and compared with other classifiers which demonstrated the supremacy of the proposed model in terms of accuracy.
1。介绍
最先进的成像技术,能够捕捉功能的一部分大脑功能磁共振成像(1]。然而,基于任务的功能磁共振成像实践大胆而不是大脑的神经功能的地图。大脑中的脱氧血红蛋白浓度所在磁场。大胆的功能性磁共振成像(fMRI)显示了脱氧血红蛋白的浓度变化引起的神经元代谢的调节活动所致,或者自发性(2]。自激活的大脑区域需要含氧血液以提供大量的能源神经元,有力的功能磁共振成像技术可以区分这两个领域或nonvigorous大脑认知控制之下。在任务型功能性磁共振成像扫描,扫描期间健康参与者执行不同的静息状态的任务(3]。
练习目标分类的功能磁共振成像数据分析方法是开发高效的模型能够预测大脑刺激的响应针对基于任务的功能磁共振成像实验。这些模型意味着大脑的反应对人类参与者执行的认知任务。大脑的认知活动是大脑参与的建设模式在应对外部刺激。本研究的目的是完成综合性的大脑解释通过使用预测神经网络模型(4]。
各种机器学习和深度学习模型用于分析的功能磁共振成像数据和预测认知状态的大脑。各种统计模型是用于机器学习来提取大脑的高度空间特性。在深入学习、高度维图像数据转换成低维子空间向量提取特征。最常用的深度上优于卷积神经网络架构分析fMRI数据(5]。CNN是从头开始使用的设计从一开始就利用权重的初始化以及一个与参数优化器的有效性。
本研究的目的是专注于深度上优于模型对功能磁共振成像数据进行分类。在文献中,已经提出的各种CNN方法解码大脑活动。从文学,可以看出统计模型(6),传统的机器学习模型像事例7小数据集[],SVM表现良好8),成功提取感兴趣的区域,但实验或的功能磁共振成像扫描数量增加时,收到的数据量的fMRI成像综合性变得相对较大导致模型过度拟合,增加了分类错误。甚至现有深度学习模型像VAE (9,10],转移学习技术,LSTM [11),和重建fc7层(12)需要更多的训练时间,增加计算成本。因此,要克服这一点,我们将使用密度卷积神经网络训练的高级特性。为了训练模型在更短的时间,我们将使用密集连接CNN将提取的特征具有非常强大的学习能力,增加速度和减少训练时间。
我们研究各种类型的深度学习模型对高度dimensional-based fMRI数据进行分类。文学中标识来解决这个问题,我们提出了一种改进的3 d CNN-based模型分类fMRI数据包括最好的激活函数的组合称为漂亮(13]随着ReLu [14在前几层将高维度数据转换成低维子空间和从CNN模型提取高级特性。该方法(15)首先将原始输入数据输入提出CNN模型特征提取。在第一层,各种过滤器应用于特征图谱因此减少了特征尺寸。使用各种hyperparameters卷积层,以避免数据丢失。时髦的激活函数然后申请降维后的每一层。后来,ReLu激活函数是应用之前,将特征图转换为一维完全连接层。双曲正切激活函数应用于每一个完全连接层来减少错误。autoadjusted权重。使用Softmax分类器进行分类。
该模型使用一个三维图像从一个脑成像实验获得的由人类连接体计划(HCP) (16]。对模型的性能进行了测试等各种性能矩阵F1得分,准确度和精确度。培训时间、培训和确认损失也计算在这个研究来检验模型的性能。三个基准模型相比,该模型对影像数据进行分类。
剩下的纸是组织如下。部分2讨论相关工作。部分3提出改进的3 d CNN架构细节,并评估实验4。节5,产生的结果进行了讨论,和本文的结论部分6。
2。相关工作
机器学习的主要目的是找到最优参数的函数。两种方法都是用来制造功能磁共振成像图像的特征选择。第一种方法叫做单变量分析,第二种方法叫做multi-voxel-based特征选择或MVPA [17]。单变量分析是统计分析方法(18]包括只有一个变量而multi-voxel-based模式分析涉及多个变量或体素,以识别模式中观察到的条件。我们所做的与MVPA-based技术评审的论文MVPA-based后的最近的研究特征选择方法而单变量特征选择不喜欢最近的研究由于其限制在只有一个立体像素做分析。
徐et al。19)关注univariate-based分析提取特征体素水平和投资回报水平的大脑。许等人使用两种方法来提取特征找出更好的特征选择方法从不同的人类参与者通过使用不同的特征提取。这两种方法提取的特征是方差分析之后,肯德尔的系数。使用了一种叫做SSOMs (20.功能磁共振成像数据的分类。这种技术能提供更好的结果相比,传统的机器学习模型 - - - - - -最近的邻居。然而,随着数据的增加,SSOMs被SVM表现。为了处理高度尺寸样品,不同的降维技术已经被应用。基本类型的降维技术应用功能磁共振成像数据被称为“因素模型”(21]。在现有的文献中,我们看到了各种技术像PCA (22];ICA (23)已经应用于功能磁共振成像预处理后图像。另一个名为切片的降维方法逆减少涂等。提出了24]。脑成像是各种因素的困难是非常相关的。另一个问题是,样本很小的总数和很少的采购时间。L1和L2回归(25)是用于解决高协方差的问题在不同的稀疏的回归变量的方法。新奇是解决这一问题的稀疏脑成像检索技术通过消除noninformative地区。根据Yargholi Hossein-Zadeh [26],解码研究的关键问题是解码分类,但是有考虑不足,努力改善的问题恢复(解码)的刺激功能磁共振成像的图像记录,特别是自然图像。另一项研究[27)关注第一个贡献现代映射系统的基于分解和缝合连接体块。第二个贡献是证明这种结构分解街区将促进驯良的链接恢复与深刻的学习。
根据最近的研究,CNN和深度学习发挥了重要作用在大脑解码。大多数以前的研究使用分布分类方法,然后应用CNN模型解码模式(28,29日]。
预处理应用来减少噪声、信噪比、头部运动,和各种假阳性压影响的准确性分数。最常用的分类器的分类数据集被Softmax深度学习方法(30.)和支持向量机的机器学习方法。基于机器学习模型的预处理数据规范化使用的意思是,基于交叉验证,和标准偏差而深学习方法使用验证和测试集和训练模型在不同的时代。
3所示。改进3 d CNN架构
3 d的大脑图像3解剖飞机日冕,矢状,轴向飞机的 , ,和轴,分别。该模型旨在减少训练时间与能力消除模型过度拟合验证错误减少。模型中,功能磁共振成像数据收集从人类连接体项目数据存储库。第一数据集预处理去除噪声引起的人类头部动作。HCP [31日]数据集是一个静息状态功能磁共振成像数据,功能磁共振成像扫描在健康人体受试者在执行任务。HCP数据的空间和时间分辨率非常高。扫描包括人类被试执行不同的任务,如赌博、电机、语言、社会认知、关系处理,与内存相关的任务,工作和任务相关的情感处理。数据集空间平滑,其次是时间正常化和带通滤波。3 d CNN模型如图1。
预处理后,提出了卷积神经网络模型用于特征提取。九个不同的模型使用一个特性映射过滤器与步幅和填充hyperparameters减少特征尺寸。时髦的激活函数应用于特征映射。应用降维,最大池后每一个卷积。减少训练时间,后辍学层使用每一个功能映射随后批正常化。减少了特征尺寸在三个特征图其次是时髦的,马克斯•池和辍学层。最后,所有特征图转换成一维完全连接层。深层神经网络应用与熵最小化错误。在最后一层,“Softmax”分类模型应用于图像分类成正确的标签。该模型是70%的功能磁共振成像数据训练。 Later on, the training model is applied to validate the testing data. The classifier is evaluated in terms of accuracy, error estimation, and efficiency in the training phase. Finally, the confusion matrix is used to identify the model’s classification performance and identify whether the model has correctly identified all seven classes on the fMRI HCP dataset. The comparison of Softmax is made with the SVM classifier to identify which classifier provides better accuracy. The detailed description of the proposed decoding model shown in Figure2下面给出。
3.1。输入层
卷积层堆栈用于CNN模型。多维核磁共振成像图像转换为二维图像张量hyperparameters批量大小,行,列和渠道。分析初始表征在大脑解码性能的影响,三种不同的输入表示被送入深架构。获得3 d图像是大脑切片叠加,形成体积。在分析过程中,和在每个扫描体素等于片的总数。图像的空间维度的格式 毫米。一些图像旋转和空间维度。这并不涉及任何图像的失真。大脑的每个片包含一个大脑的不同区域的功能磁共振成像扫描的扫描整个大脑多个切片的形式。
3.2。卷积的层
首先层在卷积神经网络层原始输入图像放置的位置与一系列的过滤器。这一层负责将各种过滤器应用于提取重要特征。图像的点积是滤波器通过滑动滤波器在图像的每个像素。过滤器的大小对输入图像被认为是(mxm)。最终的输出点提取的产品在功能上放置地图。特性映射给信息边缘,角落,重要的功能也称为体素从图像中提取。特征映射进其他层提取其他特性。
深度扩展给出方程(1)是最常见的技术尺度卷积神经网络。增加网络的深度,增加更多的层,减少网络的深度,而运算是移除的层。深度扩展的原因是如此重要是因为越来越密集的卷积神经网络是最复杂和更丰富的功能模型可以提取。特别在功能磁共振成像,可以提炼出一个更复杂的体素模型的密度时,虽然有时候增加网络的密度导致梯度消失的问题:
宽度扩展背后的目的是有效地训练模型。宽度比例保持模型小导致减少训练时间。宽度扩展的优势是它在短时间内提取细粒度特性导致更多的准确性训练时间少。需要注意的是,一个更广泛的网络密度较低饱和更快的准确性,所以宽度与密度是用于稳定性能模型的训练时间少。宽度比例计算使用
3.3。汇聚层
它是一种常见的实践使用池层后卷积层。汇聚层的基本目的是减少的总大小卷积层的特征图卷积。这一步很重要,为了最小化计算能力。执行的步骤是通过减少层连接每个特征图的独立操作。各种类型的池操作。这取决于场景对于池层使用。两个常用的池操作是马克斯池和平均池。马克斯池包括最高元素的提取的特征映射而平均池包括提取特征映射的平均值平均是从所有元素中提取的。池层基本上是作为一座桥连接的两层卷积层和完全连接层。时髦的激活函数和ReLu将用于汇聚层。 Swish mathematical representation is given in
3.4。完全连接层
完全连接(FC)层是由神经元和重量偏差紧随其后。这一层是用来连接两层之间的神经元。这些层的神经元是CNN的最后几层模型。FC层基本上是将输入矩阵转化为一个一维向量。然后,它作为人工神经网络的隐藏层负责执行前的最后一个计算输入图像的分类。这个词使用压扁在被送入FC层。FC层经过更多的计算误差计算和分类过程开始前体重的变化。
3.5。输出层
CNN输出层是最后一层模型进行分类。软件激活函数主要用于发现的概率接近图像的类标签。
3.6。Softmax分类器
Softmax是最常用的激活函数为CNN的分类模型。它使一个类的概率接近图像的标签。它用于规范化在0和1之间的值,然后,它给最终的输出概率的形式通过除以和导致特定类的输出。Softmax只是用于分类的输出层。Softmax中提到的数学表示
4所示。实验
4.1。实验装置
HCP [31日),设置包含实验下的不同的人类参与者从10到1200人。在这项研究中使用的数据集包含HCP实验参与者共有45人与完美的身心健康状况。每个主题都有1小时之间的会话与6分钟休息的会话。每个主题的位置是懒散的。实验的房间是黑暗的。在实验的模特的眼睛都是开着的。每个主题执行六个不同的物理和认知任务。功能磁共振成像实验类型是静息状态功能磁共振成像也叫rsfMRI。在这个实验中,我们使用一个英特尔酷睿i7电脑64 GB RAM和GeForce GTX 660 2 GB的GPU。用于实现该模型的语言是使用Keras 1.2.2和TensorFlow 1.15.0。 The imaging data is reshaped using Nibabel’s built-in functions. The experimental setup statistics is given in Table1。
4.2。数据采集
在这项研究中,我们使用了HCP数据集来理解该模型的有效性和准确性HCP数据集上的分类结果。HCP数据集包括结构的MRI和rsfMRI称为静息状态功能磁共振成像图像。在这项研究中,只使用静息状态功能磁共振成像数据,执行一组任务的参与者。rsfMRI由46个健康人类参与本研究的范围。由于计算能力有限,47个人类受试者的预处理图像采集训练我们的深度学习模型。通过各个步骤的功能磁共振成像图像的预处理是彻底解释说在接下来的部分。
在这个实验中,人类的参与者在一个完全健康的状态。每个参与者接触到不同类型的刺激。总的来说,七种不同的任务是由所有参与者。七种不同类型的刺激/任务命名为工作记忆也被称为WM,赌博也称为GB,电动机的任务也被称为太,社会认知也称为SC,关系处理也称为RP和情绪处理也称为EP。总共约1940从每个人获得的功能磁共振成像图像参与者执行这七个类型的任务或刺激。每个任务的功能磁共振成像数据聚集在只有一个运行。重要的是要注意,收集的数据来自所有受试者执行所有七个任务。总共有超过180000 +图像获得的实验研究。从HCP收集的样本数据集每样本有150000个像素点。体素在神经影像数据就像一个像素在一个图像。 In order to feed preprocessed input data, the region of interest based on voxels are already highlighted through the FSL software package in the preprocessed HCP dataset. A single voxel time series is portrayed in Figure3。
4.3。预处理
获得的图像已经预处理,去除噪声和其他不必要的失调的图像。第一步是调整。在fMRI扫描,是常见的人类主体将他的头。常数在fMRI扫描头运动导致噪音和大脑发出错误的信号,这样的大脑区域得到强调由于血流增加。因此,重要的是要调整图像减少头部运动。所以,每个功能磁共振成像三维图像重新另一个参考图像在采集的时候。这导致减少头部运动的效果。
4.4。特征提取
CNN是从头开始使用的设计从一开始就利用权重的初始化。亚当优化器是用于参数的有效性 和 。亚当优化器(32梯度下降法)是一种技术用于优化为了训练深度学习模型。由于内存限制相关,批量的大小是32。0.001学习设置为初始学习速率。LR的衰变是10 10时代后每次验证损失增加。时髦的激活函数卷积后使用每一个最小化由于反向传播梯度消失。为了克服过度拟合问题的数据,模型的训练是停止损失函数时减少到最低。训练集的验证包括交叉验证的方法。5倍交叉验证用于验证数据训练集。
正如上一节中提到的,数据分为三组(33]。三集培训、验证和测试数据集。这种推广方法防止模型过度拟合,也将有助于有效地评估模型。我们使用训练数据来训练我们的CNN模型,验证设置用于选择最优hyperparameter,和测试集是用来评估模型。测试组(20%),其次是训练集(70%),其次是10%的验证集。二次抽样的图片也做。所有三个数据集的样本的五倍。
深度学习有很多优点;深度学习的最重要的好处之一就是它的可重用性(34]。传统的机器学习方法在特征提取手动表现深度学习模型的精度和效率。最重要的优势提出了CNN的方法也类似任务的可重用性,模型的训练和测试验证数据集(35]。一旦模型训练多个时代或迭代,然后测试模型测试数据的图像是完全不同的图像模型的训练。学习方法的有效转移在网店CNN模型是提高模型在训练的效率。基本工作流程的方法相比是相当类似的训练时间。唯一的区别是每个卷积层后,激活函数应用是漂亮的和最终的输出层未经训练的。
提出的模型对大脑状态注释由六个回旋的层。这些卷积层图形过滤器。总共32个过滤器用于每个卷积层。完全连接层中使用这个模型是两个都压扁后用于分类阶段。垫格式的模型需要HCP预处理的数据作为输入。输入数据时,美联储卷积神经网络模型之间的信息传播的大脑区域连接。这个模型生成的训练来生成图形表示的分类标签预测紧随其后。模型训练30日时代。模型的批量大小设置为10。0.001使用的学习速率。 The model after gaining better accuracy results is then evaluated on the testing dataset separately. After achieving high accuracy on the training model and validating through the validation dataset, the model is then evaluated on the testing dataset. L2 regularization with dropout is also used to decrease the training time. The L2 regularization value used is 0.0005, and the rate of dropout which is 0.5 was applied on all layers. The model is trained for 1000 participants. The motor task and memory task were done on diverse time windows. The fMRI volumes were 5 which were taken as input. The motor task had 10 windows whereas the memory task had 20 windows. The wrapping method was applied for task events. The layers were fine-tuned from random initialization.
4.5。分类
CNN的初始层负责特征提取。在下一阶段,提取的特征被夷为平地的一维矩阵。1 d矩阵的参数通过密集的隐藏层减少。CNN的层用于多级分类的功能磁共振成像数据进行分类。激活函数“Softmax”作为分类器。Softmax给每个功能磁共振成像图像的分类得分的概率。
4.6。评价
在这一阶段,首先,模型训练数据进行分类由70%剩下的30%的测试功能磁共振成像实例。其次,测试实例的分类结果评估的评估措施。利用这些性能指标比较分析各种分类器提出大脑解码模型。以下部分简要叙述准确性的评价措施,误分类误差,精度,F1的分数。方程(5),(6),(7)和(8)的数学表示的准确性,误分类率、精度和F1得分,分别为:
5。结果与讨论
5.1。HCP数据集的分类结果
的成绩分析显示在所有的任务分类器的性能。每个任务的准确性分数表中提到的2。
10倍的平均跨交叉验证测试精度达到91%与20%的随机的机会。
激活函数的使用之后,域特性转移提供了7%的涨幅。微调卷积层没有额外的改进和不影响训练时间。直接准确解码任务是通过使用基本实现高效的网络模型。97.5%的准确性得到解码模型时产生。表3显示了摘要HCP任务运行的细节。
这也代表了高稳定性的运动任务。微调能够学习的具体特性,但这种方法可能不适合当数据集的大小却降低了,因为这可能会导致过度拟合的问题。一些不同的模式被认为在WM任务。
起初,上显示的普遍性HCP参与者很低的准确性达30%,后跟一个机会水平低12.5%。然而,高可变性在WM和行为的任务。随机初始化解码模型给了41%的结果。功能当转移给精度提高了5%。随机初始化方法是用于功能转移。这些结果表明,WM有强烈学习表示效果。数据4和5显示WM任务关联矩阵。
后验证的主要hyperparameters内核 ,模型记录在前一节中提到的高精度。 。模型不收敛通道达到的价值 。这个频道是减少到10世纪。简而言之,CNN模型评估主要关注6刺激。十年代时间窗口使用fMRI系列。平均测试精度为88%。机会水平稍微不同的4.7%左右。总结了六个脑领域的混淆矩阵。精度回忆对每个域以外的情感大于80%。根据给出的混淆矩阵表4,混乱是由于两个任务:赌博和WM。
上一节中提到的,汽车任务之后,语言任务很容易识别。语言任务包括故事和数学任务而机动任务包括动作的右手和左手的舌头和左右脚紧随其后。分数达到95%的语言任务而实现了94%的平均运动任务。精度最低的是通过关系任务紧随其后的是工作记忆任务。关系处理任务取得了81%的F1得分的平均值83% F1得分是所获得的工作记忆任务。一些误分类也观察到在WM、关系和情感的任务。F1的整体总结分数在不同HCP任务表5。
验证和训练精度实现不同任务之间看起来如图6。损失函数和预测精度精度最高的任务之后,最低的损失函数和预测准确性准确性任务八世。
6。结论
像cnn和弗吉尼亚州的大脑解码模型用于特征提取的大脑图像。这是一个很好的方法cnn执行比其他现有的深度学习模型由于效率高,提取特征,然后使用分类器分类图像。CNN模型提供更好的准确性训练图像时,但包括一些主要的局限性。利用CNN模型的主要问题是梯度消失的问题当传播图像。同样,大型数据集常常导致梯度爆炸问题在模型训练。这个问题是紧随其后的是增加计算能力CNNs-based深度学习模型是训练有素的gpu。各种研究人员提出的技术训练模型的CPU,但这种方法有其局限性。训练模型GPU计算成本较低是另一个挑战。同样,基于gpu的模型需要更多的训练时间但给出更好的精度的结果。所以,不同的研究人员提出了一个模型,增加密度可以给更好的准确性和提高模型的性能。 Increasing the model’s density increases the accuracy, but it also increases the training time and computation. So, the proposed CNN model was implemented where the images are trained by the combination of the best activation functions. The Swish activation function overcomes the problem of vanishing gradients. Moreover, Swish activation plays an important role in reducing the computation and training time of the model. After the extraction of the features, the images were flattened to a one-dimensional matrix where the multiple hidden layers reduced the parameters and extracted the optimal features and predicted the classification results based on the extracted features using the “Softmax” classifier. Furthermore, the reliability of the proposed method was validated using the validation dataset during training followed by the testing dataset after the model training. In addition, the best-evaluated classifier followed by the existing machine learning approach was compared with the proposed model to validate the efficiency of the model. For the HCP dataset, the proposed model gave impressive results in terms of accuracy, efficiency, and specificity. The analysis of the model was also conducted in order to demonstrate the usefulness of the brain imaging analysis and feature extraction followed by classification of the model.
数据可用性
数据用于准备这项工作从MGH-USC获得人类连接体项目(HCP)数据库(https://ida.loni.usc.edu)。
的利益冲突
作者宣称没有利益冲突。