文摘

的深度和复杂性的提高卷积神经网络参数维数和体积的计算大大限制了它的应用。SqueezeNet网络结构的基础上,本研究引入了一个块卷积并使用通道块之间的洗牌缓解拥堵的信息。该方法旨在减少参数的维数在一个原始的网络结构,提高网络运行的效率。验证ORL数据库的性能表明,分类精度和收敛效率不降低甚至略有提高网络参数时减少,支持结构块卷积轻量级的有效性。此外,使用经典CIFAR-10数据集,这个网络减少参数维度而加速计算处理,具有优良的收敛稳定性和效率当网络精度只减少了1.3%。

1。介绍

在5 g时代,随着新兴技术的发展物联网、大数据等,在智能终端相关的应用程序变得越来越普遍。作为对这些智能应用程序的支持,人脑计算机接口(BCI)技术在智能识别中扮演着重要的角色,分类,和计算。我们的工作主要集中在图像和视频的智能识别,这是生活中不可或缺的智能应用程序。

自2006年出版的辛顿研究[1),深度学习算法迅速发展。基于传统的人工神经网络(ANN)和现代计算机的处理能力,它在图像处理方面取得了举世瞩目的成就,语音识别,和场景分析。复杂问题的处理能力和算法性能大大提高,它吸引了来自学术界和工业界的广泛关注。深度学习的理念可以概括为无监督学习从下到上从上到下和参数调整。其调整过程是基于传统的BP算法。典型的深度学习算法模型主要包括编码器,深层信念网络(DBN),和卷积神经网络。

安的发展可以追溯到1940年代,及其开发过程大致分为三个阶段。第一阶段提交的神经元模型和学习规则从1947年至1969年,如感知器,”赫学习规则,二进制神经元模型(MP模型),等。第二个阶段是HNN Hopfield神经网络模型引入了教授在1982年通过引入能量函数的概念。第三阶段是典型的反向传播算法Rumelhart教授在1986年提出的。这个算法是现在被称为BP算法(2]。一个典型的三层ANN模型如图1。

深度学习框架的好处之一,图像识别,他们不需要传统的分类算法。它需要大量人工处理的图像特征。

这是一个自适应算法。通过多层卷积和非线性激活函数,该算法分类和退化图像特征通过延时3]。迁移不变性的特点,尺度不变性,辐射亮度图像。整个CNN模型从卷积的一层开始。卷积层是一系列特性的滤波器对(滤波器组),其中包含多个卷积核,地图输出特性。然后,是线性卷积结果修改;使用RELU [4)功能。卷积后,池层通常是补充道。一般来说,有一个意味着池层和最大池层压缩图像。

许多经典的深度学习网络架构开发了基于ILSVRC平台,如AlexNet [5],ZFNet [6],VGGNet [7],GoogleNet [8),ResNet。VGGNet是一种改进的框架基于1000 -类图像分类和定位模型使用image-Net模型。由于神经网络的特点,为了获得精度高,现有管道倾向于他们的网络的深度和复杂性不断增加。内部参数和非线性映射的数量往往是巨大的,这使得竞争和数据网络结构表现良好的倒影。然而,真实世界的应用程序往往受制于存储空间,计算能力和计算速度的终端。例如,在自动驾驶等实际应用,人脸识别在移动电话、视频分类,等等,学习结果往往要求以毫秒为单位。此外,这些设备处理器性能往往是有限的,没有之前在实验室里训练。因此,CNN的实用性可能是有限的。

两条线的工作提出了深度学习网络适用于日常生活。一是改善硬件。另一种方法是提高移动终端的计算能力和改善网络结构,目标以减少训练时间和所需的数据而不影响精度。硬件的发展速度相对缓慢,远远落后于它的更新迭代速度和网络结构的演变所必需的。因此,减少传统网络框架的计算参数和计算复杂度获得了最多的研究深度学习的兴趣。

2。相关的工作

自从发现电极可以用来收集从下皮层脑电图信号在1930年代,研究脑电图信号提供了实验相关工具来解码神经基质研究对象的思想和情感。与模式识别算法的快速发展,网络,和深度学习框架,研究脑机接口(BCI)系统是全面展开。

BCI system-evoked潜在的收集方法包括nonimplantable脑电图(EEG) (7),植入脑电图(EcoG) [8],功能性磁共振成像(功能性磁共振成像)9]。收购nonimplantable大脑皮层脑电图信号不会造成损害。方便,简单,和低成本的方法,它已广泛应用领域的脑机接口系统的研究。

五层CNN AlexNet及其优化网络如ZF, VGG, GoogleNet ResNet, DenseNet。他们的表现逐渐改善,但参数的数量也在增加。参见图2的性能和质量的比较最近一些比较流行的网络模型。可以看出,这些卷质量的计算机网络主要是在几十到几百兆字节。

加州大学伯克利分校提出了SqueezeNet卷积网络模型在2016年。这个模型可以减少这些几十兆字节和几百兆字节大约4.6 mb的网络结构在不影响精度。本文提出了三个改进策略SqueezeNet的核心模块,模块。第一个策略是提高密度 卷积(9内核通过使用) 分组卷积减少的数量计算。这种策略也可以解决这个问题noncirculation通道信息的分组卷积。第二种策略是添加频道洗牌(10(交叉分组)操作。这种策略整理分组卷积后的不同特征映射,以便下一个分组的隆起来自不同的组织,使信息流动在不同组。第三个策略是在将SoftMax层调整和使用SoftMax损失(11)和中心损失(12]共同监测培训。这种培训可以用来弥补高相似性图像识别的效果。

为了研究轻量级BCI的cnn, 2015年,教授他开明深残余神经网络引入了一个新结构(13,14]。CNN训练对这种结构的深度AlexNet8一层一层向ResNet152 VGG19层,可以收敛和定期培训。ResNet赢得冠军的准确性达16%在第二位ImageNet检测任务,超过了第二名27% ImageNet定位任务。

3所示。改进和设计的模块

3.1。改进的模块

如图3SqueezeNet网络模型的核心模块是火模块。它由挤压层和扩展层。挤压层由一个 卷积的内核。的 卷积内核可以改变或减少渠道的数量模型输入时通过改变自己的卷积核数。最后,减少了参数的数量和计算复杂度的目的。扩展层由一个 卷积核和一个 卷积的内核。因为 卷积计算卷积操作占大多数的整个模块,计算复杂度仍然很高。摘要取代了原来的 传统的卷积内核的 包卷积Fire-Module的基础上。此外,批正常化(BN)是用于模型的输入加快培训和收敛过程,提高分类精度。最后,战略级联模块改进火。

3.2。分组卷积约会

分组卷积和定期卷积的比较如图4。传统的卷积图所示1。卷积内核完全转换训练。在分组卷积,卷积内核分为( 图中)部分,输入维度 。内核分组卷积,卷积对应于输入 维卷积操作的一部分。第二组卷积核和输入 维度用于卷积。根据这个,得出输出卷积操作后每组已成为卷积的内核 维度。每组输入和输出操作是独立的卷积操作。输入是卷积只与当前分组卷积内核而不是与其他分组卷积核。所有分组运算完成后,所有的输出 维叠加获得完整的最终的输出分组卷积。

很明显从表1的比较传统的分组卷积核的卷积参数成正比的比例和数量的组。当输入大小(宽度)(高度)(大小),假设卷积内核和卷积核的大小 ,计算在上面的表可以被视为分组卷积和定期卷积计算和参数。它可以得出的结论是,使用分组卷积可以显著降低参数的数量和整个的计算模型。

3.3。通道洗牌

因为输入是一个整体,卷积后的输出也映射到整个输入。卷积分组,每个分组卷积的培训为每个通道独立执行。这相当于整个输入划分成许多独立部件的卷积。因此,每组之间的独立操作将导致每组通道流的信息。加强每个数据包之间的信息交换,本文在此基础上增加了通道洗牌操作。

如图5交叉混乱分组功能,形成一个新特性和输入到下一轮的卷积操作。这允许分组卷积的输入来自不同团体和允许不同的独立的群体之间的信息流通。

3.4。改善SoftMax损失函数

SqueezeNet使用传统SoftMax分类器,将SoftMax函数是一个有限的离散概率分布函数。将SoftMax函数,如所示

对于概率multiclassification问题,它是简单而有效的。然而,人类的面部照片的高相似性和特征不明显,和类间距的特性往往是实质性的。组内的距离可能会大于组内的距离。这将导致更低的识别率下复杂的脸的照片。中心损失函数所示

混合损失函数所示

在方程(3),代表完全连接层前的功能,代表的中心分支。中心损失的区别是,它增加了一个中心,每个类分支机构,在此基础上,增加其他类分支机构和中心之间的距离。因此类之间的距离小,类之间的差距更大。这些特征对于分类更有用一些复杂的图像。在此基础上,将SoftMax分类层SqueezeNet提高成为一个联合的分类SoftMax-Center损失减少类间距,这使得它更有用的识别复杂的和类似的脸模型。

3.5。NVMNet

火模块改进基于上述方法如图6。本文命名为NVM(新的视觉模块)。在此基础上,NVMNet(新的视觉模块网络)结构。与前面的火模块相比,NVM也是由一个压缩层和扩展层。摘要取代了 传统的卷积分组卷积达到削减模型。输入通道的数量减少了 分组卷积前压缩层和添加批量标准化后 卷积加快培训过程。然后,通道洗牌允许分组训练信息流通的数据在不同的频道。

根据前面的模块的hyperparameters,分组号分组卷积的挤压层和扩展层,卷积核的数量层的挤压,卷积核w卷积的层,和卷积核的数量扩展层。其中, , ,和 。

的维度和维度整个模型的输入和输出是相同的。这篇文章的结构是指连接改进NVM SqueezeNet模型。并添加一个池层和两个NVM织物。此外,添加SoftMax-Center损失函数的结构。新SoftMax-Center损失函数映射模型的输出值在[0,1]区间训练。但整体输出总和仍然是1。的概率值所需的分类结果。表2显示了NVM的整个结构。

4所示。改进和设计基于SE-ResNet模块

4.1。快捷方式连接,在ResNet瓶颈

结果和讨论可能单独提出,或在一个部分相结合,可以被分成部分。

不难知道从图7快捷连接传输中的顶级信息CNN的底层网络类似于快速链接,如果我们考虑一个50-layer CNN作为一个50人按顺序发送通知的过程。在传输过程中警告的50人,不可避免的是,通知的表达和最初的通知发布时的50人因某些原因不一致。快捷连接类似于寻呼机,当它从第一个第二人称,第三人通知通过寻呼机在同一时间。这可以有效地避免信息的损失或误解。通知过程从第一个第三人是一个完整的剩余连接模块。

不难理解为什么ResNet优于其他cnn的收敛速度和分类精度。余下的每个模块,快捷连接使得卷积层学习困难。其次,它保证有效的梯度转移。

图8瓶颈结构(15,16]。如这个图所示,我们可以看到,整个结构是首先从256 - 64 -维维输入功能 卷积。的特征提取 卷积内核执行。最后,输出尺寸是通过恢复到256年的维度 卷积的内核。整个操作参数的计算量类似于分组卷积和深度分离卷积在前面提到的研究,和参数数量可以减少了17倍。

4.2。Squeeze-and-Excitation模块

在ILSVRC2017计算机视觉竞争,SeNet赢得了冠军(分类17]。其核心模块是Squeeze-and-Excitation模块(18]。如图9,它首先使用全球平均池作为通道的挤压操作特性。然后,瓶颈结构由两个完全连接层是用来消除通道之间的相关性。首先降低特征维度和维度增加实现的目的减少参数和计算量。

4.3。改善Squeeze-and-Excitation模块

结果和讨论可能单独提出,或在一个部分相结合,可以被分成部分。

根据前一篇文章中,我们改进了结构在全球池层基于Squeeze-and-Excitation模块,成长 卷积运算,替换新的损失函数。

据CNN池层的引入,滑动窗口的大小一般池层是固定的。在此基础上,RMAC池介绍可变滑动窗口池功能。如图10中,我们使用三个滑动窗口大小。每个滑动窗口Max-pooled地图的功能,和20个地方特色。马克斯池整个地图功能也会得到当地的特色。总的来说,我们收到21个地方特色。然后,正常化和添加21个地方特色来捕捉我们最后的特性。这样做的好处是,它可以更好的提取每个通道之间的信息和提取更多的功能。

在每个数据集,系统很容易识别某些类别,但为他人困难。除此之外,这些样本的数量是不同的,所以我们选择了CNN分级机适用于当下。每个类别的样本数量是容易不均匀的比例。

当一个类有一个大量的分类器,分类器通常可以区分类。相反,当类的数量很小,分类器的性能不是很好。在传统的熵损失函数,没有区别更大比例的类别分类器和更少的类别。这将导致浪费网络资源。因为系统反复学习这些样本有很好的歧视效应没有专注于训练样本较差的歧视的影响。

重点损失函数表达式所示

在方程(4),是调制指数。用于不同样本类别的贡献率损失函数。不难看到,当 ,重点损失函数变成一个传统熵损失函数(14]。在方程(4),的概率模型预测样本类别时的输出。根据概率,它将工作划分到CNN预测样本类别的重量。因此,我们将重点损失函数作为损失函数来改善网络结构,减少训练时间的改进模型。

在卷积的优化,我们使用分组卷积来代替所有的想法 卷积运算结构分组卷积。然而,我们还没有添加频道洗牌在这个网络结构模块。这是因为渠道的数量犹如SE前三个模块本身是不同的。的不一致的渠道,分组卷积有通道洗牌的功能。和盲目地增加频道重排本身会增加内存占用的空间网络结构,大大降低网络的适用性。

改进的Se模块如图11。可以看出,当输入特征的地图上一层传递给模块,在该模块分为两个分支。借来的捷径的想法级联一个分支输入特性映射和输出部分。其他部门借用的一个瓶颈通道压缩和改变特性。

当上层进入交易所的输入模块,它将分成两部分。一部分使用快捷键连接的分支,将上一层的输入直接作为输出。瓶颈部分是用来减少的另一个分支的维度上一层输入然后卷积核大小不同的特征提取。交易所模块使用 卷积核和一个 卷积的内核。这可以确保接受字段不同渠道的多样性。通过不同的卷积内核相关的特性。特征融合不同的渠道感受野特性是通过执行 卷积的内核。根据交易所模块,模块级联。整个网络模型如表所示3。

5。结果和分析

ORL面临数据集[19]奥利维蒂实验室成立于1994年的剑桥大学的英国。有40个数据集目录。有10个面部表情与存储在每个目录不同的表情。如图12,图片保存在的PGM格式。每个图像在不同的光线和阴影,收购时间,面部特征(睁开眼睛,闭上眼睛,微笑,而不是微笑)。本实验采用300这些照片作为训练集,100作为测试集,最后输出类别是40(培训Intel Xeon处理器,Radeon Pro 580 x显卡,32 g内存MAC基于TensorFlow深度学习框架)。

5.1。分组卷积对实验精度的影响和网络质量

SqueezeNet,最后将SoftMax分类器也改为SoftMax-Center损失监测的组合。在ORL数据集,本文使用4组NVM分组的数量分布。

如表所示4,可以看出,在人脸识别效果使用相同的分类器,分组卷积的影响分类精度有所下降,但显然它不意味着通道洗牌已经完成渠道之间的信息流动。同时,引入分组卷积后,参数是有效地减少了33%。减少模型质量条件下识别效果有限的影响表明,包在SqueezeNet卷积是一种有效的引入模型轻量化策略。然而,因为少量的训练样本,实验精度不是很令人满意。

5.2。不同的分组数据对结构质量和准确性的影响

同样在ORL面临数据集,2的指数可以完全分裂图像输入的维数,所以2,4,8和16个分组运算用于训练和测试,分别。从表可以看出5在增加团体的数量的过程中,识别精度降低1.2%,相应参数的数量减少了13%。在综合比较下,当前的数量时,效果是最好的训练样本组是4。

5.3。轻量级模型的实现和效果比较

这个实验训练40不同时期三个不同的网络结构在ORL数据库。如图13,NVMNet ResNet收敛速度和剩余网络使用分组卷积和批处理规范化是AlexNet的速度比使用传统的卷积。融合可以通过大约15世纪。最好的分类精度ResNet ORL数据库,NVMNet, AlexNet。同时,它的比较中可以看到参数数量和计算表6,因为SqueezeNet指深度压缩技术的基础上,结构,参数减少到1.24万亿,NVMNet继续减少参数基于原来的4.6万亿。使用相同的分类器的同时,精度不降低。这表明通道洗牌后分组卷积是更有效。

如表所示6与一些流行的网络结构,通过比较,可以看出AlexNet和VGG模型传统的卷积模式有更大的比其他轻量级模型参数。这是许多相关参数的完全连接层。ResNet参数的数量使用全球平均池层是温和的,但因为它的深层网络结构,计算量非常大。NVMNet的参数比较的优势是显而易见的。这大大增加了网络模型的应用场景。保存应用程序存储内存和计算成本。移动模型的可移植性更优秀。

与SqueezeNet相比,在ORL数据库,分类精度NVMNet下降了0.7%。然而,参数数量降低了33%。因此,NVMNet在轻量级模型有一定的价值。

5.4。CIFAR-10数据集上的实验结果和数据分析

的CIFAR-10[20]数据集包含了60000个彩色图像的分辨率 。它总共包含了10类:飞机、汽车、鸟、猫、鹿、狗,青蛙,马,船,和卡车。在每个类别有6000张照片。有10000个测试集图片和50000训练集的照片。如图14。

我们使用CIFAR-10经典数据集的效率比较和参数比较我们的CNN模型(培训Intel Xeon处理器,Radeon Pro 580 x显卡,32 g内存MAC基于TensorFlow深度学习框架)。根据我们的硬件条件和网络结构的要求、网络参数学习速率为0.01,CNN的优化策略是随机梯度下降法(SGD),学习速率变化速率为0.1,最大迭代数是400000。

如表所示7,很明显,没有任何其他的模型相关的压缩方法,R-SeNet大小是9.6 MB。与ResNet模型相比,网络模型的重量几乎是90 MB较小,但分类精度几乎是一样的,只有低1.8%。如果模型由参数或通道深度,进一步削减规模的网络模型可以进一步减少到大约3 MB的同时确保准确性。

我们比较与其他流行的轻量级R-SeNet CNN网络的融合,如MobileNet ShuffleNet, SqueezeNet网络收敛。比较收敛曲线如图15。从收敛曲线,ResNet更快的收敛速度和更少的波动比其他cnn在最初的训练。聚合波形相对稳定。从精度的角度来看,这四个网络模型的准确性是几乎相同:SqueezeNet, ResNet ShuffleNet, MobileNet。其中,ShuffleNet仍不稳定收敛后,网络波动较大,可能与参数优化在CNN群卷积。通过验证,可以看出改进的ResNet有一定改善收敛速度和精度模型的重量仅为1.3%。

基于不同的轻量级CNN结构的比较,我们比较的改进部分ResNet分别观察每个方法的影响网络结构的性能。如表所示8后,可以看出RMAC池层是改善,网络中提取更多的特征信息,因此网络结构的性能略有提高了0.8%。损失函数的变化对结构性能的影响最大,而改进前后增加了2.5%。这可能是由于在计算网络的冗余。系统反复计算很多分类,更好的区分没有针对性的培训。因此,与重点损失函数的引入,整个CNN可以动态地分配培训资源以及输出概率值,允许系统来了解更多关于这些不易察觉的类。后包卷积的引入,对网络性能有所下降了1.1%。它可能与分组卷积之间的信息流通渠道。

6。结论

加州大学伯克利分校和斯坦福大学提出SqueezeNet减少参数维数与AlexNet和VGGNet模型。的 卷积核已经被用于减少网络的输入通道的数量,从而减少网络参数的数量。它从几百兆字节压缩CNN,在原始大小,4.5 mb,而不影响图像分类的准确性。当深度压缩网络使用上面提到的压缩技术,网络参数的数量可以进一步减少到约0.5万亿。该模型的核心是一个模块称为火模块。介绍了分组卷积优化模块。为了解决这个问题,该频道信息不流通群卷积后,通道之间的洗牌操作添加频道,和分类器进行了优化和改进根据面临的复杂性特征。

BCI系统基于卷积神经网络包括功能模块包括视觉触发装置,电信号采集装置,脑电图预处理模块,基于卷积神经网络分类器,分类结果显示。有连续的各个模块之间的依赖关系。该系统将首先从脑电图接收EEG信号数据收集器,然后通过脑电图信号预处理过滤和规范化的数据作为输入,然后使用EEG信号分类器。在这些脑电图数据分类器的识别和分类,识别结果显示在结果输出模块的系统。前人的基础上,本文基于轻量级改进的火模块SqueezeNet卷积网络结构。介绍了批量标准化和SoftMax-Center损失分类器来提高识别精度和效率的网络结构下的脸。在炼油网络的总体结构,ORL数据集上的分类效果也有所改善。然而,由于ORL数据库相对较少的训练样本,样本数据可以添加在未来的实验进一步验证。轻量级模型结构具有功能性的应用场景。在未来,我们打算探索非人脸视觉领域的可行性,包括应用程序的BCI和BMI字段。

数据可用性

如果有必要,你可以联系本文作者相关的实验数据。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这部分工作是支持上海农业科学院优秀研究团队的项目(2017 [B-09])。作者感谢同济大学的慷慨支持,尤其是软件工程的部门。