网路:一个微小的浮游生物分类网络的移动设备

文摘

本文致力于一个轻量级的卷积神经网络基于注意机制称为小注意网络(网路)。网路由三个主要部分称为还原模块,self-attention操作和组卷积。减少模块减轻池操作所造成的信息损失。新parameter-free self-attention操作使学习模型关注的重要部分图像。这群卷积实现模型压缩和multibranch融合。使用的主要部分,该网络可以有效地浮游生物分类在移动设备上。提出了网络的性能评估的浮游生物数据集收集的俄勒冈州立大学哈特菲尔德的海洋科学中心。结果表明,网路优于其他深模型速度(31.8 ms /图像),大小(648 kB,占用的硬盘空间大小的模型),和准确性(排名前76.5%,前5 96.3%)。

1。介绍

海洋生物的浮游生物是一个重要的组成部分。浮游植物(各种浮游植物和细菌)和浮游动物(动物浮游生物)是众所周知的类型的浮游生物。研究浮游生物的分布具有重要科学和生态价值。在这个方向上,第一次尝试收集、识别、和记录手动浮游生物样品。然而,时间的高成本和人类劳动是该方法的缺点。为了缓解缺点,拍照工具,例如,水下传感器和摄像头,已经被大量的浮游生物利用视频和图像获得容易,和相关的计算机视觉技术,帮助这些多媒体材料分析大大问道。

许多传统的计算机视觉算法提出了浮游生物的分类。唐et al。1]使用一些新的形状描述符和规范化的多级主导特征向量估计方法来选择最好的特性集的二进制浮游生物的形象,取得了91%的准确率。李等人。2)提出了一个成对非参数判别分析对二进制浮游生物图像识别,判别信息添加到分类器达到95.06%的准确率。虽然这些传统算法可以实现高精度的小数据集(3000图像包括7种),他们在时间和精度是有限的大规模数据集。

自2012年以来,CNN (3)取得了巨大的成功在各种视觉任务(4- - - - - -7),还介绍了在大型浮游生物识别任务。李等人。8)应用浮游生物上的深残余网络数据集,这只是一个简单的应用程序。欧阳et al。9)提出了一个特别复杂的CNN金字塔框架与功能架构和熵的损失相比与其他基线模型。然而,最终没有提到该方法的准确性。一方面,为水下浮游生物观察的情况下,一个小模型是至关重要的移动设备的使用,芯片的存储空间和计算能力有限。但是,另一方面,深模型上面提到的内存密集型和耗时。此外,深卷积神经网络还没有被很好地利用水下浮游生物识别领域的动机我们重温浮游生物分类问题。

在本文中,我们提出一个新的网络基于注意机制来解决海底观测浮游生物分类问题。群卷积应用到我们的网络,以表示能力和计算成本之间的权衡。卷积团体的数量不仅影响模型的规模和速度,但也会影响结果的准确性。满足的需要处理大型浮游生物数据集,我们的实验是基于浮游生物数据集(10国家数据科学使用的碗,一个数据科学竞赛托管在Kaggle平台。这个数据集包含30336张图片,其中包括121种浮游生物。我们发现最优数量的组织通过一系列实验。使用注意力机制,网络特征提取能力增强。最后,我们的模型取得了排名前76.5333%的准确性和前5 96.2666%的准确性在小模式648 kB大小和推论31.8毫秒的时间,满足需要的低存储空间和实时分类在移动设备上。

本文的主要贡献如下:(我)我们减少模块引入网络减少信息池操作所造成的损失,以提高浮游生物分类任务的准确性。(2)群卷积是网络实现模型的压缩和multibranch融合显示时提高4.0%(精度模型大小是648 kB。此外,获得最优的过程组的组/尺寸准确性权衡卷积是详细解释。(3)parameter-free注意操作和1.4%(精度的改进提出了648 kB大小实现模型。

剩下的纸是组织如下。部分2提出了有效的网络和注意力机制相关工作。部分3给整个网络架构,描述了模型的三个主要部分:模块,减少组卷积运算和self-attention模块。部分4显示了评价浮游生物数据集和参数的细节设计探索。最后,论文结束部分的结论5。

2。相关的工作

2.1。发展高效的网络

提高识别精度,模型变得更深、更广泛,这就需要大芯片的存储空间和计算成本。然而,对于移动应用,精度是满意的前提下,深模型与小尺寸和低运行时间是必要的。因此,许多研究人员已经将他们的注意力转移到减少模型大小和提高模型效率。

模型压缩的方法,实现高效的网络。奇异值分解算法用于pretrained模型加快大型卷积网络的测试时间评估(11]。网络修剪(12]替换参数低于某一阈值0然后曲调他们几个迭代。CNN模型的通道也可以修剪,以减少计算(13]。深度压缩(14)结合了网络修剪和量化和哈夫曼编码可以大大压缩模型。

除了应用模型压缩pretrained模型,我们也可以设计一个小和高效的网络从初级阶段。研究人员(15- - - - - -18)使用1×1内核限制大内核的输入通道减少模型参数和计算成本。这种方法已广泛应用于近期文献[19,20.]。SqueezeNet [21)能显著降低参数和计算,同时保持AlexNet-level准确性。SENet [22]介绍了一种体系结构单元,提高性能在轻微的计算成本。群卷积可以修剪冗余连接,将渠道分成组。在这个方向上,做了一些研究工作,如,看到23,24]。所谓MobileNet方法提出了(25)利用切除可分离旋转。这种方法获得的结果在轻量级模型。

2.2。注意机制

人类的认知过程(26)显示了注意力机制的重要性。机制被快速扫描全球焦点区域的照片。剩余的关注网络中引入[27)是一个卷积网络,采用混合注意力机制非常深层结构实现高分类精度的图像分类任务。非局部神经网络方法在28)显示了一个高性能的视频分类任务的使用self-attention机制。全球背景下关注广泛用于语义分割区域。DFN [29日)嵌入全球平均水平在前池分支扩展型架构。EncNet [30.]介绍了一个编码层SENet-like模块捕获语义编码和预测比例因素条件对这些语义编码。受上述工作,我们注意机制应用于我们的工作。

3所示。建议的方法

在本节中,我们介绍了减少模块和组卷积操作旨在减少模型参数,提高效率。然后,self-attention模块给出改善功能的学习能力。整个体系结构以及网络体系结构设计的有效性证明在本小节的末尾。

3.1。减少模块

池操作是必不可少的在图像分类任务。它使网络不变的翻译但导致严重的信息丢失。灵感来源于《盗梦空间》V3 (17),我们减少模块适用于避免具象的瓶颈。

我们可以连接两个平行步2块的输出(池和卷积层)来取代一个简单的池操作。这个过程使抽样和减少信息损失和维护网络的平移不变性。维持渠道的数量不变,我们首先使用一个1×1卷积减半的通道,如图1。

浮游生物数据集的灰度图像,图像含有更少的颜色信息与RGB图像(例如,ImageNet)。因此,造成的信息损失池操作可能带来严重影响模型精度的浮游生物分类的任务。

3.2。群卷积

尽管SqueezeNet[的模型尺寸21很小,它可以进一步压缩深度压缩(14从4.8米到0.47米)。这表明这一事实深层神经网络非常稀疏。标准是一个密集的卷积,卷积和每个卷积内核混淆的所有渠道特性映射。由于深层网络的稀疏,我们选择使用群卷积而不是标准的卷积。

赵et al。31日]表明,增加融合深度融合网络的数量可以提高网络性能。自深深融合网络集成多个分支机构的力量,一个网络可以带来multimodel融合的效果。我们试图增加分支机构的数量,如图2 (b)。组中的每个群卷积是一个分支,所以我们可以通过增加的数量增加融合组,如图2 (c)。

群卷积也可以显著提高网络的效率。标准曲线玲珑的计算成本

计算成本取决于输入通道的数量 ,内核大小 ,功能图大小 ,和输出通道的数量 。

组卷积的组数F成本计算:

标准成本的计算是通过卷积倍组旋转:

组号是一个参数,可以调整。准确性和计算成本之间的权衡,一系列的实验旨在探索的最优值 。我们现在的细节部分4.3。

群卷积最近得到了广泛的应用,例如,在23- - - - - -25]。但设计小组的过程,使模型更准确的没有具体提到。在我们的工作中,获得最优数量的组织过程中给出细节。

3.3。Self-Attention模块

注意机制没有考虑每个像素在图像分类任务。为识别一些像素是无用的(背景),和一些像素(前景)是至关重要的。因此,注意机制的利用斜坡卷积神经网络需要注意的最重要地区的形象。

一般注意力机制预测重要的地区特性映射到获得重量引起的关注一些回旋的层,然后注意重量乘以原功能映射。体重的关注已经一个较大的值为重要部分和其他部分小值,这样网络能够注意注意力机制运行的重要部分。

标准的注意机制需要添加新的卷积层学习权重,但功能映射本身包含每个像素的重要信息。为例,网络修剪(12]替换参数低于某个阈值0直接为更大的数据更重要。直觉上,地区特性映射有大量激活值影响输出更重要的是这意味着这些像素值是更重要的。因此,我们正常功能映射作为关注体重,避免直接可视为self-attention添加参数。因此,输出注意模块的修改 在哪里表示输入,是注意重量,是输出的主要分支。

如果和代表两个输出的数据和 ,然后我们有

或者,同样,

self-attention模块扩展数据之间的差距,使其更容易注意到重要部分,如图3。

3.4。组装结构和评价

最后小注意网络的体系结构如图4 (c)。通过添加卷积(图4(一)(图),self-attention模块4 (b)(图),减少模块4 (c))网络中,浮游生物数据集上的精度相应增长证明了有效性和合理性的架构设计如表所示1。

更多的实验来证明的有效性提出了网络设计的部分4.1。

4所示。实验

4.1。浮游生物实验数据集

浮游生物数据集包含30336灰度级图像包括121种浮游生物。这个数据集用于国家数据科学碗,数据科学竞赛托管在Kaggle平台。我们花了3037图像作为测试集,3037张图片作为验证集,24262图像作为训练集,新256×256。图像增强的旋转和翻转操作,以避免过度拟合问题,如图5。

实验是基于咖啡(32)的框架。模型的大小表明硬盘空间的大小实际上被咖啡模型。推理时间测量NVIDIA GeForce泰坦X帕斯卡12 GB。所有模型都是从头开始训练数据集的浮游生物。

首先,SqueezeNet和DarkNet都是专为移动系统。DarkNet和SqueezeNet经典与高精度专门为小型网络硬件有限的内存(例如,FPGA和移动系统)。SqueezeNet达到AlexNet-level精度减少ImageNet 50 x参数。第二,SqueezeNet DarkNet众所周知作为骨干为各种任务(例如,MobileNets和YOLOv3)。因此,SqueezeNet和DarkNet候选人与网路相比小模型。

相比DarkNet [19]和SqueezeNet [21),网路优越的精度和速度。网路模型只有648 kB大小如表所示2。我们部署的网路iPhone 6 s (32 G),和实际推理时间只有22.4 ms这充分满足需要的低存储空间和实时分类在移动设备上。

几个经典的模型(VGG-19和ResNet-18)也适用于浮游生物数据集。同样,该模型显示了一个比较性能精度和速度,如表所示3。

VGG-19的性能模型与其他模型相比是不可取的,可能是由浮游生物数据集的特殊特征造成的。有两个原因,浮游生物数据集ImageNet相比是相对简单的。首先,浮游生物数据集只包含121个类,这是一个小数量的类别而ImageNet 1000类。第二,由于浮游生物数据集是灰度图像,然后它含有更少的颜色信息相比,RGB图像。由于这些专业的浮游生物数据集,VGG-19模型不能很好地覆盖。表2表明卷积团体的数量有显著的影响在模型速度、大小和精度。由八组,模型相对平衡的精度,速度,和尺寸,所以我们认为这是网路的模型。

此外,注意机制的有效性和multibranch模型卷积(集团)证明了额外的比较实验,如图6。不同的卷积组导致不同大小的网路(模式3)。公平,我们变换模型1,即。,网路没有注意机制和组卷积,和模型2,即。,TANet without group convolution, to the same size as model 3 by changing the number of channels in model 1 and model 2.

模型1和模型2的准确性降低模型的大小减少。然而,模型的准确性2总是高于模型1。原因是,模型2使用注意机制。具体来说,提高注意力机制取得了1.4%的使用模型大小是648 kB,这是一个显著的改善没有添加任何参数。

尽管multibranch模型只有一个模型,它合并多个分支从低层到高层多次。因此,它有multimodel融合的效果。如图6通过卷积组的数量的增加,模型3的大小迅速减少。时达到4.0%的改善(精度模型大小是648 kB的使用群卷积。

4.2。模型比较与竞争的赢家

用于我们的实验数据下载的浮游生物识别竞争Kaggle,命名为国家数据科学碗。整体的模型是常用的改善精度的挑战。例如,在这种竞争,第三小组命名为泊松过程平均17模型的最终结果。排名第二的球队,称为元宵节快乐,也至少有四个模型合并。我们复制的四个模型相比,元宵节快乐团队和我们的单模型。结果如表所示4。

这四种模型的性能主要取决于参数的数量,因为他们的网络只是一堆共同卷积层。方面的精度、速度和模型大小、网路优于所有这四个网络。

4.3。参数设计探索

在模型设计中,卷积团体的数量是一个参数,可以调整。调整不仅影响精度,也影响了模型规模和效率。我们做了一些实验来找到最优组值。在实验1中,通道的数量为每个组的所有层将是相同的,但是组织不同的数量不同的层。相反,在实验2中,通道的数量每组不同层将是不同的,和团体的数量是相同的。实验1和2的结果如表所示5和6,分别。

从实验的结果可以得出两个结论。首先,如表所示6,当该组织的数量是2,排名前达到77.5666%,远远高于没有分组的结果(76.0666%)。群卷积可以提取特定渠道之间的主要特性,使聚类的效果。因此,分组卷积渠道不仅减少了参数,而且可以提高网络精度。

其次,实验2的结果表明,网络的设置会导致一个更有效的输出。因此,可以得出结论,使用相同数量的组所有层使网络更加有效。平衡精度和模型大小之间的关系,似乎与8组的模型可以被认为是第一个候选人网路如表所示6。

5。结论

在本文中,我们提出了一个基于self-attention称为网路的微小网络机制和组卷积的浮游生物分类的任务。减少模块应用于减少池操作造成的信息丢失;和集团卷积压缩模型的大小。Self-attention是用来改善功能的学习能力。该模型可以应用于实时海底观测效率。

数据可用性

使用的数据来支持这个研究的发现是可用的https://www.kaggle.com/c/datasciencebowl/data。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究部分由中国国家自然科学基金(批准号41876098)和深圳科技项目(批准号JCYJ20151117173236192)。

引用

1. x, f·林,美国参孙和a . Remsen“二进制浮游生物图像分类”IEEE海洋工程》杂志上没有,卷。31日。3、728 - 735年,2006页。视图:出版商的网站|谷歌学术搜索
2. z李、赵,j . Liu和y乔,“成对非参数判别分析对二进制浮游生物图像识别,”IEEE海洋工程》杂志上,39卷,不。4、695 - 701年,2014页。视图:出版商的网站|谷歌学术搜索
3. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”ACM的通信,60卷,不。6,84 - 90年,2017页。视图:出版商的网站|谷歌学术搜索
4. k . x张,他任美国,j .太阳,“深残余学习图像识别,”学报2016年IEEE计算机视觉与模式识别会议(CVPR)拉斯维加斯,页770 - 778年,NV,美国,2015年6月。视图:谷歌学术搜索
5. e . Shelhamer j .长,t·达雷尔“完全卷积网络语义分割”学报2015年IEEE计算机视觉与模式识别会议(CVPR)美国,波士顿,MA, 2014年6月。视图:谷歌学术搜索
6. 任,k .他、r . Girshick和j .太阳,“快R-CNN:对与地区建议网络实时目标检测,”IEEE模式分析与机器智能,39卷,不。6,1137 - 1149年,2017页。视图:出版商的网站|谷歌学术搜索
7. t·亚历山大和c . Szegedy“Deeppose:人体姿态估计通过深层神经网络”学报2014年IEEE计算机视觉与模式识别会议哥伦布,页1653 - 1660年,哦,美国,2014年6月。视图:谷歌学术搜索
8. 李x和z崔,“深残余网络浮游生物分类,”《海洋学报2016 MTS / IEEE蒙特利美国CA,页1 - 4,蒙特利,2016年9月。视图:谷歌学术搜索
9. 施p欧阳、h·胡和z,“浮游生物与深卷积神经网络分类”学报2016年IEEE信息技术、网络、电子和自动化控制会议IEEE,页132 - 136年,重庆,中国,2016年5月。视图:谷歌学术搜索
10. https://www.kaggle.com/c/datasciencebowl/data。
11. e·丹顿w·扎,j .布鲁纳,y Lecun (r·费格斯,“利用线性结构在卷积网络有效的评价,“1269 - 1277页。视图:谷歌学术搜索
12. j . Tran j . Tran j . Tran和w·j .磨磨蹭蹭的,快”学习为高效的神经网络权重和连接,”学报》国际会议神经信息处理系统加拿大蒙特利尔,页1135 - 1143,,2015年12月。视图:谷歌学术搜索
13. 张x y他,j .太阳”频道修剪加速很深的神经网络,”学报2017年IEEE计算机视觉国际会议(ICCV)2017年10月,威尼斯,意大利,。视图:谷歌学术搜索
14. 美国汉、h·毛和w·j·磨磨蹭蹭的,快“深度压缩:压缩与修剪深层神经网络,训练有素的量化和霍夫曼编码,“纤维卷,56号4,3 - 7,2015页。视图:谷歌学术搜索
15. c . Szegedy w·刘,y贾et al .,“要更深的曲线玲珑,”程序的计算机视觉和模式识别美国,页1 - 9,波士顿,MA, 2015年6月。视图:谷歌学术搜索
16. 即谢尔盖和c . Szegedy“批量标准化:加速深层网络训练通过减少内部协变量转变,”《国际会议上国际会议上机器学习里尔,页448 - 456年,法国,2015年7月。视图:谷歌学术搜索
17. c . Szegedy诉文森特,谢尔盖约飞,j . Shlens z . Wojna,“重新考虑初始计算机视觉架构,”程序的计算机视觉和模式识别拉斯维加斯,页2818 - 2826年,NV,美国,2016年6月。视图:谷歌学术搜索
18. c . Szegedy谢尔盖•约飞诉文森特,a . Alemi”Inception-v4 inception-resnet和剩余连接对学习的影响,”程序的计算机视觉和模式识别美国拉斯维加斯,NV, 2016年6月。视图:谷歌学术搜索
19. r·约瑟夫“Darknet:开源神经网络在c语言中,“2016年,http://pjreddie.com/darknet/。视图:谷歌学术搜索
20. 谢,r . Girshick p .美元,z,和k .他“聚合残余转换为深层神经网络,”《IEEE计算机视觉与模式识别会议火奴鲁鲁,页5987 - 5995年,美国,2017年7月,你好。视图:谷歌学术搜索
21. f . n . Iandola汉,m . w . Moskewicz k .阿什拉夫·w·j·磨磨蹭蹭的,快和k . Keutzer SqueezeNet: alexnet-level准确性50 x更少的参数和< 0.5 mb的模型大小,”2016年,https://arxiv.org/abs/1602.07360。视图:谷歌学术搜索
22. 沈l . j .胡,g .太阳“Squeeze-and-excitation网络”学报2018年IEEE / CVF计算机视觉与模式识别会议美国盐湖城,UT, 2018年6月。视图:谷歌学术搜索
23. f . Chollet”与切除可分离旋转Xception:深入学习,”学报2017年IEEE计算机视觉与模式识别会议(CVPR)火奴鲁鲁,页1800 - 1807年,美国,2017年7月,你好。视图:谷歌学术搜索
24. 张x, x周、m·林和j .太阳”Shufflenet:卷积神经网络在移动设备上非常有效,”学报2018年IEEE / CVF计算机视觉与模式识别会议美国盐湖城,UT, 2018年6月。视图:谷歌学术搜索
25. a·g·霍华德·m·朱b . Chen等人“Mobilenets:高效移动视觉卷积神经网络应用程序,”程序的计算机视觉和模式识别火奴鲁鲁,嗨,美国,2017年7月。视图:谷歌学术搜索
26. 诉Mnih n . Heess a坟墓,k . Kavukcuoglu“复发性的视觉注意力模型,”《机器学习,3卷,第2212 - 2204页,北京,中国,2014年6月。视图:谷歌学术搜索
27. 江m . f . Wang, c .钱et al .,“剩余关注网络图像分类,”程序的计算机视觉和模式识别火奴鲁鲁,页6450 - 6458年,美国,2017年7月,你好。视图:谷歌学术搜索
28. r . x Wang Girshick, a·古普塔和k .他“非本地的神经网络,”程序的计算机视觉和模式识别火奴鲁鲁,嗨,美国,2017年7月。视图:谷歌学术搜索
29. c . c . c . Yu j . Wang Peng高,g . Yu和n .唱“学习区别的功能语义分割网络”学报2018年IEEE / CVF计算机视觉与模式识别会议美国盐湖城,UT, 2018年6月。视图:谷歌学术搜索
30. h·张,k . Dana施j . et al .,“上下文语义分割、编码”学报2018年IEEE / CVF计算机视觉与模式识别会议美国盐湖城,UT, 2018年6月。视图:谷歌学术搜索
31. l .赵j . Wang x, z,和w·曾“深度融合连接的合奏,”程序的计算机视觉和模式识别火奴鲁鲁,嗨,美国,2017年7月。视图:谷歌学术搜索
32. https://github.com/BVLC/caffe。
33. 曹x”,实际设计很深的卷积神经网络理论,“技术。代表,2015年,科技代表。视图:谷歌学术搜索

版权

版权©2019秀李等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。