计算机图像分类是分析和分类图像为某些类别取代人工目视判读。它是计算机视觉领域的热点之一。因为分类特性是非常重要的,大部分的研究图像分类集中在图像特征提取和分类算法。传统的图像特征,如手动筛选和猪的设计。卷积神经网络自学习的能力,自适应、自组织;因此,它可以自动提取功能通过使用已知类别的先验知识,并避免复杂的特征提取过程在传统图像分类方法。同时,提取的特征具有高度表现力和高效。

深卷积神经网络(CNN)取得了重大成功在计算机视觉领域,如图像分类( 1,目标跟踪 2),目标检测( 3),和语义图像分割( 4, 5]。例如,2012年ImageNet大规模视觉识别的挑战(ILSVRC2012) Krizhevsky等人赢得冠军的AlexNet [ 1)约6000万参数模型和八层。此外,VGG [ 6与16层),GoogleNet [ 7以《盗梦空间》为基本结构,ResNet [ 8残块,可以缓解这个问题的梯度消失也取得了极大的成功。然而,深卷积神经网络本身是一个密集的计算模型。大量的参数,重计算负荷,和大量的内存访问导致巨大的能耗,这使得它很难将模型应用于便携式移动设备有限的硬件资源。

为了深卷积神经网络模型应用于实时应用程序和内存便携设备上,一个可行的解决办法是压缩和加快深卷积神经网络减少参数,计算成本和功耗。Denil et al。 9]证明了深卷积神经网络的参数有很多冗余,这些冗余参数对分类精度没有影响。丹顿et al。 10)找到一个适当的低秩矩阵估计的信息参数通过奇异值分解深度cnn。方法需要高计算成本和更多的培训来达到收敛。汉et al。 11]在pretrained网络删除不重要的连接参数修剪,修剪和量子化的其余参数,然后由霍夫曼编码编码量化参数进一步减少压缩率。然而,该方法需要手动调整superparameters。陈等人。 12)用低成本的哈希函数组两个相邻层之间的权值为哈希桶重量共享,减少额外的存储位置和实现参数共享。辛顿et al。 13由知识蒸馏)压缩网络模型,提取有用的信息。有用的信息迁移到一个小的、简单的网络,这使得简单的网络和复杂网络也有类似的表现。

此外,许多相关研究改进网络模型压缩网络。例如,SqueezeNet [ 14)是一种基于火灾网络模型模块,MobileNets [ 15)是一种网络模型基于切除可分离的过滤器,和ShuffleNet 16)提高剩余结构的基础上,通过引入组织点态卷积和通道洗牌操作。

与VGG-16网络相比,MobileNet是一个轻量级的网络,它使用切除分离卷积深化网络,并减少参数和计算。同时,MobileNet ImageNet数据集的分类精度只减少了1%。然而,为了成为更好的应用于移动设备内存有限,MobileNet模型的参数和计算复杂性需要进一步降低。因此,我们使用密集块为基本单位的网络层MobileNet。通过设置一个小的增长速度,模型参数较少和较低的计算成本。新模型,即Dense-MobileNets,也可以达到较高的分类精度。

Dense-MobileNet向MobileNet引入了密集的街区的想法。卷积层具有相同大小的输入特征图谱在MobileNet模型取代密集的街区,和密集的连接内进行密集的街区。密集的街区可以充分利用前面的输出特征图卷积层,产生更多的特征图谱与更少的卷积核,并实现重复使用的功能。通过设置一个小的增长速度,MobileNet的参数和计算模型是进一步降低,因此,该模型可以更好地应用于移动设备与低内存。

在本文中,我们设计两个不同的Dense-MobileNet结构:Dense1-MobileNet Dense2-MobileNet。

为了证明D-MobileNet模型的有效性,我们进行分类实验在加州理工学院- 101 ( 18)和Uebingen动物属性,和比较实验结果与MobileNet模型和DenseNet121模型。

加州理工学院102年- 101数据集包含9145图像类,其中包括101名对象类和一个背景类。图像的数量在每个类范围从40到800。图 7显示了一些样品在加州理工学院- 101数据集。在实验中,数据集的图像首先标记,然后完全炒。1500图片是随机选择的测试图片,其余的照片被用作训练图像。

Uebingen动物属性数据库30475年50动物图片类。因为图片数量不一样在不同的类,21类最大的动物选择小样本数据的差异作为我们的数据集。有22742个数据集内的照片。这张照片数字在每个类范围从850年到1600年。图 8显示了样本在训练前Uebingen动物数据集。网络,图片数据集的标签,其中2000名随机选择的测试集,其余的照片作为训练数据集。

实验使用Python语言TensorFlow框架下。模型上实现一个服务器配备泰坦NVIDIA GPU。RMSprop优化算法初始学习速率为0.1用于优化实验。根据训练样本的数量,我们设置不同时代数字减少学习速率。重初始化采用Xavier初始化方法,它可以确定参数的随机初始化分布范围根据输入和输出的数量在每个级别。它是一个均匀分布的初始偏差为零。共50000批次的训练,每一批的64个样本。ReLU用作激活函数。

表 2显示了四种分类方法的分类精度在加州理工学院- 101数据集,从表 230000次迭代后,我们可以看到,4分类模型的精度已经达到了一个平衡,和我们的2改进结构的准确性高于DenseNet121。与标准MobileNet模型的准确性相比,Dense1-MobileNets模型的准确性是低于标准MobileNet模型,而Dense2-MobileNets模型的准确性高于标准MobileNet模型。当迭代的数量是50000,Dense1-MobileNet模型的准确性降低0.13%,并减少更少的参数和结构计算。当迭代的数量是50000,Dense2-MobileNet模型的准确性提高了1.2%,和它的参数和计算相对减少。

表 3显示4分类方法的分类精度Uebingen动物从表数据集。 330000次迭代后,我们可以看到,4分类模型的精度也达到一个平衡,和我们的2改进结构的准确性高于DenseNet121。与标准MobileNet模型的准确性相比,Dense1-MobileNets模型的准确性是低于标准MobileNet模型,而Dense2-MobileNets模型的准确性高于标准MobileNet模型。当迭代的数量是5000,Dense1-MobileNet模型的准确性下降了0.1%,而Dense2-MobileNet模型的准确性增加1.2%。

上述两个实验hyperparameter相同条件下进行。当迭代的数量是5000,密集网络的分类精度Uebingen动物数据集是MobileNet模型的高出0.4%,但它是4.7%低于MobileNet模型的加州理工学院- 101数据集。从上面的两个实验,可以看出Dense1-MobileNet致密连接模型的分类精度损失约1%在两种数据集,在改善Dense2-MobileNet模式。主要原因是切除卷积,卷积切除分离卷积实现空间相关和通道相关标准的卷积,分别。然而,Dense1-MobileNet使用切除卷积,卷积作为单独的卷积层将会摧毁通道相关性,降低分类精度。输入特征的地图叠加平均Dense2-MobileNet池层是前面的输出特征图2深可分离旋转。它充分利用前面的特征图,减少了参数和计算,提高了分类精度。

为了进一步说明我们的方法的性能,我们测试了不同方法在真实数据和其他实验环境。在实验的比较,我们添加了DenseNet161与MobileNetV2 ( 19),和实验设置如表所示 4。数据集是我们自己的孩子的结肠镜息肉数据集。有两种类型的样本。一个包括样品息肉,另包括样品没有息肉。如图 9,上面的行与息肉的样品,样品没有息肉和较低的行。

扩大后的训练集包含31450个样本,包括4005年息肉样本。测试集包含了4005个样本,其中包括1005息肉样本。每个样本的大小是260∗260。测试集的批处理大小设置为10,和最初的学习速率是0.1。每个网络列车200时代,和学习速率降低一半的前50时代然后衰变一半每20时代。过去的100时代的平均识别精度是作为最终的识别结果,如表所示 5。

因为只有两种类型的测试数据集,所有方法的分类精度相对较高,所有这些都超过96%。从表可以看出 5的准确性Dense2_MobileNet(使用完整的连接层)是一个小比DenseNet121, MobileNet, MobileNetV2,略低于DenseNet161。然而,DenseNet161更深层次的网络使用大量的参数和计算。在我们的实验中,参数和计算DenseNet161约26.48米和10360.23米,分别和参数MobileNetV2约2.23米和479.28米,分别。虽然MobileNetV2让网络更轻,它的参数和计算量仍Dense_MobileNets的两倍多。因此,Dense_MobileNets仍有一定的优势的综合评价分类的准确性,参数的个数,计算的数量。

内存密集型和高度计算密集的特性,在深入学习限制在便携式设备中的应用。压缩和加速网络模型将降低分类精度。

本文介绍了Dense-MobileNet密集块图像分类模型。密集的街区作为基本结构改善MobileNet的结构,并提出了两个改进的模型。这两个模型可以减少参数和计算通过设置hyperparameter增长率。同时,实验表明,Dense2-MobileNet还可以提高分类的准确性。与MobileNet模型相比,尽管Dense1-MobileNet的分类精度降低,它减少了参数的数量和至少一半的计算量的近一半。一般来说,本文提出的模型可以更好地应用于移动设备。