文摘

颜色纹理分类是一个重要的计算机视觉任务,纹理进行鉴别和分类,我们常常观察自然的视觉场景在现实世界中。没有颜色和纹理,它仍然是一个乏味的任务来确定和识别物体。深架构被证明是一个更好的方法来识别纹理图像的具有挑战性的模式。DeepLumina提出了一个方法,使用功能的深度与RGB颜色空间架构和亮度信息有效的颜色纹理分类。这种技术捕捉卷积神经网络特性的ResNet101 pretrained模型和使用亮度信息的亮度(Y)频道YIQ颜色模型和执行与支持向量机(SVM)分类。这种方法适用于RGB-luminance色域,探索运用亮度信息的有效性以及RGB颜色空间。实验研究中调查和分析表明,该方法,DeepLumina,为Flickr材料数据集有一个90.15%的准确性为描述纹理数据集(手足口病)和73.63% (DTD),这是非常广阔。比较分析与其他颜色空间和pretrained CNN-FC模型也进行了,它把光分成工作的重要性。也证明了计算方法简单,结果在较小的计算时间。

1。介绍

纹理表示基于粗糙表面,规律性,重复模式,同质性、和粒度1]。纹理的表面在现实世界中可以分类基于同质性和异质性,粗或纹理细节,粗糙或平滑模式、规律或不规则,结构或非结构模式在一个图像。识别和分类结构模式自然是必不可少的在机器视觉应用中如自动视觉检测、视觉细粒度对象分类、森林物种分类、木材分类、和织物疵点分类。Materka et al。2]讨论了纹理分类方法,包括统计、结构,基于模型和transform-based方法。纹理特征和颜色是至关重要的视觉属性识别的现实的观点自然场景如草、树皮、鲜花、粮食、木材、织物、金属通过颜色纹理分类。texture-color合并是一个完美的模型,它是有效的纹理图像分类(3]。通常代表不同的彩色图像RGB颜色空间模式识别和计算机视觉应用。的意义比RGB颜色空间其他更好的颜色表示不是经常调查(4]。因为不同的空间有不同的颜色表示模式,它影响了机器视觉算法的准确性(5- - - - - -7]。Kahu et al。8]讨论了缺乏亮度信息在图像压缩应用程序在RGB颜色空间。从RGB颜色空间不适合人类感知,它没有直接的亮度信息(9]。RGB颜色空间不能捕获在处理纹理图像亮度信息。Kahu等人推断RGB颜色空间不有效处理图像从自然、逼真的场景和机器视觉应用,如情感识别和图像分类(8]。这项工作光钻进效率的亮度信息应用与RGB颜色空间,能感知纹理特性更好。亮度代表所发射的光子(光)的数量通过变形表面。人类的大脑捕捉视觉质感和亮度从自然场景的属性10]。在神经生理学和视觉心理物理学,我们发现统计特征的视觉场景更被人是基于生物灵感来自大脑的响应(11]。Johnson et al。12]讨论了生物反应对应于一阶信息的“亮度”和二阶响应“纹理”信息在自然图像。这项工作证明了亮度和纹理信息的意义,捕获的一阶和二阶信息从现实的自然图像滤波器响应强度和相互关联。冈田克也et al。13]讨论了视觉纹理感知构成能源和亮度。在亮度,视觉纹理特征可以更好。深卷积神经网络(CNN)像大脑视觉皮层。深CNN内核或过滤器适用于不同大小的纹理图像生成特征地图代表图像的特性。

显著增加计算设施,深度学习框架仍然是一个蓬勃发展的研究领域有效的纹理分类。文献表明,代表结构基于深层神经网络是一种很有前途的推力区域识别自然纹理。近十年以来,积极深入学习研究进展也抓住了人们的注意力在解决计算密集型机器视觉任务。深度学习模型更好地感知模式或特征的图像。深度学习的分类任务的主要挑战是,它需要巨大的计算时间处理一个算法。卷积神经网络设计的成功依赖于hyperparameters如何有效地选择和调整。尽管手工制作的进步特征,卷积神经网络(CNN)模型生成better-learned功能模式对应于输入图像。深层网络结构特性的边缘,角落,轮廓、区域从CNN pretrained模型基于功能层。在卷积操作中,应用相同的过滤输入结果获取的地图激活值;他们是特征图(14]。特征图显示位置、力量、定向反应检测功能的输入图像。这些特征图更好代表深特性和纹理图像的亮度信息。该方法DeepLumina设计在RGB和luminance-based彩色空间的亮度从YIQ颜色空间和深度特性生成pretrained ResNet101模型。虽然精度是一个不可避免的因素在评估算法性能,计算时间也在影响中起着重要组成部分的性能和设计一个基于视觉的应用。

贡献的工作总结如下:在DeepLumina,我们调查的效率应用深从不同的颜色模型和提取的特征和亮度特性使用支持向量机进行分类。DeepLumina揭示亮度的意义从YIQ颜色空间和应用ResNet101 pretrained模型颜色纹理分类。DeepLumina显示的准确性大幅改善YIQ颜色空间在不同的颜色模型测试时具有挑战性的纹理数据集DTD和手足口病。计算时间是DeepLumina最小。

本文所得的组织如下。部分2提出了简洁的相关文学作品深纹理分类的神经网络。部分3阐述了材料和方法,解释了该方法DeepLumina纹理分类。部分4讨论了实验和分析的结果。部分5描述了一个简洁的描述贡献和论文的纲要。

结构代表了统计特征和模式在一个表面上的重复排列。识别和理解图像的纹理模式是一个重要的任务,特别是自1960年代以来在模式识别应用程序(15)和1980年代(16,17]。这仍然是一个单调乏味的任务分类和代表的复杂纹理在我们的日常生活中我们遇到的对象。颜色纹理分类一直是一个活跃的研究领域在过去四十年。在最先进的技术,纹理分类方法选择适当的执行手工纹理描述符和分类。特征描述符常用的是局部二进制模式(LBP), LBP变体,灰度共生矩阵法应用灰度共生矩阵建立(),和法律的质地,展示更好的纹理表示。广泛使用的分类器与卡方距离再邻居和支持向量机(18]。

深纹理分类是机器学习的一个子类,神经网络自动提取不同图像特征描述纹理。作者阐述了不同方法对深度纹理分类和代表人物1。


图1
深颜色纹理分类的神经网络方法。

第一种方法侧重于使用卷积神经网络(CNN)和手工制作的特征对纹理分类。也利用的可能性,应用机器学习分类器以及深CNN特性。CNN也可以作为特征提取器作为分类器。在这种方法中,特征图谱生成深的有更好的特征特性和手工制作的功能。CNN可以进行特征提取和分类。第二种方法是开发和设计一个新的CNN架构提取纹理特征并进行分类。这是必要的,以确保选择适当的优化和hyperparameters分类。知名pretrained模型的使用另一种方法,这样的模型执行转移学习。这种方法使用pretrained模型的模型已经彻底学会从大量ImageNet数据库功能。这种方法是理想的图像数据集时少和计算设施是有限的。 Another is a blended approach that utilizes both machine learning classifier and deep learning feature generation techniques.

在DeepLumina,深特性提取使用pretrained ResNet101模型,它捕获从YIQ颜色空间和亮度信息从RGB图像颜色信息。纹理分类是使用基于机器学习的分类器执行支持向量机(SVM)。简要回顾深度纹理分类方法将在本节中讨论。

2.1。混合CNN-Handcrafted特性与机器学习分类器

王等人。19]讨论了基于深层神经网络的特征融合识别乳腺癌的恶性肿瘤。作者使用混合CNN和手工制作的特征如纹理、密度、形态特征,和一个极端的机器学习分类器。施等。20.]特征融合用于船舶分类得到MultiScale-Completed局部二进制模式(MS-CLBP)和深特性和使用支持向量机分类图像特征。这些特性捕获船的旋转不变性的图像。JBene et al。21基于手工]讨论了方法和CNN纹理分类的功能。这项工作表明,CNN的统计特性提高分类性能,当深功能连接与手工制作的工作特性,pretrained模型,即Xception ResNet50网络和手工制作的特性LBP直方图,GLCM,小波直方图,transform-Fisher和规模不变的特征向量(SIFT-FV)特性分类。

2.2。纹理分类基于Pretrained模型

罗伊et al。22)提出TexFusionNet fusion-based CNN, pretrained AlexNet最后VGGNet致密层融合。一个完全连接层是用来类分数与分类熵损失函数。萨利姆et al。23]讨论了植物病害检测的深度学习的体系结构和分类。Cimpoi et al。24]研究了费舍尔的意义基于向量(艘)的特征空间和提议FV-CNN, FC-CNN真实描述纹理识别。的骨干FC-CNN FV-CNN VGG模型。工作也带来了另一个功能,完全连接CNN (FC-CNN)中提取的形状特征出现在一个地区的形象。FV-CNN捕捉地方特色的区域选择和消除了全球信息。受这一事实从高维特性减少纹理特性导致精度的改善,歌曲等。25)修改了Cimpoi减少等人通过引入工作特性和开发一个歧视神经网络降低特征维度。这项工作(25)展示了CNN的效率特性和评估他们在DTD, KTIPS2a,手足口病数据集。出于这一事实深特征可以代表更好的纹理特征空间,西蒙et al。18)提出了一个深刻的框架,从pretrained提取深度特性模型和支持向量机用于纹理模式分类对这些图像进行分类。该方法计算效率微调CNN hyperparameters不是必需的。Hafemann等人提出了一个基于转移学习纹理分类。这项工作(26)使用CNN获得一个新的特征向量表示基于softmax分类和机器学习分类器。

3所示。材料和方法

颜色纹理分类、深层神经网络可以更好地捕捉色彩和亮度的功能。该方法DeepLumina调查使用RGB和亮度信息的优势从真实的纹理图像。RGB颜色空间display-oriented,而人眼对亮度敏感。所以将亮度从YIQ模型在精度有显著影响的纹理分类。

3.1。材料

颜色纹理分类、纹理数据集Flickr材料数据集(手足口病)和描述纹理数据集(DTD)描述各种自然和可描写的纹理在日常生活中。DTD和手足口病提供一个对现实的纹理,在日常生活中经常遇到。这些复杂的数据集和被认为是最具挑战性的纹理分类。描述纹理数据集(DTD)是一个colored-texture数据库(27)包含描述真实的纹理的纹理在野外自然如布满蜘蛛网的编织,点缀,有疤的褶边。DTD为47 120图像纹理分类增加5640的图像。Flickr材料数据库(手足口病)28)是另一个具有挑战性的纹理数据集,抓住材料的外观和可见性。手足口病数据集有10类,每个类包含100张图片。在工作中,刘等人。3]认为DTD和手足口病具有挑战性的,因为大组内变异和外观的变化数据集。的手足口病和DTD集数据所示2和3分别。


图2
数据集的DTD。

图3
数据集的手足口病。
3.2。颜色空间纹理分类的意义

颜色模型(5)代表了图像不同层次的知觉,它不同根据不同颜色的辨别能力和强度通道。颜色空间发挥主管属性识别的视觉场景真实的纹理图像。颜色的选择对彩色图像处理系统有很大的影响。的区别的特征空间或颜色模型不同基于特定的视觉任务和提供的纹理图像数据。Cernadas et al。29日)分类系统,基于RGB颜色空间,基于视觉感知的颜色模型(HSV)和基于亮度颜色的颜色空间,捕捉亮度色度(YCbCr、YUV YIQ, L∗一个∗b∗)信息。RGB颜色系统的局限性是由于之间的高度相关性R、G B组件(4]。纹理图像或与RGB模式可以更好的表示模型与亮度从包括YIQ颜色空间,获得YCbCr, HSV, L∗一个∗b∗。在这个工作中,从上述颜色亮度信息空间的重要性被广泛用于纹理分类。亮度信息影响纹理特征空间的表示。HSV和L∗一个∗b (30.)遵循非线性变换,而YCbCr和YIQ遵循一个线性变换,因为图像的视觉感知。文献表明,HSV和YCbCr [31日)颜色空间申请脸图像检索应用程序和L∗u∗v∗和L∗一个∗b∗在凸起的检测。Broek et al。32)提出了一种纹理分类方法应用纹理描述符如颜色相关图和同现矩阵在六个颜色空间,包括RGB、HSV, YUV,爱和YIQ。ColorNet CNN网络开发利用颜色空间的概念和pretrained模型分类。在ColorNet高达et al。6]DenseNet模型用于分类CIFAR10数据集和获得良好的结果。

3.3。特殊性的亮度

在图像亮度提供照明或亮度。这个通道提取有意义的信息,考虑到照明从纹理图像方差(29日]。L∗一个∗b类似于HSV颜色空间模型表示基于人类视觉感知的图像。根据Pietikainen et al。33),不同的纹理信息可以发现来自代表高空间频率信息的区域边缘和边界。角色等。34)结构的调查,从模型中提取边缘细节,和亮度变化比色度通道亮度通道。纹理特征可以有效地捕捉从亮度而不是颜色。不同的颜色从颜色空间提供不同程度的亮度分离35]。R, ,和B差异都是类似的对于一个给定的区域空间。制品等。36]分析了图像特征信息出现在亮度和色度通道是不同的频道。所以建议隔离亮度色度方面的色彩规范系统。从上面的文献中,我们可以推断出这亮度通道是重要的和需要单独从其他颜色亮度模型提取的结构细节和更好的功能表示纹理分类的问题。在CNN-based超限分辨(37),特点是提取YCbCr颜色空间的亮度通道从深层神经网络。亮度信息的意义需要更好的追究纹理分析应用程序。文献表明,颜色坐标系统可以在不同的应用程序提高分类精度。亮度与深颜色模型特性的影响需要进一步的调查。李等人。38)在他们的实验证明了深陷网络生成图像,色度分量比亮度分量更明显。深度图像生成更多的残余色度域组件。深层网络捕获主要色度特性和图像亮度信息特征提取变得不那么突出。在这种情况下,深层网络可能不捕获图像中的亮度信息。值得承诺调查亮度信息颜色纹理分类的影响。在我们的工作中,实验分析证明,纹理分类精度提高居然当深层网络捕获的颜色和亮度信息。应用不同颜色的亮度信息的影响空间和深度特性影响分类精度。该方法DeepLumina利用使用亮度信息与RGB颜色空间的可能性,和它的工作原理RGB-Luminance特征空间。

3.4。DeepLumina-Deep学习颜色纹理分类的框架与亮度信息

深颜色纹理分类,网络可以更好地捕捉从RGB颜色和亮度特征和亮度在YIQ模型中,分别。该方法研究了RGB和亮度信息的影响从纹理。在现实的自然图像、一阶和二阶信息对应的亮度和纹理,分别为(12]。受亮度和纹理是重要的特性,需要捕捉的图像,我们提议DeepLumina。

DeepLumina框架总结在图4。亮度提供更好的视觉感知。该方法将亮度和RGB颜色特性推导更好的纹理特征空间和执行由支持向量机分类。DeepLumina框架中,我们调查的效率亮度特性与深度特性。RGB纹理图像转换为YCbCr, L∗一个∗b∗、YIQ HSV颜色空间和相应的亮度图像提取。色度组件不被认为是由于颜色信息可以保存在RGB颜色空间。这些亮度图像,连同RGB图像,应用于ResNet101 pretrained模型。RGB图像和Y通道从YIQ模型(亮度)图像分别进行处理,然后连接成一个特征向量进行分类。从RGB颜色特征和亮度特征是连接。纹理识别的亮度通道有能力在一个更好的方法34]。Pretrained模型提取深度特征并捕获亮度特征的纹理图像。给出了这些特性的快速线性规划求解支持向量机分类的真实纹理。RGB和生成的亮度图像被训练使用ResNet101模型,相比之下,七pretrained模型进行分析。DeepLumina框架与各种颜色模型和pretrained模型如图5。DeepLumina的过程提出了表1。支持向量机(SVM) [39)可以处理高维空间纹理特征,因此可以有效地应用于纹理分类。输入图像RGB大小为224×224 ResNet101模型中的应用。


图4
DeepLumina纹理分类,提出了框架。

图5
框架的DeepLumina颜色模型和pretrained模型。
表1
DeepLumina框架。
3.4.1。YIQ颜色空间转换和亮度图像估计

颜色系统详细的作用尤其在计算机视觉的应用程序。在纹理分类,不同的颜色空间表示援助在改善精度(5]。RGB颜色空间(40)代表一个特定颜色的色度和亮度通道存在于这个颜色空间。这是最普遍使用的颜色模式是device-oriented和突出相机显示设备。RGB分量是敏感的轻盈和阴影。纹理图像中可以感知到的更好比RGB颜色空间其他RGB颜色系统不捕捉了人类视觉系统方面的。RGB是不均匀的,而L∗一个∗b∗是一个永恒的均匀颜色空间和HSV大约均匀颜色空间。人类感知可以区分对象和色调,饱和度和颜色强度在HSI空间建模。因此,RGB颜色空间不是有效的解决计算机视觉问题预计性能符合人类的视觉(8]。因此,有必要研究模型以外的RGB颜色模型。

YIQ也是一个非线性,非均匀源自RGB颜色空间。Y代表亮度/亮度,我和问代表浓度或颜色组件。纹理图像在YIQ模型可用于分类的应用。在这项工作中,我们推导出Y组件和亮度来源于YIQ模型进行处理。YIQ颜色的RGB转换公式如下所示(41]:

L∗一个∗b∗系统是基于中间颜色空间,即CIE XYZ空间。RGB分量转化为XYZ平面,然后转换成L∗一个∗b∗颜色空间。在DeepLumina,我们只考虑的l从L通道的纹理图像∗一个∗b∗颜色空间。RGB到L∗一个∗b∗转换说明这里(41,42]:

在L∗一个∗b∗颜色空间,颜色分配对白色点的引用。X0,Y0,Z0白色表示的坐标参考。L∗捕获一个∗提取亮度,颜色变化从绿色到红色和b∗代表颜色变化从蓝色到黄色。DeepLumina, RGB纹理图像转换为YCbCr模型,构造,只有YCbCr亮度图像的处理算法。YCbCr系统来源于RGB颜色模型,这是一个永久的RGB颜色模型的非线性变换。YCbCr空间颜色代表了一种形象Y,亮度分量,和色度CbCr组件。YCbCr模型是用于压缩算法,如JPEG, JPEG 2000 h, HEVC。

从RGB颜色转换到YCbCr相当于如下(43]:

HSV颜色系统模型的人类视觉系统感知亮度、色调和饱和度比RGB颜色组件。HSV可以处理噪声比L∗一个∗b∗和RGB颜色空间。已广泛应用于医学图像HSV颜色空间。在这项工作中,我们只考虑亮度图像(V)的纹理图像HSV颜色系统,和方程如下所示。

RGB HSV转换解释这里(44,45]:

作者测试了该方法与RGB, YCbCr, HSV, L∗一个∗b∗颜色空间进行调查的效率YIQ颜色空间的亮度。

3.4.2。代Deep-Luminance特征图从Pretrained ResNet101模型

深层神经网络(款)是一个重要的CNN,被广泛用于捕获功能空间和用于计算机视觉应用程序,包括纹理分类。这些特性神经网络学习训练过程中自动模式。款作为特征提取器或解决模式识别问题的分类器。在DeepLumina深特性提取ResNet101 [46]。pretrained模型用于比较分析在这个工作是AlexNet [47],VGG19 [48],ResNet50 [46,ResNet101 Inceptionv3 [49],InceptionResNetv2 [50],DenseNet201 [51]和MobileNet [52]。AlexNet是第一个受欢迎的CNN模型在2012年提出。AlexNet深60米组成的参数和使用ReLU激活函数和辍学来控制过度拟合问题。VGG19是一个温和的CNN,有大量的参数。它比AlexNet在解决过度拟合问题。ResNet50 ResNet101很受欢迎和要求pretrained模型进行纹理分析。解决梯度消失问题背后的主要思想在ResNet残块网络中得到重复。这个网络有几个跳过连接,它学习和火车的残余。在初始模型中,当地的,全球性的,捕获和跳过连接特性从一个3×3烈性黑啤酒和5×5块,分别。大量的过滤器被应用和卷积操作执行。 ResNet101 is a CNN with 101 layers depth. Each ResNet block is 3 layers deep. ResNet models have fewer filters and less complex. The number of trainable parameters in ResNet101 is 44,549,224.

InceptionResNet模型的混合组合ResNet模型和初始模型的残余初始块设计。DenseNet201,更稠密街区出现在模型中,这有效地执行误差传播。MobileNet有几个参数,它被认为是一个轻量级模型,应用深度分离内核。Gerihos et al。53]研究了纹理特征的突出了从imageNet pretrained CNN模型训练数据集。卷积神经网络有更好的纹理图像分类的优势,即使全球结构和形状并不保存在图像。

DeepLumina构造卷积的特征映射层。深层网络包含了RGB的特性和Y通道特性,分别代表的颜色和亮度信息。这种方法会产生一组丰富的强大和主管纹理特征的分类任务变得高效。卷积层捕获图像的低和高水平的功能。该方法是计算有效自深功能正在由一个支持向量机分类器训练。卷积特性的参数的不同层pretrained模型提取deep-luminance特性给出了表2和3。参数包括卷积层使用的数量,输入图像大小,内核大小和功能层。在glorot (xavier) initilization、体重的初始化是基于高斯值与零均值和方差基于扇入和扇出隐藏的节点的数量。特征映射从pretrained方法获得DeepLumina可视化图6。

表2
CNN参数用于功能从Pretrained地图生成模型
表3
CNN参数用于功能从Pretrained地图生成模型。
表4
精度获得DeepLumina基准纹理数据集DTD。

图6
深纹理特征的可视化地图获得DeepLumina框架。
3.4.3。使用支持向量机分类

支持向量机(SVM)分类器泛化能力和高构造最优超平面分类结构类。它可以被视为一个决策函数,以最大的优势是线性向量之间的结构类。Krammer说et al。54)提出了一种构建多类支持向量机的方法。支持向量机是制定作为一个优化问题。不同像素强度需要分类以这样一种方式,以最大限度地利用支持向量之间的差距。 在哪里 表示正确的边缘的距离测量 ,在哪里 表示一个正则化参数, 表示法向量, 表示转换新输入空间向量, 代表一个偏差值, 表示我th目标的价值。

支持向量机被证明是更好的纹理分类器分类因为它可以处理高维特征空间中发现的结构模式。金等。39)利用支持向量机分类器的意义时申请了纹理分类问题。SVM使用各种内核函数如线性内核,RBF核函数和多项式核。支持向量机最适合于识别纹理模式,因为两个重要原因。首先是非线性的映射纹理空间到高维空间。接下来是最优分离超平面结构。在这项工作中,我们使用一个多类支持向量机分类器在训练快速线性规划求解获得特性。对于多级分类,纠错输出代码(ECOC) [55利用,使用二进制学习者的输出预测多重纹理类。

4所示。结果和讨论

在本节中,实验、结果分析、讨论了和之前比较与其他作品来分析和评估DeepLumina的能力。

4.1。实验结果

DeepLumina模型是具有挑战性的测试数据集,即DTD和口蹄疫ResNet101 CNN使用支持向量机分类器功能。批处理大小为选择DeepLumina 27。处理数据集随机分割,以80%的图像使用在训练和测试期间使用的20%。损失函数用于多级纹理分类是直言叉了错误率在深度学习模型。支持向量机进行分类使用ECOC [55)模式,使用稀疏随机编码参数。提出工作,手足口病数据集获得90.15%的准确性,和DTD集获得73.63%的准确性,这是一个很好的改善相比与现有最先进的方法。精度获得数据集的DeepLumina DTD和手足口病在本节中讨论和提出了表4和5。这些表说明了该方法的效率DeepLumina。在系统配置进行的实验是英特尔(R) (TM)核心i7 - 8565 u @ 1.80 GHz CPU, 8 GB RAM, NVIDIA GeForce MX150, Matlab。

表5
精度获得DeepLumina方法基准纹理数据集手足口病。
表6
对该方法计算时间(分钟)——DeepLumina DTD的数据集。

我们可以从实验结果推断,所有luminance-based与RGB颜色空间转换为纹理分类产生更好的结果。这些结果解释成亮度特性的重要性和YIQ颜色模型。MobileNet模型中,计算效率和轻量级模型,获得了精度YIQ为68.15%。ResNet50 YIQ模型,产生73.01%和ResNet101 YIQ模型在DTD中数据集的73.63%。DeepLumina框架,ResNet 50和ResNet101实现竞争结果的准确性时RGB-Luminance图片和使用支持向量机。值得注意的是,模型YIQ颜色产生最好的结果在ResNet pretrained模型。在我们的工作中,我们调查了YIQ颜色模型纹理分类的能力。结合RGB-Luminance信息与深层网络演示了一个很好的改善纹理分类精度。MobileNet ResNet50模型产生一个更好的结果87.3%和89.7%的L∗一个∗b为口蹄疫∗颜色空间数据集。DeepLumina框架,ResNet101获得出色的精度90.15% RGB-Luminance图像和SVM用于手足口病数据集,非常有前途。

纹理高维数据,它提供了一个线索在视觉检测和目标识别。从实验结果中,我们可以观察到增加了3%到7%的准确性得到当我们合并与RGB颜色空间的亮度信息数据集相比,RGB颜色模型。Pretrained CNN-FC模型测试和比较显示稳定精度的提高,这是非常广阔。手足口病数据集获得90.15%的精度高。我们可以推断在具有挑战性的纹理数据集分类,即。手足口病和DTD,高效与亮度特性。DTD ResNet50也给了一个好的结果,ResNet101 pretrained模型。它提供了约73.63%的好成绩,因为它可以捕获的罚款和粗纹理细节pretrained CNN架构。我们还可以观察到YIQ颜色的亮度模型被证明是有效的识别结构类。实验表明,口蹄疫ResNet101模型中的数据集执行更好的在使用颜色模型L∗一个∗b∗、HSV和YIQ颜色模型。DTD集ResNet50和ResNet101模型性能更好,同时与YIQ颜色空间。

4.2。计算时间

获得的计算时间(分钟)提出DeepLumina方法基准数据集DTD和手足口病和比较分析中给出了表6和7。MobileNet和AlexNet大大减少计算时间,但获得满意的精度改进为DTD数据集。InceptionResNetv2和DenseNet201模型需要高计算时间(分别为11到15分钟),但结果是相当的精度。ResNet50和ResNet101构建计算高效的DTD数据集模型具有良好的精度。其余的pretrained口蹄疫数据集分类模型相比近0.5到3分钟。InceptionResNetv2模型获得良好的准确性,但执行时间具有可比性。

表7
计算时间(分钟)方法,DeepLumina口蹄疫的数据集。
表8
与CNN-FC模型比较有和没有亮度的DTD和手足口病数据集。
4.3。与CNN-FC Pretrained模型

在本节中,CNN-FC模型阐述了的结果。ResNet-FC CNN模型与一个完全连接层是实现该方法的比较。我们执行一个分析与不同的端到端pretrained模型纹理分类和分析结果。实验是由训练CNN pretrained网络使用RGB和YIQ RGB-Luminance信息模型,并推导出推断。数据增强执行旋转、翻译、与反思训练数据。我们训练有素的CNN模型增强数据与时代不同从5到20。批处理大小被固定为8。我们进行调优的hyperparameters CNN与不同的值。优化器使用随机梯度下降法与动量(个)和学习速率是1 e-05使用。我们使用ResNet50、ResNet101 AlexNet VGG19, Inceptionv3 MobileNet, DenseNet201分析。 ResNet models have obtained an accuracy of 72.12% and 88% for DTD and FMD datasets. Also, VGG19 and Inceptionv3 performed better with accuracies 72.61% and 88.50% for DTD and FMD, respectively. From the results obtained, we inferred that processing texture images only in the RGB color system could not improve the performance. Luminance along with RGB information improved classification results. The results are summarized in Table8。计算时间pretrained CNN-FC模型范围从0.5小时到16小时基于hyperparameters指定的DTD和手足口病数据集。这一分析表明,亮度在纹理图像分类的意义,并使用支持向量机作为分类器会导致计算效率。实验结果的pretrained CNN-FC模型有或没有亮度在YIQ颜色空间中描述表8DTD和手足口病数据集。accuracy-loss曲线在图提供的模型具有良好的精度7。从实验分析,我们推断,DeepLumina获得了更好的准确性和计算效率比pretrained CNN-FC模型。

表9
为DTD数据集进行比较分析。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图7
Accuracy-Loss曲线pretrained CNN-FC模型与亮度信息:比较。
4.4。与之前相比技术

DeepLumina比较与其他先进的纹理分类方法和结果突出显示在表中9和10。Cimpoi et al。24)提出了一个自定义费舍尔向量CNN (FV-CNN)和完全连接(FC-CNN)获得一个DTD集72.9%和63.4%的准确性。这种方法是基于VGG模型,提取局部特征的纹理图像。西蒙et al。18深]讨论了框架,使用功能从pretrained模型并使用支持向量机分类器分类DTD和口蹄疫的纹理数据准确率达到了66.49%和84.50%,分别。Cimpoi [27)提出了另一种方法基于改进费舍尔向量(IFV)和深Convolutional-network激活特性(脱),获得了66.7%和65.5%的准确性DTD和手足口病数据集。戴et al。56FASON CNN)提出了一个双线性模型,捕捉到了二阶信息从深层网络的特性,并获得72.9%的准确性为DTD数据集。戴等人结合双线性模型与一阶梯度融合的信息泄漏,这抓住了深特性和降低特征维度。歌等。25]显示CNN获得使用的效率特性,设计了一个CNN获得特性,进行降维。他们在手足口病数据集已经达到了83.2%的准确率。塞雷佐et al。57]分析了DTD集ResNet50-FC和获得了60.8%的准确率。贝尔等人开发了一种基于尺度不变特征变换的方法和改进的费舍尔向量(SIFT-IFV-fc7)和69.6精度了手足口病数据集。DeepLumina获得了一个有前途的精度73.6%和90.15%的DTD和手足口病数据集从ResNet101深从YIQ颜色空间特征与RGB亮度由支持向量机分类。

表10
为手足口病数据集进行比较分析。

5。结论

颜色纹理分类是一个重要的任务在机器视觉,尤其是在视觉细粒度识别应用程序。拟议的工作表明引入亮度的效率和RGB信息生成深纹理图像的特征。DeepLumina提取更好的纹理特征映射将亮度特性的网络。实验结果表明,DeepLumina需要最少的计算时间。实验结果也证明中国政府强大的影响力,亮度DeepLumina框架的性能。在这项工作中,我们测试使用五色模型,即RGB, YCbCr YIQ, HSV, L∗一个∗b∗和使用八pretrained模型,即。MobileNet、ResNet50 ResNet101、DenseNet201 AlexNet, VGG16 Inceptionv3, InceptionResNetv2。使用DeepLumina方法,实现更高精度的73.63%和90.15%在ResNet101 DTD和手足口病数据集,分别。该方法也点明YIQ颜色空间的效率获得更好的纹理分类精度。

数据可用性

数据用于支持本文的结果是公开可用的基准数据集DTD和手足口病,可以在网站中找到https://www.robots.ox.ac.uk/ vgg /数据/ dtd /和https://people.csail.mit.edu/celiu/CVPR2010/FMD/

的利益冲突

作者宣称没有利益冲突。