文摘
卷积神经网络的权重分享功能可以显著减少繁琐的网络结构,减少权重的数量需要训练。模型可以直接输入原始图像,没有特征提取和数据重建的过程中常见的分类算法。这种网络结构有良好的性能在图像处理和识别。基于颜色卷积神经网络的客观评价方法,提出了一种基于多色空间和卷积神经网络模型构建了一个基于VGGNet卷积神经网络(视觉几何组净)在三个不同的颜色空间,也就是说,RGB(红绿蓝),实验室(光度一个b)和HSV(色相饱和度值)颜色空间。我们开展的研究数据输入处理和模型输出选择和执行彩色图像的特征提取和预测。模型输出选择法官后,不同的颜色空间融合的预测结果和最终的预测类别输出。本文从视觉艺术的多维关联图像处理和颜色的客观评价。考虑艺术绘画风格的演变之间的关系和艺术图像的颜色,本文还探讨了艺术形象维度的特征。针对不同的因素,相应的知识提取策略旨在生成颜色标签分布,为输入图像,提供补充信息的艺术历史和火车模型在多任务学习框架。本文在多个艺术绘画数据集实验证明这种方法优于单色标签分类方法。
1。介绍
在深度学习,卷积网络结构模型是一种算法具有高识别率。它已经发展成为一个热门的研究领域在许多学科,特别是在数字图像处理的研究,图像识别,目标跟踪,等。图像的原始图像可以避免复杂的预处理和具有层次结构的特点,一些训练参数,适应性强,所以它得到了广泛的应用1- - - - - -3]。飞机上的重量是共享的,因此模型的参数的数量需要减少训练,和模型的cumbersomeness程度也减少了(4]。每个卷积层的网络将会连接到计算层用于提取图像特征。这种特殊的特征提取方法不仅可以有效降低提取映射平面的尺寸还有空间不变性的特征(5]。
虽然数字图像处理技术的发展时间相对较短,由于计算机技术的广泛应用,图像处理和分析已经被各界人士关注的生活,逐渐形成自己的科学体系(6]。在图像的研究和应用,人们只对图像的某些部分或感兴趣区域有特殊属性。人们感兴趣的区域被称为图像的前景,和其他部分被称为背景。人类识别的颜色是由三个不可或缺的部分:光,物体能反射光线,人眼和大脑。感觉产生的光线落在视网膜的人眼颜色形式。在光的触发下,人眼感觉三色的光来产生相应的电信号(7- - - - - -9]。电信号传输到大脑通过人类的神经系统,最后,颜色是大脑中产生。通过多年的发展,人们的理解颜色变得越来越深,和颜色已经发展成为一个复杂的主题,涉及许多学科如物理、生物学、材料科学、甚至心理学(10]。它可以从颜色形成颜色的过程是一个人类的大脑产生的主观感受物体的颜色。这种感觉很难用数学方法描述。尽管人们的不懈努力,不断研究和示范后,大量的色彩理论,提出了测量技术和标准(11]。
本文构造了一个基于多个颜色空间卷积神经网络模型。一些主流卷积神经网络分类模型和应用场景,然后分类网络基于VGGNet(视觉几何组净)是选择模型的训练。具体来说,本文的技术贡献可以概括如下:首先,本文提出了一种多色空间卷积神经网络模型,并从数据选择和培训进行研究,模型构建,等。将一个单色标签颜色标签分布不会增加注释信息除了训练样本的风格,这也确保了研究本文与其他方法相比是公平的。其次,我们使用一个端到端的多任务学习框架优化分类任务的艺术绘画风格和颜色标签的任务分配在同一时间。颜色标签分布基于艺术历史的维度信息增强的能力区分视觉特性在卷积神经网络的训练。第三,通过三个实验艺术绘画的数据集,我们证明,该方法可以有效地使用艺术史相关信息协助学习的视觉特性和提高艺术绘画风格分类的准确性。与最新的艺术绘画分类方法相比,我们的方法具有明显的优势在不同的数据集实验结果。
本文的其余部分组织如下。部分2讨论相关工作。部分3分析了艺术形象色域映射的方法和机制。部分4构建一个基于多个颜色空间卷积神经网络模型。节5、实验进行比较和结果分析。部分6总结了全文。
2。相关工作
相关学者提出了一种新的参数来改善认知机器的区分能力(12- - - - - -14]。这个参数是一种抑制信号,限制激活效果的重复特性的节点元素。许多网络模型将记住某些相关特性内容在连接的重量。根据赫的原理,特点是反复学习,然后它将分类时更容易找到。也有研究人员结合进化计算原则和认知理论的机器来削弱学习,频繁发生的特征(15]。网络可以专注于其他不同的特性,提高识别性能。CNN可以被视为认知的扩展机器,机器和认知可以作为一个独特的结构,CNN (16,17]。
研究人员已经提出了一个全球图像之间的颜色迁移算法(18]。算法将一个图像的颜色特征转移到另一个图像通过使用颜色空间转换,然后利用统计分析知识。为了确保每个颜色通道的独立性,该算法在CIELAB(国际照明委员会光度一个b)颜色空间,然后确定图像的一个线性变换,和源图像转换使用图像的统计特征,以确保结果的图像(19]。实验结果表明,与强大的颜色相似图像,该算法可以将目标图像源图像的颜色特征,获得令人满意的视觉效果。如果图像之间的相似性很穷,甚至可能失败。
相关学者应用高阶时间图像颜色转移(20.]。算法介绍了高阶的峰度和斜率的时刻,然后使用模数转换和功率转换调整高阶时刻源图像数据的峰度和斜坡等,更好的保留了图像的细节。它更类似于目标图像的分布和迁移效果达到一个好的颜色。然而,该算法时间复杂度高,不能直接应用于具有高实时要求的场合。相关学者提出的想法多分辨率图像着色(21]。当执行面着色,第一颜色的低分辨率图像的一部分,然后是高分辨率图像的颜色转变的一部分。同时,算法过程中跳过彩色块颜色灰色像素,所以图像的着色速度大大提高。但是算法的适用性并不是很强。虽然脸上着色的效果很好,其他场景影响不是很明显。之后,一些学者提出了一个全新的色彩和谐的想法(22]。算法使用一个圆形面板来改变图像的颜色。同时,为了使图像更真实和自然,该算法还使用标准颜色模板正确结果图像,所以结果图像具有良好的视觉效果,让用户看起来非常舒适和自然。但因为该算法使用面板匹配,它有很强的主观表现。
交互式图像分割方法提取部分,人们感兴趣的目标图像进行进一步分析和处理。然而,人类的视觉也是主观的,这个主观决定人们主观因素在确定图像分割的效果图像分割的过程。人类大脑将综合考虑图像进行图像分析时,如图像的整体布局,它由,基本音调,和空间的关系。尤其是当面对彩色图像时,人类大脑的逻辑分析能力与传统计算机图像分割技术难以实现(23]。人工智能技术的应用,图像分割是一个非常重要的研究方向。人工智能技术有丰富的先验知识通过不断“学习”,这样当遇到类似的问题。问题是处理,和人类视觉系统的因素被添加到图像分割结果的判断,这可以极大地方法人类视觉歧视制度,有效改善分割效果(24,25]。总之,人机交互强调人的作用,所以它可以产生更好的结果。
3所示。的色域映射方法和机制的艺术图像
3.1。色饱和度和色域映射
颜色是由颜色空间,这也被称为颜色模型。它使用数学方法来可视化的颜色,颜色表示更直观,解释了颜色的方式,人们可以了解并拥有一个统一的标准。例如,从人眼的角度,颜色可以定义为色调,饱和度,根据人类视觉特征和亮度;在显示设备,我们使用红、绿、蓝荧光粉来确定的光量。这些大量的灯是用来描述颜色混合的方式。在印刷和印刷设备,人们用青色的反射和吸收,洋红色,黄色和黑色产生所需的颜色。从本质上讲,颜色表达的空间坐标系统和子空间。一个三维坐标通常是用来描述颜色空间。每个点的坐标对应一个颜色。在色域映射过程中,主要映射对象之间的关系和映射参数如图1。
3.2。色域边界的描述和计算
分区最大化描述方法是描述色域边界通过记录的最大半径在每个子空间与设备无关的色彩空间极坐标系。在每个颜色空间的一部分,一组颜色的色域是由一个矩阵描述包含最大极值的颜色,和色域表面生成基于这个矩阵。计算过程主要分为两个部分,即计算色域边界描述符和计算色域边界之间的交叉和映射方向线。
表示顶点的分区可以色度坐标的形式(l,C,h)或球坐标(z,θ预习)。球面坐标系统的计算如下:
其中,E的中心点是色域描述和坐标是(50,0,0),可由计算或直接赋值。r是颜色点到中心点的距离,然后呢θ时平面角度色相角是预习,范围是0°∼180°。根据预习和亮度和色相角h,颜色空间由上述球面坐标系统分为分区。该方法描述的色域边界意识到一个矩阵的形式。颜色的点(预习,θ,z)或( , ,h)的色域边界的每个分区存储矩阵。色域边界的描述的准确性与分区的数量选择。我们的最大价值坐标半径r在每个分区获取GBD矩阵。如果没有颜色数据点在一个特定的区域,它可以获得的最接近GBD矩阵数据的插值计算。
为整个GBD,n相交点。此外,亮度轴的交点,飞机由GBD矩阵计算。这些点的边界的终点是线性颜色范围。的计算,只有GBD矩阵对应的最大或最小值需要被考虑。点最大亮度值和两个相邻点形成一个三角形,三角形的交点,计算亮度轴。如果交点在三角形内,关键是边界方向线和色域之间的映射。
3.3。SGCK色域映射机制
算法首先将源图像颜色的明度映射到目标色域的明度范围通过s形函数查找表根据浓度的源图像,然后将浓度映射到目标色域的节段压缩iso-hue平面。
颜色在源色域映射到目标设备色域的明度动态范围。乙状结肠函数的形式是一维查找表正常获得的累计概率分布函数,及其数学表达式如下:
其中,我代表了查找表的输入值,我= 0、1、2、…米,米≥100,x0和δ是正常的平均值和方差累积概率分布,及其目标的大小是一样的颜色范围。最低亮度是相关的。年代我代表相应的查找表的输出值输入值时我。我们将查找表的输出年代到目标色域:
其中,和代表了明度最低和最大目标色域的轻盈,分别年代附近地区代表将查找表的输出值。
我们绘制浓度C对应颜色的明度源色域的明度范围目标色域,即
其中,
代表映射后的明度。
3.4。空间域色域映射算法
它提高了映射相应的质量,可以更好地保留源图像的空间细节。源的颜色色域映射到目标色域一个接一个地和周围的颜色和颜色之间的关系是不考虑。以HPMinΔE算法为例,该算法可以表示如下:
其中,我映射的图像和我在源图像。在图所示的映射过程2。
考虑图像的空间特征,源色饱和度的颜色将被处理根据它们之间的关系和在附近的颜色。空间域自适应映射算法优化饱和度信息的保存和保护源区域中的颜色之间的关系。
4所示。基于多色空间卷积神经网络模型
4.1。主流特征提取模型
该算法基于“卷积神经网络通过网络来自动提取图像特征。从算法的角度来看,卷积神经网络的网络结构使用共享参数,这不仅可以减少操作所需的内存的大小也减少训练的迭代的数量。甚至有不需要执行任何预处理操作提前和特征提取的图像。与其他传统算法相比,这是卷积神经网络算法的优势。通过卷积神经网络原理的分析,我们可以看到,网络的“深度”和“卷积核的大小”的关键因素是影响网络模型算法的性能。一般来说,随着网络的深度的加深,网络描述图像特征的能力将会变得更强大;较小的卷积检查处理图像更加精炼,将会有更多RELU层,和网络的图像识别能力更强。根据当前发展的深层学习网络结构,网络的深度和广度不断增加,大多数使用较小的卷积核。Inception-v3网络不仅使用一个较小的卷积核,还优化了网络结构模块。
因为自然图像和计算机图像的纹理特征本质上是不同的,可以提取的纹理特征两个识别倪图像和CG图像。纹理特征不同于图像特征,如颜色和灰度。纹理特征是基于统计特征的图像区域,这不仅可以提取物体的表面结构和排列特征由于当地偏差也不会失败。纹理特征通常有旋转不变性和有一定的抗噪声和枸杞多糖是最好的描述符反映了图像的纹理。我们可以看到,MRELBP可以描述微观和宏观纹理图像的特征,而CoALBP可以描述纹理图像块之间的关系。因此,本文选择MRELBP特性和改善CoALBP获取CCoALBP纹理特征。结合两个纹理特征,倪图像来源取证和CG图像。
深卷积神经网络时,必须提到几个经典的卷积神经网络特征提取模型,即AlexNet VGGNet GoogLeNet, ResNet。他们非常训练有素ImageNet等大规模数据集,这是优秀的和有很强的识别能力,在多个类别分类图像。因此,本节首先比较经典的深卷积神经网络的性能,比较了各自的优缺点,然后构建本文的深层卷积神经网络模型在此基础上。
AlexNet相对较浅的层数,这是不适合本文的分类问题;虽然网络级GoogLeNet VGGNet相似,其卷积核的大小不仅是像VGGNet 3×3。相比之下,VGGNet更适合这篇文章;尽管在排名前最后ResNet执行比VGGNet val.err,其网络层次更深,GoogLeNet一样的卷积核的大小问题。这样的多层网络结构,层数增加了好几次,但性能并没有增加好几次了。因此,在考虑选择一个网络时,你需要平衡需求和选择合适的网络结构。
因此,从现实出发,结合本文中颜色的客观评价,VGGNet更适当的评价效果和精度在可接受的范围之内。
4.2。模型架构描述
针对类型丰富的艺术形象,训练网络的深度,和训练样本的不平衡分布,提出了一种基于多个颜色空间卷积神经网络模型。该模型结构如图3。
考虑是选择VGGNet的特征提取部分,也就是说,卷积层和汇聚层。因此,在训练阶段,三色的空间模型将分别被训练并保存参数权重。后提取空间卷积神经网络的特性,它是连接到一个模型输出选择决定因素在同一时间。这个模型输出选择决定因素将会统一检测结果通过三色的空间模型和输出最终的预测结果。
4.3。VGGNet模型
在构建本文的网络模型,本文选择基于VGGNet构建它,但是考虑到本文的实际问题,构建它时仍有一些变化。特定的网络结构如图4。
VGGNet结构如图4。原VGGNet-16相比,本文主要修改了三个完全连接层,改变4096年至2048年的两个完全连接层和1000年最后完全连接层。
具体描述模型的输出判断选择下列公式所示:
其中,预测最终的分类结果,预测和PreRGB(红绿蓝),PreHSV(色相饱和度值),预习是训练RGB三色空间的预测结果,HSV,分别和实验室。
预测的输出有两个结果;一个是预测最高的三色空间的信心,即Prediction1;另一种是第二高的结果,即Prediction2。两个结果的输出为主要颜色,和一个输出作为辅助色。
4.4。样本选择策略
采用多色空间卷积神经网络结构对应于同样的训练和测试数据集。我们认为本文的问题描述的问题:不断增加的各种艺术形象的颜色、深度学习训练网络的问题,在训练阶段样本数据分布的不均衡。这里有一些输入数据处理方面的培训。
4.1.1。训练集和测试集的随机交叉分布
分布如下公式所示:
10/24/11。随机图像重建
数据集分配后,根据数据集的特点,在本文中,选择汽车的前罩的位置或标准彩色图像数据集。像素的颜色值基本上是独立于空间位置。当划分训练集和测试集,随机采用图像重建策略。也就是说,一半的像素图像的随机选择的新形象和作为训练和测试数据集。
5。实验比较和结果分析
5.1。讨论实验参数
我们讨论了hyperparameters参与Painting91风格上的实验数据集。图5的实验结果显示hyperparameters PreRGB, PreHSV,和预习下不同的参数值,hyperparameter不同的值从0到1。
我们首先研究的影响的变化PreRGB价值分类的结果。为了达到最好的分类效果,我们修复PreRGB至0.8。特别注意的是,在确定的值hyperparameters PreHSV预习,我们多次验证PreRGB的价值和证实PreRGB = 0.8的可靠性和稳定性。
原产地的标签的颜色分布,我们设置了颜色标签对应于实际的风格,并设置其他风格同一原产地生产的一个固定的值。当的值hyperparameter PreHSV变化在一定范围内(0.2 - -0.4),分类精度相对稳定。然而,当PreHSV很小的值(例如,PreHSV = 0.1),使用一种颜色标签的性能分布类似于使用单色标签。相反,当PreHSV设置为更大的值,颜色标签的值对应于实际的风格在生成的颜色标签分布过度削减。这是符合分类的下行趋势图中观察到的结果。
在这项工作中,我们固定的hyperparameter PreHSV 0.3获得最佳的分类性能。我们设置了hyperparameter预习艺术运动的颜色标签分布至0.3。我们使用不同颜色的标签分布和旨在这些hyperparameters的值在不同的数据集(固定两个和评估其他hyperparameter),和实验结果稳定。
5.2。单色标签实验的结果分析评价
对于绘画艺术的数据集,现存的工作通常只使用实际的颜色标签来识别风格。许多研究已经使用VGGNet模型获得良好的分类性能识别任务的绘画艺术风格。图6使用单色标签显示了分类的结果,不考虑艺术史的相关性。
我们融合了两个起源时间颜色标签分布,和融合颜色标签分布得到更好的分类效果比颜色标签分布使用只有一个起源时间生成策略。
图6是生成标签颜色分布的实验结果基于一个艺术史相关因素。分销渠道策略,时间距离一些艺术风格出现在相邻的订单太大。例如,文艺复兴时期风格的艺术品从14到16世纪盛行。之间的时间间隔,文艺复兴和巴洛克风格的起源是100多年。即使我们减少时间距离通过标准化操作,这仍然是太大了。相反,尽管起源时间的第一代策略只考虑艺术风格的顺序生成,它可以有效地避免风格之间的时间距离的不平衡。标签颜色分布的实验结果Painting91风格所产生的数据集使用起源因素已经大大提高,这意味着原点信息可以有效地反映艺术风格的发展。原产地生产的艺术风格在同一个地方同一个艺术史背景下会相互影响,所以这些风格有很高的相似性。之间可能存在一定程度的继承样式相同的艺术运动。
5.3。分析的结果评价的多色标签分布实验
我们首先生成单因素标签分布根据四个不同颜色标签分布生成策略(两个颜色标签起源时间分布,一个起源颜色标签分布,和一个艺术运动颜色标签分布)。在培训的过程中,艺术历史的相关信息集成,和风格之间的关系可以反映在标签的颜色分布。通过优化分类分配损失,损失和风格深模型可以学习各种风格之间的连接在艺术领域的历史。
图7显示了该方法的实验结果和其他艺术绘画风格分类方法。本文提出的方法获得的92.5%的平均分类结果Painting91风格数据集。
在图8,我们将展示的时间客观地评价颜色Painting91风格数据集。其中,传统CNN的时间消耗是平均0.36秒,这是高于多色空间的时间消耗CNN。
6。结论
提出了一种多色空间卷积神经网络模型,训练在三个不同的颜色空间,即RGB,实验室,和HSV颜色空间,选择使用VGGNet彩色图像的特征提取和预测。这三个模型的预测分类结果然后通过模型输出选择法官执行top2模型作为最终的输出预测类别。本文详细分析了网络结构和每一个过程,讨论后获得一个特定的算法描述,得到本文的卷积神经网络模型。提出了一种艺术的绘画风格学习框架颜色标签的分布。拟议的颜色标签分布生成策略是用于编码收集到的三种类型的艺术背景信息,和一组颜色标签分布为每种类型的风格生成实例来表达艺术风格之间的关系。在培训过程中,网络使用联合损失优化艺术风格分类任务和颜色标签分配任务在同一时间。通过优化标签颜色分布、艺术历史的背景知识可以学习,协助加强风格分类的准确性。本文验证了这个方法的有效性在多个艺术绘画的数据集和取得良好的分类效果。这个想法使用颜色标签分配学习提供非可视维视觉图像分类任务的相关信息也可以扩展到更多的研究。
然而,没有统一的标准方法,可以有效地评价各种数字彩色图像的质量。为了验证本文算法的影响,从获得的数据设计的客观和主观评价实验仅用于研究,不能应用于相关产品的发展。另外,有必要进一步完善色域映射理论和机制,不断提高其应用效果。由于谱高保真色彩再现的快速发展,谱颜色管理系统已逐渐进入实际应用阶段。multiprimary颜色成像设备的发展应该结合光谱的发展基于数据的色域映射方法研究。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突与本文有关。
确认
这项工作得到了湖北美术学院。