文摘
为了充分分割和分类的艺术目标绘画和意识到的需要由计算机自动分类和检索的绘画,本文提出了建立卷积神经网络与双核心压缩激活模块和深度分离卷积。DKSE模块构建基于SKNet的结构特点。SKNet提取整体形象和细节特征,SENet提高了信道特性。使用DKSE模块和深度分离卷积,卷积神经网络建立了对作品进行分类。DKSE模块可以有效地提高模型的分类性能,充分提取油画的整体和局部细节特征图像,并提供更好的分类精度比传统的网络模型。
1。介绍
近年来,随着油画的数字化的快速发展,如何建立和管理数字图书馆和数字油画的博物馆吗?目前,它已成为一个热门研究问题和图像的处理技术写油画是本研究的关键问题。如何发现这些画作背后的数字规律以及如何有效地分析、识别和分类,作者和艺术风格的油画越来越成为热门研究问题1]。
有大量的文献的使用计算机技术来分析和研究艺术画作,但下面的问题仍然存在于油画的研究:(1)现有的结果在艺术绘画主要模拟自然图像在石油和柔和的绘画或分析等西方绘画艺术风格油画(2]。中国画作为一种独特的艺术形式,有一个非常不同的心情和风味与其他艺术风格(如油画、卡通和粉笔画),所以一些现有的研究西方绘画不能直接应用于油画的分析(2)目前,只有少数研究油画,但主要的如下:3)整体和局部特征提取并提出了熵平衡(融合)算法对中国画的作者进行分类。(4]研究绘画的不同深度信息特征在不同尺度和频带的小波域以绘画作品进行分类。(5)设计相关算法分类沈周绘画,唐寅,张Daqian,和其他中国绘画艺术家。算法首先提取小波的特性从绘画和设计的混合物隐马尔可夫模型(MHMM)分类研究画家。(6)提出了一个算法分类中国油画分为两类,即中国绘画和绘画,首先提取底层特征,如颜色和质地,然后使用支持向量机分类。(7]提出了复合特征的自适应选择和优化的水墨画风格的描述。它还描述了中国画的风格通过提取多个底层异构视觉特性和对中国画作者进行分类预测。(8)提出了一种彩色转换算法将照片转换成中国的水墨画。中国画最当前的工作都集中在基于内容的图像分析和检索(基于内容的图像分析),但存在以下问题(1)有限制的任何图像内容特征的适应性。例如,中风的马肯定是不同的从一片树叶的中风9),这将是致盲的方向和力分布分析中风而不考虑条件,每个中风(2)现有的基于内容的研究考虑在这幅画的所有信息,这使得研究的焦点更分散,容易受到噪声干扰的信息(10]
针对上述问题,本文将中国绘画艺术对象定义为“艺术对象,如鲜花,鸟,人物,和树在中国画画家所使用的相对稳定的单位来表达艺术形式和情感,在绘画艺术风格特征的航空公司。反过来,本文提出了一个框架,用于交互式分割和识别的主要艺术对象在中国画中,以数字量化和分析艺术对象和高层语义信息提取最能体现艺术家的艺术风格(11]。
首先,一个简单的线性迭代聚类算法(SLIC)段superpixel电网基于像素之间的区别在颜色和位置度;其次,最大相似区域融合算法(MSRMAO)提出了交互式分割的艺术目标,即。,来segment the whole painting into a series of art targets, such as horses and figures, in order to extract the relatively Finally, a support vector machine based fusion algorithm is proposed to learn and recognise the extracted art targets, thus realising the analysis and recognition of artistic style of painting based on art targets.
2。卷积神经网络分类写油画
2.1。DKSE模块
双核心压缩激活(DKSE)模块结合本身的特性模块和SK模块更好地提高提取的画作的整体风格和地方的细节,由四子,分裂,紧缩,兴奋,和规模,如图1,表达
在哪里是DKSE熔融特性映射模块分支,是全球平均池(GAP)操作,是通道压缩过程,是激活操作通道特性,DKSE模块数量的分支, 在这篇文章中。(1)子模块划分。为一个中间Eigenmap ,卷积映射使用两个大小不一的卷积核,即, 在哪里 , ,和表示高度、宽度、地图和数字通道的特性X,分别。和卷积是映射过程由卷积处理内核映射,批正常化(BN),分别和ReLU激励功能。 , ,和表示高度、宽度和数量的渠道特征映射和操作后,分别。和表示高度、宽度和数量的渠道特性映射后操作和 ,分别。卷积过滤器 ,在哪里表示的参数过滤器。每个过滤器卷积映射公式中间功能分支图X是 在哪里表示过滤器的频道数量和特性图,表示偏见,表示批正常化, 是ReLU功能操作, 。(2)分离操作后,两个新的特征图和了,这两个特征图谱的特征信息融合通过总结相应的元素,即。 熔融特性图结合特性的信息和并使用全球平均池池全球空间功能节点在每个通道特性。全球平均池压缩特性映射空间信息到C通道描述符,生成统计数据 描述功能频道信息。的统计的th元素计算压缩空间信息 (3)子模块激发用来提高特征提取每种类型的绘画风格和减少信息的有用特性越少,通道尺寸的全球地图减少到平均混合特性 最初的通道了 卷积操作,是,下降的速度,那么BN处理和ReLU功能激活后,通道的数量由一个增加到原来的号码 卷积运算,最后,(0,1)之间的归一化权重是通过乙状结肠门机制获得每种类型的文体特征信息的书面油画 (4)的权重 ,通过紧缩和激发操作,图像特征过滤的主要特性和抑制的次要特征,加权和总结和 ,分别
2.2。卷积神经网络结构
CNN建成使用MobileNetV1网络结构,使用depth-separable卷积和DKSE模块,第一层使用null卷积来提取特征从原始绘画。与正常相比卷积,卷积腔有一个更大的感知比正常的卷积和能保持更多的内部数据结构和信息的原始绘画。切除卷积由切除卷积和逐点的卷积,卷积和DKSE模块嵌入到切除了 在哪里 是深度卷积操作, 是逐点详述的卷积操作, 是DKSE模块操作,表示卷积深度降低特征维数的地图,和逐点表示卷积处理渠道特性映射的数量。每个深度和逐点详述的卷积操作是紧随其后的是BN和ReLU激发函数处理。
3所示。实验结果
内容和风格表示可以很好地分隔卷积神经网络用于本文的算法,这样可以独立处理这两种表示方法产生新的感知有意义的图像(12]。下面是一幅油画的效果实现的编码,我们把不同的图像内容的表示与多个油画艺术品的风格表示。结合不同的图像和各种油画的效果如图2。
图像的一个影响因素的比例是stylisation内容风格,例如, 。图3显示了一个复合图像内容的图像(d)在图4风格选择 , ,和 沙画,分别 。内容比风格减少三张图片的顺序图3,即,but the content shown is not easily identifiable. A compromise approach is usually used to adjust the ratio between content and style to create a visually more pleasing image.
在图像stylisation另一个影响因素是卷积功能层的选择。如上所述,风格表示包含多层神经网络的多尺度表示,和这些层的数量和位置确定当地风格匹配的规模,导致不同的视觉体验。匹配的风格表示更高的层在网络可以保持本地图像结构规模越来越大,导致平滑和更持续的视觉体验13]。因此,程式化图像通常匹配样式表示最高的层网络。分析使用不同层匹配内容的影响特性,我们将其他参数设置为相同的号码( )为转移风格的图像,如图3。当匹配内容网络的下层,算法匹配最详细的像素信息的照片,以及由此产生的沙子绘画图像看起来和感觉的混合材质的作品图片(如Conv1_2);在图4Conv3_2 (b),当匹配特性在更高层次的网络内容,照片不是那么详细的像素信息的强烈约束,和内容的构建和沙子绘画材质混合在一起(例如,Conv5_2),和图像的精细结构,如边缘和颜色变化明显,强调更多的文体特征。
近年来,已经有两个常用的方法来生成superpixels:基于图论的算法和基于梯度的算法提升。前者是构造能量函数最小化问题,在图像被构造成一个加权无向图,在图像中的像素点对应于图节点,两个像素代表的邻接图的优势,优势的重量是相邻的像素之间的差异程度。图为分区,这样本地分区的子图的相似性最大化,从而生成一个超级的形象。超晶格等算法(14],EGS [15],Ncut [16)是包括在内。后者的基本思想是开始从最初的种子像素点和集群使用特定标准在每一个迭代,直到达到一个稳定状态,从而产生超像素,包括MeanShift [17],TurboPixel [18],SLIC [19,20.(简单线性迭代聚类)。如图5,该算法使用贪婪策略部分图像一次使用水平和垂直路径的最小边界地图获得superpixels成本。这种方法保持常规图像拓扑和产生一个常规superpixels网格具有良好的分割准确性和稳定性,而superpixels可以人为地指定。然而,superpixels由这种方法的优越性是高度依赖于图像的边界地图的质量(21- - - - - -23]。
如图6,本文算法是parameter-free迭代算法收敛的质心点的最大密度的概率密度函数。该方法产生的常规形状superpixels保持良好性能的稳定性和弹性。然而,该方法不是很快,没有控制superpixels的数量,和患有oversegmentation问题。几何流的水平集方法首先选择一个初始种子点和扩展的面积种子点通过曲率进化模型和获取栅格superpixels skeletonisation过程。算法的运行时图像大小呈正相关,可以人为地指定的数量生成superpixels, superpixels定期在形状和保留图像的轮廓结构,它提高了undersegmentation问题。然而,产生的形状superpixels不可控,不允许快速和高质量的图像分割大分辨率的图像(24]。
总之,艺术目标分割问题在这篇文章中,我们需要构建一个常规superpixel网格;SLIC算法和MeanShift TurboPixel可以生成正则superpixels,而超晶格分割的质量受到输入边界地图,和生成superpixels MeanShift无法控制的数量。
4所示。结论
摘要DKSE模块构造SKNet结构特点的基础上,提取整体形象和细节特征,SENet提高通道的功能特性。DKSE模块可以有效地提高模型的分类。DKSE模块可以有效地提高模型的分类性能,充分提取油画的整体和局部细节特征的形象,和提供更好的分类精度比传统的网络模型。
数据可用性
使用的实验数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突的这方面的工作。