文摘

手绘是不可或缺的专业技能领域的环境设计、工业设计、建筑工程、土木工程和其他工程设计教育。学生通常模仿杰作实践基本技能,这对于初学者是一个重要的环节。数字管理系统需要一个函数自动推荐任务不同的绘画技能表达式。因此,绘画的分类方法是将手工DCNN生成的功能,然后使用最后的功能树结构分类方案的输入。方法改进其他深度学习模型的有效性在区分艺术本体属性。

1。介绍

手绘画,其目的是继续工程设计的创意,是设计过程的主要步骤。草图或设计图纸技能和技巧是必不可少的成功发展下一代的环境设计(ED)、工业设计(ID),建筑工程(AE),土木工程(CE) [1]。素描练习的技术主题包括重量,材质,以及如何使用钢笔和墨水,彩色铅笔,记号标记来创建有重大影响的建筑图纸和美感。学生通常模仿杰作实践基本技能,这对于初学者是一个重要的环节。和有一个新兴需要改进现有的教育方式来提高学生的学习经验(2]。设计绘图技能在绘画的领域中已被用于绘画分析来支持应用程序例如书法的检测(3),形象的建议,和注释和检索(4- - - - - -7]。这些努力包括使用手工制作的特性(人工设计的特征提取算法,主要提取颜色特征、纹理特征,和几何特性)的早期阶段执行分类方法和最终应用深卷积神经网络(DCNN)分类模型的方法。

然而,这两种方法没有之前的总和。本研究的目的是设计一个函数区分绘画素描技能在设计和创建一个推荐结果的自动推荐素描练习的学生。这个推荐系统是一个可靠的自我心理工具,提供了一种快速的方法找到的技能,学生想学习设计图纸和引导学生通过数字技术来增强演讲图纸快速、轻松地,如图1。

这个问题需要人力艺术家专家解决问题的理解绘画本体。同时,DCNN已经显示出优越性等提取有用的图像自动功能。因此,是人类理解和深刻的学习方法相结合的方式通过使用两种特征提取方法在特征提取过程中(图2):工程特性,提取某些合适的手工制作的特性和功能学习使用DCNN成熟度模型生成功能。机专家系统的方法是一种多层次的方法决定分类技术风格。结果评估每一层的性能分类和比较该方法与DCNN分类模型。实验结果表明,该方法能够实现最先进的性能在所有公共基准。

1.1。相关工作

早期绘画数字管理系统只适合数字转换的艺术品和展览。数字转换的加速度的绘画和设计,艺术家要求区分艺术品成类的东西通过使用数字艺术品管理工具。注释和分类基于绘画技术应用于艺术品收藏和检索。研究由于艺术风格的图像分类进行认知的强烈的主观性。

几组调查了关于绘画风格的区别。然而,大多数的这些努力专注于比较艺术家的绘画风格和绘画艺术的流派的分类。波多野(8),Sablatnig et al。9),克伦(10),和李,王11专注于比较艺术家的绘画风格。这些方法试图确定问题的画家。Johnson et al。12),Culjak et al。13),Arora Elgammal [14]研究美术流派之间的分类任务:巴洛克风格,印象主义,立体主义,抽象表现主义,现实主义,野兽派。只有少数研究人员专注于绘画技巧。同时,属性的图像分类的准确率不高,基于内容的图像分类。Jialie [15)确定了艺术家的绘画风格比较艺术家使用一个统计模型,和识别精度达到69.7%。休斯等。16)旨在识别等视觉形象风格的情绪(宁静,忧郁)、类型(复古、浪漫和恐怖),和类型的场景(朦胧,阳光明媚)。使用这样的方法,艺术图像可以搜索排名和样式。这些风格并不是相互排斥的,每个类精度从72%到94%不等,代表了不同的风格和属性的错误由于分类过程,忽视了艺术作品的自我描述内容和研究艺术风格的属性。绘画的艺术应该分类关于文学艺术形象,因为只有艺术本体的分类通常是杰出的内容,而不是图像。

区分和指示的风格技巧的艺术图像从图像数据库中也注意到了一定的研究团队。Yelizaveta et al。17)是第一个参与艺术绘画的概念就模式化了的注释在绘画领域中,他们提出了一个框架,用于绘画和绘画类的注释基于特定领域的本体如绘画技巧。此外,作者采用低电平特性分析和串行multiexpert框架与semisupervised聚类方法进行绘画模式的注释。江et al。18写意Gongbi问题的讨论和表达技巧关于中国传统绘画(TCP)。特性工程包含颜色直方图、颜色一致性向量(闭路)和edge-size直方图。数据库包括1799 Gongbi绘画、1889写意绘画,5827 non-TCP图像。他们报告说91.01%的准确性基于闭路和基于颜色直方图的90.3%。卡摩尔et al。19)关注中风分析测定的绘图技术用于草稿画,画的特点是使用纹理和轮廓提取。陆et al。20.)提出了一个基本的特点TCP风格表达技术。训练集由收集148年TCP图像从四个艺术表达技巧,包括写意,Gongbi, Goule Shese, 134 non-TCP图像。作者声称区分TCP non-TCP和进一步分类TCP风格基于表达技术的准确率大于85%。

这些方法都是基于手工绘画方面的特征提取技术风格。随着深度学习的发展研究中,研究者们开始展开深度学习方法对艺术图像进行分类。甘多et al。21]使用AlexNet [22与批量标准化(BN) []23)来区分的一种艺术风格和确定插图风格表达式从照片和3 d图形技术。分类器的准确率达到96.8%。然而,用这种方法区分更多物种变得越来越困难。盛和李24]提出一种基于卷积神经网络(CNN)——功能描述,feature-weighted, feature-prioritized算法分类TCP的艺术家;精度范围从81%降至96%。因此,使用的分类方法风格深深知道绝大多数功能来实现更好的分类性能。

1.2。绘画因素分析

基于评估专家艺术家的绘画作品,本研究确定了颜色和纹理空间相关性特性,可以用于分类。表1显示了示例图像和绘画的因素。

1.3。颜色特征

1.3.1。统计的主要颜色

颜色是一个重要的视觉属性对于人类感知和计算机视觉的一个最广泛使用的视觉特性在图像分类和检索。光照射时的表面不透明的介质,除了一小部分的光反射表面的介质,大部分进入室内的介质和被吸收和散射产生不同的颜色。通过特性分析,得出草图包含更少的主要颜色比其他彩绘技术。因此,主要颜色特征,它可以更好的区分从其他绘图技术草图。理论验证对象的光谱反射率之间的关系和色素的浓度在一定条件下。即物体的颜色是由反射光的组件对象选择性地吸收入射光。如果两个物体的表面的光谱反射率是相同的,那么颜色本质上是相同的。因此,反射在可见的范围是用于表示颜色。得到相应的色度信息预测的每一个点的光谱反射率绘画,然后,整个图像的颜色的数量获得的统计数据。

多光谱成像系统用于获取图像表面的多通道信息。多光谱成像系统是通过连接组装标准照明源,M光学过滤器,三色CCD(电荷耦合器件)数码相机与计算机。假设的光电转换功能多光谱采集系统是线性的,数字响应输出的可以表达的渠道 在哪里CCD的光谱灵敏度函数吗乐队,光源的相对功率分布;的光谱透射率过滤器,是对象的光谱反射率,是相机噪声。的计算, 通常是均匀地分成中心波长间隔,每个波长间隔是由一个下标表示( )。如果噪音是忽视,公式(1)可以表示为

为一个像素在某个点形象,光谱反射率的重点是重建的多通道数字响应输出,决定确切的点的颜色信息。光谱的可见范围380 ~ 780 nm,光谱反射率是采样的间隔5纳米表面的光谱反射率的对象组成 维向量。在哪里代表了数字响应的输出频道,代表对象的光谱反射率,变换矩阵计算从 , ,和 。

当一定频率光谱反射率大于阈值 ,这个颜色被认为是主要的颜色绘画。它被称为一个主要颜色和数量计算,以满足条件的主要颜色。主要颜色统计特征提取如下所示:

1.3.2。像素的差异

有两个特征像素的区别。本研究使用一个特殊的色差直方图提取颜色特征的方法。像素的颜色直方图描述了全球分布图像。颜色直方图的主要优势是它的灵敏度变化规模,旋转,和翻译的形象。因为有明显差异的标记技术和彩色铅笔技术,RGB差直方图可以更好的区分这两种类型的技术。提取首先解决每一对通道之间的区别的RGB(红,绿,蓝),然后构建直方图的区别 。每个通道分为16个颜色范围, , ,和是每种颜色的像素的RGB通道数量范围,然后呢本的直方图。

该方法将第二个特征定义为像素饱和度。满足人们的感知的颜色,颜色的图像从RGB空间转换到HSV(色相、饱和度、价值)空间,并且每个颜色组件均匀量化。在完成量化的HSV空间,每个图像分为256颜色范围。

之间的像素饱和度图像中像素的高度饱和和不饱和,Cutzu推出了et al。25),他们只用一个比率最高的数本和最低饱和度直方图区分照片和绘画。一个比贫穷的适应性和抗干扰能力的实验。因此,该方法选择的组合比例作为风格的特征图像饱和度特征提取。输入图像转换到HSV颜色空间,然后,每本间隔的比率值饱和值和最低饱和度的计算方法是:

是饱和电平范围 , 是量化的饱和度,表示发生概率的估计饱和水平。之间的比率是 , ,水平的饱和和高度不饱和的像素在一个图像。

1.4。基于纹理特征

绘画可以捕捉到纹理特性。应用灰度共生矩阵建立灰度同现矩阵()(26)是一个重要的特性来区分绘画风格。GLCM基于语调重复设置和代表图像的灰度转换描述了纹理空间相关性。GLCM还充分利用纹理的灰度分布特性,从而产生二阶统计特征和描述一定量的纹理特性,基于统计方法。陆et al。20.为TCP分类应用灰度共生矩阵建立)已经成功地使用信息。灵感来自上面的工作,应用灰度共生矩阵建立方法使用提取纹理不同的素描与设计技巧。灰度图像的灰度范围 是和图像大小 。应用灰度共生矩阵建立的是一个方阵考虑

意味着灰度音调的频率值和 ,矩阵的大小是 。显然,距离之间的和矩阵和方向可以水平 ,垂直 ,主对角线 ,或二次对角 。

2。方法

提出的方法架构part-stacked功能框基于绘画因素分析在这一节中讨论。图2说明该功能框结构分解为功能学习过程工程和特性。

研究结合手工制作的特性与DCNN-generated特性,然后应用集成功能。研究采用CaffeNet [27),稍微修改版本标准的七层AlexNet架构(图3),如功能学习结构。独特设计的架构与深度学习手工特征提取结合工程特征提取方法。

2.1。深入学习功能

DCNN层由小计算单位,处理视觉信息层级。每一层的单位是一家集图像过滤器和从输入图像中提取某些特征。每一层由不同的滤波器响应之间的相关性特征图的空间范围。

在使用现有的网络模型进行训练,验证,和测试数据,研究发现,每一层的预测显示在网络层次的本质特性,底层的分层特征反应图像的细节边缘或纹理,和高分级响应特性显示整个对象与一个重要的内容。深层网络可能会导致更好的识别精度,但也可能导致低效率。因此,研究选择CaffeNet框架(27),以确保有效的特性分类结果,节省时间。

从不同层次的DCNN提取不同的特性。一个给定的输入图像表示为一组过滤DCNN图像在每个处理阶段,和过滤的功能映射图像显示单元每层的分层特征的网络。该研究使用DeconvNet可视化功能(28]。在事先,2层响应角落和边缘连词。第三层有更复杂的不变性,捕捉相似的纹理,和层4显示了一个显著的变化。

2.2。多个决策层次分类

大多数的早期研究利用单个分类器方法分配标签图像分类任务。这种方法是在很多应用中证明是卓有成效的29日]。尽管深入学习发展迅速的图像识别在过去的两年里,相关的研究主要集中在图像内容的认可,而不是绘画技巧。结合深入学习的优点和手工艺术设计的提取图像特征提取,当前的研究决定建立一个分离器与决策树和支持向量机方法和突出的目标识别的特点,绘画技巧。支持向量机是容易训练和具有更好的泛化能力。原则是自动发现支持向量与声音通过机器学习分类能力和允许构造分类器,以最大化之间的时间间隔不同的类和获得一个优势在解决非线性、高维分类问题。多项研究表明,multihierarchy方法的使用可能会导致更高的精度比单分类器方法(30.,31日]。

多层次分析框架(MLAF)方法用于实现多类分类通过结合多个支持向量机(SVM) [32]subclassifiers成二叉树结构。方法分配笔绘画类的训练样本(最常见的),其余的积极类别和训练样本的类的-类别,然后火车第一subclassifier支持向量机。同样,multihierarchy方法分配水彩类的训练样本到积极的训练样本的类别和其他消极的类别,然后火车第二subclassifier SVM。每个子类分为两个。决策过程连续以自上而下顺序的方式遍历树。以此类推,四类可以产生三种SVM subclassifiers。每个subclassifier是一个二元分类问题。装载在分类阶段,未知的样本通过第一subclassifier支持向量机,然后分类执行直到法官subclassifier价值是正的。

对于多级方法,研究逐步减少模式可能所属类的子集在每个层次的决定。分类的过程如图4类4。

2.3。实验

2.3.1。数据集

图像数据集包含四个类别的绘图技术风格,和项目收集了许多从大学教学案例等建筑和室内设计的图纸。此外,对于更有效的结果,实验获得的数据从网络社区。最后,数据集收集了1000原始设计草图。种植后,形成的草图共有4000草图绘制图像数据集。每个图像的大小项目的数据集 。实验数据集数据项的60%用于培训和评估性能的剩余。

2.3.2。特征提取

这项研究评估数据集的方法,建立了结构有两个流(图2)。研究连接手工特征提取功能工程过程中学到的特性,通过使用CaffeNet模型生成功能。去加重器件等。33)得出的结论是,笔触是最相关的纹理信息识别功能。根据笔触的特点,研究选择了第三事先(conv3)和第四事先(conv4)层的特性来源提取的分层。共有384个不同的单位是卷积conv3层和conv4层。以减少特征数量的计算,通过主成分分析方法初始化。每个图像投影384 -维事先层输出一维特性图和使用顺序向前选择(SFS) [34选择特征子集。conv3_1和conv4_1相同煤投影模型的输出。

2.3.3。归一化的样本特征

数据归一化(35)是重要的传统模式分类,甚至可以影响整个系统。该研究使用概率分布归一化法规范化数据的概率分布特征 。归一化公式所示 在哪里 。结果是[0,1]中的原始数据,然后应用到BT-SVM层次分类器训练和评估。

3所示。结果和讨论

实验测量数据评估方法的分类性能。结果来衡量精度、召回和精度根据方程(9)和(10)。下面是每一个结果。

表2在不同的决策层次结构显示了分类精度。作为比较,结果还测试了性能通过使用单一的手工制作的特性。决策的层次结构,应用灰度共生矩阵建立SVM1和表现比其他方法,表明传统的纹理特征比颜色特性较差笔墨绘画的区别。使用的主要颜色特性可以产生更好的结果。这项研究还使用一种特殊的色差直方图方法提取颜色特征。与其他类别不同,色差直方图的值笔绘画趋向于零。在功能学习部分,该研究使用conv3_1特性从CaffeNet DCNN地图模型和事先第三层特性。虽然颜色特性产生明显导致第一个决策层次,其分类精度仍低于这个方法。

图5表明该方法结合事先特征地图特征工程产生理想的结果。SVM1响应值最高,符合人们的认知,钢笔绘画很容易识别。决策层次结构中的SVM2,实验评估的有效性的纹理特征和颜色特征区分水彩绘画形象与其他类型。在这个层次结构,结果表明,纹理特征的准确性优于颜色特性。在这个层次结构特性学习部分,研究选择两个事先特征图:事先第三层和第四层。尺寸减少了处理后,该方法获得的特征向量,conv3_1 conv4_1。所示的决策层次SVM3饱和度功能被认为是对分类有用铅笔技巧和记号标记之间实现了约72.7%的准确性,应用灰度共生矩阵建立和比RGB直方图产生更好的结果。在这个层次结构特性学习部分,选择特征向量提取方法从事先第四层特征映射。表2说明该方法达到更好的分类精度每个决策的层次结构。

确保相关数据的一致性,数据样本不是用来测试的实验方法(即不同的绘画技术分类。,recognizing the author of the painting and distinguishing illustrations and photos or different types of TCP), but selected several classic in-depth learning methods such as AlexNet, AlexNet-OWT [36),AlexNet-OWT-BN, VGG16。实验应用相同的数据样本进行比较实验,使用随机梯度下降法(SGD)批大小的64例,势头0.9和0.0005的重量衰变。

表3总结了验证时间和识别精度的DCNN模型和数据集的方法。值得注意的是,这种方法的效果优于其他DCNN模型框架。显然,DCNN模型对图像内容分析的优势,但是绘画技术分类任务设定内容和重视本体。应用深度学习传统分类器的特征地图无疑可以提高分类效果。这种方法有其新颖性和有效性在区分艺术本体属性。

4所示。结论

研究报告分类框架绘画分类是有用的在工程设计教育的数字化管理系统。这个函数将艺术的本体属性的手绘技术工程设计形象,放弃干涉图像的内容分类,有效地扩展了就模式化了的图像检索功能的管理系统。进行分类,研究结合工程特性的方法和特点的学习方法来提取特征和BT-SVM分类器使用。这个框架构建数据集的最有效的方式是具有很高的准确性和合理的时机实现ED的笔法推荐,AE, CE。该方法适用于流行的绘画技术在现代设计艺术。来验证这种方法的有效的可扩展性,研究测试几个主要设计的图像类别,如绘画、服装设计、舞台设计作品;结果是符合环境工作的性能。

框架也有好处对于学习绘画本体的特点。它使学生能够快速获得大量相同的风格当他们独立副本和练习绘画的表达,提高学生的作品表达的准确性。同时,它是更方便和快速的教师管理学生的工作和集中的手绘作品相同的表达式类型。

数据可用性

使用的数据来支持本研究的结果都包含在这篇文章。

的利益冲突

作者宣称没有利益冲突。