文摘

近年来,深度学习,作为一个非常受欢迎的人工智能方法,可以说是一个小区域在图像识别领域。它是一种机器学习,实际上来源于人工神经网络,是一个学习样本数据的特征方法。这是一个多层网络,可以学习的信息从底部到顶部的图像通过多层网络,以便提取样本的特征,然后进行识别和分类。深度学习的目的是让机器有同样的分析和学习能力作为人类的大脑。深入学习数据处理的能力(包括图片)是其他方法无法比拟的,和近年来取得的成就留下其他方法。本文全面综述了应用程序的研究进展深卷积神经网络在中国古代模式恢复,主要侧重于研究基于卷积神经网络。主要任务如下:(1)详细全面的介绍了卷积神经深处的基本知识和相关的摘要算法在文本预处理的三个方向,提供学习和神经网络。本文主要关注传统模式的相关机制修复基于深卷积神经网络,分析了关键的结构和原理。(2)研究基于深度图像恢复模型卷积网络和敌对的神经网络。模型主要由四个部分组成,即信息屏蔽,特征提取,生成网络,判别网络。 The main functions of each part are independent and interdependent. (3) The method based on the deep convolutional neural network and the other two methods are tested on the same part of the Qinghai traditional embroidery image data set. From the final evaluation index of the experiment, the method in this paper has better evaluation index than the traditional image restoration method based on samples and the image restoration method based on deep learning. In addition, from the actual image restoration effect, the method in this paper has a better image restoration effect than the other two methods, and the restoration results produced are more in line with the habit of human observation with the naked eye.

1。介绍

随着互联网的诞生和发展,技术创新步伐加快了需求的增长,和我们的生活是变化日新月异,促进新事物继续出现在这样的人。人类社会高科技的应用程序提供了巨大的帮助。的传统模式恢复技术是一个过程智能填充和修复丢失或损坏的部分传统模式的信息通过使用像素信息和相关的先前的信息在最初的传统模式的形象。传统模式下恢复是一个过程,填写缺陷区域的图像信息的传统模式。目的是使用传统模式缺陷,恢复图像的信息,使观察者无法察觉到传统模式的图像缺陷或被修好了。在21世纪的开端,Bertamio和其他人提出数字图像印刷的概念在计算机图形学年会由美国计算机协会计算机图形学专业组织(ACM SIGGRAPH)。这一概念的核心思想是利用计算机算法和模拟手动修复流程修复丢失的图像内容的一部分。数字图像修复技术是获取图像的先验知识通过计算其余受损图像中的信息,从而有效利用相关算法来估计,然后填写缺失的部分,以恢复高质量的原始图像,使人们无法检测恢复。然而,卷积神经网络具有突出优势在恢复模式。与patch-based方法不同,他们保留了邻里关系和空间位置表示输入的潜在的高级特性。 The number of free parameters that can describe their shared weights does not depend on the input dimensions. Unlike patch-based methods, convolutional neural networks can retain the connections between neighborhoods and local characteristics of the space. Compared with the common fully connected depth structure, They have no difficulty in processing high-dimensional images of actual size. For traditional patterns, image restoration has a good effect, because the convolutional neural network is based on a shared convolution kernel to process high-dimensional data, such as traditional images. The deep convolutional neural network is used to realize the traditional pattern image restoration process, that is, using multiple hidden images, which is realized by layer-by-layer transfer.

2。相关工作

模式基于深度融合神经网络的修复方法是一种方法,刚刚修复领域的模式出现在过去两到三年。从现有的研究成果,乐队表示方法的一些模式还可以修复某些调整后未发现的模式。谢等人认为,修复缺陷模式(1,2是更加困难。因为缺乏模式,它是不可能知道的哪些部分缺失区域需要修理,算法必须独立决定如何修复像素信息。Iizuka等人完全逆转神经网络结构作为框架(3)和使用扩展集成器和双重歧视提出的网络提高编码器的上下文(4修复网络。他们可以修复任何大型形状不规则的模式有缺陷的区域,但是模式修复结果需要后处理达到理想的修复效果,这就增加了成本模式修复和破坏网络的完整性。在此基础上,Portenier等人提出了一个粗糙的和完整的网络结构,引入了一个追踪装置(5- - - - - -7),这在一定程度上改善了修复效果,但仍有一些问题。针对解决的问题不满意的修复效果,当缺陷面积大,王等人提出了生成一个多列卷积神经网络结构(8),使用不同大小的卷积核完全提取特征,并设计了一种新型的confidence-driven模型重建损失,使用大量的技术改进模型恢复质量,达到良好的视觉效果。然而,在处理大型数据集时,复苏的效果并不理想,尤其是当有许多物体或场景分类的数据集。网络参数和修复结果结构难以适应9]。Portenier等人扩张的通道数量的输入模式,通过人工干预等信息轮廓约束网络模型和颜色约束来达到恢复的目的干扰模式通过预设条件的结果10]。东等人改进的局部离群值算法FWMIL-LOF基于多实例学习。算法采用MIL(多实例学习)框架,引入了加权函数描述转换过程中的数据的重要性的示例包,和调整的权函数定义一个惩罚策略,从而确定不同特征属性的例子在包(10- - - - - -12]。姚Xiaofeng和其他设计基于深层神经网络激光图像恢复技术。深度学习神经网络用于地图的轮廓结构激光图像的受损区域,激光图像的受损区域分段曲线拟合理论,受损区域的相关信息的激光图像填充完成激光图像修复,和模拟试验的激光图像恢复是(13- - - - - -15]。风扇新港开始通过构建一个深度学习框架,应用卷积神经网络的并行体系结构,由交替训练网络的无监督和监督学习来实现目标图像的超分辨率重建,最后通过实验验证了图像恢复的影响(16,17]。根据主要的变化梯度的邻近区域模式,曲线的方法优先生成信息模式结构的一部分。更高的像素和曲线梯度和接近修复区域优先用于修复模式。通过这种方式,可以产生更好的结果比郭荣华东和法国(18,19]。

由于大量的隐藏层的神经网络模型,进行模型的训练通常被认为是很困难的。此外,许多深层神经网络模型使用BP结构训练模型,这使得它适合在监督学习解决问题,虽然图像修复问题本质上是偏向无监督学习。因此,很难生成图像的信息闭塞的部分只使用普通深层神经网络模型。

3所示。方法

深卷积神经网络(DCNN),作为一种重要的计算模型在深入学习理论,有极高的处理效率和效果对传统模式的图像。2012年,一个模型基于深卷积神经网络参与ImageNet大规模视觉识别挑战2012 (ILSVRC2012),降低分类错误率的任务从超过26%至15.32%。在接下来的几年里,模型基于深卷积神经网络不断改善,和ImageNet数据集上的分类错误率一直在下降。它已经达到了4.94%,这低于人眼识别错误率为5.1% [23]。等深的卷积神经网络采用结构重量共享构建空间结构关系,从而减少模型生成所需参数的数量,从而提高反向传播在模型训练的效率。一般深卷积神经网络由多个卷积层,并在每个卷积层通常有两个操作。(1)训练阶段:训练集,用情感极性受到文本预处理、特征选择和特征权重计算,然后输入到分类器进行训练。这个阶段的目的是使正确识别目标训练后的分类器。文本分类。(2)测试阶段:预处理标记的测试集文本情感极性,计算特征权重,并输入到训练分类器。通过比较分类结果与相应的情感极性,设备的性能评估。

在完成上述过程,好的分类器分类性能可用于情绪的分类任务文本在同一个字段作为培训测试集。它可以看到从上面的两个阶段,基于机器学习的文本情感分析方法主要包括三个部分:文本预处理、特征提取和分类算法。

3.1。文本预处理

在正常情况下,文本数据收集得到的往往包含大量的噪音,和直接的分析将影响情绪分析的准确性。文本情感分析的主要处理对象是标准化和有效的文本信息。因此,获取文本后,第一步是删除无效信息和规范文本的表达式。主要包括以下步骤:(1)使用多个不同的内核过滤图像卷积和提取地方特色。对于每一个卷积核,一个新的二维图像的输出输入传统模式的形象。(2)新传统模式图像处理不同的卷积核,通过线性或非线性激活函数处理,被映射到一个新的特征空间形成一个新特性的图像集。(3)新成立的特征图像收集采样下来(即传统模式。池通常意义上的)。这个操作可以有效地保持任务相关功能,删除无关的特性,提高模型的性能和归一化的能力。

3.2。卷积

卷积运算是指从传统模式图像的左上角和打开一个活跃的窗口大小相同的模板。窗口图像和模板像素倍增,然后补充说,计算结果是用于替换窗口的中心像素。然后,活动窗口向右移动一列,并执行相同的操作。以此类推,从左到右,从上到下,你可以得到一个新的传统模式的形象。其连续的定义如下: 其中,f和两个可积函数在实数集。原理图如图1。

图中显示卷积操作在一个4×4传统模式的形象。卷积核的大小是3×3,卷积步长是1×1,最后卷积结果是一个2×2的矩阵。

3.2.1之上。扩张卷积

扩张卷积是一个卷积的想法,提出了传统模式的形象将采样的卷积,这将导致传统模式的图像分辨率和减少损失的信息。对于一般的卷积,卷积的取样位置内核扩展增加接受域。例如,对于一个3×3卷积核的膨胀率2,接受域范围变成了5×5。与原来的3×3接受域相比,接受域增加了25/9,如图2。

从图可以看出,扩大卷积可以有效地提高卷积的接受域范围内核不增加数量的参数,这有利于模型提取的特征点分布相对较远的距离。

3.2.2。转置卷积

转置操作是另一个基于卷积,卷积可以恢复原来的传统模式的卷积结果图像卷积前输入。计算过程如图3。

卷积核的卷积调换使用换位的卷积核,确保每个元素之间的位置信息功能映射保持不变。这是有利于学习的特性关系特征映射。

3.2.3。深卷积神经网络的应用

深卷积神经网络基于卷积操作主要用于提取和学习特征信息在传统模式的图像,和学习特性信息用于执行传统模式图像分类任务。深卷积神经网络基于卷积操作由5卷积完全连接层和3层,及其网络结构如图4。

在深卷积神经网络结构中,所使用的参数的数量前5卷积层只占总数的约5%的参数模型,但它可以极大地提高模型的整体性能。减少的卷积任何层将导致减少模型的整体效果。可以看出,基于卷积深卷积神经网络结构模型可以有效地提高特征提取的效率和有效性。

生成对抗网络(GAN)是一种无监督的机器学习网络基于0 - 1游戏理论。GAN通常包含两个网络与不同的功能:一个是生成网络(GN),另一个是歧视网络(DN)。生成网络是用于生成候选解决方案的任务,和识别网络用于确定这些候选解决方案是否满足要求。一般来说,生成网络学习如何隐藏层中的项目特征信息为真实的数据分布。同时,歧视网络学会区分生成网络产生的数据分布和数据分布产生的真实数据。生成网络的训练任务增加识别的错误率网络来确定数据分布的来源。氮化镓模型通常可以由以下公式表示: 在哪里D是判别网络,生成网络, 是价值函数,x∼P数据(x)意味着x遵循真实数据的分布P数据(x),z∼Pz(x)意味着z服从随机分布Pz(x)。从上面的公式可以看出,我们只需要最大化的结果识别网络D和最小化的结果生成网络形成一个敌对的神经网络,如图5。

4所示。深层神经网络的建设在中国古代模式修复模型

本文将一个古老的传统模式图像恢复模型的基础上,结合深卷积神经网络和敌对的神经网络。模型结合多重卷积层,转置卷积层,并扩大卷积层来实现特征的提取和使用数据的古代传统模式图像和最终实现古代传统模式的恢复图像。能够有效地提取古代传统模式图像的特征信息和理解古代传统模式的图像内容信息,本文中的模型使用深神经网络学习特性的图像以一种无监督的方式和使用它们进行图像恢复。

恢复古代传统图案形象,主要旨在恢复的几何结构信息和模式信息缺失区域。因为通常会有很大的区别的几何结构信息和纹理信息缺失的地区,提出了一种两阶段生成网络结构。通过粗糙的修复阶段和详细的修复阶段,合理的修复的几何结构信息和模式信息缺失区域实现。此外,由于模式信息的复杂性往往超过了几何结构信息,需要大量的特征信息供参考。因此,本文提出一种方法,使用多个特征匹配和全面考虑恢复模式的信息缺失区域。

摘要古代传统模式图像恢复模型基于深层神经网络主要由五个部分,信息屏蔽,特征提取,生成网络,识别网络,损失函数。每个实现不同的功能,这部分彼此相对独立但相互影响,最后构建图像恢复模型,本文给出了古老的传统模式。模型结构如图6。

4.1。模式特征提取

为了有效地提取特征信息的其余部分图像信息丢失的古老传统模式,实现了特征提取部分古代传统模式的特征提取图像信息通过特征提取网络由一个6-layer卷积层。在特征提取网络由6-layer构造卷积层,不同大小的卷积核,输出通道的数量,和卷积的步长内核用于改善多样性特征提取的特征提取部分。为了能够提取多种特征信息,本文借鉴前辈的经验在设计深度学习模型。首先,5×5大小卷积内核用于提取更多的像素特征信息,然后一个更小的3×3大小的体积。产品核心屏幕很多特性。本文通过不同的卷积核步骤长度,卷积操作可以有不同的卷积领域来看,这样可以提取不同的特征信息。其结构如图7。

因为通常会有很大的区别的几何结构信息和纹理信息缺失的地区,本文使用了一个两阶段生成网络结构。通过粗略的恢复阶段和详细的恢复阶段,合理的几何结构信息和纹理信息的恢复丢失的面积实现。

以下4.4.1。粗糙的修复阶段

在粗糙的恢复阶段,粗糙恢复丢失的信息主要是通过使用多个卷积层,扩大卷积层,和转置卷积层。在粗糙的修复阶段,总共4扩张卷积层具有不同膨胀率,5卷积与不同的输出通道层,两层转置卷积。结构如图8。

在随后的七层结构的粗糙的修复阶段,两层转置卷积层和五层卷积层是用来填写丢失的信息。最后,通过两层卷积层,双层的多个特征信息矩阵修理调换卷积可以转化为三层古老的传统模式图像信息矩阵,实现粗糙的修复工作丢失的信息的一部分。

4.1.2。详细的维修阶段

multifeature综合修复方法生成修复信息通过两个不同的修复分支机构根据粗糙的修复结果阶段,然后综合考虑的结果不同的分支,最后产生修复结果。详细的维修阶段总共分为三部分,这是维修部门基于卷积,维修部门基于注意机制,分支合并。其结构如图9。

维修部门基于扩张卷积由6层和4层扩张卷积,卷积通过不同的卷积与不同大小的卷积核层,卷积一步卷积核的大小和数目,以及不同扩张卷积层。膨胀率实现特征信息的提取粗糙的修复结果。其结构如图10。

维修部门基于扩张卷积使用不同的扩张卷积率在过去的四层的分支,从而实现特征信息的筛选与相对较近的位置。通过这个分支,外围区域的模型可以提取特征相对接近的特点失踪的场所。同时,通过ReLU激活功能,更重要的特征信息进行过滤和输入匹配结构基于注意机制的信息。匹配的信息结构基于注意机制远离屏幕的功能信息缺失区域特征信息,但有一个相对较大的相关性。维修部门结构基于注意机制如图11。

为了更好地完成图像的恢复,有必要合理合并两个不同分支的结果生成最终的详细修复的结果。分支合并部分出于这个原因,使用五卷积和双层扩张卷积来实现的最终融合结果不同的修理树枝。其结构如图12。

详细的维修部分的总体结构如图13。

4.2。识别网络

在前面的小节中,介绍了模型中生成的网络模型。本节介绍了判别网络由多层构造卷积层,非线性激活函数层,完全连接层。层的判别网络部分由回旋的结构,4漏水的ReLU激活功能层,和一个完全连接层。其结构如图14。

完全连接层连接输出的特性信息的最后一层漏ReLU并使用这个特性信息分类古代传统模式图像以两种方式来确定它是一个古老的传统模式图像部分修复了丢失信息或一个古老的传统模式图像完整的原始信息。因此,一个完整的对抗构造神经网络结构。

4.3。损失函数

根据古老的传统模式的分类结果图像和原始古老的传统模式图像获得的上述模型,构造了损失函数。在本文中,交叉熵作为损失函数来评估模型的错误。公式所示

其中,损失模型错误,损失y的比例是古代传统图案形象完整的原始输入数据中的信息,然后呢原始图像的比例在歧视的结果。

5。模型应用程序和结果分析

模型中给出这个话题已经测试并与其他模型相比,在相同的数据集,本节将介绍相关的测量标准的图像填充的结果。在实验中使用的数据集是青海传统刺绣图像数据集的一部分。实验结果表明,本文提出的方法具有更好的测量指标比传统刺绣纸浆包青海图像恢复方法和深度学习图像修复模型,并恢复结果更合理。

5.1。实验环境和数据集

深的卷积神经网络需要大量的古代模式图像数据进行训练,和拥有足够丰富的古代模式图像数据可以有效地防止过度拟合。本文中的图像数据使用古老的模式都是青海省非物质文化研究基地。在古代模式图像的边缘提取之前,原始数据集需要预处理,例如,古代图案形象翻译,缩放和裁剪。青海刺绣的图像数据集包括土族盘刺绣,Guinan西藏刺绣,Haixi蒙古,河湟刺绣,湟中桩刺绣共有2000张照片。在实验训练阶段,2000年古老的模式图片可分为训练集和测试集,训练集与测试集的比例是8:2,训练集由1600张、和测试集包含400张,在神经网络的训练。有必要调整古代模式图像的大小更小的统一规范,以防止图像属性太大影响培训过程。数据集的一部分青海刺绣图片如图15。

5.2。评价指标

为了准确反映不同模型的结果同样古老的模式图像修复后,本文使用多个评价指标来衡量每个模型的性能差异。评价指标使用L1, L2损失,峰值信噪比(PSNR)和全变差损失(电视)损失。L1损失被定义如下: 在哪里代表像素信息缺失区域修复后,代表的原始像素信息缺失区域,和代表待修复区域。L1损失值越小,越接近恢复到原始像素像素信息的信息。L2损失被定义如下: 在哪里代表像素信息缺失区域修复后,代表的原始像素信息缺失区域,和代表待修复区域。L2损失值越小,越接近恢复到原始像素像素信息的信息。峰值信噪比的定义如下:

其中,表示失踪后的像素信息区域修理;代表的原始像素信息缺失区域;代表图像的最大像素值;和米,n代表的水平位置和垂直位置信息缺失区域的像素。PSNR值越大,越多样化修复后的像素信息反映。总损失变量定义如下: 在哪里代表的全变差值缺失区域修复后,代表的原始总变差值缺失区域,代表失踪区域修复后的坐标(我,j),表示的像素信息缺失区域的原始坐标是(我,j)。VT损失越小,像素之间的相关性越强。

5.3。相关的方法

为了正确地测量给定的图像恢复模型的性能在这篇文章中,在本节中,将两个古老模式图像恢复方法。

方法1是提出了基于样本块的图像修复方法。这种方法使用的本地相关图像进行图像修复;如果样本块B相匹配的样本块的区域被修复在原始图像中找到,周围地区样本块B也可能类似于样本块的邻近区域。

方法2是一种传统的模式基于深度学习的图像恢复方法。这种方法类似于深卷积神经网络的方法在本文中也使用方法基于卷积神经网络和anti-neural网络对传统图像恢复模式。方法由四个部分组成,即信息屏蔽,特征提取,生成网络,判别网络。其结构如图16。

方法2,信息屏蔽部分本文给出的方法是一样的,和AlexNet网络结构用于特征提取部分。生成网络的构成和判别的方法2是相对简单的网络。方法2的一代网络实现通过多层转置卷积失踪区域信息的生成层。判别的方法2网络实现传统模式的分类图像通过多层卷积层和一个完全连接层。方法2的生成网络结构如图17。

方法2的判别网络结构如图18。

5.4。实验结果和结论

在本节中,方法1,方法2,本文给出的方法将尝试在青海传统刺绣图像数据集,和实验结果将提供。

图像恢复的比较结果青海传统刺绣图像数据集的一部分如表所示1。

表1本文表明,该方法有更好的性能比方法1和2的L1, L2损失,PSNR和VT损失指标。方法1,方法2,本文的方法对一些传统的模式进行图像恢复的图像青海传统刺绣图像数据集,结果如下。

在数据19- - - - - -21(一)显示了青海传统刺绣的传统模式图像图像数据集,(b)是屏蔽后的传统模式图像的过程,(c)是传统的模式方法1修复后图像结果,(d)是图像修复方法2的结果,(e)是修复图像的方法。

在数据19- - - - - -21需要修理,传统模式的图像都是信息掩蔽的中心部分图像模式,隐藏图像的大部分信息。从修复的结果,方法1最糟糕的修复效果。修复面积大大影响的颜色无关的背景颜色。传统模式的几何特性和纹理信息后图像恢复是不合理的。方法2是第二的修复效果。恢复图像的几何信息基本上是符合人们的知觉的传统模式,但纹理效果处理方法2是可怜的。本文方法的重建结果优于其他两种方法,它可以学习模式的几何结构和纹理信息和使用此信息来执行更合理的基于信息的图像恢复丢失的区域。

根据实验结果对青海传统刺绣图像数据集,本文中的方法有更好的测量指数传统模式的图像恢复效果比其他方法。因为传统的刺绣图片中的信息是相对复杂的,方法1很容易受背景传统模式的图像中的像素信息,和很难恢复的几何结构信息和纹理信息缺失的部分。方法2可以更好地修复缺失的零件的几何结构信息的传统模式,但修复纹理信息差。与方法1和方法2相比,本文方法更合理的几何结构和模式的信息的修复结果。因此,本文给出的模型可以有效地构建一个合理的传统模式图像的结构和纹理信息缺失区域周围的基于特征的信息丢失的传统模式的区域形象,从而实现信息恢复丢失的区域。

6。结论

传统模式图像恢复领域的主要研究如何合理修复的几何结构和纹理信息缺失的部分传统模式的图像。根据不同的理论基础,有5个传统图像恢复领域的不同的方法。他们是基于偏微分方程的图像修复方法,基于纹理的图像恢复方法,基于样本的图像修复方法,混合图像恢复方法和基于深度学习的图像恢复方法。每一种方法都有自己的特点,他们的重点是不同的。本文主要提出了一种基于深度学习的图像恢复方法,结合深卷积网络和敌对的神经网络来实现传统模式的恢复图像的信息。验证了本文方法的有效性通过运行在青海传统刺绣图像数据集的一部分。本文所做的工作总结如下:(1)深入研究传统模式图像恢复研究现状的深层神经网络的应用。(2)传统模式图像恢复模型的基础上,结合深卷积网络和敌对的神经网络。模型实现传统模式的恢复图像通过两级一代网络组成的粗糙的修复和详细的恢复。(3)multifeature修复方法完成细致介绍了图像恢复的传统模式,综合考虑不同特征信息的恢复。(4)本文综合比较了传统模式图像恢复方法基于传统的模式样本和深度学习本文中给出的方法。从实验结果的分析,本文方法具有更好的评价指标和图像恢复效果。

数据可用性

可以访问的数据集。

的利益冲突

作者宣称没有利益冲突。