文摘
出现大量的图像编辑软件允许人们容易篡改图像内容信息,导致显著降低图像的可信度。彩色图像马赛克检测模型提出了基于CNN在这项研究中。浅薄神经元的级联网络结构取代了单一网络结构深multineurons在这项研究中,它弥补了之前的图像篡改检测算法的缺点使用单一网络结构深度multineurons再学习的困难样本的特征。一个多尺度卷积层和剩余模块都包含在模型在同一时间。功能与接受不同领域的地图可以融合多尺度卷积层。通过建立短连接输入和输出特征图谱,剩余模块可以有效地减少梯度消失的风险模型的训练过程中,同时也加快了网络的收敛速度。仿真结果表明,该算法的准确性和一个92.14%F1 95.7%的价值。这种检测方法优于其他检测方法的检测能力,可靠性和可用性。本研究给用户更多的信息来判断彩色马赛克图像时他们的判断基础。
1。介绍
近年来,数字图像迅速拥有先进的,和他们现在最重要的信息载体之一,促进进步和发展在不同的领域(1]。图像变得更清晰和更现实的进步从黑白到彩色,从模拟到数字技术。因此,图像是在我们的生活中变得越来越重要。图片和视频已经成为传播信息的主要方式,以及信息社会已经到来。广泛采用和使用数字图像,图像编辑(2)软件不断更新。这意味着任何访问电子设备可以篡改数字图像,操作后,留下的痕迹越来越难以区分。许多图像编辑软件现在有极其强大的编辑功能。当人们使用这些软件来编辑和篡改的图像,他们通常可以得到,假的实际看,肉眼无法区分。据不完全统计,互联网包含超过1000亿图片,每秒钟数以万计的图片上传。图像编辑软件不仅给人们带来了高效和便利但是也给社会带来了安全风险。有些人会修改图片和视频通过科技的便利,扭曲他们的原意,从而误导群众。人们很难区分干扰图像和真实的一个。这常常会导致不良后果,甚至是社会动荡。因此,如何识别破坏形象尤为重要。 Knowing the process of image tampering and identifying the tampered image pertinently according to different ways of tampering can get better results.
机器学习(3- - - - - -5隶属于美国有线电视新闻网(卷积神经网络)。今天,当机器学习取得了如此多的关注,取得了那么多,只有自然不知道它可以使图像检测领域的突破(6,7]。CNN是一种前馈神经网络(神经网络)卷积和深度结构设计过程数据与类似的网状结构。CNN是机器学习的一个子集。CNN是一种广泛使用的神经网络来处理网格结构数据,如时间序列数据和图像数据。模式识别(8和分类9)是两个最有用的应用程序。美国有线电视新闻网有三层:输入、隐藏和输出。卷积层,激活层、汇聚层,和完整的连接层隐层。CNN是基于生物视觉机制。CNN可以用更少的计算,实现优越的性能由于卷积的共享内核参数的隐藏层和层间连接的稀疏。同样,将采样CNN的选择,降低了维度的特性,使网络学习更有代表性的特征。CNN的两个特点,稀疏的连接,和体重分享解释为什么它已经成为最受欢迎的深度学习算法。产品图片,神经网络具有很强的学习能力。这是常用的作为图像分类的网络基础设施。ialexnet VGg,《盗梦空间》,和其他成熟的分类网络的例子。 This study investigates a CNN-based color image mosaic detection algorithm. The following are its innovations: (1) This study proposes a stitching detection scheme based on CNN to address the issues of relying on a single feature and the inadequacy of extracting features in current stitching detection methods. Additionally, global average pooling is used to reduce network parameters, the network’s generalisation ability is improved, and batch normalization is used to accelerate network training. (2) In this study, CNN is used to determine whether an image has been tampered with, as well as to segment and locate the tampered area in the image content. The multiobject classification problem in deeplabv3+ is transformed into the location problem of tampered area using the automatic feature learning ability and accurate object recognition ability of all CNN. The hollow space pyramid module in the model incorporates spatial and channel attention mechanisms, increasing the model’s sensitivity to important features.
本研究将分为五个部分根据文章的内容和需求结构,用下面的每一个部分的内容:第一部分介绍,并主要介绍了课题的背景和意义,以及本研究的创新和结构的研究。第二部分是相关的工作。本节介绍彩色图像马赛克的状态检测国内外的研究,以及本研究的研究内容和工作。CNN算法的基本理论系统地介绍了部分3所示。1,为下面的研究奠定了理论基础。部分3所示。2提出了一种CNN-based彩色图像马赛克检测模型,并详细描述了其实现方法。第四部分实证研究。本节进行了彩色图像马赛克检测模型的实证分析,验证评价体系的科学性和合理性,并证明了算法模型在这项研究中有一定的实用价值。第五部分总结了研究的结论和局限性,以及提出未来的研究方向。
2。相关工作
马赛克图像篡改指的是原始图像的一些处理,这使得观众的认知模糊图像的内容和达到伪造和欺骗的目的。目前,随着对图像马赛克检测和位置的需求,越来越多的研究人员参与马赛克检测算法的研究。近年来,数字马赛克检测和定位也取得了很大的进步。
维加等人提出了一种检测算法基于图像块,但是它只能大致定位图像中的干扰区域(10]。为了实现对篡改区域进行像素级位置,王等人不重叠的图像块作为神经网络的输入进行判断(11]。Bellavia和科伦坡使用图像的拍摄信息元数据作为监督信号来判断图像内容信息是一致的12]。香等人提出了一个图像篡改检测框架基于高层语义图像理解、图像理解模块,由正常的规则库,异常规则库(13]。Gan和中提出应用傅里叶分析高通滤波后的图像捕捉周期性存在的插值/收购的方差系数。这个程序只测试64×64图像块,而像素的变化损害地图是基于256点离散傅里叶变换计算滑动窗口,所以分辨率不高14]。这些约束是用来检查图像是否进一步处理(15]。在特征提取之前,张等人首先分割图像到图像块通过使用滑动窗口算法,然后提取篡改图像块的特征。如果被篡改区域的面积大于50%的图像块,然后判断篡改的图像块。通过这种方法,一个完整的语义对象在一个图像块避免,和模型的效率也提高了处理图像块(16]。Kanaeva等人提出了一个semiglobal网络。由于图像块的限制,模型不能识别破坏整个地区的面积小于10% (17]。马等人提出的方法限制卷积层,它可以抑制图像内容篡改成绩的影响,自适应地提取图像的篡改特性(18]。谢等人提出了一种多任务all-CNN篡改图像的方法。网络有两个分支,一个用于学习找到学习的干扰区域和其他干扰区域的边缘。与单一任务CNN相比,这种方法大大提高了能力篡改区域的位置(19]。在这项研究中,深入研究了相关文献,和一个彩色图像马赛克检测模型提出了基于CNN。在这个模型中,CNN是用于检测图像是否被篡改,段和定位图像内容被篡改区域。使用自动功能的学习能力和准确的目标识别能力的CNN, deeplabv3 +的多重天体分类问题转化为破坏区域的定位问题。仿真结果表明,这种检测方法具有更好的检测能力与其它检测方法相比,它具有一定的可靠性和实用性。这项研究提供了更多依据用户判断彩色马赛克图像。
3所示。方法
3.1。美国有线电视新闻网
CNN是一种人工神经网络相结合的向前和向后传播。卷积层,激活层,池层、和监管层占据了绝大多数的CNN的结构。目前,CNN是应用最广泛的神经网络。由于自身的优点广泛应用于模型在图像处理和变换不变性。同时,它是一个典型的区分深度结构基于最小化预处理数据需求(20.]。整个神经网络的连接层是一个关键组成部分。整个连接结构意味着一个神经元连接到所有的输入神经元,而本地连接结构意味着一个神经元只连接到输入神经元的一部分,接受域是这部分的神经元的大小。连接层由两部分组成:一个线性部分和非线性部分,后者也被称为活性层。激活和池层不使用训练参数,只需要运行一个固定的算法的输入。CNN可以获得特征提取和分类的模型通过迭代训练来更新参数(21]。只有部分输入信息接受的本地连接,和全球信息是通过结合当地所有神经元学习的信息。本地连接方法不仅减少了参数,也确保了卷积内核最强的学习后应对本地输入功能。
除了激活函数,卷积时涉及到很多参数层和完整的连接层变换输入。卷积层和活跃层经常被称为卷积层在实际研究和应用。因此,除了卷积,卷积层将被激活。卷积核卷积层作为一个过滤器。卷积层使用滑动窗口卷积不同卷积核的每个通道输入图像中提取不同的特征(22]。卷积过程可以解释如下:卷积内核涵盖了原始图像的一部分或前一层的输出,卷积核的相应位置的重量乘以相应的输入,和职位由卷积内核是总结。从左到右和从上到下,卷积核扫描输入的每一个位置。涉及三个重要superparameters卷积内核执行卷积操作时输入数据:深度、步长和补零。深度图的输出特性是用深度。卷积核的长度称为滑动步长。添加0到输入数据的边缘扩展维度空间的大小来控制输出数据,也就是说,控制输出的长度和宽度,称为零填充。非线性激活函数卷积连接后,修改后的线性函数常用的单位。池层是一个功能映射层,downsamples卷积得到的功能层,从而减少输入数据的规模和获得局部最优值。
CNN的数据输入神经元后,如果只有线性操作执行,那么网络的最终输出必须是数据的线性操作的结果。这样一个网络没有自主学习的效果。因此,有必要使用非线性操作,使神经元的激活函数在网络有一定的学习和记忆能力的数据23]。激活函数是非线性函数。一般来说,输入特性映射处理二进制图像。例如,乙状结肠函数分布特性映射在0和1之间的值,还有multiclassification Softmax。乙状结肠,双曲正切,ReLU非线性激活函数通常用于神经网络,它可以加强神经网络的拟合能力,弥补不足,只有线性部分不能适应复杂的功能。一般来说,所有神经元线性操作,所以模型的逼近能力将贫穷,所以可以提高模型的性能通过使用非线性激活函数。参数共享是让一群神经元使用相同的连接。因为每个特征具有平移不变性;即,相同的特性可以出现在不同位置的不同数据,可以提取和参数共享相同的特性与卷积核。通过参数共享,每个卷积层可变与卷积检查整个地图功能,减少了参数在每个卷积层。 The structure of color image mosaic detection model based on CNN is shown in Figure1。
相互连接的神经元的重量是卷积的本质内核,这个重量是由神经元属于同一个共享特性图。重量大大降低了网络的共享参数,同时提取特征适合整个特性图。通常需要多个卷积层在CNN的实际设计中提取更丰富和更高级的特性。多维图像特性可以在任何位置如果卷积与多个维度设置内核。大小、步长和维卷积的内核会影响特征提取在卷积操作的性能。一般来说,CNN已经大量的卷积层。浅卷积层只能提取等图像纹理特征边缘和线条,而深褶积层可以使用连续卷积操作构建更复杂的图像特征。每一层的卷积,将采样和激活函数。卷积操作用于提取图像的空间特性,平均池用于将采样、乙状结肠函数用于激活,和最终的分类器是一个多层感知器。减少模型的计算成本,每一层都是稀疏的。
模块化神经网络有不同的网络设置,独立工作。每个神经网络都有一组输入,比较与其他网络建设和执行子任务。神经网络可以简化复杂的问题,把一个大问题分成小的,因此减少了复杂性。这个分解连接将有助于减少和消除这些网络之间的相互作用,从而提高计算速度。与经典的CNN,分类图像的完整的连接层,全CNN使用卷积层代替全连接层和反褶积upsampling恢复图像的大小,从而实现对图像中每个像素进行分类的目的。损失函数也称为目标函数。神经网络训练的终极目标是最小化损失函数。损失函数的状态是标准来衡量是否完成训练任务。提出了损失函数来显示预测值和真实值之间的差异。每个损失函数都有其特定的意义; that is, in the process of minimizing the loss function, the predicted value approaches the true value in different ways, and the obtained results may be different. The loss function measures the difference between the predicted value and the true value, and the calculation methods of loss function such as binary cross-entropy, mean square error, mean absolute value error, mean absolute percentage error, and mean square logarithm can be selected.
3.2。彩色图像马赛克检测算法基于CNN
利用CNN的学习能力,图像篡改检测算法可以实现图像篡改检测单个独立的图像属性,克服传统的图像篡改检测方法的缺点,依靠单个图像属性,适用性有限。与传统的图像分类任务,处理后图像的内容不会改变,因此该模型必须学会处理操作引起的噪声特性,而不是图像内容信息。图像篡改分为两大类:图像内容修改和图像篡改痕迹隐蔽。拼接,copying-pasting和删除修改图像内容的三个最常见的操作。传统的手工算法提取特征,基于数字图像领域的研究者的知识。CNN能够提取特征。它可以结合特征提取和分类训练的两个过程通过使用卷积层构造复杂的图像特征信息。研究的主体分为三个部分:图像预处理层,层次特征提取,cross-learning 11卷积的内核。而不是使用该空间架构的笔迹特征作为输入,图像块直接使用的输入空间网络。拼接检测算法的流程图如图2。
在这项研究中,浅薄神经元的级联网络结构从单一的网络结构获得multineurons深处。同时,不同的训练数据可以传输到不同级别的网络级联网络结构的特点,让他们学习特定的功能,然后使用这些功能来判断图像篡改信息。此外,该模型包括一个多尺度卷积层和残余网络。ReLU函数选择激活检测网络因为篡改检测是在训练过程中容易梯度消失。最大池层,它不同于一般的池中使用隐写式密码解密网络,是卷积层之间插入。最大池能保持图像的纹理特征最大限度。各种接受它的目标是创建特征映射字段和减少梯度现象消失在深CNN培训。添加一个预处理层网络,用于抑制图像内容和自适应学习篡改功能,可以帮助改善图像篡改检测性能。本研究提出了一种预处理层35为此高通滤波器。每一层的重量组合模块的重量将增加地图前一层的输出特性。 The full connection layer’s input is the final joint feature, which is classified. The model can be extracted according to the number of stitching traces contained in these three features by changing the extraction ratio of different features by training weights. The CNN function is described as follows:
在这里,代表输入特性图,代表卷积核,代表偏差项,卷积后的输出特性映射 。假设卷积层使用过滤器的输入图像卷积,新特性生成地图进行后续处理。 在哪里是二维卷积,和分别为卷积过滤器和偏见,,是jth地图的输出特性n层。激活获得一层一层卷积后的公式如下: 在哪里是逐点的激活函数。每个数据项被转换为在minibatch 的大小 : 在哪里和的均值和方差是批处理 ,分别。
在图像篡改的情况下,我们关注的是图像的像素相关性和留下的篡改而不是细节图像的视觉内容。因此,轻量级已成为发展的一个关键组成部分的学习网络图像篡改的跟踪特性。由于小数量的研究中使用的数据集和缝合的微妙特性,本研究采用全球平均池在网络设计减少过度拟合,提高概括。获取设置去噪图像,首先需要降噪参考图像中的每个图像集。基于小波变换的图像降噪方法在这里用于降噪过程中使用的方法。去噪后,参考图像中减去从集合,去噪图像和相应的图像中减去,产生图像的噪声残余。这个边界框是回到它真正的价值利用异常高对比度的对象的边缘。噪音流首先获得噪声特性映射通过输入通过SRM过滤层,然后使用RGB图像噪声特性作为额外的操纵的证据分类。
在这个网络中,卷积卷积前两层的步长是1,每个卷积层后,最大池操作是用来减少特征的维度信息。使用批处理降维后,标准化规范化数据,这样更容易在网络训练收敛。模型由预处理层,多尺度卷积层,剩余模块,全球平均池层和完整的连接层。在预处理层,如果随机初始化后的模型使用卷积内核提取图像特征,那么学习模型将图像的内容信息,而不是噪声特性的差异造成的图像处理操作。因此,SRM过滤和约束卷积内核用于提取模型中的噪声特性。对于彩色图像,输入预处理层包含四个通道,每个通道的权重由35个高通滤波器过滤,以便从每个通道学到各种特性。边缘特征反映了图像的边缘细节。马赛克图片,因为马赛克图像和运营商往往来自不同的图像,边缘信息的对接区域往往是不同的。因此,在这个方案中,边缘特征是用来检测缝合选为特征。的结构风险函数模型如下:
其中,前面的意思是函数代表了经验风险函数,功能代表了损失函数;和分别代表了预测值和真实价值;的函数的功能模型,正则化项。每个类别的概率值输入,对数损失函数的计算公式如下:
其中,函数的输出变量,函数的输入变量,的总数输入样本,损失函数,的数量是可能的类别:
在这里,是每个像素的灰度值的绝对差异的干扰和原始图片。的损失函数模型训练加权交叉熵 ,和计算方法如下:
在这里,和每个目标点的真正价值在图像区域和模型的预报值,分别和在接收到的图像像素的总数。在实验中,为了比较不同算法之间的实验结果和定位的准确性F1值计算来反映篡改定位的准确性。计算方法如下:
在这里,精密检测到干扰像素的概率表示为干扰回忆表示检测到干扰像素的概率。的计算方法精度和召回如下:
在这里,正确检测到的是像素的数量,是干扰像素的数量没有检测到,然后呢是像素的数量错误检测的干扰。
如果只使用单一尺度卷积核,然后接受域的特性图是固定的,和足够的篡改功能可能不会被捕获,因此不同大小的模型使用卷积核。神经网络特征提取的过程是输入数据的变换,和更深层次的网络,更复杂的转换。一般网络只取决于上一层功能的输出作为输入的转换,而DenseNet综合利用每一层的输出的特性,所以它更容易获得一个全局拟合函数与更好的概括性能。因为图像包含各种各样的图像处理操作,如果使用只有一个卷积核,然后接受域映射的特性是固定的,和足够的篡改功能可能不会被捕获。因此,多尺度卷积层添加到模型为集成特性不同的接受域大小的地图信息。为了减少输入元素的尺寸,卷积后的池层是还增加了层,和功能获得downsampled卷积层后,减少了输入数据的规模和获得局部最优值。在这项研究中,卷积与步骤2中使用的最后两个卷积层而不是最大池层。它的目的是保持特征的空间信息,卷积后,被批标准化规范化的数据。ReLU激活函数用于执行非线性拟合结果。通过这种方式,网络不仅可以减少维特性信息,但还保留其空间位置信息,所以它可以更有效地定位图像中的干扰区域。
4所示。结果分析和讨论
训练模型,提出TensorFlow用于定义不同的网络层。动量是固定在0.8和L2正规化。相应的权重衰减d是0.0008。所有的重量都由高斯分布随机数生成的初始化。0的平均值和标准偏差是0.01,和初始化所有的偏差都是0。图像预处理包括净化训练样本的功能,规范数据,压缩图像大小,提高数据和适应神经网络结构。可能会有一些原始数据中的数据不适合这个算法,所以有必要删除这部分数据或通过预处理减少他们的影响。为了训练级联CNN和得到最好的检测模型,本研究为各级网络创建数据。本节测试不同型号的性能和选择的代表F1值测量模型的性能。具体的结果列在表中1。
为了显示的变化过程F1价值更直观,本研究选择纯网络模型,ResNet模型,F1这个模型将数据图,结果如图所示3。
CASIA图像数据库用于测试和分析该算法。其中,有8649个真实图像和5213干扰和拼接图像。为了验证算法的有效性,在每个实验中,70%马赛克干扰图像随机选择从CASIA图像数据库训练分类器,马赛克干扰图像用于验证10%,剩下的20%马赛克干扰图像是用来测试算法的性能。图4显示一个原理图的不同网络的训练精度。图5显示了一个示意图损失函数下降过程的不同的网络。
可以看出,增加训练时间,训练集的损失模型的逐渐减少,直到变得稳定,和准确性的验证组逐渐增加,直到它变得稳定。为了验证网络的定位能力好歧视,块被干扰图像和原始图像的验证设置好网络歧视以同样的方式作为训练集生成的细歧视网络。卷积图像时,数据通常映射到[0,1]区间,为了消除单元数值的极限。一方面,方便比较指标不同的大小,另一方面,它可以提高模型的收敛速度。块生成的过程中,图像被切成三通道与当地重叠和彩色图像分辨率为96×96。块的篡改率25% - -85%被标记为破坏块。为了防止过度拟合的不平衡块分布在培训过程中,上部阈值T块设置取样。当个人图像样本的数量多t,t补丁是随机选择的,t在这项研究中设置为800。这个设置是方便准确模型的识别和检测。算法的误差趋势图所示6。
根据图像纹理处理的工作原理在图像处理领域,特殊卷积核的设计目标是使卷积层识别样本的纹理特征,和图像纹理更明显的高频波段的图像信息。因此,特殊的卷积核进行优化的基础上,图像锐化滤波器和高通滤波器。损失函数的优化模型是通过最小化。具体地说,我们之间的距离计算网络和真实价值和更新通过反向传播网络模型中的参数。来验证该算法的有效性,比较不同算法的准确性。结果如图所示7。
为了训练网络的能力来识别图像属性的差异之间的干扰和nontampered地区的形象,在训练数据集,首先,取出所有像素的边缘区域做手脚的形象,和一块大小32×32被从中央像素,每个像素的图像和标签分类获得块设置的干扰;然后,相同大小的块是在同一位置对应的原始图像,和标签分类这些块设置为修改的。输入训练的过程中被标记为一个块样本训练图像。滑动窗口方法用于获得调查的损害概率地图图像,所以图像的块采样的培训和验证。对于一个特定的任务,适当的图像大小有助于提高模型检测的速度和准确度。训练样本的预处理可以提高数据的多样性,使网络更健壮。不同分类器的实验结果在表列出了测试集2。
在这项研究中可以看出,分类器方法相比具有一定的优势。在本节中,使用多尺度卷积层融合特性不同的接受信息字段映射,和多个剩余模块是用来提高网络的抽象特征提取能力,减少梯度消失的风险在训练过程和加快网络的收敛。本节中的实验结果表明,该算法的精度最高可达92.14%,和最高的F1值可以达到95.7%。通过调整池RaoNet突出,增加了网络层使用CNN算法时,这将有助于提高拼接检测的准确性;与此同时,全球平均池是用来取代完整的连接层,这进一步提高了检测性能。因此,在这项研究中提出的算法比其他比较算法在检测精度和召回,能够准确地检测拼接图像和复制粘贴做手脚图像。
5。结论
这是一个有效的和自然人类交流媒介,传达比语言更丰富、更直接的信息,可以跨越语言障碍,而不是图片和文字。图像编辑软件工具的广泛使用使得它很容易改变或创建新的图像的内容,但它也暴露了社会安全风险。有些人会处理图片和视频为了方便,扭曲他们的原意,从而误导公众。这可以有负面影响,甚至引起社会动荡。近年来,数字图像篡改取证技术已成为信息安全领域的一个研究热点,具有重要的实际意义。最常见的一种方法,数字图像处理彩色图像马赛克。本研究提出并构建了一个基于CNN的彩色图像马赛克检测模型的研究。该模型结合了空间域和频率域图像特性,联合重量使用最大似然方法估计和检测图像篡改全面。这个算法的精度最高可达92.14%,和最高的F1值可以达到95.7%,根据实验分析。在这项研究中提出的结果表明,该方法可以有效地识别干扰图像篡改后,检测精度高于其他比较算法,可以检测拼接和复制粘贴篡改过的图像。该方法的检测精度和鲁棒性都很好。彩色图像拼接检测是至关重要的和紧急的在当今社会。除了检测图像缝合,取证需要缝合组件的位置。因此,研究彩色图像马赛克检测提出了研究是非常重要和有价值的。这项研究中,然而,有一些缺陷的影响由于我的知识水平和时间的限制。更多的图像处理操作将被添加到数据集之后,在这项研究中,提高模型的概括能力。为了进一步解决检测效果下降的问题,注重机制,介绍了大型step-pool操作。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由浙江省教育科学规划项目(不支持。2022 scg097)。