文摘
随着现代时代的技术进步,简单的图像编辑工具的可用性已经大大减少成本,费用,和专业知识需要利用视觉篡改和延续有说服力。借助著名的在线平台如Facebook, Twitter, Instagram,操纵图像分布全球。在线平台的用户可能不知道的存在和传播伪造图像。这些图片对社会产生重大影响,可能会误导决策过程在卫生保健领域,体育、犯罪调查,等等。此外,改变图像可以用来宣传误导信息干扰民主进程(例如,选举和政府立法)和危机的情况下(例如,流行病和自然灾害)。因此,迫切需要有效的方法探测和识别伪造的。目前各种技术用于识别和检测这些伪造的。传统技术依赖于手工或shallow-learning特性。在传统的技术,从图片可以是一个具有挑战性的任务,选择特性,研究者必须决定哪些特性是重要的,哪些不是。同样,如果特性提取的数量相当大,特征提取使用这些技术可以成为耗时且乏味。 Deep learning networks have recently shown remarkable performance in extracting complicated statistical characteristics from large input size data, and these techniques efficiently learn underlying hierarchical representations. However, the deep learning networks for handling these forgeries are expensive in terms of the high number of parameters, storage, and computational cost. This research work presents Mask R-CNN with MobileNet, a lightweight model, to detect and identify copy move and image splicing forgeries. We have performed a comparative analysis of the proposed work with ResNet-101 on seven different standard datasets. Our lightweight model outperforms on COVERAGE and MICCF2000 datasets for copy move and on COLUMBIA dataset for image splicing. This research work also provides a forged percentage score for a region in an image.
1。介绍
使用数字图像几乎在每一个领域,如公共卫生服务、政治博客、社交媒体平台上,司法调查、教育系统、军队、企业、等等。数字技术的飞速发展导致了大量的图像的创建和循环在过去的几年里。使用图片/照片编辑工具像帆布,平面设计,PicMonkey, PaintShop Pro,和许多其他应用程序,它已成为很容易操纵图像和视频。这样的数字改变图像是散布误导信息的主要来源,影响个人和社会。故意操纵现实通过视觉传达的目标造成伤害,压力,和破坏是一个重要的社会风险,考虑到增加的速度信息是通过Twitter等社交媒体平台共享,Quora, Facebook。就成为了巨大挑战这样的社交媒体平台来识别这些照片的真实性。例如,网络安全专家(1)报道,黑客可以访问病人的三维医学扫描,可以编辑或删除癌细胞的图像。在最近的一项研究中,外科医生被扫描修改与人工智能软件,误导了可能导致误诊和保险欺诈的风险很高。此外,操纵图像相关政治(2)分布在社交媒体平台有可能误导和影响公众的认知和决策。例如,研究表明,特定类型的图像可能被重用,在某些情况下,利用网络恐怖主义通过媒体沟通渠道(3- - - - - -5]。图像改变变得太容易使用图像编辑软件,甚至改变原始图像以这样一种方式,法医调查人员将无法识别图像的变化。主要相机制造商使用数字证书来解决这个问题。然而,一些公司已经生成伪造从佳能和尼康相机拍摄的图像模型。这些假的图像是经过厂家验证软件来执行他们的真实性测试(6]。
因此,有必要开发一个伪造检测技术,检测和识别伪造来解决这些挑战。许多伪造检测技术如图1开发授权一个数字图像。这些技术通常分为两种类型,称为主动和被动检测技术(7- - - - - -9]。在活性检测,一个消息摘要或数字签名10- - - - - -14)内注入一个图像时创建的。在这个伪造检测技术、统计等信息的意思是,中位数,并使用一些模式是插入一个图像加密方法;然后从图像检索这些信息在接收端使用解密方法来检查其真实性(15]。在被动探测,改变整个图像识别和地方特性。它不留下任何伪造的视觉线索,但它改变了图像的统计信息。它验证图像的结构和内容,以确定其有效性。
被动检测分为伪造泛型类型和独立的检测技术。Forgery-dependent技术很受欢迎,因为他们处理特定类型的图像伪造,如图像拼接和复制。复制移动(16)复制图像的一部分在几个位置在同一个形象。图像拼接的过程合并两个或多个图像产生一个新形象17]。有许多研究识别的移动和复制图像拼接伪造。传统的伪造检测技术的文献中指定图像伪造检测依赖于图像的频域特性和统计信息。这些技术运用相关特性,这些特性是用来区分伪造图像的原始图像。这些技术主要集中在设计复杂的手工制作的功能。然而,很难确定哪些功能应该提取检测伪造。
一些研究工作有各种机器学习算法用于伪造检测。传统的机器学习(ML)算法和逻辑回归一样,支持向量机,K聚类则考虑图像的每个像素作为一个个体维度,从而制定图像分类作为一个几何问题(18]。图像转换为高维向量,通过这些算法和分类边界是学习。不幸的是,这种算法通常不能学习非常复杂的边界,从而导致低劣的性能在图像分类。一些机器学习算法,利用距离度量,如K最近的邻居和K——聚类(19计算昂贵,因为他们需要大型维向量空间。
快速计算能力的发展等处理能力、内存空间和功耗有增强的计算机应用程序的效率和成本效益。DL帮助计算机视觉研究人员更好地在图像分类精度20.],语义分割[21),和目标识别22)比传统的简历技巧。DL算法相比传统的计算机视觉算法更具有通用性,更特定于域的。为特定的应用程序,使用pretrained CNN模型的权重已经学会了在大型数据集(包含数以百万计的图像)。这些模型是开源的开发者,只有最后几层需要修改为了调整为一个特定的应用程序(23,24]。提出了各种DL网络在计算机视觉领域,包括AlexNet [25];在2012年,它获得了ImageNet大规模视觉识别的挑战,从而增加传统机器学习算法分类精度10%。VGGNet(26)是牛津大学的视觉几何组提出的2014年,和GoogLeNet(27),ResNet(28)在2015年提出的。几个DL网络计算机视觉上面所讨论的越来越复杂,实现更大的准确性。上述DL成倍增加网络的参数,使这些网络更依赖于计算高效的图形处理单元(gpu) [29日]。应对挑战现有的工作,这项工作提供一个轻量级网络基于深度学习分类MobileNet V1 (30.]。这个网络是建立在切除分离卷积原理(31日,32),这可以减少网络参数和计算复杂度在卷积处理操作,导致一个轻量级的网络。
本研究工作的重大贡献如下:(我)DL架构的开发探测和识别的移动和复制图像拼接伪造。(2)探测和识别的移动和复制图像拼接伪造用面具R-CNN MobileNet V1,一个轻量级的网络和计算更便宜。(3)评估的面具R-CNN MobileNet V1报道[等七种不同的数据集33[1.0],CASIA34[2.0],CASIA34)、哥伦比亚(35),MICC F220 [36),MICC F600 [36],MICC F2000 [36]。(iv)的比较分析,提出使用resnet - 101标准在不同的数据集。(v)估计的分数比例伪造图像区域使用面具R-CNN和MobileNet V1。
本文的结构如下。部分1提供了一个介绍,相关工作中概述部分2,部分3显示了建议的体系结构,数据集的细节部分中概述4,数据集注释中给出了部分5,部分6概述了实现细节,部分7显示结果,部分8给出了结论。
2。相关工作
本节使用DL移动指定相关的工作副本,图像拼接使用DL和DL网络计算机视觉。
2.1。复制移动
的研究工作37)使用CNN移动和拼接图像伪造检测副本。从补丁中提取特征,CNN网络已经pretrained标记图像。然后使用中训练SVM模型的特性。的研究工作38]使用CNN连同deconvolutional网络复制移动伪造检测。测试图像分成块,然后CNN是用于提取这些图像块的特征。这些块之间的自相关计算。之后,局部块之间的匹配点,最后,deconvolutional网络可以伪造的面具。这个复制移动伪造检测(CMFD)技术是更健壮的后处理操作,如仿射变换,JPEG压缩、模糊。
这项研究在39)使用面具R-CNN和索贝尔过滤器检测和定位的移动和复制图像拼接伪造。这里采用Sobel过滤器允许预测面具来识别梯度接近那些真实的面具。
工作(40)使用六个卷积层和三个FC层。这批规范化卷积层中使用和辍学的FC层(在最后一层除外)。CoMoFoD和BOSSBase数据集用于评价的这种技术达到95.97%和94.26%的准确性,分别对这些数据集。的研究(41)使用各种过程,如分割、特征提取,和密集的深度重建,最后确定被篡改区域复制移动伪造检测。这里伪造图像分割与简单线性迭代聚类(SLIC)。然后,从这些分段补丁,使用VGG-16提取的特征从不同的尺度。这些特性是用来重建艾滋病的密集的深度图像的像素匹配的伪造和原始的地区。重建过程后,ADM(自适应块匹配)技术应用于找出匹配的地区。大多数的可疑区域明显在这个操作的结束。在这个过程中,unforged区域和伪造区域可见删除。的MICC F220数据集是用于实验,达到98%的精度,89.5%的回忆,F1分数的92%,准确性为95%。研究的主要贡献在42)是美国有线电视新闻网的发展分类图像分成两组:真实的和伪造。图像特征提取和特征图谱是由CNN。CNN需要产生的平均特征地图和搜索功能对应关系和依赖关系。然后用训练有素的CNN对图像进行分类。这种技术一直在测试MICC F220, MICC F2000,和MICC F600数据集在各种副本移动情况下,包括单个和多个克隆不同克隆地区,已经达到了100%的准确率和零日志丢失使用50时代。早期的研究工作显示了卓越的性能,但也存在一些挑战,如泛化问题由于显著依赖于训练数据和合适的必要性hyperparameter选择。为了解决这个问题,研究者们提出了(43)两个深度学习技术:一个自定义的设计架构和转移学习模型复制移动伪造检测。为了解决泛化的挑战,不同的标准数据集了。定制设计技术,5架构设计与不同深度(与卷积五层体系结构有两个FC层使用)。学习的第二个技术转让VGG-16 pretrained模型。pretrained模型(pretrained VGG-16)不同于自定义设计模型的深度、卷积过滤器的层数,激活函数,卷积层前池层的数量。VGG-16模型通过转移学习获得指标约10%高于定制设计的模型,但它需要更多的推理时间。
的研究(44]使用MobileNet V2复制移动伪造检测的后处理操作相关的视觉外观和几何操作。MobileNet V2模型是一个著名的演员和TPR玻璃钢的84%和14.35%,分别。实验表明,改进的健壮和lubuntu MobileNet V2 CNN框架。工作(45)使用DL技术基于混合ConvLSTM和CNN。本研究的主要目的是开发和改善深度学习分类模型区分真实和伪造的数字图像伪造。该方法提取图像特征的一个序列号卷积(CNV)层,ConvLSTM层,和汇聚层,匹配特性和检测复制伪造。这种技术然后测试MICC F220, MICC F2000, MICC F600,和sat - 130。为了解决泛化问题,一个新的数据集是由合并上述数据集。模型的研究工作提供了良好的性能和较低的计算成本。
在[46),研究人员提出了一个框架,用于分类输入图像作为真实的或伪造的结合图像变换技术以及pretrained CNN。这三个图像变换技术,如枸杞多糖(本地二进制模式),DWT(离散小波变换)及(误差水平分析)被用来提取适当的特性。在这个框架,便于用于转换图像,然后使用这些图像训练CNN检测到伪造的图像。模型的训练可能是进一步提高利用学习转移到初始化权重的CNN pretrained VGG-16。实验是公共基准数据集上执行。广义的模型测试图像。的研究工作47)使用CNN模型开发使用多尺度输入卷积层的多个阶段。这些层分为两块,即。、编码器和译码器。编码器块结合和downsamples派生特征图从许多的卷积层水平。同样的,提取的特征图谱在译码器块连接和upsampled。地图的最终功能是用来区分像素为伪造或non-forged使用乙状结肠激活函数。两个公开的数据集是用来验证模型。
2.2。图像拼接
这项研究在48)使用FCN模型检测图像拼接的图像。单一任务FCN训练与表面标签分类图像的像素作为拼接或真实。但单一任务FCN为某些情况下生成粗定位输出。改进的边缘MFCN执行比SFCN和MFCN。训练与边界表面标签和标签,标签,它使用一个表面和边缘概率地图定位拼接字段。这项研究在49)使用条件生成对抗网络(cGAN)检测在卫星图像拼接伪造。它有一个很高的精度检测和定位的对象。
的研究工作50)是基于局部特征描述符学深卷积神经网络(CNN)。两个分校CNN用于自动列车等级表示从RGB颜色或灰度测试图像使用当地的描述符。CNN模型提出的第一层是用于抑制和提取图像内容影响各种和富有表现力的残留特性,特别考虑图像拼接检测。第一层的内核初始化和一种改进的基于SRM的初始化方法。拟议的CNN模型的泛化能力是提高结合对比损失与熵的损失。为了获得最后的测试图像对图像拼接的区别的特征和支持向量机检测,一个有效的特征融合方法称为块池使用的块密度特征检索的pretrained CNN-based本地测试图像描述符。对图像拼接,拼接区域定位是进一步发展基于pretrained CNN模型,包括完全连接条件随机场(CRF)。广泛的测试在许多公共数据表明,拟议中的CNN-based策略优于最先进的算法不仅对图像拼接检测和定位性能也在JPEG压缩的鲁棒性。
在[51),研究人员提供了一种新的图像拼接检测系统,使用ResNet-Conv,一个新的深度学习骨干架构。ResNet-Conv是由用一组卷积特性在ResNet-FPN金字塔网络层。最初的功能生成地图使用这个新的支柱,然后用来训练Mask-RCNN为伪造图像拼接地区构建面具。ResNet-50和ResNet - 101是两个截然不同的ResNet架构考虑。几个后处理操作被输入图像更加现实的伪造的图像。使用一个计算机生成的图像拼接数据集,提出了网络的训练和测试,并发现比替代网络更有效率。提出在[DL-based图像拼接技术52)使用卷积神经网络和重量组合机制。YCbCr特性,这种技术优势特性,和PRNU功能合并,体重设置自动改变在CNN训练过程,直到最好的比例。
的研究工作53)使用ResNet-50 pretrained深度学习网络和量子变分电路。使用世外桃源的PennyLane量子模拟器和PyTorch DL框架,研究人员提出了一个比较经典和量子转移学习方法的实证分析。该模型测试IBM的真正的量子处理器,ibmqx2。量子处理器(精度= 85%,召回= 87.18%)和模拟器(精度= 81.94%,召回= 91.67%)优于传统计算机(精度= 80.57%,召回= 89.11%)。
在[54),两种技术用于图像拼接检测。首先,使用“Noiseprint”技术抑制图像内容和暴露拼接图像的篡改工件更准确。其次,ResNet-50网络作为特征提取器学习真实之间的特点和拼接图像。最后,使用SVM分类器进行分类的图像拼接或真实。这项研究的未来工作重点区分真实的视频(视频记录使用单一相机)拼接视频(视频由合并不同的视频)。它还在拼接区域定位准确的拼接区域。的研究(55]介绍了卷积神经网络技术的选择功能,它消除了手动选择图像特征的耗时的工作。然后加载到一个密集的特征向量分类器网络评估是否真实或拼接图像。提出了模型训练、验证和测试在CASIA v2.0。实验结果表明,该方法优于当前最先进的技术。这种技术的局限性是它无法定位拼接区域。
的研究(56使用彩色照明,深卷积神经网络和语义分割检测和定位图像拼接伪造的。预处理步骤后,颜色采用照明应用彩色地图。深卷积神经网络用于火车VGG-16使用转让与两类学习方式。本研究研究决定是否一个像素是真实的或伪造的。为了定位伪造的像素,使用语义分割训练图像使用颜色像素标签上。使用的技术(57)集成了手工制作的特性基于颜色特征和深层功能使用图像的亮度通道获得伪造检测的模式。四元数的离散余弦变换的图像用于计算648 - d Markov-based特性的流。提取图像的局部二进制模式在第二个流使用YCbCr色彩的亮度通道。本地二进制特征图谱也输入pretrained ResNet-18模型获得512维的特征向量命名“ResFeats”模型的脑回的基础部分的最后一层。1160维的特征向量是由手工制作的特性结合到流我和ResFeats流二世。一个浅神经网络用于执行分类。这种技术评估在CASIA v1和v2 CASIA数据集,这些数据集,这种fusion-based技术达到99.3%的准确率。
2.3。计算机视觉的深度学习网络
在计算机视觉领域,图像分割是一个著名的主题研究人员。这个过程将一幅图像划分为不同的区域,这些区域的像素特征的基础上,它指定各种对象的图像及其边界。R-CNN [58),快R-CNN [59),快R-CNN [60),而面具R-CNN [61年)提出CNN算法的变体;这些算法在合理的时间内提供更好的分割。R-CNN算法(58)站在各种算法当用于VOC2007数据。R-CNN利用图像的目标识别和分类,不同的图像对象的边界框。在R-CNN [58),近二千地区建议使用选择性搜索算法生成,和他们包裹固定大小。这些包装提议美联储CNN,作为图像特征提取器,从每个区域中提取一个规定尺寸的图像的特征向量。R-CNN 4096维特征向量提取每个地区的建议。然后喂SVM提取的特征,这有助于在分类对象在该地区的存在。边界框的坐标估计使用回归量。
快R-CNN(59)是一个对象分类方法,检测方法基于深回旋网使用回旋网二千年为每个图像区域。一个深事先显著加速特征提取。然后,将softmax函数是用于分类,略优于支持向量机。快R-CNN(60使用三个网络对象检测。CNN是第一网络产生给定输入图像的特征图谱。一个项是第二个网络,生成一个边界框的集合称为roi与对象里面的更多的机会。最后一个网络需要从卷积层特征图和生成一个对象的边框以及预测它的类。快R-CNN是提高了面具R-CNN(61年),为个人提供一个面具感兴趣的地区。
最近的文献显示,越来越有兴趣开发小型网络(62年,63年]。创建小型网络使用压缩。有两种技术进行压缩:(i)通过优化网络参数训练模型和(2)小尺寸模型开发和培训。对于第一种方法,各种压缩技术等产品量化(63年),霍夫曼编码(64年),修剪,矢量量化,哈希(65年)已经提出了减少网络的大小。Pretrained网络可以缩小、映像和压缩的小型网络。蒸馏(66年)是另一个压缩模型用来训练小网络更大的网络。第二个技术已经得到普及与轻量级网络的发展SqueezeNet(67年),ShuffleNet(68年),和MobileNet V130.]。SqueezeNet(67年)技术构建一个小尺寸的网络,大大减少网络规范和处理开销维持网络的效率。ShuffleNet(68年)使用通道洗牌和点群卷积来最小化网络计算。MobileNet V1 (30.)是基于切除分离卷积的概念(30.,31日]。每个通道的特性分别卷积,然后所有功能不同的通道拼接使用1×1卷积。这些轻量级网络最小化网络参数的总数和计算成本。确定了以下差距在当前文献复制移动和图像拼接伪造:(1)探测和识别等被动伪造的移动和复制拼接计算昂贵,由于大量的参数,存储和计算成本。(2)识别图像的百分比分数被伪造的。
3所示。建议的体系结构
本节显示了建议的体系结构的探测和识别移动和复制图像拼接伪造并提供伪造的百分比伪造的图像。该架构具有设施等探测和识别的图像伪造的移动和复制图像拼接和伪造的百分比计算给定的输入图像。
(我)探测和识别的图像伪造像复制和图像拼接。这种方法涉及的使用面具R-CNN与MobileNet V1 (30.]。图2描述了该系统的体系结构。在第一步中,该系统需要一个图像作为输入并进行特征提取。项提供的地区或图像特征映射可能包含不同的对象。图像特征地图或地区有各种尺寸,和投资回报率是用来将其转换成一种定义。第二步是伪造的检测步骤指定类对象(s),复制或拼接等,它还创建了伪造对象边界框。最后一步是伪造对象分割,生成一个面具。因此,该模型的输出给定输入图像探测和识别伪造对象的边界框(s)和伪造的类型的分类。(2)计算给定输入图像伪造的百分比。图像伪造检测架构还用于计算对于一个给定的图像伪造的百分比。的一般公式计算区域的伪造的百分比如下所示。 架构,建立区域进行分类和局部使用边界框和语义划分每个像素的分割。每个地区感兴趣的多边形分割掩模。利用预测分割面具,个人的百分比面具伪造区域的面积计算。生成的面具架构被视为一个二进制图像,所以伪造的地区将是白色(真正的),和背景是黑色的(错误的)。计算的面积的比例分割面具,第一像素的数量被伪造区域计算。这可以由计算像素的数量属于白色或通过计算像素属于黑色的数量(背景像素),减去从图像中像素的总数。计算出的像素总数可以增加图像的宽度和高度。最后的面积比例计算通过使用以下方程: 输入图像的多个伪造区域,结构将产生多个多边形面具。有三个伪造图像对象,三个面具将生成。让这三个细分领域的总百分比面具,首先,白色像素计数计算每个面具。 然后,最后可以计算百分比。 提出了检测系统的体系结构、本地化的复制和图像拼接伪造,和计算的伪造的百分比如下解释。
3.1。MobileNet V1 [30.]
在简历中,CNN已经成为很常见的图像分类和分割过程。然而,现代cnn越来越深,越来越复杂的实现更大程度的准确性。MobileNet V1减少了大小(用参数)的数量和复杂性(的乘法和加法(multi-adds))的网络。MobileNets基于DSCLs,每个DSCL包含两个卷积类型:切除卷积和逐点的卷积。图3显示了标准的卷积操作(32]。图像的每个像素乘以过滤通道的数量和需要的总输入像素由过滤器通过所有图像的输入渠道幻灯片。切除分离卷积图所示4。图像特征只学会了使用输入通道,从而输出层有相同数量的通道作为输入通道。在切除分离卷积,内核是分成较小的用更少的乘法产生同样的结果。在这两个操作,如切除卷积,卷积逐点的顺序执行。表1显示参数的计算和multi-add(乘法和加法)操作标准的卷积操作和切除分离卷积。表2显示标准卷积的计算成本和切除分离卷积。表1和2显示计算成本是降低8 - 9倍。
DK =内核大小= 3,DF =大小的图像特征,特征地图= 14,=输入通道总数= 512,=输出通道总数= 512。
above-declared值用于计算参数和百万multi-adds。
图5和表3显示MobileNet V1的架构(30.]。第一层是卷积层步值等于2。后,切除和点态层轮流。切除的跨层1和2,分别降低数据的维数(宽度和高度),它通过网络移动模型。点态层双打通道的数据的数量。ReLU激活函数卷积的每一层。上述过程重复,直到原始图像的大小 减少到 像素和1024个频道。最后,平均池操作已经完成,最终的形象维度 。以下hyperparameters用来减少网络大小和,反过来,让网络更快。(1)宽度乘数用 ,在哪里在0和1之间用于控制通道深度或渠道。(2)该决议乘数用 ,在哪里在0和1之间用于控制输入图像的维度。
3.2。项
项(图6)任何大小的输入并生成提议由滑动一个小型网络的最后一层的输出图像特征映射。其目标是创建一系列的建议,每一个都可能是一个对象,并定义对象的类/标签,如前景或背景。使用9项边界框限制图像特征映射,和所有三个参考bbox的多路复用。假设参考箱是16像素的大小,长度和宽度l和 ,分别。然后创建三个锚箱 1:1的比例,1:2,和2:1,以及相应的锚箱8像素和32像素的尺寸。这些锚箱负责生成一系列bboxes不同大小和纵横比称为对象的位置预测。这些箱子是有用的在检测多个对象,对象不同的大小,和重叠的对象。选择bboxes基于十字路口在联盟(借据)之间的比率P和问。在这里P和问表明bboxes和真实(GT)盒子。十字路口的公式在下面。
然后,NMS排序这些边界框的概率得分和消除借据< 0.5的箱子。
3.3。ROI对齐
从RPN生成的建议是不同大小和纵横比;这些需要标准化的一个固定大小的提取功能。快R-CNN [60)使用ROI池概念生成固定大小特征向量的特征映射。ROI池工作高度除以ROI的维度x宽度为H×W功能大小高度/地图H×宽/W,然后在每个子帧max-pooling操作使用。每个通道的特性映射分别汇集。在ROI池、地图生成的提议完全x和y索引值,量化操作,比如地板和天花板的整数操作执行x和y索引值。ROI并提取这些量化功能失调的结果。为了消除量化问题,ROI(图一致7)介绍了面具R-CNN [61年),使用双线性插值计算确切的指标特征向量。建议分为预定数量较小的地区。在每个地区,四分取样;每个采样点的特性与双线性插值计算价值。
4所示。数据集
该模型或工作在各种测试数据集表所示4这是报道(33[1.0],CASIA34[2.0],CASIA34)、哥伦比亚(35),MICC F220 [36),MICC F600 [36],MICC F2000 [36]。报道[33]数据集包括100 original-forged TIFF图像对分辨率400×486,每个原始图像包含SGOs (similar-but-genuine对象),很难区分伪造从真正的对象。这个数据集是由应用各种后处理操作和组合这些后处理操作对图像进行身份验证。后处理操作用于创建这些伪造图像缩放、平移、旋转、添加和添加光效果。真实面具可用数据集。它还提供了篡改的程度或原始之间的相似之处和干扰图像数据集的所有图像对。样本图像如图8。
(一)
(b)
(c)
CASIA数据集(34)包含更多的篡改图像;在这个数据集,所有产生的篡改图像的颜色使用Adobe Photoshop CS3版本10.0.1在Windows XP。这个数据集有两个版本,即。,CASIA 1.0和2.0 CASIA。CASIA 1.0数据集包含1725个JPEG彩色图像尺寸为384×256像素,并且有800真正的图像和925干扰图像数据集。真实图像大致分为八类,如动物、建筑、场景,纹理,植物,自然,和性格。应用产生的干扰图像拼接操作真实的图像利用Adobe Photoshop。
CASIA 2.0 [34)是由12614张图片,其中一些是未压缩的TIFF和BMP图像,以及其他与各种JPEG问因素的大小从320 240×800×600像素。有7491个原始图像和5123干扰图像数据集。真实图像大致分为九类,如动物、建筑、场景,纹理,植物,自然,人物,和室内。被篡改图像同时包含复制移动和拼接图像。然而,这两个数据集不提供相应的真实面具,这两个数据集,生成真实面具使用通过(VGG图像注释器)(70年),一个开源注释工具,可以指定地区这些地区的形象和生成文本信息。示例图像CASIA 1.0和CASIA 2.0图所示9- - - - - -11。
哥伦比亚大学(35)有363个图像;在这里,183是真实的图片和180拼接图像。这个数据集创建四个相机拍摄图像。相机用于创建数据集是佳能G3,佳能EOS 350 d叛军XT,尼康D70,柯达DCS330。图片都在JPG格式,大小从757 568×1152×768像素;类别为这些图片主要是桌子、电脑、或走廊。
MICC F220 [36]显示220图像在这个数据集,原来的110人,其余110人伪造的。图像的大小范围从722×480 - 800×600像素,用伪造的地区约占整幅图像面积的1.2%。伪造图像MICC F220是由随机选择一个矩形部分从一个图像,复制,然后应用各种各样的攻击,如翻译、缩放、旋转,然后这部分粘贴到形象。
伪造图像MICC F600 [36]运用生成更现实的和困难的后处理操作;它包含600张图片,其中440是真实的,和160图像伪造图像大小从800×533像素3888×2592像素。MICC F2000 [36)包含2000张图片,其中1300是真实的,700是伪造的。每个图像的大小是2048×1536像素,用伪造的地区约占整幅图像面积的1.12%。样例图像如图12。
(一)
(b)
(c)
(d)
多个图像拼接数据集(69年)包含618真实和300现实多种拼接的图像大小384×256处理旋转和缩放操作。它还包括图像从不同的类别,包括动物、建筑、艺术、场景,自然,植物,质地,性格,和室内场景。真实数据集,面具也提供指定给多个拼接图像拼接实例。
5。数据集注释
计算机视觉中最重要的领域之一是注释,包括标签图像与一个类的方法。有各种各样的工具,使用每个加载图片和标志着对象分割。这使得准确定位更容易的帮助下边框和通过生成面具。注释文件用于存储这些信息。注释分为两种类型:(1)映像级别annotation-binary类表示一个对象是否存在于图像。(2)对象级annotation-bounding盒和类标签图像中对象实例。
可可注释格式自动理解先进的神经网络库(如Facebook的Detectron2)。了解可可注释格式表示的是必要的为了修改现有的数据集和创建自定义的。相似的像素数据集使用实例级分割,不同实体的一个类,一个独特的标签。VGG图像注释器(70年)是一个小型和轻量的图像和视频注释工具运行在web浏览器完全为JSON格式生成pixelwise注释图像。VGG图像注释器(70年)是用于绘制边界框或多边形对象形成一个计算机视觉模型的图像和视频数据集的监督。边界框的注释详细信息存储在JSON格式。文件的结构如下所示:(1)文件名:包含图像文件的名称。(2)大小:包含图像中像素的大小。
6。实验环境配置
这一节指定了该模型的实验装置。表5和6显示系统规范的培训环境。所有实验都进行了使用Google Colab环境与英伟达等规范1×特斯拉K80,计算能力3.7,2496 CUDA 12 gb GDDR5 VRAM型芯;操作环境1×单芯超线程Xeon处理器@2.3Ghz,即。(1)核心,2线程),13 GB RAM。进行实验,Tensorflow 1.8.0,深度学习框架,使用Python 3.7编程语言。可可pretrained网络(71年)是用于参数的泛化。表7给出了一些配置参数修改从原始R-CNN面具。在这个实验中,共有3000张图片用于培训,和700张照片是用于测试目的。训练图像大小保留他们的宽高比。面具的大小是28×28个像素,图像的大小为512×512像素。这种方法从最初的面具R-CNN [39)方法,图像大小在800像素的方式被认为是最小的大小和512像素是最高的修剪。Bbox(边界框)的选择是由考虑借据,这是真实的比例预计bboxes盒(GT框)。面具只考虑积极的ROI和损失是一个十字路口的ROI和它的真实面具。每个mini-batch包含一个图像/ GPU,每个形象都有一个ROIN样品和1:3 +或-比率。C4骨干的值为64,而红外系统的值为512。一批规模维持在一个GPU单位之一。360年的模型训练迭代初始学习速率为0.01,然后修改为0.003时代120和0.001 240年时代。随机梯度下降法(SGD)是用于优化,与动量初始化为0.9和0.0001体重衰变初始化。
7所示。结果
用来测量各种借据的平均精度(美联社)。表8和9显示意味着平均精度复制移动和图像拼接检测。在可可,借据值变化从50%提高到95%,在5%的步骤。所以最后10 precision-recall对。如果我们把这些十值的平均值,得到AP@:0.95 [0.5]。流行的借据分数是50%(借据= 0.5)和75%(借据= 0.75),解释为AP50(美联社0.5)和AP75(美联社0.75)。F1分数(一个像素定位指标)是评价指标标准。面具借据是用来评估AP,F1分数被定义如下:
数据13- - - - - -15中华民国情节的节目报道(33[1.0],CASIA34[2.0],CASIA34]数据集,分别为图像伪造证件。
7.1。中华民国AUC曲线
中华民国AUC曲线给定的像素归为真实的或伪造。该模型将伪造的像素高的信心。真阳性率之间的权衡(像素正确蒙面)和假阳性率(像素错误掩盖了)我们的面具R-CNN模型使用各种概率阈值由ROC曲线。图表显示了错误+率(x设在)与真正的+率(y设在)为各种候选阈值从0.0到1.0不等。它情节的错误分割正确分割率像素像素。AUC是ROC曲线下的面积。AUC值[0.92,1][0.95,0.1]有良好的效果,和AUC[0.9, 1]平均效应。
7.2。Precision-Recall情节
数据16- - - - - -18显示precision-recall情节提出技术生成的面具的报道(33[1.0],CASIA34[2.0],CASIA34)数据集。不同的阈值导致精度和召回发生变化。高召回值表示一个更大的曲线下的面积显示最低玻璃钢显示屏蔽不当像素,和最小FNR意味着没有面具的像素应该存在。
7.3。使用各种数据集的比较结果与面具R-CNN和骨干网络
如表所示10面具,总体参数的数量R-CNN使用resnet - 101作为骨干网络是大大高于在拟议的技术。表11显示了培训时间和推理时间比较resnet - 101和MobileNet V1的复制和图像拼接数据集。培训时间和推理时间而言,表11和12表明MobileNet V1优于resnet - 101。MobileNet V1含有更少的可训练的参数和计算简单的参数空间的使用,让它最大限度地利用现有的参数。因此,MobileNet V1优于训练和推理时间。在表中11和12,TT表明训练时间在几分钟内,它表明推理时间,以毫秒为单位。
我们评估拟议的面具R-CNN模型在不同的数据集和骨干网resnet - 101复制移动和图像拼接检测。表13显示了一个比较分析的面具R-CNN resnet - 101和MobileNet V1精密,回忆,和F1评分标准数据集等报道,CASIA 1.0, 2.0 CASIA MICC F220, MICC F600, MICC F2000,和哥伦比亚的数据集。而言,F1得分,该模型优于resnet - 101没有Sobel过滤器中指定文献[39]。的F1分数中指定的技术和技术文献[39=但拟议的技术参数的数量少而文学技巧。
数据19和20.显示F1分数、精度和召回复制移动和图像拼接等各种数据集使用骨干网络resnet - 101和MobileNet V1。的x设在表示模型F1分数、精度和召回y设在对应评价指标。
表14显示了美联社的比较分析,美联社0.5,和美联社0.75等标准数据集覆盖,CASIA 1.0, 2.0 CASIA MICC F220, MICC F600, MICC F2000,和哥伦比亚数据集用面具R-CNN resnet - 101和MobileNet V1骨干网。在这里,为美联社0.5,借据= 0.5,美联社0.75,借据= 0.75。数据21和22告诉美联社,美联社0.5,和美联社0.75复制移动和图像拼接在不同的数据集使用骨干网络resnet - 101和MobileNet V1的地方x设在代表了不同平均精度值和模型y设在对应评价指标。表12显示的平均精度值,该模型在标准数据集上大大优于现有的体系结构中指定文献[39)复制移动伪造的识别和检测。它还表明,平均精度值而言,该模型优于ResNet检测101没有Sobel过滤器,中指定文献[39]。的识别和检测的图像拼接伪造、平均模型和现有模型的精度值没有Sobel过滤器中指定文献[39)是相等的,但提出模型的参数的数量相对比较少。
表8和9显示平均平均精度为移动和复制图像拼接检测标准数据集。的识别和检测复制移动伪造、模型和现有模型的精度值没有Sobel过滤器中指定文献[35)是相等的,但提出模型的参数的数量相对比较少。
图23显示的示例输出复制移动,拼接伪造检测和伪造图像的百分比。结果表明,边界框包围的对象和类(伪造)。也给出了一个伪造的一个地区一个图像和一个准确性的比例复制移动和拼接伪造检测。
8。结论
这项工作提供了一个轻量级的模型中,面具R-CNN MobileNet V1,探测和识别移动和复制图像拼接72年伪造。我们使用标准数据集等报道,CASIA 2.0, MICC F220, MICC F600, MICC F2000,哥伦比亚,CASIA 1.0评估拟议的模型复制和图像拼接伪造。该模型优于resnet - 101和达到的F1分数的70% MICC F600数据集复制移动和64%在CASIA 1.0图像拼接。也达到90%的平均精度MICC F2000和覆盖率,复制移动为90%,图像拼接在哥伦比亚的数据集。整体配置计算效率比resnet - 101 (39]。根据实验中,该方法有效地平衡效率和计算成本相比resnet - 101 (39]。它还提供了伪造的比例的一个地区在一个图像。在未来,我们打算扩展这项工作为多个图像的拼接和比较结果与GAN-based架构。
缩写
| DL: | 深度学习 |
| 简历: | 计算机视觉 |
| 有线电视新闻网: | 卷积神经网络 |
| FCN: | 完全卷积网络 |
| 支持向量机: | 支持向量机 |
| 项: | 地区建议网络 |
| roi: | 感兴趣的区域 |
| 面具R-CNN: | 面具地区卷积神经网络 |
| DSCLs: | 切除卷积分离层 |
| bbox: | 边界框 |
| NMS: | Non-max抑制 |
| 借据: | 十字路口在联盟。 |
数据可用性
用于实验的数据集都是公开的。链接的数据集如下:CASIA 1.0和2.0 -https://www.kaggle.com/sophatvathana/casia-dataset;MICC数据集,https://lci.micc.unifi.it/labd/2015/01/copy-move-forgery-detection-and-localization/;报道- - - - - -https://github.com/wenbihan/coverage;哥伦比亚-https://www.ee.columbia.edu/ln/dvmm/downloads/AuthSplicedDataSet/AuthSplicedDataSet.htm;和MISD -https://doi.org/10.5281/zenodo.5525829。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究是由共生的研究支持基金国际(认为大学)。