文摘

Z一代是一个数据驱动的一代。每个人都有人性的完整的知识在他们的手中。技术的可能性是无限的。然而,我们使用和滥用这个祝福面对使用deepfake交换。Deepfake是人工智能技术的一个新兴的子域名,一个人的脸是覆盖在另一个人的脸,这是非常著名的在社交媒体。deepfakes机器学习是主要的元素,这使得deepfake生成图像和视频相当速度更快、成本更低。尽管负面内涵与“deepfakes”,这项技术被更广泛地使用商业和个人。虽然是相对较新的,最近的技术进步使其越来越具有挑战性的检测deepfakes合成图像真实的。越来越不安的感觉已经开发了deepfake技术的出现。我们的主要目的是检测deepfake图像真实准确的。 In this research, we implemented several methods to detect deepfake images and make a comparative analysis. Our model was trained by datasets from Kaggle, which had 70,000 images from the Flickr dataset and 70,000 images produced by styleGAN. For this comparative study of the use of convolutional neural networks (CNN) to identify genuine and deepfake pictures, we trained eight different CNN models. Three of these models were trained using the DenseNet architecture (DenseNet121, DenseNet169, and DenseNet201); two were trained using the VGGNet architecture (VGG16, VGG19); one was with the ResNet50 architecture, one with the VGGFace, and one with a bespoke CNN architecture. We have also implemented a custom model that incorporates methods like dropout and padding that aid in determining whether or not the other models reflect their objectives. The results were categorized by five evaluation metrics: accuracy, precision, recall,F1-score,中华民国(接受者操作特征)曲线下的面积。在所有的模型、VGGFace表现最好的准确率达到了99%。ResNet50此外,我们获得97%,96%从DenseNet201 DenseNet169 95%, 94%从VGG19 VGG16 92%, 97%来自DenseNet121模型,90%来自自定义模型。

1。介绍

面对人类的最显著特征。面临巨大的增长的合成技术,面对操纵带来的安全风险正变得越来越重要。个人的脸可能经常和别人交换的脸显得真实,因为无数的算法基于深度学习技术。Deepfake是人工智能技术的一个新兴的子域名,一个人的脸是覆盖在另一个人的脸。更具体地说,基于生成的多个方法对抗网络(甘斯)生成高分辨率deepfake图像1]。不幸的是,由于手机的广泛使用,许多社交网站的发展,deepfake内容的传播速度比以往任何时候都在二十一世纪,这已经变成了一个全球危险(2]。最初,deepfake与人眼图像明显由于像素崩溃现象,倾向于创建人工视觉矛盾在肤色或面部形状的照片。不仅图像或视频,还可以变成deepfakes音频。Deepfakes已经从自然照片几乎无法区分技术多年来进展(3]。因此,全世界的人都正在经历不可避免的并发症。

由于deepfake技术,人们可以选择他们的时尚更快,这好处时尚和电子商务行业。此外,这种技术艾滋病的娱乐业务为艺术家提供人工声音不能配音。此外,制片人现在可以创建许多经典的序列或利用特效的电影因为deepfake技术。Deepfake技术可以让老年痴呆症患者与一个年轻版的自己,这可能帮助他们保留的记忆。甘斯也正在追究他们的应用程序在x射线图像中的异常检测4]。deepfake方法往往需要一个巨大的数量的图像,视频或音频数据生成自然照片,证人被说服相信他们。除了所有的突出,有一些重大的缺点。公众人物,例如,名人,运动员,和政治家,deepfakes最严重的患者,因为他们有大量的网上视频和图片。尽管深层假技术偶尔用来嘲笑别人,他们主要是用来创建淫乱的内容。许多名人的面孔和其他知名的个人被嫁接到色情的尸体模型,和这些图片在互联网上广泛使用2]。Deepfake技术可能创建讽刺、色情或政治内容熟悉的人利用他们的图片和声音没有他们的同意。由于易于各种应用程序,任何人都可以制造任何人工内容听不清的实际内容(2]。许多年轻人正成为网络欺凌的受害者。在最坏情况下,无数患者自杀。

深假前美国总统巴拉克•奥巴马(Barack Obama)的视频在互联网上流传的这些天,他说他从来没有表达的东西。此外,deepfakes已经被用于改变乔·拜登的镜头他的舌头在2020年美国大选。除此之外,泰勒·斯威夫特,加Gadot,艾玛·沃森,梅根·拟人化,和许多其他名人的受害者deepfake技术(5]。在美国和亚洲社会,很多女性也受害很深的假技术。有害使用深假货可以极大地影响我们的文化,增加误导性信息,特别是在社交媒体(6]。然而,由于在不同的个人和组织的负面影响,deepfakes已经严重威胁到我们的一代。因此,为了消除诽谤,诈骗,欺骗,和不安全感来自社会,研究人员一直在不断尝试检测deepfakes。识别deepfakes会减少犯罪的数量,目前发生在世界各地。因此,研究人员注意到验证机制的完整性deepfakes [2]。针对这一趋势,一些跨国公司已经开始采取行动。例如,谷歌已经做了一个假的视频数据库访问学者建立新的算法来检测deepfake,而Facebook和微软有deepfake检测组织的挑战7]。

有几种方法来检测GAN-generated deepfake图像,包括传统的机器学习分类器(支持向量机算法,或天真的算法),深层神经网络,卷积神经网络(CNN),递归神经网络(RNN),长期短期记忆(LSTM),和许多更多。工作的主要贡献是识别deepfake图片,区分正常图像使用CNN架构。在这个研究中,八个不同的体系结构使用卷积神经网络被用来检测deepfake图像,包括DenseNet169 DenseNet121, DenseNet201, VGG16, VGG19 VGGFace, ResNet50。一个定制的模型也被介绍给做比较分析。

这个工作从Kaggle获得数据集。毕业典礼上,数据是如何收集的。因此,特征提取,以及各种CNN架构已经实现获得最好的结果。最后,每个模型评估使用四个不同的指标:准确性、精密,回忆,F1-score。最后,ROC曲线下的面积也是考虑的另一个指标评估模型的性能。

2。相关的工作

虽然deepfake是一种相对较新的技术,但一直在研究这个话题。阮等人和他的同事们进行的一项研究[2),检查使用深度学习创建和检测deepfakes。deepfake文章的数量近年来大幅增加,根据收集的数据https://app.dimensions.ai在2020年底。尽管deepfake文章获得的数量可能会低于确切的数量,在这个问题上的研究趋势是上升。深度学习的能力来表示复杂的高维数据是众所周知的。autoencoders深处,一种深层网络拥有这样的能力,已被广泛用于降维和图像压缩8- - - - - -10]。

FakeApp, Reddit的用户利用autoencoder-decoder配对结构,是第一个努力deepfake代(11,12]。autoencoder收集潜在的特征从面部照片,和解码器的图象重构。两对encoder-decoder必须在源和目标之间面临切换图片;编码器的参数是在两个网络之间共享对,每一对用于训练图像集。编码器的这两双都是相同的(网络2]。该方法使用encoder-decoder体系结构中使用最近的一些类型的研究,包括DeepFaketf (TensorFlow-based deepfakes) (13],DFaker [14),DeepFaketf (TensorFlow-based deepfakes) [15]。deepfakes的增强版本的基础上生成对抗网络(GAN) [10),例如,面对swap-GAN,建议在16)通过添加敌对的损失和知觉损失encoder-decoder架构,实现在VGGFace [17]。

此外,FaceNet实现(18]介绍了一种多任务卷积神经网络(CNN)来改善面部识别和定位的可靠性。CycleGAN [19)是用于构造生成网络。Deepfakes隐私构成越来越大的威胁,安全,和民主20.]。一旦deepfakes的风险被识别,监测策略开发。最近的方法,深度学习自动提取显著区别的特征来检测deepfakes [21,22]。总编和马塞尔23,24)使用开源代码Faceswap-GAN (19)来创建一个独特deepfake数据集包含620个视频基于氮化镓模型来解决这个问题。低和高质量的deepfake电影用视频从VidTIMIT公开访问数据库(25),有效地模仿面部表情,嘴唇动作,目光闪烁。根据测试结果,流行的人脸识别算法基于VGG和Facenet [18,26)无法识别deepfakes效率。因为深度学习算法像CNN和氮化镓可以改善易读性,面部表情,和照明在照片中,交换的脸图像变得更难取证模型(27]。创建假照片大小为128×128,大规模GAN训练模型为高质量的自然图像合成(BIGGAN) [28],self-attention GAN [27甘,光谱归一化(29日)工作。相反,阿加瓦尔和Varshney30.]陷害GAN-based deepfake检测问题作为一个假设检验问题,使用一个基于信息理论的统计框架研究的真实性31日]。

当用于检测deepfake电影从这个新创建的数据集,其他方法如对嘴的方法(32- - - - - -34)和图像质量的措施与支持向量机(SVM) [35产生很高的错误率。检测结果,提取的特征是放入一个支持向量机分类器。在他们的论文中(36),张等人利用袋紧凑的集合特征的提取方法,,然后放入像SVM分类器(37),随机森林(RF) (38),多层感知器(MLP) [39把交换的脸图像和现实区分开来。识别deepfake照片,徐et al。40)提出了一种两阶段深度学习技术。第一阶段的特征提取器是基于共同的假特征网络(CFFN),它利用了暹罗网络设计中描述(41]。利用帧间的时间差异,复发的卷积模型(RCN)提出基于卷积的结合网络DenseNet [42)和封闭的复发性单元细胞(43]。拟议的技术评估FaceForensics + +数据集(44),其中包含1000个视频,显示了承诺。Guera和Delp45]指出,包括intraframe deepfake视频帧之间的差异和时间异常。然后提出了temporal-aware管道技术检测deepfake电影采用CNN和长期短期记忆(LSTM)。

Deepfakes眨眼率大大低于常规视频。区分真实和假视频,李et al。46分解成帧,提取区域地区基于脸部和眼睛六眼地标。这些出现眼具有里程碑意义的序列分布转化为长期复发卷积网络(LRCN) [47)动态预测几预处理阶段,如调整面孔,提取和扩展的边界框的眼睛具有里程碑意义的指向产生新的帧序列。识别假的照片和视频,阮et al。48推荐使用胶囊网络。胶囊网络创建用于逆时克服cnn的约束图形任务(49),试图发现物理过程,形成环境的照片。胶囊的能力网络基于动态路由算法(50)来表达层次构成之间的连接对象组件最近被观察到。他们包括Idiap研究所再现攻击数据集(51),Afchar等人deepfake face-swapping数据集(52),面部再扮演FaceForensics数据集(44),由面对面的技术(53],Rahmouni等人完全计算机生成的图像数据集(54]。

研究人员在55)提倡使用照片响应不均匀性(PRNU)分析区分真正的deepfakes和假货。PRNU有时被认为是数码相机的指纹的照片(56]。因为交换面临旨在影响当地PRNU模式在面部区域,分析常用于照片取证(57- - - - - -60),提出了用于(57]。数字媒体取证的目的是创建的自动化分析工具允许照片或视频的完整性。在这个研究中,这两个特点(61年,62年]和CNN-based [63年,64年)完整性分析技术进行了研究。Raghavendra et al .,在他们的论文中(65年),建议使用两pretrained深cnn确定改变的脸,虽然周(66年)推荐使用二束网络来检测两个截然不同的face-swapping操作。最近的数据集Rossler [67年),其中包含一百万改变图片创建基于特征脸编辑,会特别感兴趣的实践者。

然后本文的组织结构如下:第二节讨论了影响检测工作deepfake图像。然后,在我们的研究中使用的技术是在第3节描述。在第四节,结果,并进行比较分析。最后,第五部分得出了论文的结论。

本文的主要目的是有效区分deepfake图像和正常的图像。已经有很多研究“deepfake的棘手的问题。“许多研究人员使用CNN-based策略识别deepfake图像,而另一些则使用基于特征技术。检测deepfake图像,其中一些机器学习分类器使用。但这项工作的新颖性在于它能够检测deepfake图像从正常图像使用VGGFace模型准确率达到了99%。CNN架构在我们的研究中我们实现了比许多其他研究人员,我们杰出的工作。综合分析已经证明了我们的工作,结果比以前的工作。

3所示。方法

图1介绍了基本的几个深度学习架构图。首先,数据收集和特征提取。因此,8个评估的深度学习架构曾对五个不同的评价指标,包括精度、精度、F1-score、召回和ROC曲线下的面积。

在图1,输入是首先获得一个从Kaggle收集的数据集,然后通过卷积层。这一层提取大量的特点从输入照片。卷积是一个数学的过程之间进行指定大小的输入图像和一个过滤器(P×P)。过滤和输入图像之间的点积计算部分通过滑动滤波器在图像(P×P)。由此产生的特征映射提供了图像的角落和边缘信息。这个特性所使用的地图后额外的层来了解更多关于输入画面。

之后,通过汇聚层。这一层的主要目的是减少卷积特性图的大小。这是通过减少层之间的连接和操作独立地图上每个特性。不同方法的池提供不同的结果。Max-pooling选择最大的元素特征映射。平均池决定了平均的物品包括一组图像部分的大小。

然后通过完全连接层。完全连接(FC)层连接两层神经元。它的重量、偏见和神经元。从先前的水平被夷为平地,输入发送到FC层。进一步利用FC层进行数学上的功能操作夷为平地向量。这个阶段启动分类过程。

3.1。数据

数据集从Kaggle收购,其中包括70000年真正的面孔从Flickr Nvidia公司收集的数据集。除此之外,有70000个假面孔的一百万由styleGAN假脸。之后,两个数据集的结合,256像素的图像的大小。最后,数据集被分为三个部分,包括火车、验证和测试。有100000个图像训练集,50000张图片是真实的,其余的是假的。在验证集,有20000图片,其中10000是真实的,其余的都是假的。最后,其他20000个图像同样分为真实和假的测试集。

Deepfake图像检测是一个复杂的方法,考虑了几个方面。图像分类的基本过程包括确定一个适当的分类方案,训练样本集合,图像预处理,提取特征,选择,和准确性评估适当的等级的方法。核心deepfake框架包括生成对抗网络的使用(2),生成模型,学习如何分配他们的数据没有任何监督。Kaggle数据集在这个研究中,利用“140 k真的和假的脸,”由70000年的假脸由styleGAN [68年]。我们已经训练8 CNN模型比较研究CNN网络的使用对真实和deepfake图像进行分类。三个模型的训练DenseNet架构(DenseNet121、DenseNet169和DenseNet201),两个是VGGNet架构(VGG16 VGG19),一个是使用ResNet50架构,一个是使用VGGFace,一个是与一个定制的CNN架构。每个模型在以下部分中详细讨论了。

3.2。提出了网络

构造卷积神经网络通过使用许多小单位的神经元,以分层的方式发生。然后神经元相互连接,并连接它们的边缘的重量。训练模型的权重更新每个时代使用反向传播等技术。一个卷积神经网络由两个部分组成。第一个是特征提取部分,第二个是分类部分。我们使用pretrained DenseNet等网络,存在于Keras API。图2显示了DenseNet的体系结构。我们使用的不同版本DenseNet(例如,DenseNet201 DenseNet169, DenseNet121) pretrained模型预测结果即兴发挥。这是一个卷积网络连接层前馈方式。每一层新的输入来自所有前水平并送至以下层保持前馈性质(42]。

3.3。密集的街区

卷积层是神经网络的基本构建块。固定大小的用于提取给定数据的复杂特性。DenseNet卷积网络分为多个密集的街区。例如,在DenseNet169架构,有169层密度4块。除此之外,有3个过渡层,1层分类,1卷积层。密集的街区由6、12,32岁和32个回旋的层。最初的卷积架构是112×112,随后max-pooling 56×56。模型的输入是一个团,以每张图片输入BGR 1×3×224×224的订单。

3.4。DenseNet121

密度卷积网络(DenseNet)是一个广泛的扩张残余CNN (ResNet)架构。DenseNet区别通过提供立即每一层之间的连接和所有后续网络层而不是ResNet和其他卷积神经网络(42]。我们想记住Keras中的DenseNet121模型是准确的,有一点调整使用致密层作为最后一层。密度模型由四块层密切相关,如批量标准化(BN)和3×3的转变。此外,模式也包括了每一个密集的街区之间的过渡层平均池层2×2和1×1的浓度。我们插入定制的致密层与乙状结肠激活后密集的街区。

3.5。DenseNet201

由于重用通过连续层的能力特性,DenseNet201使用浓缩网络,使容易训练和效率参数化模型。这就增加了各种各样的成功层输入和提高性能(42]。

3.6。DenseNet169

DenseNet169含有169层的深度,最小数量的参数与其他模型相比,梯度消失的和有更好的处理问题。

此外,ResNet50实现这项工作观察评价指标。图3显示了ResNet50的体系结构。ResNet,剩余网络的简称,是一个神经网络发达,解决一个复杂问题通过堆积更多的层深神经网络,导致增加的精度和性能。添加更多的层是基于这个想法,这些层将学习越来越复杂的特点。

3.7。ResNet50

ResNet50卷积48层,是一个熟悉的ResNet变化1最大池层,1层平均池。有3.8×109个浮点操作。

3.8。VGG16

VGG16的最显著特征是,而不是大量的hyperparameters,他们集中在3×3滤波器卷积大步的层1和总是使用相同的填充和最大池2×2过滤器步2层。图4显示了VGG16的体系结构。在整个设计中,卷积和最大池层排列以同样的方式。它最后两个完全连接层,其次是一个softmax输出。16在VGG16提到这样一个事实:它包含16层具有不同的权重71年]。

3.9。VGG19

VGG19和几个卷积是一种卷积神经网络模型层和非线性激活层优于一个回旋的层。图5显示了VGG19的体系结构。层结构可以改善图像特征提取,将采样使用max-pooling,和修改修正的线性单元(ReLU)激活函数,图像中选择最大价值的地区的集中值区域。downsampling层主要用于增加网络的antidistortion图片的功能,同时保留样品的主要特点和降低参数的数量。

3.10。VGGFace

VGGFace是一种生产最先进的图像识别模型输出来自牛津的视觉几何组研究人员的标准数据集人脸识别(74年]。这种技术允许我们建立一个大数据集训练而只利用少量注释的力量。图6显示了VGGFace的体系结构。我们使用了VGGFace Tai Nhu和金提出的架构(73年)建立模型。这个模型包括五层块,每一块的卷积和max-pooling层。两个卷积3×3层,后跟一个池层是每个在第一和第二块。卷积三个3×3层,每个组成的第三,第四,第五块,紧随其后的是一个max-pooling层。ReLU激活函数采用卷积层。由于VGGFace使用pretrained权重,我们不得不适应我们的需要。五层块后,给我们的面部特征,我们调整他们通过添加致密层。最后,输出层与乙状结肠激活也包括致密层。

最后,一个定制的模型引入了这项工作的整体变化,如图7。

3.11。自定义有线电视新闻网

这个模型有助于确定其他模型的一样好。图7显示自定义的体系结构模型。该模型还包括技术,如辍学和填充,不包括在其他模型。我们可以研究这些策略是否提高CNN的性能。我们有六个卷积层采用定制设计,每个搭配批规范化和max-pooling层。卷积层,激活函数修正线性单元(ReLU)。我们还利用辍学减少适合每一个回旋的层。我们采用填充允许内核有更多的房间检查图像,从而增加图像的精度以及辍学。,这是一个二进制分类任务,我们添加了一个最后致密层与乙状结肠激活回旋的基础之上。

4所示。结果和分析

这种比较研究表明,卷积神经网络是高度有效的检测和分类GAN-generated图像。模型的性能与五种不同的评估指标:准确性、精密,记得,F1-score, ROC曲线下的面积。

4.1。混淆矩阵

混淆矩阵的大小n×n(n的行数和列数)分类器显示了预测和实际分类,n是不同的类的数量。为n×n矩阵,真阳性(TP),真阴性(TN),假阴性(FN),和假阳性(FP)使用以下公式计算75年]:

在这里,可以是正确的或错误的预测。的混淆矩阵DenseNet121如图8。从9480年混淆矩阵,假9926图像和真实图像正确分类的网络。然而,520假图片被列为74年真实和真实图像分为假图像。

的混淆矩阵DenseNet201如图9。与上述DenseNet121模型,DenseNet201表现更好的识别假图片,也就是9503。尽管没有显著差异,模型还不能确定是不是真实图像,因为它有138真实图像假和497假图片一样真实。

的混淆矩阵DenseNet169如图10。的混淆矩阵DenseNet169如图10。他们已经确认9758图像假货的10000假图像。另一方面,9751真正的图像被确认为正确,而这是不是249真实图像假和242假图片一样真实。

图11代表ResNet50混淆矩阵。模型是不是总共494张图片。9824假9682图像和真实图像正确分类。

图12描述了VGG16混淆矩阵。VGG16模型确定了9619假正确图片。另一方面,它未能分类1693真正的图片一样真实。8307真实图像被正确识别,和381年假图像分类错误的。

VGG19如图的混淆矩阵13。9426假的图像被成功分为假图片,和9435年真正的图像被划分为图像。相反,该模型分类574假图片一样真实和565真实图像是假的。

图14说明了VGGFace混淆矩阵。该模型正确分类9916真实图像和9835假图像。相反,只有假的是不是165图像和真实图像。

最后,混淆矩阵的自定义模型如图15。168假图像分类错误的。同时,1522真实图像被归类为假。9832假8478图像和真实图像分类正确。

4.2。精度

正确估计的次数是由被称为精度。准确计算使用以下方程:

最好只适用如果每个类都有一个相同数量的样本。

4.3。精度

精度,也被称为积极的预测价值,指的是模型预测的积极价值的积极价值的预测模型。“精度”一词指的是以下几点:

4.4。回忆

回忆可以用来衡量模型检测到真正的优点。高召回是一个指示器,该模型已经在识别真正的优点。相反,如果回忆值低,模型遇到许多假阴性。“召回”一词指的是以下几点:

4.5。F1-Score

调和平均数的精度和召回。的F1-score提供了更好的估计精度指标的错误分类的案例。

的F1-score需要平衡精度和召回。我们之前看到的,真正的消极贡献很多的准确性。的F1-score可能是一个更好的衡量,如果我们需要平衡精度和召回和有一个类分布不均匀(大量实际底片)76年]。

4.6。接受者操作特性曲线(ROC)和ROC曲线下面积(AUC)

对于分类任务,AUC-ROC曲线是用来评估算法的性能。中华民国是概率曲线,AUC表示程度或水平的可分性。它显示了如何模型可以区分类。一般来说,AUC表明正确的模型预测0和1类。例如,AUC是越大,更准确的模型和无疾病患者之间的歧视。让我们首先定义一些术语。

接受者操作特征(ROC)曲线说明了真正的阳性率和假阳性率之间的关系在不同分类水平。减少分类阈值,更多的条目被归类为正数,真正增加假阳性和阳性(77年]。

左右的AUC 1表明模型是优秀的,显示高度的可分性。模型不足AUC值接近于零,这意味着最低程度的可分性。事实上,这意味着结果回报。它是把0 0和1对1。和0.5的AUC表明,模型没有阶级分化的能力。

4.7。模型的准确性和损失

训练精度,验证准确性,培训损失,损失和验证所有模型中所示的数据图表16(一)和16(b)。

4.7.1。DenseNet121

训练精度,验证准确性,培训损失,损失和验证DenseNet121显示的图表。

在图16给定图左边显示,我们训练的准确性和验证准确性10模型DenseNet121时代。我们可以观察到训练精度不断提高,达到近100%,而随后验证准确性上涨和波动,到达了一个点,训练和验证精度之间的差距很小。同样,培训损失随着时间的推移逐渐下降,而验证先下降,然后波动损失。培训后的过度拟合问题是观察越过10时代标志。相反,培训损失随着时间的推移逐渐下降,而验证损失减少直到第二时代和波动在3日,6日和9日时代越来越至少损失超过0.1分。

4.7.2。DenseNet169

训练精度,验证准确性,培训损失和验证为DenseNet169损失图表说明下面的数字17(一)和17(b)。

在图17,图中左边显示出模型的训练和验证准确性DenseNet169在10世纪。我们可以观察到训练精度稳步增长,但验证准确性增加但波动第八期后,再次上升。训练精度几乎触及100%的关口,而验证准确性触及95%的关口。模型开始训练和测试精度为70%,越过90%的关口。培训损失逐渐下降,但验证损失逐渐减少,但不同的第八期后,达到0.6以上再下降至略高于0.1十时代。

4.7.3。DenseNet201

训练精度,验证准确性,培训损失和损失图表给出了DenseNet201数据验证18(一)和18(b)。

作为显示在图18,图中左边显示出模型的训练和验证准确性DenseNet201在10世纪。训练精度似乎改善随着时代的增加。然而,验证准确性有一些波动时期。在第三个时代,验证准确性低于50%。然而,通过第十时代,结果触及96%的分数。培训损失相当恒定时代,而验证损失上升,然后下降,并保持相当稳定,触碰0,在剩下的时代。

4.7.4。VGG16

训练精度,验证准确性,培训损失和验证为VGG16损失图表所示的数据19(一)和19(b)。

如图19,左边图描绘了训练和验证模型的准确性VGG16在10世纪。训练精度和验证精度似乎已经稳步上升时期增加。右侧图描绘了训练和验证模型在此期间的损失10时代,达到低于0.2。

4.7.5。VGG19

训练精度,验证准确性,培训损失和验证为VGG19损失图表数据中所示20.(一)和20.(b)。

在图20.,图中左边显示出模型的训练和验证准确性VGG19在10世纪。训练精度和验证精度似乎已经稳步上升随着时代的增加,达到90%以上。右侧图描绘了训练和验证模型在此期间的损失10时代和损失0.1大关。

4.7.6。VGGFace

VGGFace图的训练精度,验证准确性,培训损失,损失和验证数据所示21(一)和21(b)。

图21显示了训练和验证准确性和训练的情节和确认损失best-resulting模型与其他模型相比在我们的实验。验证模型的准确性训练数据在每一个时代有超过95%的准确率,最终达到一个令人印象深刻的99%验证精度。此外,培训和确认损失降低到接近0。

4.7.7。ResNet50

训练精度,验证准确性,培训损失,损失和验证图给出了数据22(一)和22(b)。

如图22,ResNet50 pretrained结构表明,更多的培训和验证精度比大多数其他pretrained模型2或3时代。培训ResNet50精度达到95%以上。然而,验证精度达到97%。虽然培训损失稳步下降,验证损失减少顺利直到第三时代然后多样。

4.7.8。自定义有线电视新闻网

训练精度,验证准确性,培训损失,损失和验证定制CNN所示数据的图表23(一)和23(b)。

最后,在图23,我们提出自定义模型的准确性和损失是策划。尽管训练模型的准确性有稳步上升,验证准确性有波动的10时代。虽然培训损失稳步下降,验证损失减少顺利直到第二个时代然后多样。模型没有显示有前景的结果验证准确性而言。然而,它仍然达到了90%。

4.8。模型评价

表1说明了发现收到的所有CNN架构。

最后,图24显示所有的模型之间的比较中实现这项工作。在所有pretrained卷积架构,VGGFace取得了令人印象深刻的99%的准确率训练集。另一方面,至少执行架构,VGG16,已经达到了92%的准确率。DenseNet121 ResNet50达到同样的精度为97%,这是第二个表现最佳模型。DenseNet201和DenseNet169实现了96%和95%的准确性,分别。99%的精度最高得分是通过四个模型。模型VGGFace、DenseNet169 DenseNet121, ResNet50。然而,只在回忆VGGFace可以达到最好的效果,这是98%。第二个最好的模型,实现接近VGGFace的分数,是DenseNet201 VGG19模型,实现了97%的召回。的F1-score VGGFace架构是最高的,达到了惊人的99%。最低的F1-score是通过DenseNet121,F1-score只有82%。第二个最好的模型,根据F1-score ResNet50,因为它实现了97%F1-score。AUC得分最高为99.8%,通过VGGFace架构,最低的是通过DenseNet121架构。作者提出的自定义模型数据集上达到90%的准确率。自定义体系结构实现了84%的精度和召回方面的得分最高。的F1-score下跌到91%,尽管回忆分数是99%。一个像样的AUC得分也达到了98.9%。

使用表生成柱状图1。表的图形表示告诉我们确切的分数作为一个整体。显然,VGGFace表现最好在每一个类别,取得最好的成绩在所有pretrained网络。然而,自定义模型实现了99%召回得分,得分最高的是在所有其他的回忆成绩pretrained架构。ResNet50是第二个最好的架构,获得97%F1-score。DenseNet121总的来说,至少执行架构,实现只有82%F1-score在回忆得分仅为70%。

4.9。模型比较

表2图显示了一个比较的几个作品已经被deepfake检查。表2本文对比与其他几个研究完成的其他研究人员使用相同的模型,我们在我们的研究利用。研究[78年,79年分别使用VGG19和VGG16和相应的精度分别为80.22%和81.6%,分别。该研究的作者(42)使用几个DenseNet模型进行他们的研究,和精度DenseNet169, DenseNet201, DenseNet121分别为93.15%,93.66%,和92.29%,分别。这项研究的作者也用ResNet50,精度为81.6%。

4.10。模型试验

我们研究的精度进一步澄清了一些实验。所做的实验是提供虚假和真实图像的每一个模型。几乎所有的照片是正确地识别或分类为“真正的”或“假”,如图25。从验证目录,多达十个照片是随机选择的原始和deepfake图像。

5。结论和未来的工作

Deepfake是一个新兴技术被用来欺骗大量的人。虽然不是所有deepfake内容都是恶意的,他们需要被发现以来的一些deepfake内容确实是威胁世界。本研究的主要目的是寻找一个可靠和准确的方法检测deepfake图像。许多其他的研究人员正在无情地使用各种方法检测deepfake内容。这项工作的意义,然而,使用CNN架构是它达到优秀的结果。本研究使用八个CNN架构来检测deepfake图像从一个大数据集。结果是可靠和准确的。VGGFace表现最好的几个指标,包括精度,精度,F1-score, ROC曲线下的面积。然而,回忆,自定义模型在研究中实现略优于VGGFace执行的。自定义模型的结果,DenseNet169 DenseNet201, VGG19, VGG16, ResNet50, DenseNet121,令人印象深刻。最后,收集deepfake图像分析来检测他们是否deepfakes与否,结果令人满意。

这一突破性的工作将对我们的社会有巨大的影响。使用这种技术,deepfake受害者可以快速确定照片是真实的还是假的。人们将保持警惕,因为他们有能力识别deepfake图像通过我们的工作。在未来,我们可能将CNN算法应用于视频为方便许多患者deepfake数据集。

许多其他的实验和测试已经留给未来的工作。我们的目标是收集真实的数据从我们的当地社区和分类deepfake使用卷积神经网络图像从正常图像。我们可以更有效的模型应用于图像识别deepfake减少犯罪在我们的社会中,此外,在我们的世界。我们相信我们的贡献将最终帮助减少不必要的自杀和勒索在我们的社会。

数据可用性

使用的数据来支持本研究的发现都是免费的https://www.kaggle.com/xhlulu/140k-real-and-fake-faces。

的利益冲突

作者声明没有利益冲突有关的研究。

确认

作者感谢塔伊夫大学的研究人员的支持支持项目(TURSP-2020/26),塔伊夫大学,塔伊夫,沙特阿拉伯。