文摘
deepfake技术是方便滥用技术门槛较低,这可能会带来巨大的社会安全风险。GAN-based合成技术正变得更强,各种方法很难伪造内容有效地进行分类。然而,尽管假内容由甘斯可以欺骗人的眼睛,它忽略了生物信号隐藏在面对视频。在本文中,我们提出了一个新颖的视频取证方法和多维生物信号,提取不同的生物信号真的和假的视频从三个维度。实验结果表明,我们的方法在主要公共数据集达到98%的准确率。与其他技术相比,该方法只提取假视频信息,并不局限于一个特定的生成方法,所以它是不受合成方法,具有良好的适应性。
1。介绍
的快速计算机视觉和数字内容加工技术的进步,面对篡改是不再局限于图片,深度学习一些技术(例如,deepfake)可以用来生成人脸视频,这非常类似于自然的脸使用数码相机拍摄的视频,但是很难用肉眼区分它们。最近的研究由总编(1]表明,假视频很容易欺骗的面部识别系统,和一些严重的安全风险,如假新闻,提高了。
Deepfake技术是科技进步的结果和人工智能技术的迅速发展,它有广阔的应用前景。例如,deepfake技术用于娱乐产业,如电影,可以节省时间和劳动力成本。然而,如果这项技术被罪犯,也会引起严重的危机,它甚至可以打造世界领导人的讲话,严重危害政治安全。因此,取证deepfake视频具有十分重要的意义。目前,deepfake视频的取证方法主要是基于intraframe或帧间信息通过分析之间的区别真的和假的视频。
在本文中,我们提出一种基于多维deepfake视频取证方法的生物信号。最近的研究表明,心率信号可以用来有效地分辨真笑和假视频(2,3]。虽然甘斯可以生成虚假内容欺骗人的眼睛,它破坏了原来的生物信号真实的视频,比如心率信号。因此,我们可以真正的和假的视频分类,提取和分析生物信号的视频。我们的主要贡献如下:(1)我们提出一个合成视频取证方法,主要分析了不同生物信号真的和假的视频检测欺诈内容。(2)我们进一步探索多维场景中的不同信息,确保技术效率。我们利用RGB空间集中的颜色变化,YUV空间专注于亮度变化,和色度的方法来减少噪声的影响。(3)我们分析了传统photoplethysmography的缺点(PPG)和深神经网络用来实现真正的分类和假视频。实验结果表明,深模型可以达到检测精度高,约98%的主要公共数据集。
本文的其余部分组织如下。部分2介绍了相关工作,包括分和deepfake视频取证的发展。部分3详细描述了该方法。部分4显示了我们的实验的细节和结果。节5我们得出结论,给未来工作。
2。相关工作
2.1。Deepfake
Deepfakes假视频数字操纵来描绘人们说和做的事情从未发生过。Deepfakes依靠神经网络,分析大型数据集的样本学习模仿一个人的面部表情和举止。这个过程包括喂养的镜头两人陷入深度学习算法来训练它交换的面孔。
整个管道的基本deepfake图所示1。autoencoder通常是由两个卷积神经网络(编码器和解码器)。编码器将输入转换为目标的脸一个向量。只有一个单一的编码器不管受试者的身份,确保编码器捕捉identity-independent属性,如面部表情。另一方面,每个标识都有一个专用的解码器,它生成一个相应的主题从向量中。具体地说,一对encoder-decoder形成或者使用编码器和译码器输入每个主题,及其参数优化的重建误差降到最低。反向传播的执行参数更新,直到收敛。可以表示为训练阶段 在哪里l表示autoencoder损失值;N是网络的输入数据的数量;F我是输入面图像;θ编码器的重量吗E;和Ф译码器的重量吗D。
(一)
(b)
在转换阶段,训练有素的解码器B用于解码面临的潜在的向量获得的face-swapping形象A。同样的,我们可以使用训练有素的解码器解码面临的潜在的向量B获得的face-swapping形象转换阶段可以表示为 在哪里F表示原来的脸,F′表示假脸。
2.2。生物信号
生物信号提取最初是用于医学领域检测是否病人的心率(HR)或其他信号是正常的,所以,医生可以观察病人的异常生物信号。然而,心电图(ECG)领导,脉搏血氧仪和其他探测器都需要特定的传感器连接到人体。为了避免干涉传感器的使用,计算机视觉的研究人员提出了一种非接触测量远程人力资源的方法,基于观察细微变化颜色和RGB视频中运动,如远程photoplethysmography (PPG) [4,5]。
Balakrishnan et al。6)表明,心脏活动会导致头部动作,可用于从视频流中提取心率估计。Tulyakov提出一个色度的方法,可以有效改善心率估计的准确性(5]。妞妞远程心率估计方法提出了一个基于深度学习,取得了好的结果(7]。
2.3。伪造检测
处理可能造成的伤害deepfake视频,研究人员正在探索有效的方法对真实和假视频进行分类。因为deepfake也是伪造的图像,早期检测方法可以从图像伪造检测方法的学习。最近,一群高效探测器提出了新的算法来提高性能的篡改检测和定位(8,9]。同时,为了专门检测deepfake伪造、人员分类基于intraframe真的和假的视频信息,帧间信息,或特殊工件。
阮et al。10)提出了一个胶囊网络,可以检测各种各样的攻击,与表示攻击使用打印图像和视频重播攻击使用假视频创建使用深度学习。它使用更少的参数比传统卷积神经网络具有相似的性能。做et al。11]深卷积神经网络(VGGFace)用于检测从甘斯真/假的图片。Afchar et al。12]利用特性在介观层面,而不是纯粹的微观和宏观特性,并提出mesonet meso-4网,有一个低数量的参数。Bonettini et al。13】美国有线电视新闻网(cnn)相结合,注意层,暹罗DFDC培训,取得了良好的性能。李和律14)创建的负面数据只使用一个简单的图像处理操作,而不是使用deepfake产生,然后利用CNN模型对视频进行分类。赵(15)制定deepfake检测作为一个细粒度的分类问题,提出了一种新的multiattentional deepfake检测网络。刘(16]提出了一种新颖的空间相位浅学习(7)方法,结合空间图像和相位谱来捕捉面对伪造的upsampling构件改善可转让性。
Guera和Delp17),基于帧之间的时间不一致,使用CNN(帧特征提取)和RNN(时间序列分析)真的和假的视频分类。萨比尔et al。18)也提出了CNN + RNN方法,但他们用脸对齐和双向出现重复。
阿加瓦尔et al。19跟踪面部和头部动作,然后提取具体行动的存在和力量单位和SVM分类真的和假的视频。李等人。20.CNN和RNN)用于检测异常闪烁的假视频。杨et al。21]真假视频分类不一致的三维头部姿势。李等人。22)检测到输入图像是否可以分解为两个图像的混合不同的来源。王等人基于监测神经元行为发现AI-synthesized假(23]。
3所示。方法
在本节中,我们首先分析矛盾的生物信号真的和假的视频。然后,我们指出传统的低效率分deepfake视频检测的方法。最后,我们提出一个deepfake视频取证方法基于生物信号的不一致性,评价和实验结果验证了我们的方法的有效性。
3.1。Deepfake与生物信号检测
尽管分技术已经发展了很长时间,不容易提取心率信号在一个不受限制的环境中。我们分析了手动的方法提取心率信号从视频使用计算机视觉;图2表明,这些方法无法区分假视频和真实的视频。我们选择一双真正的和假的视频DeepFakeDetection(过程)的数据集,使用卡尔曼滤波器(24)方法估计心率信号。结果表明,心率信号的差异真的和假的视频是不明显的。
(一)
(b)
(c)
一般来说,消除运动工件和噪声造成的环境变化和提取纯心率信号更好,视频总是去噪处理和过滤。然而,这些技术破坏异常心率信号的假视频,导致弱分类的效果。因此,我们将通过深层网络视频ppg_map和分类实现deepfake视频分类的影响根据不同心率提取算法。详细,因为视频Vmmc5 (= {T1、T2、T3……Tk})包括k帧,每一帧,我们首先提取脸,让脸对齐。然后,皮肤分割执行去除背景的影响。接下来,面对分为形象n块(R1、R2、R3 Rn…),是独立于彼此。最后,我们计算每一块从多维信号值。信号值不同的块在同一帧被安排在列,和信号的值在不同的帧排列在同一块行ppg_map形式。然后,使用这些ppg_maps训练CNN分类模型,如图3。
的过程中生成ppg_map,有必要避免头部运动的负面影响和背景的字符。我们将在一节中详细讨论这一点3所示。2。
3.2。ppg_Map代
人类心脏的跳动引起的周期性收缩血管,从而影响皮肤的光的反射。这种变化是不容易被人类的眼睛,但它可以被光学仪器检测并记录。面部区域面对视频可以反映人体的心跳信息。所以,我们位于面部区域并提取的生物信号。
3.2.1之上。人脸检测和定位
为了使检测速度更快,更简单,中提琴和琼斯方法(25)是利用检测人脸。然而,因为脸的视频不会被固定在一定的位置和角度,我们将检测到人脸旋转面对保持双眼在同一水平。另一方面,面对区域Viola-Jones方法检测到的比真正的大脸和包含更多背景区域;我们进一步调整感兴趣的区域(ROI)。换句话说,我们81的地标和使用四分(1、8、15、71)为参照点来调整区域(图4)使ROI包括尽可能多的脸区域。
3.2.2。皮肤检测和分割
生物信号提取面部皮肤,所以我们减少其他nonskin领域的负面影响,如眼睛、头发和背景区域。与此同时,这也将减少扰动引起的眼睛闪烁和嘴唇的运动。因此,在视频帧,我们首先采用肤色检测算法获得面部皮肤的主要信息。面具,皮肤区域是用来提取面部皮肤,消除背景和nonskin地区。
3.2.3。块划分和信号提取
现在,我们皮肤的生物信号检测和分割清晰。然后,视频帧分为m从每一块中提取生物信号的n块。分的方法主要从三个维度提取心率信号(4- - - - - -6]。即RGB维直观地反映了人脸的颜色的变化,YUV维度更注意亮度的变化,和色度维度可以有效地消除环境构件和错误造成的头部运动。所以,我们从RGB颜色空间,提取生物信号YUV彩色空间,色度维度。
(1)颜色空间维度。我们把块分割成三个频道的RGB (YUV)和计算每个通道的像素平均块。然后,3 m序列的长度n可以在一个框架。与此同时,同一块在不同的帧与帧也改变了。当这些程序使用T框架,我们可以得到一个三维矩阵的形状T N 3,T表示帧的数量,N表示块的数量,3代表三个频道(RGB或YUV)。矩阵的每一行表示同一块的变化在不同的帧,每一列表示的变化不同块在同一帧。
(2)色度维度。我们计算每一块的平均色度(5]。计算每个像素的色度信号C两个信号的线性组合Xf Yf: 在哪里σ(Xf)和σ(Yf)表示Xf的标准差和Yf。Xf和Yf band-passed过滤信号的信号,分别从X和Y的信号, Rn, ,和Bn的归一化值各个颜色通道。当我们采用块和操作T框架,我们可以得到一个二维矩阵的形状T N。
这些矩阵被存储为颜色映射(三维矩阵)和灰度映射(二维矩阵),形成相应的ppg_map。然后,我们将滑动窗口移动到下ppg_map相同的方式生成。
3.3。CNN-Based分类
我们使用生成的ppg_map CNN分类器进行分类。网络由六个卷积层,使用“relu”激活函数,其次是一个平层。有两个卷积层后完全连接层。最后完全连接层使用的softmax激活函数和输出的积极和消极类。为了避免过度拟合,我们添加了一个辍学层,如图5。
每个维度的部分3.2。3,我们训练模型和测试集上的准确性。此外,我们把三维的信号作出最终的决定。
4所示。结果
在本节中,我们将介绍我们的实验的细节。首先,我们描述我们所使用的数据集。然后,我们提供详细的实验设置和实验结果。
4.1。数据集
我们用三个公共数据集来训练和测试方法。对于每个数据集,我们生成ppg_maps,把它分成训练集,验证集和测试集的比例根据6:2:2。我们优化模型训练集和验证集,然后让法医精度测试集。
以下4.4.1。面临取证+ +
安德烈亚斯(提出的FF + +数据集26),包括1000年的原始视频序列与四个自动操纵面操作方法:Deepfakes,面对面,FaceSwap, NeuralTextures。数据来自977 YouTube视频,和所有视频包含一个可跟踪的主要正面面对没有遮挡使自动生成现实的伪造篡改方法。由于面对面和NeuralTextures方法在FF + +数据集不损害整张脸(我们从整个脸部,获得生物信号,当篡改部分太小,将减少有效性的方法),我们主要是验证我们的方法Deepfakes和FaceSwap数据集。
4.1.2。DeepFake检测
中的数据集包含363个原始视频由演员和3068操作视频。这些参与者被要求执行不同的动作然后实现face-swap不同参与者之间的技术。更好地提取的生物信号的脸,我们选择一些特定的行为,如“讲台演讲幸福”和“仍然说话。“在这些行动中,面对面对镜头,和没有太多的干扰因素。因此,我们使用176年真正的视频和754年从目前假视频。目前企业数据集的最大问题是积极的和消极的不平衡样本。所以,我们应该扩大真实的视频。扩张的原则的任何部分真实的视频也是一个真实的视频。所以我们使用滑动窗口的概念生成ppg_map。当处理真实的视频,滑动窗口的步幅比滑动窗口的长度小,如图6。扩张后,我们相当于用704真正的视频和754假视频。
(一)
(b)
4.1.3。UADFV
杨UADFV数据集提出了et al。21),其中包含49个真实视频和49个假视频。每个视频的平均长度是11秒,分辨率为294500像素。
4.2。实验设置和结果
生成ppg_map,我们将面临框架划分为88块(N= 64),使用64帧(T= 64)来生成一个ppg_map(这意味着滑动窗口的长度是64),所以每个ppg_maps的像素是6464年。图7显示了一个ppg_map的示意图。
(一)
(b)
我们实现了这个代码与四个工作站2080 ti GPU卡。160年的模型训练使用RMSprop时代学习速率为0.0004。
我们使用了Deepfakes数据集在FF + + (RGB维度)来验证该模型的有效性。这个模型的准确性和损失值在训练集如图8。从图可以看出8随着时代的增加,模型的分类精度逐渐增加,而损失值是逐渐减少,它稳定在160时代,这说明了模型的有效性。
(一)
(b)
为了证明多维信号的优势,我们分析了一维信号和多维信号的分类精度,如表所示1。精度可以明显改善当使用多维)一家知名的、诚信的信号。
4.3。比较
为了验证方法的有效性,进行了比较实验与模型中提到FaceForensics + +,并比较结果如表所示2。结果表明,我们的方法比其他方法具有较高的检测精度。
5。结论
在本文中,我们提出一个基于生物信号的取证方法,通过深层神经网络实现真正的分类和假视频。deepfake不能有效保持生物面对视频信号。因此,我们使用多维生物信号来分析之间的差异真的和假的视频。然而,一些deepfake视频很难暴露等复杂条件下不稳定的角色动作和复杂场景切换。我们希望deepfake检测可以有效地解决在这些场景中使用信号增强和去噪在不久的将来的工作。
数据可用性
使用的数据来支持本研究的结果包括在本文中。
的利益冲突
作者宣称没有利益冲突。
确认
这部分工作是由中国国家自然科学基金国家自然科学基金委(格兰特数字62072343,U1736211),中国国家重点研究发展计划(批准号2019 qy (Y) 0206)。本文所包含的观点和结论是作者和不应被解释为一定代表官方的政策或支持。