文摘

随着多媒体和深入发展的时代,整个人类社会已经产生和传播大量的图像数据,但与此同时,针对数字图像篡改攻击的盗版现象也越来越严重,恶意攻击会产生严重的社会,军事和政治影响力,因此,保护原始图像内容的真实性,也越来越重要。为了进一步提高图像散列的性能和提高图像数据的保护,我们提出了一个端到端的dual-branch多任务神经网络基于感知哈希VGG-19生产顺序和使用网络prepart pretrained VGG-19模型提取图像特征,然后,图像特征通过卷积序列转换为一个散列和完全连接网络。同时,为了提高网络的功能,提高适应性提出了网络的使用场景,其余VGG-19模型的网络层的一部分被用来作为图像分类的另一个分支,以实现网络的多任务的特点。通过实验测试设备,网络不仅可以抵抗多种攻击行动(内容保持操作),但也意识到准确分类的图像,和有一个令人满意的篡改检测能力。

1。介绍

自本世纪初以来,互联网和多媒体技术的迅速发展,和信息交互模式的人从短信多向融合的文本信息,图像和视频信息。强大的图像编辑工具的广泛应用,大量的数字图像很容易破坏;因此,图像的实际内容的保护越来越重要。由于技术的影响,设备,时间,和其他因素,图像通常是分布式生产后没有任何保护,使得图像更容易被盗版,篡改等攻击行动。为了应对各种恶意攻击,图像散列技术可以用来生成一个独特和单向感性形象散列原始图像序列。图像散列,也被称为“指纹图像,验证图像盗版或篡改通过比较散列序列的相似性。想象一个场景,有一个形象是如此重要的所有者。但是他不知道他的形象被破坏或盗版,是如此困难为他检查的图像数据集,有很多图片。图像散列可以帮助他找到类似的图片快速有效地通过比较散列序列的相似性和判断他们是否被篡改或盗版图像保护版权。

与图像散列的深入研究和发展计划,提出了各种方案的研究人员根据各种多媒体安全的要求。一般来说,一个典型的感性形象哈希方案有以下三个属性:(1)知觉的鲁棒性——生成散列序列图像的不改变内容保持操作后的视觉内容应该类似或相同的散列的原始图像序列;(2)区别的/防撞两个散列序列对应于两个完全不同的图像应该完全不同;和(3)安全——散列序列需要关键的依赖,确保安全方案;即散列序列生成错误的关键是完全不同的从序列生成正确的关键。感性形象哈希方案包括三个主要阶段:预处理,特征提取,哈希的一代。根据特征提取的方法,感知形象哈希方案可分为四个主要类型:基于空间域方法,变换域,降维,深度学习。

在基于空间域的方法,施耐德和张1)使用图像的直方图特征生成散列序列,开辟了研究领域的图像散列。燕et al。2)提出了自适应局部特征提取技术获取位置信息的功能,实现图像篡改定位。为了抵抗攻击的图像从任何角度旋转,一些学者[3)用MDS(多维标度技术)(4)的基础上环的编码方案,戒指,和不变的向量距离(5),实验结果表明,该方案生成的散列序列是健壮的和独特的常见的图像内容保持操作。该方案在6)使用局部特征点之间的关系来克服这个问题,特征点的分布将被忽略。秦et al。7)提出了一个健壮的形象哈希方案基于纹理和结构特点;此外,当地的纹理特征和颜色矢量角特征[中同时考虑了8]。沈et al。9]提取颜色的反对派从次要形象和四叉树分解应用于组件连接生成的颜色特征向量与结构特征向量,然后结合伪随机密钥加扰序列来生成最终的散列。图像在屏幕上的内容,计划在10)提取的最大梯度和相应的方向信息R,克,和B颜色组件和统计相关数据构造序列图像的散列。也有一些研究检索,该计划在11)提出了一个基于内容的图像检索方案在多用户情况下,采用欧氏距离比较技术,图像特征向量的相似性和返回前K结果实现了检索的目的。李等人。12)提出了一个加密的图像检索系统支持多个键边计算基于局部敏感的哈希,安全的邻居,和代理re-encryption技术,提高了图像检索的效率和精度。

在基于变换域的方法,一些早期的计划使用DCT (13)(离散余弦变换)和DFT(离散傅里叶变换)设计方案。从人类视觉特性的角度,华生被用来调整相应的频域系数改善方案的鲁棒性和歧视(14]。一些学者也用DFT (15]在二级图像,提取健壮的频率特性和非均匀采样被用来结合低和中频组件来获得一个安全散列顺序。在的工作16],CSLBP(中心对称局部二进制模式)应用于DWT(离散小波变换)生成紧凑的图像散列。几何不变量向量距离方法基于空间域和频域,提出了在17]。在降维方法中,NMF(非负矩阵分解),PCA(主成分分析),圣言(奇异值分解)经常发生重要的步骤。在[18),散列生成的序列结合BTC与PCA(块截断编码)。方案提出了基于稀疏低秩分解(19]。

近年来,随着GPU性能的持续改进,深度学习和持续发展,很多研究人员利用深层神经网络实现图像检索的性能远优于传统的图像检索方案(20.- - - - - -23]。但是,一般来说,知觉上有相对较少的研究鲁棒哈希深层神经网络使用。在基于深层神经网络的方法,计划在24)提出了一个健壮的形象哈希方案,基于深度学习。这工作是一个早期的方案与深层神经网络感知图像散列,它有更好的性能比传统的计划。在的工作24),研究人员利用pretrained DAE汽车编码器(去噪)提高健壮性和使用微调改进图像检测的准确性。在[25),一个图像哈希方案基于CNN(卷积神经网络)与多个约束条件,提出了与实验结果表明,它可以获得很好的鲁棒性和歧视之间的平衡。为了加强神经网络的功能性质,更有效、合理利用现有的计算资源,也有一些其他方案深度学习领域的图像认证。该方案在26]介绍了两个子网改善图像BusterNet copy-move伪造本地化与源/目标地区distinguishment,和这些子网copy-move相似性检测网络(CMSDNet)和源/目标地区distinguishment网络(STRDNet)。人脸检测也很重要。文献[27)使用RGB颜色YCbCr空间,介绍了卷积块关注模块和多层功能聚合模块到Xception模型来实现更好的性能检测位的脸图像。

我们提出了一个感知哈希方案基于神经网络多任务形象。主要创新和贡献如下:(1)高效的端到端框架。而不是传统的解释方法与低效率和疲软的泛化能力强,采用先进、高效的深度学习方法收集图像特性和生成散列顺序。基于卷积网络和出色性能的完全连接网络,实现端到端散列序列生成的框架通过集成特征提取器和散列发电机。(2)多任务加剧网络模型的适用性多个场景。为了提高神经网络模型的适用性多个场景和使用一个很好的pretrained模型,基于pretrained VGG-19神经网络模型,我们添加了一个dual-branch层特征提取器后,以实现多任务的目的。

节2提出了网络的结构,损失函数,将和其他相关内容。节3的实验结果,提出神经网络将基于一个特定的培训策略。我们方案的优势将总结部分4。

2。提出了方案

目前,深度学习领域发展迅速,出现了大量的网络结构,使用pretrained模型越来越系统化。许多网络结构被用于不同的任务。的基础上实现图像的散列过程,该方案增加了图像分类的功能,所以最后的神经网络不仅可以生成的散列序列图像还有函数图像的分类,这是适应更多的应用场景。

2.1。网络结构

提出了神经网络的结构,我们综合考虑了任务需求的网络层数和网络结构,并选择VGG-19作为基本结构使用。我们第一次使用VGG-19网络层的一部分作为图像特征提取器。注意,因为图像分类应考虑的功能,这部分VGG-19不参与参数更新提出了神经网络训练的,但使用固定参数。主体结构的提出了神经网络在图描述1。特征提取器与一个小卷积网络六层和构造哈希代网络,这是我叫分支,生成网络的连接的点叫分叉点。拟议中的网络选择的输出在第二池VGG-19网络分支点通过测试的网络培训过程。在小节将讨论特定的测试和评估2.2。同时,其余部分(II)分支的网络层VGG-19也仍然通过分叉点与特征提取器实现图像分类的功能。分支二世是由十二个卷积层和三个FC(完全连接)层,ReLU和激活功能。因此,由于分支点,实现多任务和建造dual-branch神经网络。

在神经网络图像的散列处理阶段,特征提取器是用于收集图片的功能。然后,功能是输入小卷积网络生成散列序列,和小卷积网络主要由四个街区(卷积层+ BN + ReLU)和两个FC层。图像特征和中间功能是如此的重要,和卷积层是一个有用的滤波器来提取它们。因此,我们用四卷积块散列神经网络进一步提取有用的特性,和两个FC层用于压缩和转换到一个散列序列的特性。至于其他分支,它用于过程特性,可以分类图像,实现多任务能力。由于使用FC和平均池层,输入图像的大小有限,大小为128×128。

2.2。损失函数

为了测量生成的散列序列的相似性,我们使用MSE(均方误差)作为测量工具来计算散列原始图像之间的距离,类似的图片,和不同的图像。然而,由于大型数值生成的散列的顺序,直接使用MSE将使网络收敛性不稳定,所以激活函数命名乙状结肠用于规范化值通过MSE。

我们定义n类似的图片和n不同的图像(具体组成的数据集将在分段2.3,分段3所示。1,分段3所示。2),所以,在包括原始图像的情况下,2n+ 1散列生成序列,给出以下方程: 在哪里H(·)代表整个神经网络的端到端散列,χ是原始图像,是类似的图像(我= 1,2,…n),代表了不同的形象(我= 1,2,…n)。散列生成的图像序列,MSE用于测量序列的距离,给出 在|·|²代表了欧几里得范数,l散列序列的长度,和代表相似图像的散列的距离和不同的图像对,分别。散列原始和类似的图像之间的距离,和之间的相似和类似的图像应该小;但另一方面,散列原始之间的距离和不同的图像应该很大。因此,该方案,应尽可能小,应尽可能的大。为了获得有用的价值损失,乙状结肠用于规范化的价值MSE[0.5, 1],见以下方程: 在哪里年代(·)是乙状结肠的函数,和整个损失函数 Γ代表整个损失函数,α₁和α₂都代表了超参数,用于调整损失函数。至于VGG-19 pretrained模型,移动电话(叉)损失函数在使用培训。表示一个样本的标签目标,{t₁,t₂、……t₁₀},{预测的输出模型o₁,o₂…o₁₀),然后移动电话网络的价值

特别是,以下是用来测量,并决定最好的分枝点其中最大池层: 在哪里和代表哈希的距离知觉相似和不同的图像对,分别。的是批量的数量在测试图像集,然后呢是类似的图像的数量或在一批不同的图像。越小ς,更合适点的连接。

2.3。培训策略

基于VGG-19 pretrained模型,我们使用网络的prepart它作为特征提取器,但它的参数是固定的,不会被更新在散列的训练序列生成网络。注意,测试后的方程(6),第二马克斯池VGG-19选择分枝点,和网络的整体结构和分类如表所示1。

首先,VGG-19训练之前,CIFAR-10训练数据集是用于我们的方案,优化器SGD。培训,培训动量是0.9,重量衰减是5×10⁻⁴的数量,根据训练时期,学习速率的值不断调整加快网络的收敛性和提高分类的准确性。

在网络的训练和测试,超参数α₁和α₂都设置为1,同时,优化器吗亚当用于培训的网络(二分支),学习速率为0.001,和时代的价值是200。

提出了神经网络的训练数据集包括η原始图像,随机选择从可可数据集28]。每个原始图像将被转换为67类似的图像通过攻击操作表2,我们还增加了67种不同的图像与原图像。原始图像,类似图片,和不同的图像组合成一个图像组,因此,我们将获得η组织形象。每一次,我们输入图像组提出了培训网络。

3所示。实验结果和比较

为了评估方案的有效性和优越性,提出了神经网络模型方面的知觉健壮性、歧视,表现内容的认证,图像分类,计算复杂度进行了测试和比较。MSE是用来测量距离散列如下: 在哪里l代表哈希序列的长度,问_j⁽¹⁾和问_j⁽²⁾是jth的散列值序列问⁽¹⁾和问⁽²⁾,分别。在散列的测量距离D,如果D小于阈值θ,图像被定义为相似的图像;相反,它们被定义为不同的图像。注意,所有实验的硬件环境是统一的,CPU是19 - 10900 x, GPU RTX 2080 Ti, 32 GB RAM。

3.1。鲁棒性分析

在鲁棒性测试中,1000张图片(不是在训练数据集)可可数据集(28)随机抽样作为内容保留原始图像攻击行动。常见的健壮的攻击包括散斑噪声、中值滤波、旋转和裁剪。具体操作和参数设置如表所示2。每个图像生成67感知相似的图像,共有67000个类似的图像。与此同时,67000年哈希的距离是通过使用方程(7)。表3显示了极端值、平均值和标准差的攻击行动。极端的最大和最小值用来表示整个数值范围,和平均值和标准偏差值代表哈希距离波动的情况。然而,正如所有1000图像的鲁棒性测试数据难以显示,五个典型标准图像,命名飞机,狒狒,船,的房子,和辣椒,显示被选中,如图2。内容后保留攻击操作与八个不同的参数如表所示2被用于这五个图片,测量的距离是根据散列序列产生的原始图像和67年类似的图像通过使用方程(7)。图3显示了5×67散列的距离的变化,证明了该方案的优越的鲁棒性。

如图3,散斑噪声、JPEG压缩循环均值滤波,中值滤波,和缩放攻击操作,哈希的距离很小,不到0.25。在高斯过滤操作中,方差的增加,哈希的距离船大大增加与其他四个图像相比,但它仍然是在可以接受的范围内。虽然旋转和裁剪和伽马校正操作有很强的变化,与其他攻击操作相比,平均的散列值的距离这两个操作是0.3724和0.2089,分别。观察表3,该方案的性能仍然是优秀的在旋转和裁剪和伽马校正操作。

3.2。歧视能力

验证该方案的辨别能力,我们使用了UCID数据库(29日),其中包含1338种不同的图像大小为512×384、384×512。首先,我们生成的散列的第一个序列1000图片29日]。然后,我们计算了散列的距离D在每个图像和其他999图像之间。所以,我们获得(1000×999)/ 2 = 495500哈希的距离。通过这个实验的分析,根据值估计,这些散列的分布距离的数据分布的意思μ= 1.871和标准偏差σ= 2.258。显然,阈值越小θ,碰撞概率越低,这意味着更好的辨别能力。当散列的距离D两张图片小于预设的阈值θ,两个图像被定义为知觉相似的图像。如果阈值θ太小了,网络将区分一些相似的图片是不同的,从而影响该方案的鲁棒性性能。因此,我们需要选择一个合适的阈值θ之间达到一个平衡感性的鲁棒性和歧视。

从表可以看出3的平均散列距离感知相似图像常见图像内容保持操作小于0.4。此外,当阈值θ= 0.4,该方案的碰撞概率为0.0607,表所示4;也就是说,93.93%的不同的图像是正确判断。尽管哈希表一些感知相似的图像之间的距离3大于0.4,只有很小一部分的结果和对总体性能几乎没有影响。因此,在该方案中,我们设置阈值θ= 0.4实现感性的平衡鲁棒性和歧视。

3.3。表现的内容认证

为了说明该方案的优越性,被认为是感性健壮性和歧视,我们将该方案与其他四个经典形象哈希方案:DCP (7],RP-IVD [4],RP-NMF [3],DAE NN-based [24]。前三个计划使用传统方法,最后一个方法使用深度学习。因为知觉方案的鲁棒性和歧视是矛盾的,当感知方案的鲁棒性强,歧视必须相对较弱,反之亦然。为了比较该方案比较与其他四个方案,我们认为感性的结合性能鲁棒性和歧视每一方案的感知相似和不同的图像内容认证能力。

在这个实验中,我们随机选择1000图片(不是在训练数据集)(28)构建一个测试图像数据集。每个图像的数据集对应于67年知觉类似的图像生成的图像内容保持操作见表2和67种不同的图像被随机选择从这个数据集。通过设置不同的值θ,P_远和P_FRR可以由以下公式计算: 在哪里P_远哈希的概率是距离不到θ。相反,P_FRR哈希的概率是距离大于θ,公关(⋅)是概率的函数。F₁分数是一个重要的量化指数用来衡量内容认证的准确性,当F₁分数比较大,内容认证的性能更好。的计算方法F₁分数是

表5列表的比较F₁分数的四个方案在不同的图像内容保持操作,和大胆的之一F₁分数在每一行是最好的。该方案几乎是在现有的四个优秀形象哈希方案八攻击操作,和的均值F₁分数在我们的计划是其中最大的,如表所示5。特别是,相比之下,DAE NN-based [24),四F₁分数是大大超过我们的方案,和其他四个F₁成绩也非常接近。进一步演示内容验证基于感知的总体性能鲁棒性和歧视,我们使用ROC(接受者操作特征)来演示我们计划和其他四个方案的整体性能。在图4横坐标是P_FRR,纵坐标是1−P_远,ROC曲线接近左上角,这意味着更好的性能验证的内容。通过ROC曲线的四个方案图4的曲线,我们的方案是比其他曲线接近左上角。虽然该计划的曲线(24接近我们的,我们的计划是更好的从右下角的小图形放大。总之,根据量化结果和ROC曲线,我们计划有令人满意的性能比3,4,7,24在图像内容认证。

我们计划的泛化能力也测试,使用了不同的图像数据集,包括可可数据集(28],UCID数据集[29日],Imagenet数据集[30.],NUS_WIDE数据集(31日]。ROC曲线由我们的方案生成不同的图像数据集在图所示5。从图观察5,我们的方案在不同的图像数据集具有良好的泛化能力,同时,我们的方案满意的适应能力。

3.4。图像分类的性能

因为多任务的神经网络用于拟议的计划,除了散列的身份验证的功能,网络也有图像分类的功能。我们使用原始图像CIFAR-10数据集的测试图像分类的准确率pretrained VGG-19神经网络。有1000个图像在这个测试数据集。一些结果的图像分类pretrained网络显示在图中6。的第一行和第二行是完全正确识别,但船(如红框所示)误认为是卡车在第三行,可以解释说,船车相对类似的特征。最后一行的分类精度为90%。所有图片的考验后,最后的准确率为93.42%,这意味着我们的多任务神经网络能做图像分类的任务。

3.5。计算复杂度

在实际应用程序中,方案的性能将会面临各种各样的硬件资源和环境约束。因此,考虑到实际使用和部署的方案,有必要测试和比较这些方案的计算复杂度。为了避免意外,我们随机选择100的图像27)生成散列序列并记录运行时间。与此同时,相同的测试将进行其他方案比较优势。结果如表所示6,但计算复杂度和散列长度不是最好,考虑的影响多任务功能和微小的差距我们最好的,我们的计划仍然是领先的综合性能。

3.6。篡改检测的应用

篡改认证也很重要,相对测试也为该方案执行。干扰可以通过比较来判断图像散列原始图像之间的距离和其他图像有效地在一个大的图像数据集。为了测试方案的篡改检测能力,我们随机选择一些原始图像和相应的干扰版本从[32]。在图7,我们显示六一对original-tampered图像,并在每一对,原始图像在左,破坏形象。

不同干扰图像的散列的距离对表7更大比θ= 0.4,这表明散列序列是原始图像和相应的干扰之间的明显不同的版本。因此,该方案具有良好的篡改认证性能在实际应用中,它可以应用于特定的篡改检测场景。

4所示。结论

为了提高图像的性能哈希方案和神经网络的可重用性,我们提出了一个dual-branch多任务与散列函数序列生成神经网络和图像分类。通过寻找分支点在多个马克斯池VGG-19网络层和添加两个分支网络,提出了神经网络可以有两个函数,并使用一个特征提取器。在两个分支网络,一个是原始的网络图像分类后的分支点VGG-19网络,另一个是提出网络生成散列顺序。为了确保网络收敛于目标的结果,提出一种损失函数来测量距离哈希,这是结合MSE和乙状结肠功能。实验结果表明,该方案具有优越的鲁棒性和歧视,以及图像分类的测试结果比现有的经典方案。该方案可以抵抗散斑噪声、中值滤波、旋转和裁剪,等,和它也有优势在内容验证性能。与其他计划通过ROC曲线的比较,可以看出,该方案仍然是领先的综合性能。此外,它有一些优势和适用性在计算复杂度和篡改检测的应用。在图像分类任务方面,它可以应用于图像分类的常见的任务,以确保一心多用的功能,提高适用性提出了网络的多个场景。

数据可用性

图像数据集用于支持本研究的结果中包括这篇文章。

的利益冲突

作者宣称没有利益冲突。

确认

这部分工作是支持由中国国家自然科学基金资助下62172280,U20B2051, 62172281,上海部分自然科学基金在格兰特21 zr1444600和部分STCSM能力建设项目为上海市高校拨款20060502300。