DRHNet:深残余网络基于异构隐写式密码解密的内核

文摘

卷积神经网络隐写式密码解密有问题如通用性差,训练时间长,图像大小有限。对于这些问题,我们提出一个异构内核残学习框架称为DRHNet-Dual残异构网络在网络在训练阶段节省时间。而不是使用网络的图像作为输入,我们提取并将图像合并为一个特征矩阵使用丰富的模型和使用生成的特征矩阵的输入网络。架构我们提出具有良好的通用性和可以减少计算和参数的数量,同时获得更高的精度。在BOSSbase 1.01,我们评估的性能DRHNet在空间域和频率域的设置。初步实验结果表明,DRHNet显示优良的隐写式密码解密性能先进的隐写算法。

1。介绍

作为最常用的现代隐写术的计划,最低有效位(LSB)将不可避免地改变图像的相邻像素之间的相关性和剩余图像的相邻像素的相关性(高频组件)的图像1,2]。在文艺复兴时期的神经网络之前,主流的隐写分析方法提取的统计描述相邻像素的相关性的残余图像隐写术分析功能,然后使用机器学习工具训练隐写分析分类器(3,4]。

卷积神经网络(CNN)已广泛应用于图像分类领域(5- - - - - -7]。自隐写式密码解密可以视为两种图像的问题,我们的目标是确定一个图像是否与密文嵌入。隐写式密码解密开始使用卷积神经网络攻击隐写术。钱等。8)首次提出应用卷积神经网络隐写式密码解密。他们描述了神经网络steganalyzer高斯激活功能配备固定预处理高通KV过滤器。高通KV滤波器用于抑制图像内容,从而提高信噪比(信噪比)隐藏信号和主机之间的形象。你们et al。9]提出了一种新的网络,而不是一个随机策略,第一层的权重提出CNN正在初始化的基本计算中使用高通滤波器组中残留的地图空间丰富模型(SRM),它充当一个规范有效地抑制图像内容。更好的捕捉嵌入信号的结构,通常有极低的信噪比(隐藏信号图像内容),一个新的激活函数称为截断线性单元(TLU)采用CNN模型。Boroumand et al。10)描述了一种深残余建筑,SRNet,旨在减少使用启发式和外部强制的元素是普遍的,它提供了最先进的检测精度为空间域和JPEG隐写术。该建议的体系结构的关键部分是一个显著扩大前部的探测器“计算噪声残差”池被禁用,防止隐藏信号的抑制。

使用神经网络的问题,隐写术分析工具是不可能分析更大尺寸的图像由于计算机资源的限制。和隐写分析工具的通用性不好;即网络训练隐写算法不能分析图像隐写算法。最后,神经网络的训练时间太长了。

在本文中,我们提出一个异构内核残余学习框架,在网络在训练阶段节省时间。实验结果表明,该DRHNet检测误差达到小于10%时使用S-UNIWARD [11速记式加密算法,和有效载荷为0.4 bpp。总之,我们在本文做出以下贡献:(我)我们解决accuracy-computation-time问题通过引入隐写式密码解密的多功能深剩余的学习。(2)而不是使用图像作为输入到网络,我们提取并将图像合并为一个特征矩阵通过丰富的模型和使用生成的特征矩阵作为真实网络的输入。(3)异构内核作为网络的卷积核,我们建议。采用异构内核来减少网络参数,减少计算复杂度。

2。预赛

2.1。特征选择方法

空间丰富模型(SRM) [12)是一个典型的图像隐写分析方法。设计各种各样的空间高通滤波器和使用这些过滤器来过滤图像获得丰富多样的残余图像;然后,分别计算每个相邻剩余样本模式的出现频率在剩余的形象。剩余的同现矩阵图像。最后,同现矩阵的元素排列成向量为隐写术分析特性。JPEG丰富模型(JRM)是图像隐写分析方法,广泛应用于JPEG域。JRM SRM相似。唯一的区别在于,JRM的特点包括JPEG的屏蔽系数的二阶同现矩阵及其残留。然而,SRM的特点是由不同类型的滤波器的四阶同现矩阵剩余工资。使用SRM在空间域和JRM用于JPEG域。 The images of JPEG format are the carriers of the steganographic algorithms in the frequency domain.

马等。13)提出了一种基于决策粗糙集的特征选择方法α阳性的地区减少减少隐写式密码解密的维度的特性。他们的研究结果表明,减少功能可以获得检测能力与原始的特性集,它有效地降低了计算成本。

2.2。深度学习的方法

因为梯度消失/爆炸,深层网络通常是困难的训练。他等。14ResNets提出,解决梯度消失/激增的问题更深层次的网络。这意味着更深层次的网络可以给更好的准确性,而不是下降。然而,更好的准确性带来更多的计算和时间。

为了减少计算复杂度,辛格et al。15]介绍了深度学习结构,在这种结构中,卷积操作利用异构内核。他们改善了卷积核,取得了3×8×失败基础改善速度,同时仍然保持(有时是改善)的准确性。

目前,深学习是广泛应用于提高隐写式密码解密的性能。胡锦涛et al。(16)提出了一种新的自动调谐的隐写式密码解密方法基于视觉注意力和深刻的强化学习。视觉注意力的方法选择一个地区的形象和深刻的强化学习利用收益率总结地区。然后,总结区域采用训练图像分类错误取代提高隐写式密码解密的性能。他们的实验结果表明,方法可以实现隐写式密码解密性能与最先进的隐写检测算法。

3所示。DRHNet

提出的网络体系结构叫做DRHNet-Dual残余异构网络。这里的“剩余”有两个含义,一个,这意味着34层ResNet作为主要的网络结构,以及其他意义的残余图像被视为对象。首先,我们解释预处理的方法,也就是说,如何获得特征矩阵,和歧视的原则嵌入与残差图像,然后展示网络的体系结构。最后,我们将描述实验的细节。

3.1。方法和原则

隐嵌入过程使得图像细微变化,这是类似于弱噪声(隐形噪音)引入到图像。同时,隐嵌入过程不仅改变了自然图像的相邻像素的相关性也改变剩余图像的相邻像素相关性(噪声组件)的自然形象。SRM和其他残余图像隐写分析方法(17,18)模式残余图像而不是直接建模图像本身,主要是为了削弱干扰对隐写式密码解密图像的内容特征。

剩余的封面图片或隐藏图像提取k高通滤波器组成k子。数字转换,圆,截断每个子模型和提取同现矩阵在水平和垂直方向。在这个时候,2k为每个图片同现矩阵生成。同现矩阵相似的属性是对称合并和所有元素重新排列成特征向量。在这一点上,取得特性,其形式如下(12]: 在哪里的功能吗x^th封面图片计算通过使用k^th子模型。是让两个矩阵合并是通过结合元素有相同或相似的统计法律在水平同现矩阵和垂直一 。 是一个函数重新排列矩阵合并成一个特征向量。其中, ,在哪里是最后的图像训练集;隐藏图像的特性也可以计算。 空间域图像的大小吗 矩阵中的每个值是0到255之间。

可以通过下面的公式12),而可以以同样的方式获得: 在积极的顶点是一个量化因素和正整数是一个截断阈值;有两个重要的参数,影响SRM的维数和隐写式密码解密性能特性。共生矩阵的顺序。如果太大,稀疏的特性将会出现。如果太小,统计不够丰富的多样性。展示了剩余由k高通滤波器提取;具体定义如下: 在哪里 的像素值覆盖或隐藏图像吗 , 剩余的剩余价值吗通过使用一个高通滤波器在封面或隐藏图像 ,和 是像素值前的系数 。 的像素值吗社区 ,和 是支持的一组图像残差。的计算结果之间的关系这是附近在不同的过滤器。意味着围捕的元素,意味着截断操作的元素。作为同现矩阵提取残留。普通过滤器用于SRM如图1。

我们选择 , ,和 并使用SRM设计的所有合并规则。获得SRM特性实例称为SRMQ3 (SRM特性使用三种量化因素)。它有106个特性,其中17 338 -维特性和89是325 -维特性。RMQ3特征的维数 。我们使用0,0每个特性之间的分割来填补它的特征矩阵 ,null值的最后一个特征矩阵后充满了0。这是定义如下:

通过观察特征向量,我们发现没有元素值为1的向量。我们旨在分裂特征向量由“1”,但考虑到最大池用于随后的网络设计,这将导致网络训练分离器我们设置为一个重要的参数,所以,最后,我们用“0”作为分隔符。

在获得封面图像的特征矩阵和隐藏图像 ,我们的目标是使用DRHNet训练一个映射根据它们之间的差异,这样映射满足以下方程:

作为讨论的部分2的特征提取过程JRM SRM相似。不同之处在于,JRM的特点包括JPEG的屏蔽系数的二阶同现矩阵及其残留。JRM将通过笛卡尔校准,双功能维度产生22510的特性。最后,一个 特性矩阵生成。

3.2。双剩余异构网络架构

3.2.1之上。深残余网络

本文中使用的结构类似于34-layer ResNet结构(14]。我们也采用批处理规范化(BN) [19每次卷积后和之前ReLU [20.]。不同之处在于,我们添加了SRM-Extract-Merge (SRMEM)层DRHNet形象和第一个卷积层之间的空间域的隐写分析;我们添加了JRM-Extract-Merge (JRMEM)层之间的形象和第一个卷积层DRHNet隐的频域分析。这实际上减少了数据维度的网络处理从256 256×187×187或151×151。和图像所代表的特征矩阵不再是图像的内容。相反,它是图像的剩余的统计特性,因此它更抽象。此外,由于Adamx [21)可以达到收敛速度比随机梯度下降法(SGD),我们使用Adamx作为优化器来取代SGD。

网络的结构如图2。图中的分层结构不仅仅是一层卷积,卷积小块包含两层卷积。DRHNet网络参数设置如表所示1。请注意DRHNet用于空间域的隐写分析在以下部分中被称为S-DRHNet DRHNet用于隐写分析的频域称为J-DRHNet。S-DRHNet和J-DRHNet分享类似的网络体系结构。唯一的区别是,他们拥有不同的特征提取层。S-DRHNet采用SRMEM作为特征提取层和J-DRHNet使用JRMEM作为特征提取层。

3.2.2。异构的内核

DRHNet ResNet相比的另一个区别是HetConv [15)作为卷积核,而不是传统的卷积核。英吉利海峡是一个3×3的顺序填写和三个1×1卷积核。卷积核的下一个卷积层仍按此顺序,但布局由卷积转移到正确的内核。DRHNet卷积核的结构如图3。

可以看出,有两个卷积,卷积层每层组成的64卷积核的3×3和1×1尺寸,安排并抵消上述订单。使用HetConv代替传统的卷积内核可以减少网络参数,降低计算复杂度。

4所示。实验结果和分析

本文所有实验进行评估和对比BOSSbase 1.01,它包含10000灰度级图像大小为512×512。本文的实验环境是一个主机和一个NVIDIA GeForce 1080 Ti图形卡和一个英特尔i7 - 9700 CPU。像素图像越多,它可以嵌入的更多信息,以及更高的隐写分析过程的计算复杂度。这不影响DRHNet的性能,无论大小的图像预处理中提取到的特征矩阵187×187或151×151。为了便于比较和其他隐写式密码解密方法,我们所有的图像缩放到256×256。在空间域的设置,哇22],S-UNIWARD [11],MiPOD [23)作为密文嵌入图像隐写算法。SCA-TLU-CNN [9)和SRNet (10]运用竞争与S-DRHNet隐写分析方法。在频域的设置,发行(24]和J-UNIWARD [11)选为隐写算法。因为SRNet也可以使用在频域中,我们比较J-DRHNet SRNet评估的有效性DRHNet在频域的设置。每个隐写算法的负载设置从0.2到0.4位/像素(bpp),分别。数据集,5000 cover-stego图像对,10000张图片,被随机选中作为训练集,为了清晰的表达,以下都是计入cover-stego图像对。相同,2500年被选为验证集,剩下的2500加上2500随机选择unembedded形象对作为测试集,本文的实验时代是100次,minibatch训练集的大小是20 cover-stego图像对,和验证集是10。实验的前80时代训练网络的学习速率0.001和0.0001训练在过去的20世纪。

4.1。DRHNet隐写式密码解密水平实验

我们采用的检测误差P_错误作为评估标准。的定义P_错误如下: 在哪里n是图像测试集的总数,然后呢和假阳性和假阴性的数量是机器学习中的错误概念。

以下4.4.1。S-DRHNet在空间域的性能

S-DRHNet在空间域的性能数据所示4- - - - - -6。这是观察到的数据4- - - - - -6SRNet的(10]P_错误小于1%低于我们提出的这种结构应用哇时隐写术算法和有效载荷为0.4 bpp;SCA-TLU-CNN [9)检测错误率为6%低于DRHNet应用S-UNIWARD时bpp速记式加密算法和有效载荷的0.2。除了以上两种情况,DRHNet通常有更好的性能比其他两个隐写分析网络。可以看到,随着载荷的增加,P_错误DRHNet下降的速度比其他两个网络。

SCA-TLU-CNN的ROC曲线、SRNet S-DRHNet与S-UNIWARD bpp如图0.47。S-DRHNet的AUC, SRNet, SCA-TLU-CNN是0.97,0.94和0.92。对S-UNIWARD S-DRHNet的准确性高于SRNet和SCA-TLU-CNN高负载。

DRHNet的训练迭代100次。学习速率是设置为0.001在80年第一个迭代和0.0001在过去20迭代。图8显示了变化检测错误S-DRHNet在训练和验证。获得的数据在S-UNIWARD负载0.4 bpp。

图9显示的发展培训和确认损失当S-DRHNet相同的情况。因为检测错误和损失的曲线J-DRHNet在训练和验证S-DRHNet相似,这里只显示S-DRHNet相应的曲线。

4.1.2。J-DRHNet在频域的性能

的性能J-DRHNet在频域数据所示10和11。比SRNet反对J-UNIWARD J-DRHNet显示出更好的性能。当载荷高,J-DRHNet显示更好的性能比SRNet反对发行。

SRNet ROC曲线和J-DRHNet bpp如图0.4与发行10。我们从图可以观察到12对发行J-DRHNet的准确性是接近SRNet。

4.2。DRHNet隐写式密码解密一般性实验

利用特征矩阵提取通过SRM或JRM作为网络的输入使DRHNet具有良好的通用性。评估DRHNet的多功能性,我们采用一种隐写算法生成隐写图像作为训练集和验证集。然后,另一个隐写算法生成的隐写图像作为测试集。在这种情况下我们观察DRHNet的检测误差。因为J-DRHNet S-DRHNet自己类似的建筑除了特征提取模块,我们只显示S-DRHNet交叉测试的结果。十字架的检测误差测试S-DRHNet表所示2。检测误差通过使用相同的隐写术算法测试集和训练集是在表中以粗体显示2和十字架的误码率测试正常字体所示。采用不同的隐写算法获得的检测误差一般是0.01 - -0.03高于使用相同的隐写算法。从结果表2,我们可以得出这样的结论:S-DRHNet显示良好的通用性与不同的隐写方法。

4.3。DRHNet的时间消耗和计算复杂度

DRHNet也减少了时间消耗,同时提高准确性。表3显示了参数、计算复杂度和时间消耗的上述四种类型的隐写式密码解密网络。SCA-TLU-CNN的网络结构十层,SRNet 12层,所以ResNet高于SCA-TLU-CNN在表格中提到的三个指标3。虽然DRHNet设计摘要34-layer网络结构,HetCov作为卷积核的应用大大减少了网络的参数,从而缩短计算复杂度和时间比其他两个网络消费,同时还能保证相当的精度。因为J-DRHNet小于S-DRHNet的特征矩阵,J-DRHNet的时间消耗是低于S-DRHNet。

5。结论

摘要深层神经网络精度高和低时间消耗提出了隐写式密码解密。SRMEM和JRMEM层用于从原始图像中提取特征,组合成一个特征矩阵,提供多功能性的隐写分析方法,同时减少网络维度。此外,我们选择HetConv作为卷积核的DRHNet网络,大大降低了计算复杂度,同时保证准确性。通过结合不同的特性预处理模块,SRMEM JRMEM, DRHNet可以灵活应用于空间域和频域。初步实验结果表明,该DRHNet显示优秀的隐写式密码解密性能在空间域和频域。DRHNet优于现有的先进的隐写分析算法,如SCA-TLU-CNN和SRNet和显示性能优良先进的隐写方法如S-UNIWARD J-UNIWARD,哇。图像嵌入在密文可能在传输过程中被压缩。

SRNet交叉测试和J-DRHNet将进一步研究和验证在以下研究。如何提取嵌入式图像压缩后将是我们下一步的研究方向。

数据可用性

软件代码用于支持本研究的发现可以从相应的作者。使用的数据来支持本研究的发现是可用的http://agents.fel.cvut.cz/stegodata/。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由美国国家科学基金会支持下中国的批准号U1831131,中国中央政府的专项资金为指导当地科技发展下批准号[2018]4008年,贵州的科技计划项目,中国,在批准号[2020]2 y013。

引用

1. 太阳王z夏,x, x, b . Wang“隐写式密码解密的最低有效位匹配使用multi-order差异,”安全性和通信网络,7卷,不。8,1283 - 1291年,2014页。视图:出版商的网站|谷歌学术搜索
2. 古普塔,a Goyal, b . Bhushan”信息隐藏使用最低有效位隐写术和cryptogrammmphy,”国际现代教育和计算机科学杂志》上,4卷,不。6 p。27日,2012年。视图:谷歌学术搜索
3. c·陈和y .问:施”,JPEG图像隐写式密码解密利用intrablock和组间相关性”《2008年IEEE国际研讨会上电路和系统IEEE,页3029 - 3032年,华盛顿特区,2008年6月。视图:谷歌学术搜索
4. 问:刘”,隐写式密码解密DCT-embedding为基础的自适应隐写术和丫《十三ACM多媒体多媒体和安全研讨会ACM,页77 - 86年,2011年9月纽约,美国。视图:谷歌学术搜索
5. 林z h . Li, x沈et al .,“人脸检测、卷积神经网络级联”《IEEE计算机视觉与模式识别会议,页5325 - 5334,波士顿,MA,美国,2015年6月。视图:谷歌学术搜索
6. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”先进的神经信息处理系统,25卷,不。2、1097 - 1105年,2012页。视图:谷歌学术搜索
7. m . Rastegari诉Ordonez j . Redmon et al .,“XNOR-Net: Imagenet分类使用二进制卷积神经网络”欧洲计算机视觉的诉讼施普林格,页525 - 542年,阿姆斯特丹,荷兰,2016年10月。视图:谷歌学术搜索
8. y钱,j .盾王w . et al .,“通过卷积神经网络隐写式密码解密,深度学习”国际社会对光学和光子学卷,9409篇文章ID 94090 j, 2015。视图:谷歌学术搜索
9. j .你们,j .倪,y,“深度学习分层表示的图像隐写式密码解密,”IEEE取证和安全信息,12卷,不。11日,第2557 - 2545页,2017年。视图:出版商的网站|谷歌学术搜索
10. m . Boroumand m . Chen和j . Fridrich“深残余网络数字图像隐写式密码解密的,”IEEE取证和安全信息,14卷,不。5,1181 - 1193年,2018页。视图:谷歌学术搜索
11. 诉Holub、j . Fridrich和t . Denemark”普遍失真函数在任意域隐写术”EURASIP在信息安全》杂志上,1卷,不。1,2014。视图:出版商的网站|谷歌学术搜索
12. j . Fridrich和j . Kodovsky”丰富的数字图像隐写式密码解密模式”,IEEE取证和安全信息,7卷,不。3、868 - 882年,2012页。视图:出版商的网站|谷歌学术搜索
13. 李罗y, x, x, z包,和y张”,选择丰富的基于决策粗糙集模型隐写式密码解密功能阳性的地区减少。”IEEE电路和系统视频技术卷,29号2、336 - 350年,2019页。视图:出版商的网站|谷歌学术搜索
14. k . x张,他任美国et al .,“深残余学习图像识别,”《IEEE计算机视觉与模式识别会议拉斯维加斯,页770 - 778年,NV,美国,2016年6月。视图:谷歌学术搜索
15. p·辛格,v . k . Verma p Rai et al .,“HetConv:异构基于深cnn的卷积,”2019年,http://arxiv.org/abs/1903.04120。视图:谷歌学术搜索
16. d . Hu周,问:沈、郑,z赵,和y粉丝,“数字图像隐写式密码解密基于视觉注意力和强化学习,”IEEE访问7卷,第25935 - 25924页,2019年。视图:出版商的网站|谷歌学术搜索
17. t . Pevny、p . Bas和j . Fridrich“隐写式密码解密减去像素邻接矩阵,”IEEE取证和安全信息,5卷,不。2、215 - 224年,2010页。视图:出版商的网站|谷歌学术搜索
18. k·扬和j . Fridrich“隐写式密码解密在高维度:融合分类器基于随机子空间,”SPIE-The国际光学工程学会学报》上,卷7880,不。1,第97 - 181页,2011。视图:谷歌学术搜索
19. 约飞和c . Szegedy“批量标准化:加速深层网络训练通过减少内部协变量转变,”2015年,http://arxiv.org/abs/1502.03167。视图:谷歌学术搜索
20. t . b .徐:Wang Chen等人“卷积网络实证评价纠正激活”,2015年,http://arxiv.org/abs/1505.00853。视图:谷歌学术搜索
21. d . p . Kingma和j .英航“亚当:随机优化方法,”2014年,http://arxiv.org/abs/1412.6980。视图:谷歌学术搜索
22. 诉Holub和j . Fridrich“使用定向过滤器设计隐失真,”学报2012年IEEE国际研讨会信息取证和安全(如)IEEE,页234 - 239年,科斯塔Adeje,西班牙,2012年12月。视图:谷歌学术搜索
23. 诉Sedighi、r . Cogranne和j . Fridrich”Content-adaptive隐写术通过最小化统计检测能力,”IEEE取证和安全信息,11卷,不。2、221 - 234年,2015页。视图:谷歌学术搜索
24. l .郭、j .倪和y史,“统一的有效嵌入JPEG隐写术,”IEEE形成取证和安全,9卷,不。5,814 - 825年,2014页。视图:谷歌学术搜索

版权

版权©2020杨旭等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。