怀疑Multifocus基于稀疏的图像融合去噪Autoencoder警察多通道大数据分析的神经网络

文摘

近年来,通过大数据解决重大刑事案件的成功率大大提高。多通道大数据的分析中发挥着关键作用检测的嫌疑犯。然而,传统multiexposure图像融合方法效率较低,在很大程度上是耗时由于工件效果的图像边缘和其他敏感因素。因此,本文着重于怀疑multiexposure图像融合。self-coding神经网络基于深度学习已成为热点研究的数据降维,可有效消除学习无关和冗余数据。在有限领域深度,由于相机的聚焦深度有限,聚焦平面不能获得全球目标的清晰图像的深度场景,这是容易散焦和模糊现象。因此,本文提出一种基于稀疏multifocus图像融合去噪autoencoder神经网络。实现一个无监督的端到端融合网络,采用稀疏的去噪autoencoder神经网络提取特征和学习同时融合规则和重建规则。最初的决策图之前multifocus图像作为输入学习图像的丰富的详细信息。本地策略添加到损失函数,以确保准确的图像恢复。 The results show that this method is superior to the state-of-the-art fusion methods.

1。介绍

图像融合是指两个或两个以上的补充源图像的综合处理得到不同的传感器获得一种新的融合图像,使融合图像具有更高的可信度(1- - - - - -4),清晰,和更好的可理解性。在有限领域深度,由于相机的聚焦深度有限,聚焦平面不能获得全球目标的清晰图像的深度场景,这是容易散焦和模糊现象。Multifocus图像融合技术是融合多个图像在同一场景不同焦点位置与更多的信息(完全聚焦图像5]。目前,multifocus图像融合算法可以分为变换域的融合方法,基于空间域的融合方法,深度学习融合方法根据融合策略。

基于变换域融合方法通常使用多种分解工具将源图像分解成多级系数,然后根据的特点设计不同的融合规则每个级别系数(6,7]。最后,它执行上的逆多尺度变换的融合系数每一层获得融合图像。转换的设计工具和设计的融合规则扮演着重要的角色在变换域的融合方法的融合性能。

常见的转换工具包括曲波变换(CVT) [8),nonsubsampled contourlet变换(NSCT) [9(LP)[],拉普拉斯算子的金字塔10)、低通金字塔和梯度金字塔(GP) [11]。加权平均融合规则包括最大化,凸起,活动轮廓。稀疏表示(SR),高阶奇异值分解(HOSVD) [12),和其他基于稀疏主成分分析- (RPCA) multifocus图像融合方法(13吸引了更多的关注。

基于空间域的融合方法可以分为三种类型根据不同焦点测量对象:基于像素,基于块和提出。基于像素的multifocus图像融合方法可以从源图像中提取特征信息,最大程度保留原始信息。它具有鲁棒性强,测量精度高的特点,其中包括密集的尺度不变特征变换(DSIFT),引导滤波(GF),和图像消光(IM)。multifocus图像融合方法和地区采用基于块分割策略将源图像划分成不同的阻塞或地区然后选择更多的关注或地区作为融合图像的一部分集中测量(14]。常见的集中测量方法包括图像梯度和空间频率。块大小和分割算法可以直接影响到融合图像的视觉效果,这是容易“块效应。“空间域的变换域的融合方法和融合方法需要手动设计融合规则。然而,复杂的图像场景限制功能的表达能力和融合规则的鲁棒性。

为了提高融合规则的功能表达能力和鲁棒性,深度学习技术引入multifocus图像融合研究15- - - - - -17]。卡里姆et al。18]提出了无人驾驶飞机的监控和打击街头犯罪的罪犯基于实时图像处理技术。刘等人。19)使用多尺度具有不同标准差的高斯滤波器模糊过程的随机区域灰度图像模拟multifocus形象。通过使用监督学习,图像分为集中像素和散焦像素,与相同的大小和焦点地图输入图像。然后,集中决策图生成通过验证的大小和一致性的焦点地图。最后,根据判断条件,加权平均策略是用于获得融合图像在空间域。唐et al。20.)提出了一个multifocus图像融合方法基于pixel-wise卷积神经网络(P-CNN)。这个模型Cifar10作为训练集,三种像素可以从相邻的像素信息:聚焦像素,散焦像素,和未知像素。在源图像被相得分,得分矩阵代表像素形成的集中程度。的得分矩阵,通过比较两个源图像,然后获得决策图。最后,两个输入的加权平均值根据最终决定了图形图像阈值过滤。模型在实时性能性能优良,融合效果,但监督学习的限制,无法获得准确的标签数据图像融合。

进一步区分私人和公共特性multifocus图像,罗et al。21)提出了一个联合卷积self-encoding网络,获得焦点地图基于图像特征的学习由私营部门和使用进行像素级加权平均法则得到充分集中融合图像。这种方法采用无监督学习,不需要手动设计标签,取得了理想的结果的主观评价和多个客观评价。然而,这些方法只利用CNN的特征提取和分类能力,仍然使用手工设计的融合规则,这使得该模型无法调整融合策略根据应用场景。

进一步实现融合规则的自学习和充分利用CNN的特征提取,结合手动特性的先验知识,本文multifocus图像融合网络与自学习融合规则设计。multifocus图像,其最初的决策图是作为网络的输入,这样网络可以学习更准确详细的信息。结构相似度指数测量(SSIM)和当地的均方误差(MSE)作为损失函数驱动融合规则。

本文的其余部分组织如下。部分2设计建议的方法,在那之后,部分3描述了实验结果。最后,部分4总结了纸。

2。提出Multifocus图像融合

本文首先介绍了multifocus图像融合的网络结构,然后详细论述了网络融合,最后讨论了损失函数的设计。

2.1。特征提取网络基于稀疏去噪Autoencoder神经网络

图1显示了稀疏的去噪autoencoder神经网络(SDNA-ENN)。

整个网络划分为输入层、编码层,融合层,解码层和输出层。输入层包括最初的决定multifocus形象的图表,multifocus形象B, A和multifocus图像编码层包括9可训练的卷积层与卷积核大小为3×3,并且每个卷积层是一层ReLU紧随其后。编码层可分为私有分支像公共分支昏迷multifocus形象,和私营部门PriB,和公共部门梳理multifocus形象B,像和PriB用于提取输入图像的私人特性,分别。昏迷和梳子分享权重从多个输入图像中提取共同的特征。融合层瀑布像和PriB沿着通道特性映射输出,然后连接级联特性映射到下一个可训练的卷积与卷积内核层1×1的大小。昏迷和梳子地图的输出特性是相同的方式像和PriB来治疗。解码层由四个可训练的卷积与卷积核大小为3×3层,最后卷积层是用来重建完全聚焦的图像。在这篇文章中,一个短连接添加到公共部门在培训过程中解决梯度消失的问题。与前面的网络相比,这种新的网络增加了融合的单位和使用短连接学习提高鲁棒性的特征。

2.2。融合层设计

multifocus图像融合研究的基于深度学习,网络融合层通常包含两种方法,可以用来融合多个输入的卷积特性:(1)级联卷积特性的多个输入通道,然后融合他们下一个回旋的层(2)多个输入卷积特性进行像素级融合的融合规则

级联融合方法栈多个输入,网络可以学到足够的特征信息。

进行像素级融合规则包括求和,以大、中值(22]。融合策略可以选择根据数据集的特点。在multifocus图片,因为图像的像素值代表了卓越的信息,该方法在本文中介绍了意味着统治级联的基础上融合,确保学习功能的多样性和准确性。融合层的具体实现初始化设计包括重量和重量限制。

2.2.1。重初始化

重初始化是模拟加权平均融合规则,和特征提取编码层可以通过合理的体重分配准确融合融合层。的输出特性图像,PriB昏迷,沿着通道和梳子的编码层拼接,紧随其后的是一种可训练的卷积层1×1。第一次和1 +p的重量值kth频道1×1卷积层初始化0.5;也就是说, 在哪里是卷积后的通道数量的操作。我过滤器的数量吗kth通道。P= 128,可以根据实际需求调整。是我th重量值kth通道。

2.2.2。重量限制

因为重量值可能会出现数值over-bounds现象在网络迭代的过程中,约束添加到每个重量值实现有效的体重值波动范围。根据平均值规则的图像融合方法,融合系数之和的两张图片是1。然而,训练网络的激活函数采用ReLU,的kth频道, 。因此,在这个过程中我们让两个改进。一是提高激活成本函数,第二个是应用最小/最大标准重量约束的2p权重的kth通道在融合层。

为了使激活单元用更少的隐藏层代表最有效的特征,通过传统的autoencoder神经网络的研究,提出了稀疏约束添加到隐藏的神经元的神经网络去噪autoencoder (DAE),可以抑制大部分输出神经元和少用激活单元来表示特性。

稀疏去噪autoencoder网络结构由一个稀疏的去噪autoencoder softmax分类器如图2。代表原始数据层,代表了数据层与干扰噪声代表了隐层。

具体来说,假设输入样本的数量 。 代表输入。代表输出。表示神经网络的层数。代表了在隐层神经元的数目 。稀疏的激活成本函数神经网络去噪autoencoder定义如下:

隐层中的每个神经元的残余

然后,重量和偏见项的偏导数计算如下:

然后,我们计算L2-norm 2p权重的kth通道。

被截断的范围 ;也就是说, 在哪里是输入的最小L2-norm重量值。是输入的最大L2-norm重量值。

最后,每个的重量值kth频道调整。 在哪里是米th重量值kth通道和约束范围的重量值。约束的比例;当= 1,约束条件是严格执行,当 ,重量必须为每个步骤调整。为了避免梯度爆炸, 。初始化和重量约束后,最终转化为规则融合层

2.3。损失函数的设计

为了确保网络可以学习输入图像的特性准确、有效,本地策略添加到损失函数,包括当地结构相似度和均方误差。

2.3.1。局部结构相似

人类视觉系统对结构损失和变形更加敏感。因此,结构相似度指数测量(SSIM) [23)可以用来直观地比较扭曲的图像和原始图像的结构信息。SSIM主要由三部分组成:相关性,亮度,和对比如下所示: 在哪里 表示源图像的结构相似度X和融合图像F。和代表图像块在源图像和融合图像,分别。和代表图像的平均值和标准偏差X,分别。和表示融合图像的平均值和标准偏差F分别。代表了源图像的协方差和图像融合。 , ,和参数被用来稳定算法。

SSIM的基础上,对应地区的形象X提取结合初始决策图输入的图像X。

最初的决策图对应的输入图像一个和B是和 ,分别。根据(10),相应的区域 , ,和A和B的图像和融合图像F,分别。根据(9),和可以计算。

2.3.2。当地的均方误差

均方误差是用来测量融合图像和源图像之间的差异度。均方误差成反比融合图像的质量。较小的值表示更高的融合质量。它的计算公式是 MSE (X,F)代表输入图像之间的差异X和融合图像F。

根据(11),和可以获得。

最后提出网络的损失函数 在哪里和代表当地的权重结构相似性和当地的均方误差,分别。在这篇文章中,是用来调整融合图像和源图像之间的相似性。更大的高表示融合图像和源图像之间的相似性。用于提高重点区域的源图像的融合图像。更大的表示源图像的重点区域。本文基于大量实验,集= 5,分别= 5。

3所示。实验和分析

为了验证该融合方法的性能,我们与七个最先进的融合方法进行对比实验,即德(24],NFBD [25],GDMC [26],LRRW [27],NNSR [28],CFM [29日],FRL-PCNN [30.]。实验环境是MATLAB7a Windows10, GPU TX1060, 16 g内存,和英特尔(R) (TM)核心i7 - 67001。Tensorflow Keras框架是用于网络培训。所有的比较方法使用相同的参数(31日,32]。然后,详细的主观和客观的比较和分析进行多个multifocus图像。

因为犯罪嫌疑人被列为国家机密数据,本文在实验室测试嫌疑人和开放的数据集。结果只是从公共数据集。本文对60双multifocus图像进行实验。20对来自开源数据集Lytro [33),另20对已广泛用于multifocus图像融合的研究,和另一个20对来自实际怀疑图像。采用滑动窗口方法采取的步幅14块。每个图像的数据集分为米图像块的224×224像素。本文最初的收购决策图由三部分组成:分割、映射和后处理。首先,每个图像的数据集分割成块,4×4的像素,和空间频率计算。然后,空间频率矩阵映射到原始的源图像的大小,和重叠的部分是处理平均值获得空间频率映射。二进制映射是通过比较大小。最后,网络的初始决策图是通过一致性检验和指导过滤。融合结果与不同的方法所示的数据3- - - - - -8。

更直观地比较融合方法,本文选择一个较小的区域在特定的轮廓在每个融合图像,标志着用矩形框,并给出一个扩大的地区。我们给出一个分析图像“磁盘。“这从图可以看出7上面的方法可以获得完全聚焦图像主观视觉。DE和NFBD虚假信息,如“工件”闹钟的边缘。即时通讯的融合效果是好的,但有一定的“吉布斯”现象在磁盘区域,和一些细节丢失。GDMC显示模糊失真在当地放大区域由于强调寻找边界和重点指标在一个块中执行。融合结果LRRW NNSR, CFM,和FRL-PCNN是好,但有一个轻微的“凹陷”的左边缘上闹钟。

的视觉效果比较,本文方法与其他方法的主观视觉效果。它可以看到从扩大区域图7本文提出方法能够很好地处理细节,尤其是边缘区域的闹钟是流畅自然。获得更好的融合效果。自最初的决策图集中形象和本地策略的损失函数添加到网络,得到融合图像的方法在本文中表现良好的保留关键信息和适合人类视觉感知。数据3- - - - - -6和8结果融合其他的5双multifocus图像在不同的融合方法。从这些数据可以看到,所有的方法可以更好地融合multifocus形象在某种程度上。与其他方法相比,该方法达到更好的融合结果。

客观地评估每个融合方法的结果,本文使用评价指标:熵(EN),Piella和他提出的,相关系数(CC)和视觉信息保真度(突然转向)来验证该方法的有效性。索引是基于信息熵理论,用于反映在图像的信息量。如果熵值相对较大,这表明,融合图像包含相对更多的信息。是一个通用的图像质量指数的变异,探讨了扭曲的像素的位置和大小的分配权重高视觉显著区域。更大的表示更好的融合效果。相关系数的措施之间的关系源图像和融合图像。相关值呈正相关的融合效果。突然转向索引,模拟人眼的主观视觉测量融合图像的保真度。它包括四个步骤:分区、评估、计算部分波段的保真度,计算总忠诚。突然转向礼物越高越低失真之间的融合图像和源图像。为了确保公平客观的评价,所有索引使用相同的参数。

表1- - - - - -6显示融合客观评价结果对multifocus 6日与8融合图像的方法。从表可以看出,该融合方法具有明显的优势超过其他融合方法的融合索引。在一般情况下,该方法实现最好的结果的 ,CC、EN、突然转向,平均精度指标,表明新算法是一种有效的融合方法。

4所示。结论

在这篇文章中,一个端到端的非监督multifocus基于稀疏的图像融合算法去噪autoencoder提出了神经网络。结合multifocus图像的先验知识,网络可以学习准确的图像细节。合理的初始化和重量重量约束聚变层中的设计。当地结构相似度和均方误差损失函数中使用的策略驱动融合单元有效地学习融合规则。实验结果表明,该方法不仅可以实现融合的融合规则自学习的过程。此外,可以取得良好的效果在主观视觉和客观评价。具有重要意义,进一步理解multifocus图像融合机制基于深度学习和研究一般多模式图像融合框架。在未来,将利用更多的最新的深度学习方法分析multifocus图像融合。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. w·赵h . Lu, d . Wang”多传感器图像融合和增强在光谱域总变异,”IEEE多媒体,20卷,不。4、866 - 879年,2018页。视图:出版商的网站|谷歌学术搜索
2. 美国阴和y,“奇异值decomposition-based各向异性扩散融合的红外和可见图像,”国际期刊的图像和数据融合,10卷,不。2、146 - 163年,2019页。视图:出版商的网站|谷歌学术搜索
3. 朱z h .阴,y柴,y, g .气,“一种新颖的基于图像分解的多模图像融合方法和稀疏表示,“信息科学卷,432年,第529 - 516页,2018年。视图:出版商的网站|谷歌学术搜索
4. l . Bungert d煤烟,m . Ehrhardt et al .,“盲图像融合的高光谱影像定向总变异,”逆问题,34卷,不。4、2018。视图:出版商的网站|谷歌学术搜索
5. l .赵t·杨,j . Zhang y, z . Chen和z . j . Wang”Co-learning视点数据的非负相关和不相关的特性,“IEEE神经网络和学习系统,p . 2020。视图:出版商的网站|谷歌学术搜索
6. 江y, b . j . Li Li“红外和可见光图像融合算法基于LSWT-NSST,”IEEE访问,8卷,第179880 - 179857页,2020年。视图:出版商的网站|谷歌学术搜索
7. c . j . Wang秦,x张,“多源图像融合算法基于梯度正则化卷积稀疏表示,“系统工程与电子技术没有,卷。31日。3、447 - 459年,2020页。视图:出版商的网站|谷歌学术搜索
8. l .董问:杨、吴h . h·肖和m .徐”高质量的多光谱和全色基于曲波变换的图像融合技术,”Neurocomputing卷,159年,第274 - 268页,2015年。视图:出版商的网站|谷歌学术搜索
9. m . Nazrudeen和m . Rajalakshmi CT和MRI图像融合使用non-subsampled contourlet变换,”学报》国际会议通信和计算机网络的未来2014年6月,东京,日本,。视图:谷歌学术搜索
10. 太阳x,阴,k . et al .,“KFC-CNN:修改后的高斯模糊c内核和卷积神经网络分割和识别为苹果,”应用科学与工程》杂志上,23卷,不。3、555 - 561年,2020页。视图:谷歌学术搜索
11. m·j·李,y . b .董和x l .王”基于梯度金字塔的图像融合算法及其性能评估,”应用力学和材料卷,525年,第718 - 715页,2014年。视图:出版商的网站|谷歌学术搜索
12. j .梁,y,刘和x曾庆红,“使用高阶奇异值分解的图像融合,“IEEE图像处理:IEEE信号处理学会的出版物,21卷,不。5,2898 - 2909年,2012页。视图:出版商的网站|谷歌学术搜索
13. t .广域网、c·朱和z秦,“Multifocus图像融合稳健主成分分析的基础上,“模式识别的字母,34卷,不。9日,第1008 - 1001页,2013年。视图:出版商的网站|谷歌学术搜索
14. l .赵t .赵,t .太阳,z . Liu和z陈,“多视点健壮的功能对数据聚类学习,”IEEE信号处理信件27卷,第1754 - 1750页,2020年。视图:出版商的网站|谷歌学术搜索
15. 殷s、h·李和l .腾”机场检测基于改进更快RCNN大型遥感图像中,“传感和成像,21卷,不。1,2020。视图:出版商的网站|谷歌学术搜索
16. 阴和h·李,“热区域选择基于选择性搜索和修改模糊c在遥感图像中,“IEEE选择杂志的主题应用地球观测和遥感13卷,第5871 - 5862页,2020年。视图:出版商的网站|谷歌学术搜索
17. l·t·p·李,z Chen Yang,问:张先生,和m·j·迪恩”深卷积计算模型特性学习大数据在互联网上看,“IEEE工业信息,14卷,不。2、790 - 798年,2018页。视图:出版商的网站|谷歌学术搜索
18. 卡里姆,y, a . a . Laghari和m·r·阿西夫“基于图像处理提出了检测和控制无人机街头犯罪,”学报2017年IEEE 17通信技术国际会议(国际)成都,页1725 - 1730年,中国,2017年10月。视图:出版商的网站|谷歌学术搜索
19. 陈x y . Liu, h·彭和z . Wang”Multi-focus深卷积神经网络图像融合,“信息融合36卷,第207 - 191页,2017年。视图:出版商的网站|谷歌学术搜索
20. 肖h . Tang b、w·李和g .王”multi-focus图像融合像素卷积神经网络,”信息科学卷,433 - 434,125 - 141年,2018页。视图:出版商的网站|谷歌学术搜索
21. x罗,j·张,问:戴“区域图像融合基于相似特征,”信号处理,卷92,不。5,1268 - 1280年,2012页。视图:出版商的网站|谷歌学术搜索
22. 答:a . Laghari h .他m·沙菲克和a .汗”的评估的经验(体验质量)的图像压缩质量社会云计算,“可替换主体和网格系统,14卷,不。2、125 - 143年,2018页。视图:出版商的网站|谷歌学术搜索
23. l .赵c . Mo、t .太阳和w·黄”航空发动机气路故障诊断基于多通道深神经网络,”无线通信和移动计算卷,2020篇文章ID 8891595, 10页,2020。视图:出版商的网站|谷歌学术搜索
24. l . (g .曾和j·魏、“适应性region-segmentation multi-focus图像融合基于微分进化,”模式识别与人工智能》国际期刊上,33卷,不。3,2019。视图:出版商的网站|谷歌学术搜索
25. y, y,李l . j . Wu和s .黄”Multi-focus图像融合基于non-fixed-base词典和测度优化”IEEE访问7卷,第46388 - 46376页,2019年。视图:出版商的网站|谷歌学术搜索
26. 陈z . x呗,m . Liu, p . Wang和y张“Multi-focus通过梯度图像融合——决定地图建设和数学形态学为基础,“IEEE访问4卷,第4760 - 4749页,2016年。视图:出版商的网站|谷歌学术搜索
27. x z,康,k, p .段和问:,“一个两阶段multi-focus mis-registration图像融合框架的图像,”IEEE访问7卷,第123243 - 123231页,2019年。视图:出版商的网站|谷歌学术搜索
28. 问:张先生,g . Li y曹et al .,“Multi-focus图像融合基于非负稀疏表示和缀块一致性校正,”模式识别文章ID 107325卷,104年,2020年。视图:出版商的网站|谷歌学术搜索
29. l .他x,陆l . et al .,“小说multi-focus图像融合方法提高成像系统利用cascade-forest模型,”EURASIP杂志在图像和视频处理,5卷,不。1,p。2020年,2020。视图:出版商的网站|谷歌学术搜索
30. k .他d .周x Zhang et al .,“Multi-focus图像融合结合focus-region-level分区和脉冲耦合神经网络”软计算的融合基础、方法和应用,23卷,不。13日,2019年。视图:出版商的网站|谷歌学术搜索
31. a . Laghari h .他答:汗,卡里姆,“视频文件格式对质量的影响的经验(体验质量)的多媒体内容,“3 d的研究,9卷,不。3,39页,2018年。视图:出版商的网站|谷歌学术搜索
32. k . Shahid y,阴,a . Laghari和a . Brohi”压缩的影响和缩小训练图像在遥感图像的车辆检测,”多媒体工具和应用程序,卷78,不。22日,第32583 - 32565页,2019年。视图:谷歌学术搜索
33. h·t·穆斯塔法·j·杨,m . Zareapoor”multi-focus图像融合的多尺度卷积神经网络”,图像和视觉计算卷。85年,26 - 35周不等,2019页。视图:出版商的网站|谷歌学术搜索

版权

版权©2021斤王Yanfei高。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。