异构的基于DCT的图像融合方法和各向异性扩散,无人机在未来5 g物联网场景

文摘

无人机,固有的属性,如灵活性、移动性和自主权,发挥着越来越重要的作用在物联网(物联网)。机载红外和可见光图像融合,构成一个重要数据依据物联网的感知层,已广泛应用于各个领域,如电力检查、军事侦察、应急救援、交通管理。然而,传统的红外和可见光图像融合方法受到疲软的详细解析。为了更好地保存有用的信息从源图像和产生更多的信息对人类观察或无人机图像视觉任务,一种新颖的基于离散余弦变换(DCT)的融合方法,提出了各向异性扩散。首先,利用DCT红外和可见光图像去噪。其次,应用各向异性扩散去噪红外和可见图像获取细节和基础层。第三,基础层由使用加权平均融合,和细节层融合利用Karhunen-Loeve变换,分别。最后,通过线性叠加融合图像重建的基本层和细节层的。与其他六个典型的融合方法相比,该方法显示了更好的融合性能客观和主观的评价。

1。介绍

物联网(物联网)已经吸引了来自学术界和工业界的广泛关注自从它第一次被提出。物联网旨在整合各种技术,如身体域网络系统,设备间(D2D)沟通,和无人驾驶飞行器(无人机)和卫星网络,提供范围广泛的服务在任何使用任何网络位置。这使得各种民用和军用应用程序非常有用。然而,近年来,智能设备用于物联网的普及引发了大量的数据,将自己的一组挑战无线通信网络的顺利运转。然而,第五代的出现(5克)无线通信技术提供了一种有效的解决这个问题。许多学者致力于研究服务质量(QoS)等关键5 g的特点和连接(1,2]。随着无人机技术的发展和5 g无线系统,物联网的应用领域进一步扩大(3- - - - - -5]。由于其动态部署的特点,方便配置,和高的自主权,无人机在物联网发挥着极其重要的作用。像一些无线设备遭受有限的传输范围,无人机可以用作无线中继改善网络连接和扩展无线网络的覆盖范围。与此同时,由于其调整飞行高度和流动性,无人机可以轻松高效地收集数据从物联网的用户在地上。目前,存在一个智能无人机管理平台,它可以同时运行几个无人机通过各种终端设备。可以根据需要定制的飞行路线和获得所需的用户数据。智能交通系统(ITS)可以使用无人机进行流量监测和执法。无人机也可以用作基站在空中改善无线网络容量。物联网在5克、无人机无线通信系统将发挥着越来越重要的作用6,7]。

感知层是物联网的基本层,包含不同的传感器。物联网用户的无人机收集数据通过机载物联网设备,包括红外(IR)相机和可见(VI)光相机(8]。影响的关键技术之一的可靠性感知层多源信号的精确采集和可靠的数据融合。近年来,异质图像融合已经成为一个重要的主题关于物联网的感知层。红外和可见光传感器是传感器的两种最常用的类型。红外图像由一个红外传感器通常由恶劣天气条件影响较小如明亮的阳光和烟雾9]。然而,红外图像缺乏足够的细节场景,比VI图像空间分辨率较低。相比之下,VI图像包含更详细的现场信息,但是很容易受到光照变化的影响。红外光谱和VI图像融合可能产生合成图像,更可判断的人类和机器感知。图像融合的目的是把不同类型的图像传感器获得的图像产生的形象。融合图像更符合人类的视觉感知系统比源图像分别。它可以方便后续处理或决策。如今,图像融合技术是广泛用于军事侦察等领域10),交通管理(11)、医疗(12),和遥感13,14]。

近几十年来,各种红外和VI图像融合方法进行了研究。一般来说,基于不同层次的图像表示,融合方法可以分为三类:进行像素级、部件级和决策级15]。进行像素级融合,进行原始的源图像,通常生成更准确,富有,和可靠的细节与其他融合方法。部件级图像融合首先提取各种特性(包括颜色、形状和边缘)来自不同传感器的多源信息。随后,来自多个传感器获得的特征信息进行综合分析和处理。虽然这种方法可以减少的数据量和保留的大部分信息,图像的一些细节还是输了。决策级融合是用来融合多个传感器的识别结果进行全局最优决策的基础上,每一个独立传感器,因此,完成决定或分类。决策级融合的优势良好的实时性能,自适应性,和强抗干扰;然而,决策函数的容错能力直接影响融合分类性能。在这项研究中,我们关注进行像素级融合方法。

本文的其余部分组织如下。节2介绍相关的工作和目前的工作背后的动机。该融合方法中描述的部分3。实验结果在公共数据集都包含在部分4。提出了本研究的结论5。

2。相关的工作

一般来说,进行像素级融合方法可以分为两类:空间融合方法和变换域技术。天基融合方法通常解决融合问题通过像素灰度或像素梯度。尽管这些方法是简单而有效的,他们很容易失去空间细节(16]。刘等人。17)观察到这种类型的方法是更合适的融合任务的相同类型的图像。变换域技术通常需要变换系数作为图像融合的特征。获得融合图像融合和重建的变换系数。基于多尺度变换的图像融合方法已被广泛研究,因为它与人类视觉感知的兼容性。近年来,各种各样的融合提出了基于多尺度变换的方法,如低通金字塔(RP) [18),梯度金字塔(GP) [19),nonsubsampled contourlet变换(NSCT) [20.),离散小波变换(DWT) [21],dual-tree复小波变换(DTCWT) [22]。然而,基于多尺度变换的图像融合方法通常是复杂的,受到长时间处理和能源消耗问题,限制其应用。

由于上述原因,许多研究人员实现图像融合方法,利用离散余弦变换(DCT)。在[23),作者指出,基于DCT的图像融合方法是有效的由于其速度快、低复杂性。曹et al。24)提出了一种基于空间频率multifocus图像融合算法在DCT域中。实验结果表明,它可以改善输出图像的视觉质量。Amin-Naji和Aghagolzadeh et al。25)采用相关系数multifocus DCT域图像融合,证明该方法可以提高图像质量和稳定性在嘈杂的图像。为了提供更好的视觉效果,金等。26)提出了一种异构的图像融合方法通过结合DSWT, DCT和LSF。金等人证明,该方法优于传统的多尺度方法。尽管基于DCT的图像融合方法性能优越,融合结果显示不良的副作用,如屏蔽构件(27]。在进行DCT,图像通常是需要分成小块之前,导致图像中相邻块之间的不连续。为了解决这一问题,提出了几种过滤技术,如加权最小二乘滤波器(28),双边滤波器(29日),和各向异性扩散滤波30.]。谢,王31日)指出,各向异性扩散处理的图像可以保留图像边缘轮廓信息。与其它基于滤波的融合方法相比,基于各向异性扩散图像融合可以保留更多的边缘配置文件。它最好是抑制噪声和获得更好的视觉评估。然而,大多数的方法对各向异性扩散模型是基于扩散方程本身,忽略了图像的特征信息,这可能会导致损失或模糊的图像细节(纹理、弱边缘,等等)。受上述研究异构基于DCT的图像融合方法和各向异性扩散算法。该方法的优点主要在于以下三个方面:(1)由于使用DCT变换,本文提出的融合算法显示了良好的去噪能力(2)最终的融合图像显示令人满意的详细解析(3)该算法易于实现,实时性能很好,适合实时要求

3所示。提出了融合方法

在本节中,详细描述了该算法的运行机制。该图像融合框架可以分为三个部分,如图1。在第一步中,为了消除原始图像的噪声,DCT和逆离散余弦变换进行红外光谱和VI图像,分别。在第二步中,采用各向异性扩散分解IR和VI图像获取细节和基础层。在第三个步骤中,基础层由使用加权平均融合,和细节层融合利用Karhunen-Loeve转换。最后,融合基础和细节层是线性叠加得到最终的融合结果。

3.1。DCT

作为一个有效的转换工具,DCT变换图像信息从时域到频域,从而有效地减少图像的空间冗余。在这项研究中,2 d DCT的 图像块 是定义如下32]: 在哪里 表示 在空间域和图像像素值 表示 在频域DCT系数;是一个倍增系数,定义如下:

同样,二维逆离散余弦变换(IDCT)被定义为:

当执行DCT变换,占据了图像的大部分信息是集中在直流和低频系数谱附近。因此,系数接近0被删除,和图像的系数包含的主要信息是预留给逆变换。噪声的影响,可以有效地去除而不会导致图像失真。在这项研究中,如果通过DCT变换系数小于0.1,我们的系数设置为0。去噪的结果通过DCT在图所示2。

3.2。各向异性扩散

在计算机视觉中,各向异性扩散被广泛用于降低噪声,同时保留图像细节。一个图像的各向异性扩散模型可以表示如下(33]: 在哪里 扩散速率,和用来表示梯度算子和拉普拉斯算符,分别和是时间。然后,方程(4)可以被离散为:

在(5),是一个图像粗分辨率 规模。代表一个稳定常数满足 。当地的图像梯度沿北、南、东、西方向表示为:

同样,传导系数沿四个方向北,南,东,西部和可以被定义为:

在(7),是一个递减函数。为了保持平滑和边缘保护,在本文中,我们选择为: 在哪里是一个边缘大小参数。

让 和 分别是红外和VI形象,coregistered。各向异性扩散图像表示为 。基本层 和 进行各向异性扩散过程后得到了吗 和 ,分别表示为:

然后,细节层次 和 从各自的减去基础层的源图像,所示(10)。

结果得到的红外图像的各向异性扩散和VI形象图所示3。

3.3。建设和融合

3.3.1。基础层融合

采用加权平均融合基础第六层的红外光谱和图像。融合基础层计算:

在哪里和是归一化加权系数,设置为0.5。

3.3.2。细节层融合

KL-transform可以使新样本集近似原始样本集和最小均方误差分布,它消除了原始特征之间的相关性。我们使用KL-transform保险丝第六层的红外光谱和图像细节。让 和 第六层的红外光谱和图像细节,分别。基于KL-transform融合过程描述如下。

步骤1。安排 和 作为一个矩阵的列向量,表示 。

步骤2。计算自相关矩阵的 。

步骤3。计算特征值矩阵 ,和特征向量 和 的 。

步骤4。计算相关系数和对应于最大的特征值 ,这是定义为: 相对应的特征向量表示为 。而且,和是由:

第5步。融合细节层计算使用:

3.3.3。重建

在这项研究中,得到最终的融合图像的线性叠加和 ,如方程所示(14)。

4所示。实验

在本节中,coregistered IR和VI TNO图像融合的图像数据集被用来评估我们的算法。该数据库提供了大量coregistered红外和可见图像。所有的实验都是在MATLAB中实现2019年在1.8 GHz Intel (R) (TM)核心i7处理器8 GB RAM。该方法比较有六个典型的融合方法:多尺度奇异值表示(MSVD) [34),离散谐波小波变换(DCHWT) [35),离散小波变换(DWT) [21双刻度融合(TS) [],36),dual-tree复小波变换(DTCWT) [22],曲波变换(CVT) [37]。为了验证该方法的优势,实验验证分为两个部分。融合图像的主观评价结果第一部分所示。在第二部分,我们比较该算法的客观评价结果与六个比较算法。六双coregistered源图像中使用这个实验是描绘在图4。

4.1。主观的评价

融合方法相比该方法获得的结果和六个图所示5。融合实验结果从一对1到6表示从上到下,分别。

为了显示一个更好的比较,融合图像的细节与红色突出显示框。从图可以看出5,我们的方法保留更多的细节信息,含有更少的人工噪声在红色的窗口。在MSVD得到的融合图像,图像细节DWT,和TS模糊,显然从实验的第一个三双。与上述三种融合方法相比,基于DCHWT融合结果保留更多的细节信息,而表现出明显的VI的工件(清晰可见的最后一对实验)。DTCWT得到的融合图像,CVT,该方法可以保留更多的细节信息。DTCWT和CVT融合方法相比,该算法的融合结果看起来更自然。在下一节中,几种不同的客观质量指标评估验证了该方法的优点。

4.2。客观的评价

为了验证该方法的优势,交叉熵(CE) [38),互信息(MI) [39),平均梯度(AG) [39),相对标准偏差(RSD) [39),平均梯度(毫克)39,运行时间作为客观评价指标。CE代表之间的交叉熵融合图像和源图像。交叉熵越小,图像之间的差异越小。MI代表之间的互信息计算融合图像和源图像。MI值越大,两幅图像之间的相似度就越高。计算的平均梯度图像的定义涉及到计算图像,它反映了图像细节的表达能力的对比。相对标准偏差RSD为代表的源图像和融合图像,这反映了真值的偏离程度。相对标准偏差越小,融合精度越高。平均梯度表示融合图像的定义。它指的是清晰的每一个细节的影子图像及其边界。 The objective evaluation results of the 6 pairs of the experiment in the “Subjective Evaluation” section are shown in Tables1- - - - - -3,最好的结果以粗体突出显示。

的客观评价指标的比较结果实验给出了表的第一次两双1。从表1,该方法优于其他融合方法的所有指标除了CE。虽然该方法的CE值不是最小值,它是非常接近最小值。

客观评价指标的比较结果的第三和第四组实验如表所示2。从表可以看出2,该算法的融合结果在本文中包含更多的信息。该方法优于其他方法至于AG),取代,MG和运行时间。CE值,该方法在第三条实验是由MSVD非常接近最佳值。第四条实验,融合质量指标的生成的图像融合方法是最好的。

的比较结果的客观评价指标的最后两对实验给出了表3。从表可以看出3MI,相对标准偏差、镁、和运行时间值的方法明显优于相比,其他六个方法。CE值和AG值的方法在过去的两对实验分别接近最佳值。

从表可以看出1- - - - - -3MI, RSD为毫克,该方法的运行时间比获得其他融合方法。尽管CE值和AG值的方法不是最好的,他们非常接近最好的。本文提出的融合方法能保证融合精度高和令人满意的实时性能,适合实时要求。

5。结论

数据融合,物联网的关键技术,可以有效地减少数据通信网络,从而减少能量损失。在本文中,我们集中在红外图像的融合和VI形象和提出了一个新颖的异构融合的方法。考虑到DCT已经显示出良好的去噪能力和各向异性扩散已经显示出令人满意的细节决议,我们融合两种算法通过有效的融合策略。实验结果表明,该方法可以实现更好的性能与其他六个最先进的融合方法相比至于主观和客观指标。

然而,红外和VI形象在这个实验中都是coregistered。实际的多源数据可能未注册。在未来,我们将专注于未登记的图像融合。

数据可用性

实验数据可以发现https://figshare.com/articles/TN_Image_Fusion_Dataset/1008029。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作得到了中国博士后科学基金会资助下2019 m653874xb,中国的国家自然科学基金资助51804250,陕西省的科学研究项目教育部授予18 jk0512之下,自然科学基础研究项目拨款2020下的陕西金桥- 757和博士启动基金资助下的西安科技大学2017 qdj026和2018 qdj017。

引用

1. j . x Li Li y, z, a . Nallanathan,“残余合作诺网络收发器硬件损伤。”IEEE无线通信,19卷,不。1,第695 - 680页,2020。视图:出版商的网站|谷歌学术搜索
2. 李x m .刘邓,p . t . Mathiopoulos z叮,和y . Liu”全双工合作诺玛传送系统I / Q不平衡和不完美的原文如此,”IEEE无线通信信,9卷,不。1,17 - 20,2020页。视图:出版商的网站|谷歌学术搜索
3. m . Mozaffari w•萨阿德·m·班尼斯和m . Debbah”移动无人机(uav)节能的物联网通信,”IEEE无线通信,16卷,不。11日,第7589 - 7574页,2017年。视图:出版商的网站|谷歌学术搜索
4. f . a . Turjman和美国Alturjman 5 g / IoT-enabled无人机多媒体交付在面向工业应用中,“多媒体工具和应用程序,卷79,不。13 - 14日,第8648 - 8627页,2020年。视图:出版商的网站|谷歌学术搜索
5. 和l . j . x Li Li Li”性能分析的不良SWIPT诺玛在不完美的威布尔通道传送网络,”IEEE系统杂志,14卷,不。1,第672 - 669页,2020。视图:出版商的网站|谷歌学术搜索
6. h . x,问:Wang彭et al .,”一个统一框架HS-UAV诺网络:性能分析和位置优化,“IEEE访问,8卷,第13340 - 13329页,2020年。视图:出版商的网站|谷歌学术搜索
7. t, t .香港h, s, s Mumtaz和m . Cheriet”一种改进UAV-PHD基于过滤器轨迹跟踪算法multi-UAVs 5 g在未来物联网情况下,“电子产品,8卷,不。10日,1188 - 1203年,2019页。视图:出版商的网站|谷歌学术搜索
8. 问:h, s . Liu段和w·李”应用程序的多传感器图像融合物联网在图像处理中,“IEEE访问》第六卷,第50787 - 50776页,2018年。视图:出版商的网站|谷歌学术搜索
9. h . Shakhatreh a . Sawalmeh a Al-Fuqaha et al .,“无人机(uav):一项调查在民事程序和关键研究挑战,”IEEE访问7卷,第48634 - 48572页,2019年。视图:出版商的网站|谷歌学术搜索
10. z l .孟c .辽王,z沈,“多源图像融合技术的发展和军事应用,”航空电子战,27卷,不。3、17 - 19,2011页。视图:谷歌学术搜索
11. d .风扇和y Cai研究双源融合的交通图像基于变换域和边缘检测,”红外技术,39卷,不。9日,第745 - 740页,2015年。视图:谷歌学术搜索
12. w·g·罗董,k . Wang左,曹,h·张,“视点融合CNN对心脏左心室容量估计图像,先生”IEEE生物医学工程,卷65,不。9日,第1934 - 1924页,2018年。视图:出版商的网站|谷歌学术搜索
13. 李,h .阴,l .方“遥感图像融合通过学习字典稀疏表示,“IEEE地球科学和遥感,51卷,不。9日,第4789 - 4779页,2013年。视图:出版商的网站|谷歌学术搜索
14. y z . Wu黄和k·张,“基于主成分分析的遥感图像融合方法和曲波变换”遥感的印度社会杂志》上,46卷,不。5,687 - 695年,2018页。视图:出版商的网站|谷歌学术搜索
15. c . j . Ma c . Chen Li和j .黄”红外和可见光图像融合通过梯度转移和全变差最小化,“信息融合31卷,第109 - 100页,2016年。视图:出版商的网站|谷歌学术搜索
16. n Aishwarya和c . b . Thangammal”使用DTCWT可见光和红外图像融合和自适应联合集群字典,”红外物理与技术卷,93年,第309 - 300页,2018年。视图:出版商的网站|谷歌学术搜索
17. 陈x y . Liu, r·沃德和z . j . Wang”与卷积稀疏表示图像融合,”IEEE信号处理信件,23卷,不。12日,第1886 - 1882页,2016年。视图:出版商的网站|谷歌学术搜索
18. a . Toet“金字塔图像融合的比率低通。”模式识别的字母,9卷,不。4、245 - 253年,1989页。视图:出版商的网站|谷歌学术搜索
19. m·李董y、x王,“基于梯度金字塔的图像融合算法及其性能评估,”应用力学和材料卷,525年,第718 - 715页,2014年。视图:出版商的网站|谷歌学术搜索
20. 张j . j . Liu, y Du,“多光谱图像和全色图像的融合方法基于NSCT变换和自适应图像灰度校正,”2018第三国际会议信息系统工程(ICISE),10 - 15页,上海,中国,2018年5月。视图:出版商的网站|谷歌学术搜索
21. h·考尔和j .王妃”,图像融合与DWT数字图像使用拉普拉斯算子的金字塔,”2015第三国际会议上图像信息处理(ICIIP)Waknaghat,页393 - 398年,印度,2015年12月。视图:出版商的网站|谷歌学术搜索
22. a . Kushwaha a哈雷o·普拉卡什,j . i的歌,和m .全“3 d医疗使用双树复小波变换的图像融合,”2015年国际会议控制、自动化和信息科学(华人)常熟,页251 - 256年,中国,2015年10月。视图:出版商的网站|谷歌学术搜索
23. m . Amin-Naji和a . Aghagolzadeh Multi-focus使用卷和终点在DCT域图像融合,”学报》国际会议在电气和计算机工程的新研究成果(ICNRAECE 16),页728 - 733,德黑兰,伊朗,2016年5月。视图:谷歌学术搜索
24. l .曹l·金·h·道,g . Li z壮族,和y张“Multi-Focus图像融合基于离散余弦变换的空间频率域,“IEEE信号处理信件,22卷,不。2、220 - 224年,2015页。视图:出版商的网站|谷歌学术搜索
25. m . Amin-Naji和a . Aghagolzadeh Multi-focus基于相关系数,在DCT域图像融合”2015年第二届国际会议上知识工程和创新(KBEI),页632 - 639,德黑兰,伊朗,2015年11月。视图:出版商的网站|谷歌学术搜索
26. x,问:江,s .姚明et al .,“红外和视觉基于离散余弦变换的图像融合方法在离散平稳小波变换和局部空间频率域,“红外物理与技术卷,88年,页1 - 12,2018。视图:出版商的网站|谷歌学术搜索
27. y . a . v . Phamila和r . Amutha multi-focus图像的基于离散余弦变换的融合视觉传感器网络,”信号处理卷,95年,第170 - 161页,2014年。视图:出版商的网站|谷歌学术搜索
28. 江y和m . Wang,“使用多尺度图像融合edge-preserving分解基于加权最小二乘滤波器,”专业图像处理,8卷,不。3、183 - 190年,2014页。视图:出版商的网站|谷歌学术搜索
29. g . Petschnigg r . Szeliski m . Agrawala m·科恩,h·霍普和k .富山”与flash和flash图像对数码摄影”,ACM交易图片,23卷,不。3、664 - 672年,2004页。视图:出版商的网站|谷歌学术搜索
30. m . Alrefaya“自适应斑点减少各向异性扩散滤波基于解剖之前,正电子发射断层扫描图像”2018年第四届国际会议上电脑和技术应用(ICCTA),页194 - 201,伊斯坦布尔,土耳其,2018年5月。视图:出版商的网站|谷歌学术搜索
31. 谢和z . Wang“Edge-directed加强基于各向异性扩散去噪,”《电子学报》,34卷,不。1,59 - 64年,2006页。视图:谷歌学术搜索
32. e . Vakaimalar k磨面,s . r .先生“Multifocus图像融合方案基于离散余弦变换和空间频率,“多媒体工具和应用程序,卷78,不。13日,17573 - 17587年,2019页。视图:出版商的网站|谷歌学术搜索
33. d . p . Bavirisetti和r . Dhuli融合红外和可见光传感器图像的基于各向异性扩散和Karhunen-Loeve变换,“IEEE传感器杂志,16卷,不。1,第209 - 203页,2016。视图:出版商的网站|谷歌学术搜索
34. b . Liu w·j·刘,y·魏”建设的六个频道多尺度奇异valuedecomposition multi-focus图像融合及其应用,”系统工程与电子产品,37卷,不。9日,第2197 - 2191页,2015年。视图:谷歌学术搜索
35. b . k . Shreyamsha Kumar“Multifocus和基于像素的多光谱图像融合使用离散余弦谐波小波变换的意义,“信号,图像和视频处理7卷,第1143 - 1125页,2013年。视图:出版商的网站|谷歌学术搜索
36. d . p . Bavirisetti和r . Dhuli双刻度图像融合的可见光和红外图像使用特点发现,“红外物理与技术卷。76年,52 - 64年,2016页。视图:出版商的网站|谷歌学术搜索
37. f . Nencini a . Garzelli s Baronti, l . Alparone“遥感图像融合利用曲波变换,“信息融合,8卷,不。2、143 - 156年,2007页。视图:出版商的网站|谷歌学术搜索
38. 美国拉库马和美国Kavitha冗余离散小波变换和contourlet变换与定量分析多模医学图像融合,”2010年第三届国际会议在新兴工程技术的趋势果阿,页134 - 139年,印度,2010年11月。视图:出版商的网站|谷歌学术搜索
39. j·马,马y和c·李”红外和可见光图像融合方法和应用程序:一个调查,“信息融合,45卷,不。2、153 - 178年,2019页。视图:出版商的网站|谷歌学术搜索

版权

版权©2020帅郝et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。