绿色荧光蛋白,通过生成对抗网络相衬显微镜的图像融合

文摘

细胞和分子生物学领域的绿色荧光蛋白(GFP)图像提供功能信息体现生物细胞的分子分布而相衬显微镜的图像与高分辨率保持结构信息。融合GFP和相衬显微镜的图像具有高意义研究亚细胞定位、蛋白质功能分析和基因表达。本文提出了一种新颖的算法融合这两种生物图像通过生成对抗网络(甘斯)仔细考虑自己的特点。融合问题是模仿作为一个发电机和鉴别器之间对抗的游戏。发电机的目标是创建一个融合图像,提取功能信息的GFP图像和相位对比图像的结构信息在同一时间。鉴频器的目标是进一步提高整体融合图像之间的相似性和相衬显微镜的图像。实验结果表明,该方法可以表现几个方面的代表性和最先进的图像融合方法的视觉质量和客观评价。

1。介绍

细胞和分子生物学领域的荧光成像和相衬成像是两个代表性的成像方法。作为一种广泛使用的工具在荧光成像,绿色荧光蛋白(GFP)显示暴露在光线明亮的绿色荧光的蓝色的紫外线。GFP的图像包含的功能信息相关的分子分布的生物细胞,但空间分辨率很低。相衬成像是一种光学显微镜技术,通过将它转换为可视化相移的变化幅度或对比图像。与高分辨率相衬显微镜的图像提供了结构信息。GFP融合图像和相位对比图像的定位具有重要意义亚细胞结构,蛋白质的功能分析,基因的表达(1]。

近年来,各种各样的图像融合方法。一般来说,现有的图像融合算法主要包括三个步骤:图像变换、融合、逆变换(2]。代表融合方法包括多尺度transform-based的(3- - - - - -8),稀疏表示的(9- - - - - -13)、空间域的(14- - - - - -17),混合transform-based的(18- - - - - -21)等。在大多数现有的图像融合方法,每个输入图像的作用相当于融合系统而言,这意味着输入图像通常接受相同的转换和统一的融合规则。然而,对于GFP和相衬显微镜的图像融合的问题,考虑到输入图像变化显著,不同的角色可以分配给他们的融合系统通过仔细解决自己的特征,这可能会提供一个更有效的方法来解决这种融合的问题。

在本文中,我们提出一个新颖的GFP和相衬显微镜的图像融合方法基于生成对抗网络(甘斯)。融合问题是模仿作为一个发电机和鉴别器之间对抗的游戏。发电机的目的是获取相结合的图像融合GFP的功能信息图像一起相衬显微镜的图像的结构信息,而鉴别器进一步确保整体融合图像和相位对比图像之间的相似性。这种对抗的过程能使融合结果捕捉来自不同的输入图像的互补信息尽可能多。该方法的一个例子如图1,输入GFP和相衬显微镜的图像数据所示1(一)和1 (b),分别。图1 (c)显示了该方法得到的融合结果。通过指的是输入图像,可以看出我们的方法达到高性能的功能和结构信息的保存。总结了本文的主要贡献如下:(1)(我们建议深入学习)- DL - GFP和相衬显微镜的图像融合方法通过生成对抗网络(甘斯)。从这两种生物中提取信息充分图像,输入图像区别对待提出融合模型中根据自己的特点。(2)广泛的实验140多双的输入图像表明,该方法优于几种有代表性的图像融合方法在视觉质量和客观评价。

本文的其余部分组织如下。部分2描述了一些相关的工作。节3,该GAN-based图像融合方法的详细介绍。给出了实验结果和讨论部分4。最后,部分5总结了纸。

2。相关工作和动机

2.1。GFP和相衬显微镜的图像融合

融合GFP和相衬显微镜的图像有利于蛋白质的亚细胞定位和功能性质的研究。在过去的几年里,提出了几种图像融合方法解决这个问题(22- - - - - -24]。李,王22)提出了一个NSCT-based GFP和相衬显微镜的图像融合方法。在他们的方法中,输入图像的强度组件由NSCT分解,获得的变权系数然后合并的融合规则。在[23),风等人介绍了GFP和相衬显微镜的图像融合方法基于锋利的频率定位contourlet变换(SFL-CT)。保险丝的分解系数,他们设计了一个最大地区能源——(绝笔)规则为基础,基于最大绝对值-(飞行器)规则,和一个社区的一致性测量——(不合格品)近似部分波段的基础规则合并,最好详细的部分波段,分别和其他详细的部分波段。最近,邱et al。24)提出了一个复杂shearlet变换——基于(CST)的方法来融合GFP和相衬显微镜的图像。高频子带的融合与传统的绝对最大规则,而规则介绍合并Haar小波能量低频子带上。

值得注意的是,上述GFP和相衬显微镜的图像融合方法都是基于传统的多尺度变换。此外,每个输入图像的作用相当于在这些融合方法,当他们处理GFP形象(更准确地说,它的强度分量)和相衬显微镜的图像以同样的方式。

2.2。深上优于图像融合

近年来,由于高有效性和便利功能深度学习(DL)模型表示,DL-based研究已成为图像融合领域的一个非常活跃的方向(25]。许多DL模型如堆放autoencoders(节约)和卷积神经网络(cnn)曾在一个广泛的图像融合问题,包括遥感图像融合(26,27],multifocus图像融合[28- - - - - -30.],multiexposure图像融合[31日,32),医学图像融合(33,34),和红外和可见光图像融合35- - - - - -37]。在[26),黄等人首先深度学习引入遥感图像融合运用稀疏去噪autoencoder描述之间的非线性映射,低收入和高分辨率的多光谱图像补丁。刘等人。28)提出了一个CNN-based multifocus图像融合方法,暹罗网络设计同时充当的角色活动水平测量和融合规则。在[31日),Kalantari Ramamoorthi介绍学习型multiexposure图像融合方法通过CNN模型复杂的deghosting过程的动态场景。Hermessi et al。33)提出了一个CNN-based医学图像融合方法preextracts shearlet源图像的特征作为网络的输入。最近,马等。35]引入了小说生成对抗网络——(GAN)基于红外和可见光图像融合方法,造型融合问题作为一个对抗性的游戏,旨在保护同时红外强度和可见的细节。这项工作表明甘高潜力的多通道图像融合模型。

2.3。这个工作的动机

在这个工作中,考虑到GFP图像和相位对比图像的特征明显不同,在这个问题上与现有融合方法中引入部分2。1不同的角色分配,输入图像中提取信息更有效地从他们。为此,受到很大的进步最近实现图像融合的深度学习,GAN-based GFP和相衬显微镜的图像融合方法。我们主要采用GAN-based融合方案介绍(35)由于其有效性和简单的多通道图像融合,而精心设计的损失函数根据GFP的特征和相衬显微镜的图像。我们所知,这是第一次使用DL-based方法领域的GFP和相衬显微镜的图像融合。

3所示。该方法

3.1。概述

图2显示了拟议中的GFP的原理图和相衬显微镜的图像融合方法。融合问题是制定作为一个敌对的问题保持互补信息中包含尽可能多的输入图像。GFP图像视为一个RGB彩色图像融合过程。首先转换为YUV颜色空间,能有效地独立的强度或彩色图像的亮度分量。实际上,这是一种广泛使用的方法领域的功能和结构图像融合(6,38]。

在培训过程中,GFP的形象转换为YUV颜色空间来获得Y,U,组件: , ,和 。然后,和相衬显微镜的图像连接在频道维度来生成一个双通道地图吗 ,在第一频道和第二通道 。接下来,送入发生器吗和输出称为中间融合图像 ,这斜坡保持的功能信息和留住的结构信息 。 和被送入鉴频器吗进一步确保它们之间的总体相似度。通过这种方式,之间对抗的游戏和成立。

在测试过程中,和连接的通道尺寸,然后送入训练发电机获得融合图像的中间 。最终的融合图像是被执行逆YUV转换(即收购。YUV RGB)结束 , ,和 。

3.2。网络体系结构

发电机的网络体系结构如图3。生成器的输入连接和 ,紧随其后的是一个五层卷积网络。在第一个两层使用的过滤器,下两层,最后一层 , ,和 ,分别。“n256s1”符号表示相应层有256个特征图和步幅是1,等等。在每一个跨越1和卷积层,没有填充操作。保持源图像中所包含的细节信息,将采样过程不是采用每一层。除此之外,要克服的问题消失梯度和数据初始化敏感,批标准化受聘在第一个四层。漏水的ReLU激活和双曲正切函数用于第一个四层和最后一层,分别。的输出融合图像的中间吗 。

鉴频器的网络体系结构如图4。鉴频器的输入和 ,紧随其后的是一个五层卷积网络过滤器是用于第一个四层2的步伐。鉴频器实际上扮演的角色分类器。批标准化工作在第二、第三和第四层,和破ReLU激活函数在第一个四层,最后一层是一个线性层。鉴频器的输出是预测标签(维度是其中之一)。

3.3。损失函数的定义

我们网络的损失函数是由两个部分组成:损失的函数发生器和鉴别器的损失函数 。提高生成的图像的质量和稳定性的训练过程,设计基于最小二乘的生成对抗网络(LSGANs)引入了毛et al。39]。

3.3.1。的损失函数发生器

的损失函数是制定 在哪里和表示发电机之间的对抗性的损失和鉴别器和内容损失,分别。的参数是用来控制之间的平衡和 。第一项被定义为 在哪里是训练样本的数量在一个批处理和表示融合图像 。的参数是发电机的价值预计鉴别器相信的假数据。第二项是制定 在哪里和表示输入图像的高度和宽度,分别弗罗贝尼乌斯表示矩阵规范代表结构相似的操作(40]。第一项是为了保持GFP的功能信息图像。第二项目标提取的能量(由图像强度)相差形象,第三项是设计来维持结构相衬显微镜的图像中包含的信息。和权衡参数来平衡这三个方面。

3.3.2。鉴频器的损失函数

的信息只有它的能量不能完全表达和结构信息。例如,纹理细节可能不是完全以这种方式提取。以进一步提高整体的相似性和 ,一个鉴别器引入拟议的框架。的损失函数是制定 在哪里和站的标签和 ,分别。

3.4。培训细节

流行的GFP数据库,这是可用的http://data.jic.ac.uk/Gfp/,约翰英纳斯中心发布的1采用]作为训练数据在这工作。注册的数据库包含148对GFP和相衬显微镜的图像的大小关注的像素拟南芥细胞。

为了获得足够的数据进行网络训练,每个输入图像裁剪成相同大小的大量补丁像素。种植的步幅是设置为12。因此,我们完全收购65268对GFP和相衬显微镜的图像补丁,和每个补丁是规范化的范围 。在每个迭代训练,发电机包含的输入(即对输入图像补丁。批量大小 ),和输出中间融合补丁和相差补丁(大小的中心部分像素)受聘为鉴别器的输入。此外,在每个迭代中,鉴别器首先训练*(即。,the training step is )用亚当优化器(41然后是发电机。算法1总结了网络训练的过程。

在我们的实验中,参数设置如下培训。批处理大小和时代的数量设置为32和10个,分别。因此,训练的迭代的数量 。鉴频器的训练步骤是固定的,和学习速率将 。容易训练,建议在35),采用软标签 , ,和 。也就是说,他们将随机数,而不是具体的。标签的和标签的的范围是0到0.3和0.7至1.2,分别。标签的范围从0.7到1.2。

4所示。实验

4.1。实验设置

以下4.4.1。测试图片

考虑到该方法是一个无人管理的方法(没有地面真理融合图像训练),所有148对图像用于培训GFP数据库(1)(如部分中提到3所示。4)也作为测试图像的作用。

4.1.2。比较的方法

选择7个具有代表性的多通道图像融合方法的性能比较:dual-tree复杂的基于小波变换- (DTCWT)方法(3),基于曲波变换——(CVT)的方法(4),non-subsampled contourlet变换-(基于NSCT)方法(5),基于稀疏表示——(SR)的方法(9),基于卷积神经网络(CNN)——的方法(36),锋利的频率定位contourlet变换——(SFL-CT)为基础的方法23),和复杂的shearlet变换——基于(CST)的方法(24]。前三个是基于流行的多尺度变换,及其参数设置为最优值在一个有影响力的比较研究[42]。第四个是基于稀疏表示通过同步正交匹配追踪(SOMP)算法。第五个是最近提议深度学习——(DL)方法为基础,而最后两个是专门为GFP和相衬显微镜的图像融合方法。这些方法中的参数都设置为默认值无偏的比较。

4.1.3。客观指标

在[43],刘等人提出了一个客观评价指标对图像融合的全面审查和分类分为四类:基于理论的的信息,图像特征的图像结构的相似性,人类perception-inspired的。本文进行全面客观的评估,从每个类别选择是广泛使用的指标之一。第一个是归一化互信息(问_心肌梗死)[44]措施之间的相互依赖输入图像和融合图像。第二个是一个图像特征指标使用相一致(问_P)[45]。这个指标评估通过比较当地的交叉融合质量的相关性对应的输入和融合图像的特征图谱。第三个是杨的指标(问_Y)[46),评估结构相似性输入图像和融合。最后一个是陈和布卢姆提出的(问_CB)[47基于人类视觉系统(HVS)模型。此外,视觉信息保真度(VIF)测量48)之间的输入相衬显微镜的图像和融合图像也用于客观的评估。通过描述图像信息之间的关系和视觉质量,VIF措施被广泛验证与主观评价是高度一致的。值得注意的是,同样的测量之间的GFP融合图像图像和不包括在内。在报道23)(表1),结果VIF GFP图像和融合图像之间的测量(该方法有最低分数)是相反的VIF测量之间的相衬显微镜的图像和融合图像(该方法有得分最高的)。我们还在我们的实验中验证这一点。具体来说,我们通过实验发现结果VIF测量之间的相衬显微镜的图像和融合图像与其他融合指标是高度一致的,而GFP形象的情况是相反的。这个问题的一个可能的解释是,大部分的像素或地区GFP图像中暗(强度为零),这是明显不同的情况下融合图像或相衬显微镜的图像。因此,更高的VIF GFP图像和融合图像之间的测量可能不显示一个更好的融合结果。根据上述的观察,只有VIF测量之间的相衬显微镜的图像和融合图像用于评估在这工作。对于上面的指标,分数越大表明更好的性能。

4.2。参数分析

在本节中,三个权衡的影响参数 , ,和在我们的方法是通过目标融合指标定量研究。基于大量的实验中,我们得到一个合适的设置: , ,和 。作为一个受欢迎的方法分析多个参数的影响,控制一个变量采用验证这一点。结果如图所示5。考虑到几乎很难显示所有包含太多的组合的结果,只提供给一组结果表现出每个参数的影响,通过解决其他两个well-performed值(这是一个广泛使用的方式对图像融合的研究(8,38])。对于每个度量,平均得分148分图像用于评价图5。很明显,对于每一个参数,最佳的性能在所有五个指标大多是获得时它的值是6。因此,这三个自由参数都设置为6的方法。

4.3。结果与讨论

数据6和7提供两套融合结果包括输入图像和不同的方法得到的融合图像。在每张图片,两个代表区域扩大的特写镜头更好的比较。

可以看出DTCWT-based, CVT-based, NSCT-based和SR-based方法可以捕捉的功能信息GFP形象和相衬显微镜的图像的空间细节。然而,这些方法往往会失去大量的图像能量相衬显微镜的图像。因此,融合图像的亮度相衬显微镜的图像相比,显然是低导致不良的视觉工件(见第一个人物的特写镜头6 (b)- - - - - -6 (f)和7 (b)- - - - - -7 (f))。

CNN-based方法,图像能量可以保存完好,但功能信息是不能很好地解决绿色区域实际上是在强调与GFP输入图像相比。因此,一些结构性细节隐藏的绿色区域(见第二个人物的特写镜头6 (g)和7 (g))。SFL-CT-based和CST-based方法达到明显改善这个问题,但是仍然受到这一缺陷在一定程度上(见第二个人物的特写镜头6 (h)- - - - - -6(我)和7 (h)- - - - - -7(我))。

该方法可以达到最高的视觉质量在所有的方法。一方面,绿色荧光蛋白的功能信息图像准确地保存的方法。另一方面,我们的方法的融合图像继承结构信息和图像的能量相差的形象。

的客观评估不同的融合方法在上述五个指标表中列出1。为每个方法,中值(MV)和标准差(SD)的每个指标在148对输入图片报道。此外,图像对的数量相应的方法达到得分最高的清点,称为赢得倍(WT)表1。最大平均值、标准差最小和最大赢得时间的所有方法中以粗体表示。可以看出,该方法明显优于DTCWT-based, CVT-based, NSCT-based, SR-based CNN-based, SFL-CT-based方法在所有五个评价指标。相比CST-based方法赢得第一个地方问_Y和问_CB,我们的方法拥有明显的优势问_心肌梗死,问_P和VIF,而实现非常接近的性能问_Y和问_CB。除此之外,该方法获得相对较小的标准差在所有五个指标,这意味着它可以稳定地获得高质量的融合结果。

基于上述定性和定量比较,该方法表现出明显的优势在其他七个方法。此外,实际使用中是足够高的计算效率。具体来说,组成的硬件环境下一个英特尔酷睿i7 - 7820 k的CPU和NVIDIA泰坦Xp GPU,只需要0.06秒的方法融合两个图像的大小像素。所有其他的方法都是在Matlab中实现以来,他们不提供运行时间进行比较。

4.4。网络体系结构的影响

在本节中,我们研究网络结构的影响该方法的融合性能。具体来说,影响的数量特征图和卷积的数量层进行了研究。首先,两组实验进行调查的影响特征图的数量,其中一个是减半的数量特征图谱前四层的发电机和鉴频器,另一个是增加了一倍。其次,分析卷积层的数量的影响,我们执行另一个两组实验,其中一个是删除的第一层的发电机和第四层鉴别器(其中包含256特征图),而另一种是添加一个卷积之前用512特征图发电机层第一层到第四层后的鉴频器,分别。

表2上面列出的客观评价结果实验,用减半特征图,特征图谱翻了一倍,降低了层,和增加层。给出原始网络体系结构的结果作为参考。为每个方法中,每个指标的平均值148对输入图片报道。可以看出,该方法通常可以获得更好的性能和更多的功能地图和卷积层。特别是,特征图谱的数量相对更对融合性能的影响在这个任务中,相比卷积层的数量。通过表中给出的结果1考虑在一起,我们可以看到,该方法比较模型(减半特征图谱或减少层)仍然足够竞争在所有融合方法。重模型(翻了一番特征图谱或增加层)可以提供一些原始网络体系结构的进一步改善,但程度并不重要。考虑到内存消耗和计算效率等因素,这是一个合适的选择采用部分中描述的网络体系结构3作为默认的设置。

4.5。验证的过度拟合问题

如前所述,该融合方法本质上是一个无监督方法由于没有地面真理融合图像用于培训。因此,整个数据集可以用于训练和测试在上面的实验中,没有将它划分为训练集和测试集。尽管这是一个合理的方式获得所有图像的融合结果,新的测试数据训练模型的性能仍然是未知的。

为了解决这个问题,我们进行5倍交叉验证研究如果提出融合模型过度拟合的问题。具体来说,图像的所有148对随机分为五组,30双前四组和28日对在过去的。在每一个褶皱,四组作为训练数据和剩下的一个是用于测试。因此,每一对图片仅用于测试一次,和148年获得融合图像在测试过程中用于客观评价。表3显示了客观的评估结果5倍交叉验证实验中,随着初始培训/测试方式比较的结果。为每个方法中,每个指标的平均值148对输入图像。毫不奇怪,交叉验证方法的性能,与原来的相比略有下降。通过引用其他融合方法的性能报告在表1,我们可以发现这减少程度很小,这表明没有明显的过度拟合现象,提出了图像融合模型具有良好的实用性的新例子。

5。结论和未来的工作

在本文中,我们提出一个GFP和相衬显微镜的图像融合方法基于生成对抗网络。融合问题是解决发电机之间的对抗性的游戏和鉴别器通过仔细考虑不同的输入图像的特点。实验结果表明,该方法可以同时从GFP的图像中提取功能信息和相衬显微镜的图像的结构信息,从而更好的性能比一些现有方法方面的视觉质量和客观的评估。提出了融合框架通用性高功能和结构图像融合问题。在未来,我们将研究它的可行性在多模态医学图像融合问题,如磁共振(MR)和正电子发射断层扫描(PET)图像融合。

数据可用性

支持这项研究的数据来自之前报道的研究和数据集,已被引用。本研究中使用的数据集可以在工作http://data.jic.ac.uk/Gfp/,约翰英纳斯中心发布的。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究得到了国家自然科学基金(批准号61701160和61701160),安徽省级自然科学基金(批准号1808085 qf186),中央大学的基础研究基金(批准号JZ2018HGTB0228), SenseTime研究基金。

引用

1. o . a . Koroleva m·l·汤姆林森d领袖p . Shaw和j·h·杜南“高通量蛋白定位在拟南芥中使用农杆菌介导瞬时表达GFP-ORF融合,“植物杂志第41卷。。1,第174 - 162页,2005。视图:出版商的网站|谷歌学术搜索
2. s .李x Kang l .方j . Hu和h .阴”进行像素级图像融合:一项调查状态的艺术”信息融合33卷,第112 - 100页,2017年。视图:出版商的网站|谷歌学术搜索
3. j·j·刘易斯,r . j .奥卡拉汉s . g . Nikolov d·r·牛和n . Canagarajah”像素,提出与复杂的小波图像融合,“信息融合,8卷,不。2、119 - 130年,2007页。视图:出版商的网站|谷歌学术搜索
4. f . Nencini a . Garzelli s Baronti, l . Alparone“遥感图像融合利用曲波变换,“信息融合,8卷,不。2、143 - 156年,2007页。视图:出版商的网站|谷歌学术搜索
5. 问:张和B.-L。郭:“Multifocus图像融合使用nonsubsampled contourlet变换,“信号处理,卷89,不。7,1334 - 1346年,2009页。视图:出版商的网站|谷歌学术搜索
6. 黄y, y, s, p .林,“多通道传感器医学图像融合基于二型模糊逻辑在nsct域,“IEEE传感器杂志,16卷,不。10日,3735 - 3745年,2016页。视图:出版商的网站|谷歌学术搜索
7. j·杜、w·李和小,“先验图像融合在当地的拉普拉斯算子的滤波领域感兴趣的信息,“IEEE图像处理,26卷,不。12日,第5866 - 5855页,2017年。视图:出版商的网站|谷歌学术搜索
8. z歌、江h和s . Li”小说融合框架基于NSCT域自适应相全身PET和CT图像,”计算和数学方法在医学卷,2017篇文章ID 8407019、9页,2017。视图:出版商的网站|谷歌学术搜索
9. b·杨和李,“用同步正交匹配追踪”进行像素级图像融合,信息融合,13卷,不。1,10 - 19,2012页。视图:出版商的网站|谷歌学术搜索
10. 朱z, y柴,h .阴,y,和z . Liu”小说字典学习方法多模医学图像融合,“Neurocomputing卷,214年,第482 - 471页,2016年。视图:出版商的网站|谷歌学术搜索
11. 陈x y . Liu, r·k·沃德,和z . j . Wang”与卷积稀疏表示图像融合,”IEEE信号处理信件,23卷,不。12日,第1886 - 1882页,2016年。视图:出版商的网站|谷歌学术搜索
12. x h . Li, d .道,y . Tang和r·王”联合医学图像融合去噪和增强通过歧视低秩稀疏字典学习,”模式识别卷,79年,第146 - 130页,2018年。视图:出版商的网站|谷歌学术搜索
13. j . x, s, s . Liu,和徐,“Multi-focus基于联合稀疏表示的图像融合和优化理论,“信号处理:图像通信卷,78年,第134 - 125页,2019年。视图:出版商的网站|谷歌学术搜索
14. 周x呗,y, f,雪,“Quadtree-based multi-focus使用加权focus-measure图像融合,“信息融合22卷,第118 - 105页,2015年。视图:出版商的网站|谷歌学术搜索
15. y刘,刘,和z . Wang Multi-focus图像融合与密集的筛选,“信息融合,23卷,第155 - 139页,2015年。视图:出版商的网站|谷歌学术搜索
16. 赵j . s . Liu, m·施“医学图像融合基于滚动指导滤波器和皮质飙升模型,”计算和数学方法在医学ID 156043条,卷。2015年,9页,2015。视图:出版商的网站|谷歌学术搜索
17. c . j . Ma c . Chen Li和j .黄”红外和可见光图像融合通过梯度转移和全变差最小化,“信息融合31卷,第109 - 100页,2016年。视图:出版商的网站|谷歌学术搜索
18. 李和b·杨“混合多分辨率多传感器多通道图像融合的方法,”IEEE传感器杂志,10卷,不。9日,第1526 - 1519页,2010年。视图:出版商的网站|谷歌学术搜索
19. y刘,刘,和z王”的总体框架基于多尺度变换的图像融合和稀疏表示,“信息融合,24卷,第164 - 147页,2015年。视图:出版商的网站|谷歌学术搜索
20. h·c·邱y Wang张,夏,“CT图像融合和先生NSST域稀疏表示,“计算和数学方法在医学ID 9308745条,卷。2017年,13页,2017。视图:出版商的网站|谷歌学术搜索
21. j .夏y陈,陈a, y,“医学图像融合在NSCT域,基于稀疏表示和相”计算和数学方法在医学卷,2018篇文章ID 2806047, 12页,2018。视图:出版商的网站|谷歌学术搜索
22. t·李和y王“生物图像融合使用一个基于NSCT的变权方法,”信息融合,12卷,不。2、85 - 92年,2011页。视图:出版商的网站|谷歌学术搜索
23. b . p .冯j . Wang Wei, d . Mi”GFP图像和相位对比图像的融合算法的拟南芥细胞基于SFL-contourlet变换”计算和数学方法在医学文章ID 635040卷,2013年,10页,2013。视图:出版商的网站|谷歌学术搜索
24. 秋,y, y郭,s .夏”融合GFP和相衬的图像具有复杂shearlet变换和haar小波能量法则,“显微镜研究和技术,卷81,不。6,569 - 578年,2018页。视图:出版商的网站|谷歌学术搜索
25. y . Liu x, z, r·k·沃德,z . j . Wang和x王”进行像素级图像融合的深度学习:最新进展和未来前景,”信息融合,42卷,第173 - 158页,2018年。视图:出版商的网站|谷歌学术搜索
26. 黄w . l .肖z, h . Liu和s .唐”与深层神经网络,一种新的pan-sharpening方法”IEEE地球科学和遥感信,12卷,不。5,1037 - 1041年,2015页。视图:出版商的网站|谷歌学术搜索
27. g·马西,d . Cozzolino l . Verdoliva g·斯卡帕,“Pansharpening卷积神经网络,”遥感,8卷,不。7,594 - 606年,2016页。视图:出版商的网站|谷歌学术搜索
28. 陈x y . Liu, h·彭和z . Wang”Multi-focus深卷积神经网络图像融合,“信息融合36卷,第207 - 191页,2017年。视图:出版商的网站|谷歌学术搜索
29. 肖h . Tang b、w·李和g .王”multi-focus图像融合像素卷积神经网络,”信息科学卷,433 - 434,125 - 141年,2018页。视图:出版商的网站|谷歌学术搜索
30. y, z聂,黄s, p . Lin和j .吴”多层次特征为multifocus卷积神经网络图像融合,“IEEE计算机成像,5卷,不。2、262 - 273年,2019页。视图:出版商的网站|谷歌学术搜索
31. n . k . Kalantari和r . Ramamoorthi深高动态范围成像的动态场景,”ACM交易图片,36卷,不。4、144 - 156年,2017页。视图:出版商的网站|谷歌学术搜索
32. k . r .角色、v . s . Srikar和r . v .先生,”Deepfuse:深无监督方法与极端暴露接触融合图像对,”《IEEE计算机视觉国际会议,第4732 - 4724页,威尼斯,意大利,2017年10月。视图:出版商的网站|谷歌学术搜索
33. h . Hermessi o . Mourali,大肠Zagrouba“卷积神经网络的多通道图像融合通过相似性学习在shearlet域,“神经计算和应用,30卷,不。7,2029 - 2045年,2018页。视图:出版商的网站|谷歌学术搜索
34. 和h . m . Wang x Liu Jin,“生成图像融合方法基于监督深卷积网络由加权梯度流,”图像和视觉计算卷。86年,硕士论文,2019页。视图:出版商的网站|谷歌学术搜索
35. p . j . Ma w . Yu梁,c·李和j .江”FusionGAN:生成敌对的红外和可见光图像融合网络”信息融合卷,48 11-26,2019页。视图:出版商的网站|谷歌学术搜索
36. 陈x y . Liu, j . Cheng h .彭和z王,“红外和可见光图像融合与卷积神经网络,”国际期刊的小波多分辨率和信息处理,16卷,不。3页1 - 2018。视图:出版商的网站|谷歌学术搜索
37. h·李和X.-J。吴,“Densefuse: 400红外和可见的图像融合方法,”IEEE图像处理,28卷,不。5,2614 - 2623年,2018页。视图:出版商的网站|谷歌学术搜索
38. 刘m .阴,x, y, x,“医疗与parameter-adaptive脉冲耦合神经网络图像融合nonsubsampled shearlet变换域,“IEEE仪表和测量,卷68,不。1,49 - 64年,2019页。视图:出版商的网站|谷歌学术搜索
39. 毛x,李问:h .谢r . y .刘z . Wang和s .保罗Smolley“最小二乘生成对抗网络”《IEEE计算机视觉国际会议,第2802 - 2794页,威尼斯,意大利,2017年10月。视图:出版商的网站|谷歌学术搜索
40. z, a·c·Bovik h·r·谢赫和e . p . Simoncelli“图像质量评估:从错误的可见性结构相似,“IEEE图像处理,13卷,不。4、600 - 612年,2004页。视图:出版商的网站|谷歌学术搜索
41. d . p . Kingma和j .英航“亚当:随机优化方法,”2014年,https://arxiv.org/abs/1412.6980。视图:谷歌学术搜索
42. b s . Li Yang, j .胡”不同的多分辨率转换为图像融合性能比较,”信息融合,12卷,不。2、74 - 84年,2011页。视图:出版商的网站|谷歌学术搜索
43. z z . Liu e . Blasch雪,j .赵r . Laganiere和w·吴”的客观评估多分辨率图像融合算法的背景下增强夜视:比较研究,“IEEE模式分析与机器智能,34卷,不。1,第109 - 94页,2011。视图:出版商的网站|谷歌学术搜索
44. m . Hossny s Nahavandi d·克莱顿,“评论”信息测量图像融合的性能”、“电子信件,44卷,不。18日,第1067 - 1066页,2008年。视图:出版商的网站|谷歌学术搜索
45. r . j .赵Laganiere, z . Liu”结合像素级图像融合的性能评估基于绝对特征测量,”国际期刊的创新计算、信息和控制,3卷,不。6,1433 - 1447年,2007页。视图:谷歌学术搜索
46. c .杨J.-Q。张,X.-R。王,刘x”,小说相似图像融合质量指标为基础,“信息融合,9卷,不。2、156 - 160年,2008页。视图:出版商的网站|谷歌学术搜索
47. y陈和r·s·布卢姆的“一个新的自动化质量评价图像融合的算法,”图像和视觉计算,27卷,不。10日,1421 - 1432年,2009页。视图:出版商的网站|谷歌学术搜索
48. h·r·谢赫·a·c·Bovik”图像信息和视觉质量。”IEEE图像处理,15卷,不。2、430 - 444年,2006页。视图:出版商的网站|谷歌学术搜索

版权

版权©2019年汤唯等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。