JS. 中国传感器杂志 1687 - 7268 1687 - 725 x 印度发布公司 10.1155 / 2016/7036349 7036349 研究文章 多体形红外图像超标度的多尺度和多级稀疏表示 阳 小菊 1 刘 凯 2 甘 Zhongliang 3. 阳yD.F4y2Ba 宾宇 1 Anisetti 马可 1 电子与信息工程学院 四川大学 成都 四川610064 中国 scu.edu.cn 2 电气工程信息学院 四川大学 成都 四川610064 中国 scu.edu.cn 3. 电信与信息工程学院 南京邮电大学 南京210003 中国 njupt.edu.cn 2016年 2 12. 2015年 2016年 17. 03. 2015年 04. 06. 2015年 09. 06. 2015年 2 12. 2015年 2016年 版权所有©2016 Xiaomin Yang等。 这是在Creative Commons归因许可下分发的开放式访问文章，其允许在任何介质中不受限制地使用，分发和再现，只要正确引用了原始工作。

基于稀疏编码的方法已成功地用于单图像超级化（SR）重建。然而，用于红外线（IR）图像的传统稀疏表示的SR图像重建通常存在三个问题。首先，IR图像始终缺乏详细信息。其次，传统的稀疏词典是从具有固定大小的修补程序中学到的，这可能无法捕获图像的确切信息，并且可以忽略图像在许多情况下自然地在不同尺度上的事实。最后，传统的稀疏字典学习方法旨在学习普遍和过度普遍的词典。然而，存在许多不同的局部结构模式。一部词典不足以囊括所有不同的结构。我们提出了一种新的IR图像SR方法来克服这些问题。首先，我们将来自多传感器的信息组合以提高IR图像的分辨率。然后，我们使用多尺度修补程序以更有效的方式表示图像。 Finally, we partition the natural images into documents and group such documents to determine the inherent topics and to learn the sparse dictionary of each topic. Extensive experiments validate that using the proposed method yields better results in terms of quantitation and visual perception than many state-of-the-art algorithms.

 1.介绍

高分辨率（HR）红外（IR）图像所需的各种电子成像应用，例如医疗诊断，刑侦，监控，远程感测，和航空。然而，考虑到相关的成像装置或其他因素的影响，在所希望的分辨率获得的图像的固有的限制是困难的。因此，许多努力一直致力于改善红外图像的空间分辨率。超分辨率（SR）是在研究界最有前途的方法之一。

目前，大量的SR方法已经研制成功。用于图像SR现有方法可分为三大类：基于内插的方法[ 1那 2，基于重建的方法[ 3.- 6.[基于学习的方法[ 7.- 11.］．

基于插值的[ 1那 2方案应用相邻图像像素的相关性以近似于基本的HR像素。这些类型的方法可以高速容易地实现。但是，这些方法可能导致丢失详细信息。

基于重建的方法利用低分辨率(LR)图像的附加信息来合成HR图像。这些方法是病态估计问题，需要图像的先验信息来正则化求解。因此，人们提出了各种正则化方法来提高SR重构的性能，如凸集投影[ 3.]，最大后验（MAP）[ 4.那 5.[基于规则的方法[ 6.］．与基于插值的方案相比，基于重建的方法具有更好的性能，具有小的所需放大因子。然而，多帧SR重建的最常见的缺陷是，随着放大因子的增加，LR输入不能提供足够的信息来维持高质量的SR重建结果。

基于学习的方法认为，通过学习LR训练补丁和相应的HR补丁之间的Cooccurrence关系，可以预测LR图像中丢失的高频细节。Freeman等人。[ 7.]首先介绍了SR重建的学习思想，使用马尔可夫随机场模型来学习图像局部区域与其底层场景之间的关系。人们提出了各种有效的学习先验信息的工具，如基于邻居嵌入(NE)的方法[ 8.那 12.]基于回归的方法[ 9.那 10.]和基于稀疏的编码 - （SC-）的方法[ 11.那 13.- 15.］．基于NE的方法通过线性地组合其邻居训练HR图像贴片来估计每个所需的HR图像贴片。昌等人。[ 12.]从歧管学习引入局部线性嵌入来处理图像SR任务。张等人。[ 8.]提出了一种部分监督的NE方法。然而，由于缺乏先验的纹理和细节，基于ne的方法在纹理和细节可视化方面很弱。基于回归的方法利用复杂的统计模型直接估计出所需的HR像素。王及唐[ 9.提出了基于组分分析的SR重建方法来估计所需的HR图像。Wu等人。[ 10.]使用内核部分最小二乘回归模型来处理一对多映射问题。WU的方法需要在整个训练数据库中搜索邻居，并使用相同数量的主组件来合成所需的HR特征补丁，从而导致高计算成本。基于SC的SR方法可以更好地保留最相关的重建邻居，并且可以比上面讨论的两种基于学习的方法恢复更多的图像信息。杨等人。[ 16.[假设HR和LR图像共享相同的稀疏系数，提出了一种基于稀疏表示的方法。因此，可以通过组合训练的HR字典和相应的LR图像的稀疏系数来重建HR图像。

上述基于sc的SR方法总是存在三个问题。首先，由于相关成像设备的固有限制或其他因素，红外图像往往缺乏详细信息，导致红外图像重建结果不尽如人意。不同传感器获取的多幅图像提供了对同一场景的互补信息。因此，提高红外图像分辨率的合理方法是将不同多传感器获取的图像固有互补信息进行组合。其次，传统的稀疏字典是从固定大小的小块中学习，不能准确地捕捉图像的信息。然而，图像的局部结构往往在自然图像中与一些相似的邻居重复多次，不仅在相同的尺度内，也在不同的尺度内。局部结构在小尺度上缺失的细节可以在大尺度上从相似的斑块中估计出来。不同的图像选择不同的patch大小以获得最佳的表示。因此，在不同尺度下联合表示图像是很重要的。考虑到上述线索，我们提出了一种多尺度patch学习字典的模型。 We use a simple model that generates pyramid images and divides such images into multiscale patches. Finally, given that dictionary learning is a key issue of the sparse representation model, considerable effort in learning dictionaries from example image patches has been exerted, leading to state-of-the-art results in image reconstruction. Many dictionary learning methods aim at learning a universal and overcomplete dictionary that represents various image structures. However, for natural images, a large number of different local structural patterns exist. The contents can vary significantly across different images or different patches in a single image. One dictionary is inadequate in capturing all of the different structures. Multiple dictionaries [ 15.那 17.]更有效地代表图像中的各种内容，并提供比一个通用字典的更好的重建结果[ 15.］．基于这些观察，训练补丁基于我们算法中的视觉特征分类为多个组。然后在各个数据组中学习子模型。在字典学习中使用的不适用的培训样本组导致示例基于学习的方法的工件[ 18.］．在这项研究中，我们组补丁分为几类。每个类别对应一个主题。我们应用概率潜在语义分析（PLSA）模型[ 19.来对补丁进行分组，并确定固有的主题。这意味着我们将补丁分成几个类别。每个类别对应一个主题。然后我们学习每个主题的稀疏字典。我们的框架单独对待每个组，从而导致更准确的分发字典。我们对给定的补丁进行语义分析，将其归类到一个主题。所选的主题子字典可以更好地表示给定的补丁。实验结果表明，该方法比通用字典法能更准确地重建整幅图像。

总之，本研究提出了以下三个主要贡献： （ 1 ） 红外图像始终缺乏详细信息。同时，VI图像包含丰富的物体边缘和细节，提供了对人眼的场景的更感知描述。本研究结合了来自不同多用户获得的图像的固有互补信息，以改善IR图像的分辨率。 （ 2 ） 要了解稀疏字典，用于表示在同一规模和不同尺度内的本地模式的类似冗余，这项研究构建了从图像下采样的金字塔图像。然后它将金字塔图像划分为多尺度补丁，从而以更有效的方式表示图像并提供更全局的图像。 （ 3. ） 利用pLSA模型，通过确定固有主题对斑块进行分组，并对具有相似模式的训练斑块进行分组。每个字典都是从具有相同主题的某些类型的示例补丁中学习的，并且同时学习多个字典。大量的实验结果表明，我们所提出的方法与最先进的方法相比具有竞争性的性能。

本文的其余部分安排如下：第二部分 2提出了拟议方法的细节。部分 3.报告实验结果。部分 4.讨论了结论。

 2.拟议的SR计划

本文提出了一种新的稀疏表示算法，旨在结合可见光图像的信息，提供更全面的红外图像，同时在统一的框架内利用红外图像的固有主题。该方法可分为3个步骤:(a)融合多传感器图像信息;(b)获取多尺度小块;(c)学习多主题稀疏字典。在结合可见光图像信息的情况下，该框架在学习LR稀疏字典时提高了红外图像的分辨率。在获取多尺度小块时，我们构建金字塔图像，并从中提取多尺度小块，可以提供更全局的图像。为了更准确地呈现不同的结构模式，我们将自然图像划分为文档，并使用pLSA对其进行分组，确定其内在主题。然后可以学习每个主题的紧凑子字典。

2.1。结合多传感器的信息

鉴于观察到的LR IR图像 y ，这是HR图像的下采样和模糊版本 X 在同一场景中，我们派生了以下等式： (1） y = H B. X 那 在哪里 H 表示下采样算子和 B. 是模糊滤波器。单图像SR的目标是重建HR图像 X ^ 来自LR图像 y 尽可能准确。

随着LR图像 y 那 y 一世 是从中提取的补丁功能集 y ： (2） y 一世 = 提炼 y 那 在哪里 E. X T. R. 一种 C T. · 是提取补丁功能的操作员 一世 通过图片 y 。

最近的作品[ 16.那 20.]表示衍生物的特征可以更有效地表示补丁比实际强度。该衍生物的特征使用四个1D滤波器得到： （3） F 1 = - 1,0 那 1 那 F 2 = F 1 T. 那 F 2 = 1,0 那 - 2,0. 那 1 那 F 4. = F 3. T. 。

通过多传感器采集的图像提供相同场景的补充信息。红外图像始终缺乏详细信息。同时，VI图像包含丰富对象的边缘和细节，对于人眼提供场景的更感知描述[ 21］．因此，结合可见光图像中的详细信息来提高红外图像的分辨率是合理的;即利用LR红外图像的信息和相应的HR可见光图像的信息来重建HR红外图像。

应用这四个滤波器，我们获得了用于LR IR图像的每种补丁的四个描述特征向量及其对应的HR可见图像，其在LR贴片的最终梯度表示中被连接为一个向量。LR IR图像的信息和其相应的HR可见图像的信息组合在一起以学习LR稀疏字典。

使用稀疏的生成模型，每个补丁功能 y 一世 （ y 一世 ∈ R. N ）可以在LR字典上投影 D. L. ∈ R. N × K. ，它表征了LR补丁。该投影产生稀疏表示 y 一世 通过 α L. ，表示如下： （4） y 一世 = D. L. α L. y 一世 ∈ R. N 那 α L. 0. « K. 那 在哪里 α L. 表示稀疏表示原子。对于HR IR图像，获得呈现HR补丁的高频信息。相应的HR补丁特性 X 一世 已 X 一世 ∈ R. m 从HR图像中提取补丁集的特征 X 获得如下： （5） X 一世 = 提炼 X 。

重新涂上稀疏的生成模型，我们有 （6） X 一世 = D. H α H 那 在哪里 D. H ∈ R. m × K. 是HR字典，其表征了HR补丁并与之耦合 D. L. 通过关系 D. L. = H B. D. H 。这种关系表明，每个原子在 D. H 有相应的LR版本在 D. L. 反之亦然。我们假设一个LR补丁的稀疏表示来讲 D. L. 可以直接用于恢复相应的HR补丁 D. H ；也就是说, α L. = α H 。稀疏基于表示-SR的通过结合可见图像的信息的处理在图中描述 1。

结合可见光图像的信息基于稀疏表示-SR。

因此，重建的HR图像 X ^ 可以通过在每个应用的稀疏表示建 y 一世 然后使用估计 α L. 和 D. H 以获得每个 X ^ 一世 ，它们一起形成所述图像 X ^ 。

该SC显然是LR和HR补丁之间的桥梁。字典 D. L. 和 D. H 在生成这些SC方面具有关键作用。字典 D. L. 和 D. H 可以使用算法可以容易地从一组样本中生成，例如K-SVD [ 11.]和高效的sc [ 13.那 14.那 17.那 22］．

 2.2。获得多尺度补丁

观察到，不同的图像更喜欢最佳性能的不同补丁尺寸[ 13.］．文献[ 13.甚至在使用不合适的贴片时观察到伪影的过度处理。对这种现象的解释是从具有固定大小的修补程序的修补程序的字典不能捕获图像的确切信息。一种尺寸的样本贴片对应于一个比例。但是，难以选择图像的确切补丁大小。这样，具有多尺度字典避免预先选择修补程序大小。多尺度治疗可以以更有效的方式帮助代表图像。在我们提出的多尺度框架中，我们专注于同时获得多尺度补丁。首先，建立从图像下采样采样的金字塔图像以了解稀疏字典，用于表示在同一规模和不同尺度内的本地模式的类似冗余。其次，然后提取来自金字塔图像的多尺寸斑块。

金字塔变换是一种有效的多分辨率分析方法。在金字塔变换期间，通过从其相邻的低通滤波的HR图像下采样来获得低空间金字塔中的每个像素。序列金字塔图像构造，如图所示 2。金字塔图像可以由高斯平滑过滤产生，如图所示 3.。

一个三层空间金字塔。

高斯金字塔的图像。原始图像(第一级)和它的高斯金字塔从左到右显示。

让 一世 （ X 那 y ） 表示原始图像。间苗版本 一世 P. （ X 那 y ） 当 P. 通过卷积获得水平 一世 （ X 那 y ） 与高斯内核 G （ X 那 y 那 P. σ ） ， 如下： （7） G X 那 y 那 P. σ = 1 2 π P. 2 σ 2 exp. ⁡ - X 2 + y 2 2 P. 2 σ 2 那 一世 P. X 那 y = 一世 X 那 y × G X 那 y 那 P. σ ↓ S. P. 那 在哪里 ↓ S. P. 表示下采样操作员，具有因子 S. P. = 0.5 P. 当 P. 水平。

在生成金字塔图像后，我们使用quadtree模型[ 15.]，从金字塔图像中提取多尺度斑块，如图所示 4.。我们考虑一组大的根补丁大小 N. × N. 从顺序金字塔图像中提取。然后将根贴片分为大小的子斑块 N. S. = N. / 4. S. S. = 0. 那 ...... 那 S. - 1 沿着树，在哪里 S. 是树的深度。获取多尺度补丁后，我们可以从不同尺度的斑块中学习词典。数字 5.示出了从金字塔图像中提取多尺度补丁的过程。

基于四叉树模型的多尺度斑块。

提取多尺度补丁。

 ２.３.学习多主题词典

我们将自然图像分组到文档中，并将其分组，以确定使用PLSA的固有主题，并更准确地呈现不同的结构模式。每个字典都是从具有相同主题的某些类型的示例补丁中学习的，并且同时学习多个字典。示例图像修补程序由PLSA模型分为许多主题。鉴于每个主题由具有类似模式的许多修补程序组成，可以为每个主题学习一个紧凑的子学习。对于要编码的图像修补程序，选择了与给定修补程序的最相关的最佳子分象。考虑到给定的贴片可以通过所选择的子暗学可以更好地表示，而不是我们的实验验证的当使用通用字典时更准确地重建整个图像。多级文字典学习的使用有两个主要优点： （ 1 ） 将训练块划分为若干主题，保证子字典更准确地表示样本块的统计模型 （ 2 ） 培训补丁加强对每个主题词典的学习，并通过知识的主题之间的传递最终的重建精度的速度。

2.3.1。标准PLSA.

该PLSA [ 19.]，这是LSA的延伸[ 23[，提供概率制剂在文本收集中模拟文档。PLSA假设从潜在方面的混合中生成单词，其可以从文档分解。PLSA模型已成功用于图像分类，图像检索和图像注释。PLSA模型忽略文档中的单词的顺序，然后使用文档中发生的单词数。我们简要概述了本小节中PLSA的原则。更多细节可以在[ 19.］．

包含的语料库 m 文件表示 D. = { D. 1 那 ...... 那 D. m } 和每个文档 D. 一世 是用词汇表中的单词数来表示的 W. = { W. 1 那 ...... 那 W. N. } 。整个语料库总结了 N. × m Cooccurrence Matrix. N. ，其中每一项 N D. 一世 那 W. j 表示单词的计数 W. j 在文档中 D. 一世 。在pLSA的框架内，观察到的词 W. 是否有条件地独立于文档 D. 给出一个潜变量 Z. = { Z. 1 那 ...... 那 Z. K. } ，这是被称为“潜方面”。在图中示出的图形模型 6（a）的联合概率的形式 P. W. j 那 D. 一世 那 Z. K. = P. D. 一世 P. Z. K. | D. 一世 P. W. j | Z. K. 在PLSA模型中。观察到的变量的关节概率是通过在潜在方面边缘化而获得的 Z. K. ： （8） P. D. 一世 那 W. j = P. D. 一世 σ. K. = 1 K. P. Z. K. | D. 一世 P. W. j | Z. K. 。

（a）中的PLSA图形模型表示;（二）条件分布的矩阵分解。

等式（ 6.）表达每份文件作为凸起的组合 K. 方面向量，导致矩阵分解，如图所示 6（b）。每个文档基本上建模为方面的混合，特定文件的直方图由对应于每个方面对应的直方图的混合组成。

PLSA的模型参数是两个条件分布 P. Z. K. | D. 一世 和 P. W. j | Z. K. ，它估计了一组培训文档上的期望最大化（EM）算法。 P. W. j | Z. K. 描述每个方面，并对训练集之外的文档保持有效。相比之下, P. Z. K. | D. 一世 仅与特定文件相关，不能携带任何未见文件的先前信息。

EM算法用于计算参数 P. W. j | Z. K. 和 P. Z. K. | D. 一世 通过最大化观察到的数据的日志可能性： （9） L. = σ. 一世 = 1 N. σ. j = 1 m N D. 一世 那 W. j 日志 ⁡ P. D. 一世 那 W. j 。

EM算法的步骤描述如下：

（ 1 ） 电子步骤：条件分布 P. Z. K. | D. 一世 那 W. j 由之前对参数的估计计算得出: （10） P. Z. K. | D. 一世 那 W. j = P. Z. K. | D. 一世 P. W. j | Z. K. σ. L. = 1 K. P. Z. L. | D. 一世 P. W. j | Z. L. 。

（ 2 ） m-step：参数 P. W. j | Z. K. 和 P. Z. K. | D. 一世 是否更新了新的期望值 P. Z. K. | D. 一世 那 W. j ： （11） P. X j | Z. K. = σ. 一世 = 1 N. N D. 一世 那 W. j P. Z. K. | D. 一世 那 W. j σ. m = 1 m σ. 一世 = 1 N. N D. 一世 那 W. j P. Z. K. | D. 一世 那 W. m 那 P. Z. K. | D. 一世 = σ. j = 1 m N D. 一世 那 W. j P. Z. K. | D. 一世 那 W. j σ. j = 1 m N D. 一世 那 W. j 。

2.3.2。我们的方法

鉴于IR图像的集合，我们打算确定图像的固有主题。我们使用一般条款[ 24]，例如主题，文档和单词，主要用于文献的文本。在我们的应用程序中，我们将稀疏字典的原子定义为词汇表的“单词”和稀疏字典的滑动窗口为“文档”。滑动窗包括补丁。数字 7.显示 L. × L. 滑动窗口（大蓝色方形）和一个贴片（小红正方形）。所有文件都是根据“主题”分组，基于文档内外的不同单词的Cooccurrenct。我们的方法有以下五个步骤： （ 1 ） 词汇制剂， （ 2 ） 文件表示， （ 3. ） 主题学习， （ 4. ） subdictionary建设, （ 5. ） 超级化图像重建（SRIR）。我们的方法在图中说明 8.。

滑动窗口和补丁。

我们的方法的插图。

词汇制剂。我们需要用词汇表中的单词集合来表示每个文档。一种通用稀疏字典 D. G 和 m 原子 α m m = 1,2 那 ...... 那 m 了解了所有的补丁来构造词汇。每个原子在 D. G 被定义为词汇的单词。所有的原子 D. G 生产PLSA模型的词汇。

文档表示。我们假设文件 D. 一世 已 L. 补丁 P. L. L. = 1,2 那 ...... 那 L. 。我们使用原子的线性组合代表文档中的每个补丁 α m m = 1,2 那 ...... 那 m 从通用字典。我们用原子表示patch P. L. 作为 α L. 那 m 。我们表示词汇的计数 α j 在文件中 D. 一世 作为 N W. j 那 D. 一世 ,在那里 N W. j 那 D. 一世 = σ. L. = 1 L. α L. 那 j 。然后我们使用PLSA模型来学习文档的潜在主题。

主题学习。所有文件都可以概述 m × N. 共生矩阵，其中，每个条目 N D. 一世 那 W. j 表示单词的计数 α j 在文件中 D. 一世 和 N. 是文件总数。EM算法用于计算参数 P. W. j | Z. K. 和 P. Z. K. | D. 一世 通过最大化观察到的数据的日志可能性。学习后， P. Z. K. | D. 一世 表示每份文件的混合比例。可以假定每个文档的最大值作为文档主题分配。

Subdictionary建设。我们假设 K. 决定的主题。然后将所有文件分类为 K. 集团 D. O. C 你 m E. N T. S. = D. O. C 你 m E. N T. S. 1 那 D. O. C 你 m E. N T. S. 2 那 ...... 那 D. O. C 你 m E. N T. S. K. 。一个文件组 D. O. C 你 m E. N T. S. 一世 ，我们收集属于这些文件的所有补丁，并将这些补丁表示为 P. 一种 T. C H E. S. 一世 。因此，我们可以获得 K. 集团 P. 一种 T. C H E. S. = P. 一种 T. C H E. S. 1 那 P. 一种 T. C H E. S. 2 那 ...... 那 P. 一种 T. C H E. S. K. 。我们的目标是学习 K. 紧凑的细分化 D. K. K. = 1,2 那 ...... 那 K. 从 P. 一种 T. C H E. S. 。每个 P. 一种 T. C H E. S. K. K. = 1,2 那 ...... 那 K. 显然预计将有相同的独特的模式。我们使用SRIR每个组的 P. 一种 T. C H E. S. K. 学习子字典每个主题，使得对于每个给定的局部图像块的最合适的子字典可以使用PLSA模型来选择。

斯里尔。我们将LR图像分成重叠文档和文档到重叠的补丁中。然后，我们以与主题发现期间进行的方式相同的方式代表每个文档。通过使用EM算法来确定每个文档来确定其主题分配。通过使用对应于子学习的主题来重建文档的每个补丁。我们为测试图像中的所有文档执行此操作，然后取自所有重叠部分的平均值以获得重建的HR图像。

 3.实验结果 3.1。样本和设置

在我们的实验中，IR图像和相应的可见图像是从[ 25] http://www.dgp.toronto.edu/~nmorris/data/irdata/。训练图像的样本如图所示 9.。在所有实验中使用的LR图像从HR图像下采样。在我们的实验中，通过将相应的HR图像缩小为3的比例为3来产生LR图像。

我们实验中使用的红外图像和可见图像的一些示例。

我们采用峰值信噪比（PSNR）和结构相似度测量（SSIM）来评估超溶剂图像并评估所提出的方法的性能。所有测试图像的PSNR和SSIM的平均值用作质量指标。PSNR基于像素强度评估重建质量。SSIM基于其结构信息测量两个图像之间的相似性。SSIM度量需要一个“完美”参考图像以进行比较，并提供归一化值 [ 0,1 ] ，其中“0”表示两个图像完全不同，而“1”确认两个图像是相同的。因此，PSNR和SSIM的较高值表明具有更好质量的结果。

 3.2。重建结果

在本节中，我们进行了几个实验来评估所提方法的有效性。

实验1（与最先进的算法比较）。

使用一些红外图像测试所提出的方法，以验证所提出的分辨率增强方法的有效性，而是在视觉保真和客观标准方面。我们将算法与一些众所周知的图像SR算法进行比较，例如最近的邻居，立方B样条插值方法和阳的方法[ 16.，以验证我们的方法的效率。在我们的方法中，根patch的大小为16 × 16，树的深度为3，在训练过程中训练patch的数量为100,000。对于多主题字典，一般字典中的原子数为1000。在多主题字典中，原子的数量是相同的。我们假设 K. 决定的主题（ K. = 500. ）。对于阳的方法，原子数量为1,000。我们介绍了使用图中不同方法获得的图像的SR结果（具有3）的比例因子 10.。我们在红色框中放大后提取该区域，以显示SR后的详细信息。我们观察到，双向插值方法将边缘的锐度与重建图像中的一些精细细节进行了模糊。杨的方法[ 16.]恢复大量细节，但产生许多锯齿状和振铃伪像以及边缘或细节。该方法获得比其他三种竞争方法的更好的视觉质量。

此外，SR的PSNR和SSIM值在表中列出了使用各种算法的LR图像 1。我们观察到，该方法的平均PSNR和SSIM涨幅过洋的方法[ 16.]和双三次插值方法以dB为单位，表明该方法的SR结果在PSNR和SSIM方面具有较好的客观质量。

数字的数值结果 10.。

方法 最近的邻居 立方B样条曲线 杨的方法 我们的方法
PSNR. SSIM PSNR. SSIM PSNR. SSIM PSNR. SSIM
36.77 0.4440. 36.80. 0.4458 36.98 0.5394 37.32 0.5857
38.06 0.7210. 38.07 0.7279 38.17 0.7691 38.20. 0.8107
36.19 0.4652 36.19 0.4713 36.63 0.6005 36.68 0.6405.
36.49 0.4933 36.48 0.5007 36.73 0.5477 36.93 0.5964
32.91 0.3621 32.93 0.3646 34.02 0.3702 34.10 0.3741

四个测试图像的视觉比较：（a）LR图像，（b）使用最接近的邻插插获得的原始HR图像，（C）获得的结果，使用立方B样条插值获得（E）获得的结果基于稀疏表示的方法和（f）使用所提出的方法获得的结果。

 实验二(多传感器效应)。

为了通过组合可见图像的信息来验证多传感器的有效性，我们将多传感器SRIR与传统的SRIR算法相比，作为阳的方法[ 16.］．培训过程中的培训补丁数量为100,000。对于字典学习步骤，字典中的原子数为1,000。数字 11.显示了红外图像的SR结果。数字 11.（c）示出了传统的SRIR算法的结果为阳的方法[ 16.，在那里沿着边缘产生严重的锯齿形工件和恼人的细节。SR结果是有限的。数字 11.（d）显示了组合可见图像信息的结果。我们观察结果，定性和定量显着提高。SR的PSNR和SSIM值在表中列出了使用各种算法的LR图像 2。

数字的数值结果 11.。

方法 杨的方法 多传感器
PSNR. SSIM PSNR. SSIM
34.28 0.4123 35.53 0.4237
36.63 0.6005 36.65 0.6247
36.73 0.5477 36.87 0.5751
33.07 0.3731 34.57 0.3769

四个测试图像的视觉比较：（a）LR图像，（b）原始的HR图像，（c）使用基于稀疏表示的方法获得的结果，以及使用基于多传感器的方法获得的结果。

 实验3（多尺度补丁效果）。

我们将从使用MultiScale修补程序和一个固定级别修补程序的字典中获得的SR结果进行比较。在基于MultiScale补丁的方法中，根贴片尺寸为16×16.在固定刻度贴片中，分析了具有三种不同贴片尺寸的固定贴片4×4,8×8和16×16。培训过程中的培训补丁数量为100,000。对于字典学习步骤，字典中的原子数为1,000。重建结果如图所示 12.。我们已经观察到，为了获得最佳性能，不同的图像喜欢不同的补丁大小。多尺度处理可以帮助以更有效的方式表示图像，从而允许应用程序提供图像的更全局的外观。我们观察到，基于多尺度patch的方法得到的重构HR图像如图所示 12.(f)在定量和视觉感知方面优于基于单尺度斑块的方法，如图所示 12.（c） 10.（e）。SR的PSNR和SSIM值在表中列出了使用各种算法的LR图像 3.。

数字的数值结果 12.。

方法 补丁大小4×4 贴片尺寸8 × 8 贴片尺寸16 × 16 多尺度补丁
PSNR. SSIM PSNR. SSIM PSNR. SSIM PSNR. SSIM
36.96. 0.5378 36.93 0.5327 36.92 0.5298 37.27 0.5679
38.07 0.6247 38.15 0.6538 38.18 0.7721 38.19 0.7894
36.64 0.6109 36.24 0.5371 36.17 0.4928 36.65 0.6362
36.51 0.4959 36.72 0.5468 36.57 0.5179 36.89 0.5683
34.04 0.3723 34.01 0.3703 33.72 0.3674 34.06 0.3726

四个测试图像的视觉比较：（a）LR图像，（b）原始的HR图像，（c）用贴片尺寸4×4，（d）与贴片尺寸8×8获得的结果获得的结果获得，（e）获得的结果贴片尺寸16×16，和（f）使用所提出的方法获得的结果。

 4。结论

我们提出了一种新颖的基于稀疏表示的图像SR方法。该算法将可见图像中的详细信息组合以提高IR图像的分辨率。鉴于这些类型信息的互补性质，所提出的方法可以在SR任务中产生最先进的结果。考虑到自然图像的最佳稀疏域在单个图像中的不同图像和不同图像斑块中可以显着变化，所提出的方法使用一个简单的模型，该模型生成金字塔图像，并将金字塔图像划分为多尺度补丁以表示图像一种更有效的方式。我们还将自然图像分区到文件中，并将文档分组以确定使用PLSA的固有主题，并使用稀疏字典学习技术学习每个主题的稀疏字典。广泛的实验结果表明，与最先进的方法相比，我们所提出的方法可以实现竞争性能。

 利益冲突

提交人声明没有关于本文的出版物的利益冲突。

 致谢

该研究由中国国家自然科学基金（No.61271330和61411140248），高等教育博士学位研究基金（20130181120005），中国博士后科学家的国家科学基金会（2014千米552357），四川省科技计划（2014GZ0005），以及返回海外中国学者，州教育部的科学基础。

 kimmel. R. Demosaicing：颜色CCD样品的图像重建 图像处理的IEEE交易 1999 8. 9. 1221. 1228. 10.1109 / 83.784434 2- s2.0-0001494520 李 X。 逐次逼近的demosaing 图像处理的IEEE交易 2005年 14. 3. 370 379 10.1109 / TIP.2004.840683 2-S2.0-14844364035 黄 T. S. 蔡 R. Y. 多帧图像复原与配准 计算机视觉与图像处理的进展 1984 1 317. 339. 沉 H. F. 张 L. P. 黄 B. 李 P. X. 联合运动估计，分割和超分辨率的地图方法 图像处理的IEEE交易 2007年 16. 2 479. 490. 10.1109 / TIP.2006.888334 MR2462738 2 - s2.0 - 33847755152 张 L. P. 张 h . Y。 沉 H. F. 李 P. X. 一种监控图像的超分辨率重建算法 信号处理 2010年 90. 3. 848. 859. 10.1016 / j.sigpro.2009.09.002 2-S2.0-70350716279 Farsiu S. 罗宾逊 M. D. 阿拉德 m 米兰弗拉 P. 快速且强大的多帧超级分辨率 图像处理的IEEE交易 2004年 13. 10. 1327 1344 10.1109 / TIP.2004.834669. 2-S2.0-4544374765 弗里曼 W.T. 琼斯 T. R. Pasztor E. C. 基于实例超分辨率 IEEE计算机图形和应用 2002年 22 2 56. 65. 10.1109 / 38.988747 2- s2.0-0036500772 张 K. 高 X。 李 X。 涛 D. 部分监督邻居嵌入为基于示例的图像超分辨率 IEEE信号处理专题选刊 2011年 5. 2 230. 239. 10.1109 / JSTSP.201010.2048606. 2 - s2.0 - 79952931901 王 X。 唐 X。 通过eigentransformation幻觉脸 System，Man和Cyber​​netics的IEEE交易部分C：应用和评论 2005年 35 3. 425. 434. 10.1109 / tsmcc.2005.848171 2-S2.0-23944509273 吴 W. 刘 Z。 他 X。 基于学习的核偏最小二乘超分辨率 图像与视觉计算 2011年 29 6. 394 406. 10.1016 / j.imavis.2011.02.001 2 - s2.0 - 79952610370 亚伦 m 阿拉德 m Bruckstein 一种。 K-SVD：用于设计稀疏表示的overComplete词典的算法 信号处理上的IEEE交易 2006年 54. 11. 4311. 4322 10.1109 / TSP.2006.881199. 2-S2.0-33750383209 张 H。 延昂 D.-Y. 熊 y。 通过邻居嵌入的超级分辨率 1 IEEE计算机学会计算机视觉与模式识别会议论文集(CVPR’04) 2004年6月 - 7月 华盛顿特区，美国 275. 282. 10.1109 / CVPR.2004.1315043 Mairal j。 Sapiro G。 阿拉德 m 学习Multiscale图像和视频恢复的稀疏表示 多尺度建模与仿真 2008年 7. 1 214. 241. 10.1137 / 070697653 MR2399544 2-S2.0-55149117992 Monaci G。 Vanderqheynst P. 学习图像表示的结构化词典 4. IEEE图像处理会议的诉讼程序（ICIP '04） 2004年10月 新加坡 IEEE. 2351 2354 10.1109 / ICIP.2004.1421572 Zeyde. R. 阿拉德 m 煎剂 m 在使用稀疏表示的单个图像放大 曲线和表面 2012年 6920. 711. 730. 计算机科学讲义 10.1007 / 978 - 3 - 642 - 27413 - 8 - _47 阳 j。 赖特 j。 黄 T. S. 嘛 y。 通过稀疏表示图像超分辨率 图像处理的IEEE交易 2010年 19. 11. 2861 2873 10.1109 / tip.20101050625 MR2814193 2 - s2.0 - 78049312324 鲁宾斯坦 R. Bruckstein 是。 阿拉德 m 字典对于稀疏表示建模 IEEE的诉讼程序 2010年 98. 6. 1045. 1057. 10.1109 / JPROC.2010.2040551 张 K. 高 X。 涛 D. 李 X。 单图像超分辨率，具有非本地手段和转向核回归 图像处理的IEEE交易 2012年 21 11. 4544 4556. 10.1109 / TIP.2012.2208977. MR2991635 2- s2.0-84867853644 霍夫曼 T. 概率潜在语义分析无监督学习 机器学习 2001年 42 1-2 177. 196. 10.1023 /: 1007617005950 2 - s2.0 - 0034818212 太阳 j。 太阳 j。 徐 Z。 sh H.-Y. 使用渐变配置文件的图像超分辨率 第26届IEEE会议上的计算机愿景和模式识别会议（CVPR '08） 2008年6月 1 8. 10.1109 / cvpr.2008.4587659 2- s2.0-51949110386 吴 W. 阳 X。 p y。 彭 j。 全 G。 使用隐马尔可夫模型的多焦点图像融合方法 光学通信 2013年 287. 1 63. 72. 10.1016 / j.optcom.2012.08.101 2 - s2.0 - 84869079829 Mairal j。 巴赫 F。 庞塞 j。 Sapiro G。 Zisserman. 一种。 监督字典学习 第22届神经信息处理系统会议的会议记录（NIPS '08） 2008年12月 1033. 1040. 2- s2.0-84858761801 鹿韦斯特 S. dumais. 英石。 家具 g·W。 Landauer. T. K. 哈尔斯曼 R. 潜在语义分析索引 美国信息科学学会杂志 1990 41 6. 391. 407. 10.1002 / (SICI) 1097 - 4571 (199009) 41:6 < 391:: AID-ASI1 > 3.0.CO; 2 - 9 紫魄 P. 樱桃糕 B. 使用自然图像补丁的多个词典提升图像 计算机视觉ACCV 2012：计算机视觉，大田，韩国，2012年11月5-9日第11届会议上，修订后的入选论文，第三部分 2013年 7726. 柏林,德国 兴趣者 284. 295. 计算机科学讲义 10.1007 / 978-3-642-37431-9_22 莫里斯 N. J. W. 艾菲丹 S. Matusik. W. PFISTER. H。 红外图像统计 IEEE计算机愿景和模式识别会议的诉讼程序（CVPR'07） 2007年6月 1 7. 10.1109 / cvpr.2007.383003 2-S2.0-35148848710