文摘

主要挑战图像放大方法在嵌入式系统中来自良好的性能的要求,计算成本低、低内存的使用。本文提出了一种有效的图像放大方法在嵌入式系统可以满足这些需求。首先,提高放大性能的方法,该方法提取不同的特征对不同形态和不同的方法。然后,各种词典基于不同的特性,这代表了图像以更有效的方式。其次,加快扩张速度和减少内存使用,这种方法将每个字典的原子划分为多个集群。对于每个集群,单独计算投影矩阵。这种方法引出了问题作为一个最小二乘回归。高分辨率(人力资源)图像可以重建基于投影矩阵。大量的实验结果表明,该方法具有高效、实时和更少的内存成本。这些优点使这种方法容易实现在移动嵌入式系统。

1。介绍

在过去的几十年里,人们都广泛采用手机的生活。2017年,手机用户的数量将达到近53亿。对于许多手机用户,手机不仅用于口语交流也作为一种工具来捕获图像。手机给用户提供极大的好处,使摄影和录像总是无处不在。不幸的是,许多的图片用手机以来低分辨率低质量图像传感器。有两种方法可以获得高分辨率图像:(1)把手机换成一个更强大的手机;(2)使用一些方法来放大图像。大多数手机用户更喜欢使用一个方法来放大图像,而不是取代手机更强大的手机。许多的努力一直致力于图像放大方法在过去的十年。然而,扩大方法应用于嵌入式系统时面临三个挑战:(1)性能需求,(2)实时要求,和(3)限制内存消耗。

超限分辨(SR)是一种最潜在的图像放大方法。现有SR方法可分为三类:interpolation-based方法(1,2[],reconstruction-based方法3- - - - - -5),和基于实例的方法(6- - - - - -10]。

interpolation-based方法(1,2]应用相邻图像像素的相关性来近似基本人力资源像素。这些类型的方法具有较低的计算复杂性。然而,插值不添加任何新到放大图像的详细信息。放大图像的质量仍不满意,可能会造成放大LR的混叠图像。虽然interpolation-based方法跑得快,需要小内存,可怜的性能限制了interpolation-based方法实现在嵌入式系统中的应用。

Reconstruction-based方法(3- - - - - -7)需要不同的LR同一场景的图像从稍微移动视点,和那些LR图像有不同的亚像素相互转变。这一类的方法试图利用额外的信息从一个连续的LR同一场景的图像序列合成人力资源图像。与interpolation-based方法相比,reconstruction-based方法获得更好的性能与一个小理想的放大倍数。然而,这种方法的性能会迅速降低时所需的放大倍数变大。reconstruction-based方法需要存储的信息序列LR的图像,这是高端内存要求。由于上述原因,reconstruction-based方法并不准备嵌入式系统。

单一图像SR方法如邻居embedding-based方法(7,8[],回归方法9,10),和稀疏表示方法(11- - - - - -15]近年来一直在探索。这些方法假定LR图像的高频细节损失可以通过学习来预测之间的共存关系LR培训补丁和相应的人力资源补丁。最近,稀疏表示方法已被证明是有效解决图像超限分辨问题。杨et al。16)提出了一种基于稀疏表示的方法,假设人力资源和LR图像共享同一组稀疏系数。因此,人力资源的图像可以被结合训练有素的人力资源字典和重建的稀疏系数对应的LR的形象。尽管稀疏表示方法提供了一个良好的性能,字典学习的优化和图像重建问题的高度密集的计算。此外,稀疏表示SR方法人力资源储备内存来存储信息词典和LR字典。字典的大小影响内存的使用。老稀疏表示方法需要密集的大内存,特别是随着字典的大小。时间复杂度和内存使用是关键限制因素的嵌入式系统应用这些方法。詹et al。17)提出了一种快速多级字典学习方法在核磁共振成像重建。Timofte et al。18]构造一组映射关系LR和HR补丁使用学习LR-HR字典。锚定社区回归方法(18)引出的问题作为一个最小二乘回归,导致大量计算加速同时保持之前的方法一样的准确性。固定社区回归方法计算映射矩阵基于一个通用的字典。然而,大量的不同的结构模式存在于一个图像,而一本字典是不能捕获所有的不同的形态。此外,固定社区回归方法仍然需要为每个字典原子存储不同的投影矩阵高内存使用。

现有的老稀疏表示方法总是为嵌入式系统有三个主要问题。首先,这些方法的性能是有限的,因为这些方法只使用一种方法来提取图像的特点提出了LR形象一般。然而,在图像的形态有着很大的差别。不同的补丁更喜欢不同的特性准确代表不同的形态。一个单一的特征提取方法不能准确代表形象。因此,与不同类型的共同代表图像特性是非常重要的。此外,时间复杂度和内存使用是关键限制因素的嵌入式系统应用这些方法。字典学习的优化和图像重建导致高度密集的计算。稀疏表示方法需要人力资源储备内存来存储信息词典和LR字典。字典的大小影响内存的使用。

最重要的是,这项研究做出了以下三个主要贡献。(1)与不同类型的共同代表图像特性提出了特征提取阶段。为准确地代表不同的形态、图像(或补丁)喜欢不同类型的特征提取的不同方法,因为一个单一的特征提取方法不能准确地捕获图像的基本特征。(2)多个词典学是基于稀疏表示不同类型的特征阶段,从一个字典单一类型的特性是不够的在捕捉图像的所有不同的形态。更准确地捕捉图像的不同形态,multifeature词典,由不同的字典有不同的特性,是习得的。(3)降低计算成本和内存使用,我们建议一个锚定集群回归方法。锚定集群回归方法字典原子分为几个集群。然后,计算每个集群的投影矩阵。在锚定集群回归方法,每个人力资源补丁可以通过相应的投影矩阵重构集群。锚定集群回归方法引出了问题作为一个最小二乘回归。 It only needs to store the projection matrix of each cluster. Anchored Cluster Regression leads to a vast computational speedup and needs less memory.

2。老稀疏表示方法

超限分辨旨在重建LR的人力资源形象形象,可以制定如下: 在哪里是观察到的低分辨率(LR)的形象。其相应的高分辨率(人力资源)同一场景的图像。是一个downsampled和模糊版的吗。代表一个downsampling操作员和是模糊算子。

让LR的LR补丁图像的大小在的位置。然后,我们有 在哪里是一个操作符,在位置提取一个补丁吗LR的形象。

同样的,相应的人力资源与大小在的位置。我们有

与LR补丁,特征提取吗。可以表示为特征 在哪里指LR特征提取算子。

随后,相应的人力资源功能从人力资源中提取的补丁吗: 在哪里运营商是指提取人力资源功能,通常是LR图像之间的差异及其对应的人力资源形象。

与稀疏的生成模型,每个LR补丁功能可以预计在LR的字典吗描述了LR补丁。这个投影产生的稀疏表示通过: 在哪里和LR字典的稀疏表示吗,分别。一般来说,为了获得最优的有最少的非零元素,我们应该解决如下的优化问题: 在哪里是一个常数。

同样,我们有人力资源块的稀疏表示: 在哪里是人力资源字典。传统稀疏表示方法假定LR补丁和相应的人力资源版本共享相同的稀疏系数相对于自己的字典;也就是说,。因此,

人力资源字典的定义是 字典的大小和是和分别在哪里在字典里是原子的数量。是每个原子的尺寸在LR字典吗在人力资源字典每个原子的尺寸。

很明显,稀疏表示是一个低分辨率和高分辨率补丁之间的桥梁。产生这样的稀疏表示,LR字典和人力资源字典扮演一个关键的角色。的字典和可以很容易地生成一组样本的方法如OMP [13]。

一旦学会了稀疏系数为每个LR补丁,我们可以使用这个稀疏表示来恢复其相应的人力资源。如果我们获得所有重建人力资源补丁,人力资源平均图像恢复的重叠重建补丁重叠。

3所示。拟议的老方法

该方法可以分为三个步骤:(a)学习不同的词典基于不同的形态,计算投影矩阵,(b)和(c)移动传感器图像重建人力资源。

3.1。学习词典基于不同的特性

大多数现有的稀疏表示SR方法只使用导数代表LR图像的形态特征。然而,构件会发生当使用不恰当的功能。解释这种现象的字典学习只有一种功能不能代表图像的基本形态。因为图像的形态有很大的差别,不同的补丁更喜欢不同的特性准确的表现形态。因此,multifeature治疗可以帮助代表图像以更有效的方式。我们提出一个方法,可以与不同的字典现在图像根据不同的特性。

为LR补丁,不同类型的特性可以用来表示它: 在哪里是的特性。表示提取th的特性。

同样,人力资源的补丁,是它的特性。

鉴于人力资源块和LR补丁,我们可以获得LR和HR补丁对进行训练。

基于种LR和人力资源培训组准备以上,这些训练集的LR和人力资源字典从以下模型。

的圣言会字典训练应用的补丁: 在哪里是稀疏的系数向量的和是规范计算一个向量的非零项。大多数老稀疏表示方法依赖于假设人力资源和LR图像共享同一组稀疏系数。因此,人力资源的图像可以被结合人力资源字典和重建的稀疏系数对应的LR的形象。因此,人力资源的补丁可以被近似为恢复。可以通过最小化计算以下均近似误差;也就是说,

3.2。计算投影矩阵

尽管稀疏表示方法提供了一个良好的性能,优化字典学习和图像重建的高度密集计算的问题。此外,稀疏表示SR方法需要人力资源储备内存来存储信息词典和LR字典。字典的大小影响内存的使用。老稀疏表示方法需要密集的大内存,特别是随着字典的大小。时间复杂度和内存使用量都是嵌入式系统的关键限制因素的应用这些方法。

Timofte et al。19)提出了一个固定社区回归方法,构建一套LR和人力资源之间的映射矩阵补丁使用学到的LR和人力资源字典。

基于多个词典获得的部分3.2,社区回归方法解决这一问题如下:对于每一个字典,来计算的稀疏表示问题(7)是新配方作为最小二乘回归的正规化规范的系数19]: 在哪里LR的字典吗类型的特性。相应的人力资源字典吗。是稀疏向量的。

岭回归是用来解决这个问题。代数解决方案(19是作为

因为老稀疏表示方法假定人力资源和LR图像共享同一组稀疏系数,因此,人力资源补丁可以重构的稀疏系数LR的形象和相应的人力资源字典:

我们可以获得映射矩阵LR和人力资源之间的补丁:

方程(17)意味着我们可以precalculate映射矩阵为每一个字典。推断HR补丁变成一个乘法为每个输入补丁。映射矩阵可以离线计算并保存为一个简单的矩阵应用到新的图像补丁,这使得庞大的计算速度,同时保持前方法相同的精度。

Timoft et al。18在社区)组字典原子。更具体地说,每个原子在字典里,他们计算的最近的邻居,这将代表其附近。社区的定义后,锚定社区回归方法计算一个单独的投影矩阵每个字典原子基于自己的社区。SR问题可以解决通过计算最近的原子在字典里对每个输入补丁功能。然后,HR补丁可以重建使用最近的原子的投影矩阵: 在哪里原子的投影矩阵吗和最近的原子的LR的字典。是社区的一组原子。是相应的组人力资源字典吗。

固定社区回归方法引出了老问题作为一个最小二乘回归,导致大量计算加速。然而,固定社区回归方法仍然需要为每个字典原子存储不同的投影矩阵高内存使用。嵌入式系统的内存使用是关键限制因素申请固定社区回归方法。

减少内存使用,我们建议一个锚定集群回归方法。该方法为每个字典原子分为几个集群——集群。然后,单独的投影矩阵每个集群的计算。然后,使用最近的集群的投影矩阵重建人力资源补丁: 在哪里集群是一组原子LR的字典。是相应的组人力资源字典吗。

锚定集群回归方法只需要存储每个集群的投影矩阵,而不是每个原子的投影矩阵。如果原子分为集群,集群锚定回归方法只需要存储每个集群的投影矩阵,而固定社区回归需要存储每个原子的投影矩阵。锚定集群回归显著降低了内存。此外,固定集群回归方法的计算复杂度,而锚定社区回归的复杂性,在那里是原子的数目和是集群的数量。锚定集群计算回归显著减少。

3.3。人力资源的图像重建

给定一个LR补丁,我们可以得到不同的人力资源补丁基于不同的投影矩阵。这些不同的人力资源补丁整合生成最终图像重建的人力资源。

为LR补丁,我们得到的类型的特性。的特性,我们可以找到最近的集群的th LR字典;然后,我们可以获得th估计人力资源块人力资源的补丁基于投影矩阵的(19)。

那些不同的估计人力资源补丁融合在一起,得到一个最终图像重建的人力资源人力资源的补丁(20.]: 在哪里是很重要的。根据重量本研究融合不同的估计人力资源补丁在一起,得到最终的重建人力资源形象: 在哪里误差函数是表示。反映了稀疏表示的正确度: 在哪里比较小,更相似的。

3.4。摘要算法

该方法包含两个阶段,即学习阶段和重建阶段。学习阶段,从训练图像中提取不同形态的特性。然后,有效的多个词典学是基于不同的形态。对于每一个字典,原子分为多个集群。每个集群的投影矩阵计算(19)- (21)。

在灾后重建阶段,对于每个LR补丁,首先提取不同形态的特性。然后,对于每种类型的特点,最近的集群在其相应的形态学字典。基于这些集群的投影矩阵,多个估计人力资源补丁重建在最后阶段。然后,最后人力资源生成补丁通过使用加权平均处理所有估计人力资源补丁。最后,人力资源通过平均图像是由重叠重建补丁。算法如图1。

4所示。实验结果

在我们的实验中,我们使用相同的训练集(18),其中包含91张图片。为测试,我们使用设置5个数据集(18]。一组5个数据集包含5个图片。测试图像如图2。在所有实验中使用的低分辨率图像是downsampled高分辨率图像。在我们的实验中,低分辨率图像生成的减少相应的高分辨率图像的比例因子3。

伽柏过滤器(21)有相似的频率和方向表示人类的视觉系统。在空间域,可以生成二维伽柏滤波器,高斯核函数调制正弦平面波。我们采用伽柏特性来表示纹理结构,因为伽柏特性可以有效地描述LR补丁的结构表征和歧视。伽柏卷积图像提取的特征归一化图像的家庭伽柏过滤器(在本研究中,我们使用2尺度和4方向)。旁边,我们使用导数代表高频图像的形态结构特征。意味着伽柏特性的特性。意味着导数特性的特性。

在低分辨率的图像,我们总是使用3×3低分辨率补丁,重叠的1像素相邻补丁,对应9×9补丁与重叠3像素的高分辨率补丁。10000对低收入和高分辨率补丁随机选择从生成的补丁对训练图像进行字典训练。

不仅视觉比较量化的比较证实了该方法的优越性。峰值信噪比(PSNR)和结构相似度(SSIM)已经实现为了获得一些定量结果进行比较。的PSNR值和SSIM的所有测试图像被用作质量指数。峰值信噪比评价重建质量,提高了基于像素强度。SSIM措施两个图像之间的相似度的基于他们的结构信息。SSIM指标需要一个“完美”的比较和参考图像提供了一个规范化的价值,“0”表示两个图片是完全不同的,而“1”证实了这两个图片是相同的。因此,更高的PSNR值和SSIM表明结果有更好的质量。

4.1。的影响与Multifeatures字典

验证字典与多个特性的影响,我们将我们的方法与基于导数法和伽柏基于功能的方法。在我们的方法中,我们使用伽柏特性来描述图像的纹理和导数特性代表高频图像的形态结构。这两个特性一起使用的图像。基于导数方法采用导数特性代表了LR的形象。与导数特性被用来和字典稀疏表示LR补丁。同样,伽柏特点方法采用伽柏特性代表了LR的形象。与伽柏和字典功能用于稀疏表示LR补丁。SR结果的PSNR和SSIM值使用各种方法都列在表中1。我们可以观察到该框架具有更好的性能比单一特征方面的PSNR和SSIM的方法。这是由于一个特征提取方法的原因不能准确地捕获所有图像的基本特征。Multitype共同特征可以代表不同的形态图像中更准确地说,这样不同的字典Multitype特性能代表图像以更有效的方式,并提供一个更加全球化的形象,这将导致这一事实提出的框架有一个更好的性能。

4.2。重建结果

说明该框架的有效性的视觉保真度和客观的标准,我们将拟议的框架与三个著名的图像SR算法,也就是说,三次b样条插值方法,杨的方法(16),和锚定社区回归方法18]。ANR,字典学习步骤,字典中原子的数目是1000。附近的大小40当回归量计算。

杨的方法需要存储关于人力资源的信息和LR字典。人力资源块的大小和LR补丁和,分别。如果字典的原子数,需要迭代,杨的方法大致的计算复杂度。锚定社区回归需要存储投影矩阵中每个原子的字典。投影矩阵的大小。锚定社区回归的计算复杂度;锚定集群回归方法只需要存储每个集群的投影矩阵,而不是每个原子的投影矩阵。投影矩阵的大小。如果原子分为集群,集群锚定回归方法只需要存储每个集群的投影矩阵。锚定集群回归方法的计算复杂度。

我们首先提出了超限分辨结果数据由不同的方法3- - - - - -7。然后,数据的显著区域的放大版本3- - - - - -7如图8。我们看到三次b样条插值方法模糊边缘和失去了一些专门的合成图像的细节。尽管杨的方法恢复足够的细节,它产生许多参差不齐的和振铃工件边缘或细节。原因是一个类型的功能不能完全代表图像的各种结构。相反,拟议的框架,提出了图像锐利的边缘,但更少的工件。不同的字典multitype特性被用来代表不同的人力资源的LR形象和权重补丁也自适应地调整在拟议的框架。这就是为什么该框架获得了比其他三种方法更好的视觉质量。

此外,PSNR和SSIM值超限分辨结果使用各种算法列在表中2。我们可以看到的PSNR和SSIM收益提出其他方法框架,这表明超限分辨结果与该框架比其他方法更好的客观质量的PSNR和SSIM指标。这一切说明拟议的框架方法相比是最好的之一的视觉感知和客观质量。

此外,从表2,我们看到三次b样条插值方法的时间消耗是0秒。这是因为立方b样条是一个interpolation-based最简单和最快的方法。我们可以发现杨的方法始终是最耗费时间的,因为它需要解决最小二乘优化和迭代凸优化。由于调整SR问题作为一个最小二乘回归,我们的方法比固定社区回归方法,跑快一点,因为它只需要在我们的方法搜索最近的集群而不是搜索最近的原子在锚定附近回归方法。除此之外,我们的方法可以显著减少内存使用,适用于嵌入式系统的应用程序。

5。结论

介绍了一种新的SR移动传感器的图像放大方法。首先,代表移动传感器图像更准确地说,复杂的信息在自然图像优化了不同形态组件和multimorphology字典从相应的形态训练集。对于每一个字典,原子分为多个集群计算投影矩阵。然后,获得人力资源的权重补丁基于不同的投影矩阵自适应控制。实验证明了提出的改进框架方面的视觉感知和定量比较与其他方法进行比较。因为这个方案的主要计算矩阵乘法和内存使用率很低,这种方法很容易实现在移动嵌入式系统的应用程序。

相互竞争的利益

作者宣称没有利益冲突。

确认

这项研究是由中国国家自然科学基金(没有。61271330也没有。6141101009),研究高等教育的博士项目基金(没有。20130181120005),美国国家科学基金会博士后科学家中国没有。2014 m552357),四川省科技计划(没有。2014 gz0005),科研基础归侨学者、国家教育部。