基于dct HDR接触融合使用Multiexposed图像传感器

文摘

现有接触方法很难适用于资源受限的平台。他们的金字塔图像处理和质量措施有趣的领域,需要保存需要大量的时间和内存。工作提出了一个基于dct HDR接触融合使用multiexposed图像传感器。特别是,它使用JPEG编码量化过程的测量图像质量的融合过程可以包含在基于dct压缩基线。全球图像亮度增强,基于相机的高斯误差函数特征。在仿真,该方法产量高质量图像,平衡自然和目标识别。这种方法也需要更少的时间和内存。这符合我们的技术用于资源受限的平台。

1。介绍

一般来说,在真实场景的亮度范围比数码相机的范围更广泛。此外,一个商业图像格式只能够存储每通道8位;因此,存储在单个图像亮度的范围是有限的。为了捕获所有的亮度信息在实际场景中,信息必须划分和分配在几个不同曝光图像。这种分裂不仅使用多个存储内存,还创造了扫描若干个图像来识别亮度信息的不便。

为了解决这些问题,不同曝光图像到一个图像融合的方法。主要有两种融合方法:高动态范围(HDR)成像(1)和接触融合(2]。在HDR图像,HDR图像首先从几个低动态范围(异地恋)图像重建使用相机响应函数(3),然后一个HDR-like异地恋形象包括大部分HDR图像的亮度信息生产使用色调映射操作员(TMOs)。因为一个HDR图像不能显示在显示设备,不支持HDR格式,需要语气HDR图像映射到一个HDR-like存贷比的形象。另一方面,接触融合直接创建一个HDR-like存贷比图像从几个异地恋不同曝光图像。接触融合是相对简单的,因为它消除了需要重建一个HDR图像。接触融合的过程中首先定义和测量图像信息,如细节和对比。然后选择信息的融合方法从几个异地恋的图像部分,组合成一个HDR-like存贷比的形象没有冗余。

许多方法来衡量和选择信息的部分图像研究了。莫顿等。2)使用质量度量构造相反,饱和,well-exposedness和输入基于使用金字塔图像融合技术相结合。歌等。4)测量了可见的对比和输入图像和合成视觉梯度图像基于概率模型可以转换为最大后验。最后,基于块图像融合在5)选择每个块的信息最丰富的图像使用图像的熵。

这些方法产生一个合理的优质形象;然而,他们不是合格的为资源受限的平台。它耗时的获得是一个HDR-like存贷比图像包括大部分的亮度信息,因为涉及的计算复杂度。基于此外,金字塔融合(2,6需要更多的内存。李和康7)提出了相对快速接触融合可以把图像与移动的物体,但他们的方法也很耗时。此外,大多数的数码相机,包括那些用于资源受限的平台,导致额外的步骤来解码和编码压缩数据流在一个融合的过程。尽管Kakarala和Hebbalaguppe [8)避免这些额外步骤的方法融合两个图像JPEG域,他们的研究结果缺乏详细信息在黑暗的区域,因为提高了曝光图像的亮度通道只是用作结果图像的亮度通道。最后,基于离散余弦变换(DCT)——的方法(9- - - - - -11使用DCT系数计算当地的信息,这需要更多的计算时间。

在本文中,我们提出了基于dct HDR接触融合使用双重曝光图像传感器,有对称的曝光值,+ EV和−EV。提出融合包括两个部分:图像融合在一个编码字段为资源受限的平台和直流水平繁殖在解码领域显示融合图像。特别是,为了减少计算复杂度,在资源受限的平台变成了一种负担,我们的方法不包括额外的图像质量测量,如基于dct的对比度和熵外按压。相反,我们认为,量化过程中测量图像质量的JPEG基线是充分的。因此,我们确认该方法能够快速产生融合图像与等于或高于质量的方法,可用于资源受限的平台。

2。图像压缩的基线

JPEG (12)是一种广泛使用的图像压缩标准。由于简单的公平质量图像处理和压缩性能好,各种各样的数码相机存储图像使用JPEG标准。在JPEG基线,图像的RGB颜色空间第一个颜色转换为YCbCr空间如下: 在哪里根据图像数据类型都有不同的价值。如果图像数据类型是一个unsigned 8位整数,设置为128。

从RGB到YCbCr向前变换后,基于块的JPEG压缩。如图1,一个图像分为不重叠的8×8块,然后64像素块转换为频域使用DCT。在8×8像素块的DCT的定义 为 和 ,在那里 和 是在空间域像素级。转换后的8×8块由一个DC系数和63 AC系数。直流系数, ,64像素的总和乘以比例因子,1/8。然后将DCT系数量化过程, ,通过量化矩阵和舍入值到最近的整数。

编码量化8×8块,DC系数在当前块的DC系数减去前一块,和编码的区别。在AC系数的情况下,锯齿形订购需要提高编码效率。因为高频交流系数量化零,零的交错排序可能形成一个长序列后低频交流系数。最后,量化数据流编码到相应的位流使用行程长度编码和霍夫曼编码。

3所示。基于dct HDR曝光使用双接触传感器融合

相机的括弧模式通常产生的图像对称曝光值,例如,+ EV, 0,和−电动车,电动车是一个曝光值。因为现场足够的亮度信息出现在+ EV和−EV的图像,该方法利用仅有的两个对称的暴露图片+ EV和−EV。通过或者捕获和曝光不足的图像N框架,它可以生成N/ 2 HDR帧,如图2。接触融合的过程分为图像融合在JPEG压缩的JPEG压缩和直流水平繁殖资源受限的平台。通过接触融合的分离过程,这两个图像可以快速融合的相机没有计算复杂度。

3.1。图像压缩领域的融合

3.1.1。质量测量使用DCT系数的长度

一般来说,细节在明亮的区域出现的−EV形象,而这样做的细节在黑暗的区域+电动汽车的形象。换句话说,为了再现场景的细节融合图像,需要决定哪两个图片最能代表每个区域的细节。在JPEG数据流的情况下,在8×8 DCT交流系数块对应于细节。在量化过程中,高频交流系数的水平不足让他们收敛到零,因此低频交流系数,不收敛到零,表示程度的8×8块的细节。因此,没有额外的步骤,可以使用AC系数作为质量措施的长度在融合过程中(13]。

图3提出了JPEG编码的一个例子。在这个例子中,使用霍夫曼编码的位流编码是为了简单,跳过。首先,图3(一个)显示了量子化的8×8块在DCT域中。这个街区有一个直流系数和只有少数低频交流系数。由于量化过程,许多AC系数融合为零。系数块交错排列的命令(如图3 (b))。最后,安排行程长度编码分类的数据,以减少它的长度(如图3 (c))。游程编码数据流包括(RUNLENGTH,类别)和(振幅),RUNLENGTH前是连续的数量0 0 AC系数表示振幅;类别编码的比特数是零AC系数。因此,没有连续零长度,对应于高频交流融合系数,可以直接估计的行程长度编码数据流。在本例中,长度没有连续0 5 (DC系数,1RUNLENGTH−6振幅,1RUNLENGTH,−4振幅)。

3.1.2。选择性压缩领域的融合规则

两个图像融合遵循最大的选择原则;块的DCT系数的最大长度属于融合图像。让P= {p_x,y;x= 0…N−1和y= 0…米−1}是一个由形象N×米8×8块的大小。假设D_n= {d_{n, u, v};n= 0…N×米−1和0≤u,v≤7}是相应的DCT系数问_n= {问_{n, u, v};n= 0…N×米−1和0≤u,v≤7}是量化的DCT系数n8×8块。提出了图像融合的n融合图像块, ,得到如下:

的系数的长度是nth的块k量化后图像。例如,量化DCT 8×8块一样+电动汽车和−EV图像数据所示4(一)和4 (b),分别。在这个例子中,阻止的+电动汽车的形象, ,成为融合的图像, ,因为(等于37)长于(4)。

融合规则(4)有一个优势,两个图像融合在JPEG数据流没有复杂的计算或额外的处理,因为长度系数可以从JPEG数据流。因此,可以很容易地融合结果图像的相机和直接传输或存储,因为结果图像已经JPEG数据流的一种形式。此外,如图5,结果是竞争与variance-based融合规则不一致性验证(10在细节方面的选择。

3.2。译码器直流级别映射

虽然细节使用提出了重建图像融合,传输或存储融合图像的JPEG数据流需要当地音调的操作使用直流系数。更快的处理的JPEG压缩,它是可以接受的两个在DCT直流系数的简单平均8×8块;然而,由于不同的显著水平+电动车和−EV图像,一个简单的直流平均水平产生不愉快的地方音调融合图像。此外,如图6、细节融合图像中没有出现明显因为太暗或过高的直流水平。注意,Sub1比在黑暗在融合图像+电动汽车图像和Sub2亮在融合图像比−EV形象,细节是不够的。为了解决这个问题,在JPEG压缩,我们估计直流的水平+电动汽车在黑暗地区形象和−电动车在明亮的区域形象从平均直流传输JPEG数据流。

3.2.1之上。高斯误差函数估算直流的水平

我们做了一个实验来确定每个输入图像之间的关系和传播两个输入图像的平均值。许多对称接触图像使用线性渐变模式使用相机(模型:索尼被抓获α6000)在±0.3 EV,±0.5 EV,±0.7 EV,±1.0 EV,±1.3 EV,±2.0 EV。然后为每一个对称的曝光值,每个测试模式的散点图的像素图像与相应的平均像素值的±EV图像绘制如图7(蓝色和绿色数据)。在我们的实验中,最大的接触仅限于±2.0 EV,因为图像的EV值高于2.0有太多饱和像素。从每个对称暴露值的散点图,我们可以看到,散点图展览点对称,可以估计使用高斯误差函数如下: 在哪里和估计图像水平吗+电动汽车和−EV图像,分别是两个图像的平均水平。因为高斯误差函数是奇函数,可以估计使用散点图功能及其翻译。此外,该参数, ,在高斯误差函数与图像的绝对风险值。我们把针对离散电动汽车数据暴露值的函数图8并简单地获取参数如下:

在图7,我们将红色和黑色线获得(5)和(6在散点图)。虽然有偏差的明亮的区域+EV−EV的形象和黑暗的区域形象,他们是可以接受的,因为这亮度,这通常是饱和的+电动车和−电动车图片,不包括在融合图像。换句话说,每一块亮度信息在黑暗中明亮区域的场景是估计的+电动汽车和−EV图像,分别。

同样,Kakarala和Hebbalaguppe提出了亮度传递函数(BTF)使用s型函数来提高短曝光图像的强度长时间曝光的图像(8]。然而,映像的BTF大ΔEV梯度高,对融合图像,提高了像素级的短曝光图像。相反,我们的函数,它有一个相对较低的梯度,可以估计的水平+电动汽车和−EV图像从平均水平。

确认功能(5),(6),(7)和(8)可用于不同的相机,我们抓住了同样的模式在±1.0 EV和±2.0电动汽车使用一个奥林巴斯E-PM1和Nexus手机摄像头5和星系S5。手机相机被认为是资源受限的平台,因为他们相对非专业相机模型。类似于图7,这些相机和散点图高斯误差函数曲线如图9。虽然有轻微的偏差,使用高斯误差函数的估计是成功的。

此外,基于相机响应函数(CRF)使用五个图像构造 验证我们的估计,一般图像。左边的图在图10显示了CRF与辐照度,EΔ,曝光时间t。假设相机的曝光范围 [−2 4]在对数域,相机的范围 (−4.77 - 1.23),因为曝光时间的 是16倍的时间比吗 日志中,差距大约是2.77域。类似于图7,像素图与相应的平均像素值的±EV(蓝色和绿色)和估计的图像图形绘制在图(红色和黑色)10 (b)。在测试使用一个模式图像,一般图像的估计是成功的。

3.2.2。复制相应的直流的水平

我们的实验表明,±EV图像的水平可以使用高斯误差函数的估计平均水平暴露值。但是,在直流水平只是空间之间切换的估计水平±电动汽车图像的JPEG压缩产生不连续的结果图像。光滑不连续,我们应用加权图,w估计水平的总和(5)和(6)如下: 在哪里和源于(7)和(8),分别是平均直流系数的±EV图像。权重映射, ,从模糊子图象由获得吗值,这样地图空间不同。为简单起见,权重映射限制范围内的[0 1]。明亮的地区场景中所示 。因此,(9)估计的水平−−EV形象因为明亮的地区出现最好的电动汽车的形象,而明亮的地区+ EV图像饱和。另一方面,黑暗地区场景中所示 。这意味着+ EV图像获得的水平(9−)因为黑暗地区电动汽车图像太暗了。

我们展示的功能图(9)在图(11日)。这些图变化估计直流水平之间的顺利±EV根据图片w值。因此,水平不连续在融合图像消失了。为了说明这一点,在图11 (b),我们显示了五个直流图片:+ EV,−电动车,w特区_avg,直流_融合。黑暗的地区+−EV和明亮的地区电动汽车用直流表示_融合,这是来自于(9)使用直流_avg和w。

3.3。基于dct HDR接触融合

提出JPEG-based接触融合的框图如图12;蓝色和红色线表示的操作DC和AC系数,分别。如图12(一个),因为该融合只需要两个简单操作的摄像头是操作比较长度使用AC系数和平均操作使用直流coefficients-it很容易应用于资源受限的平台,比如监视系统。直流的繁殖水平融合图像的JPEG压缩然后增强显示JPEG数据流传输时,如图12(b)。

作为一个例子,一个特定的JPEG数据流使用图像数据块从黑暗的场景是进入的区域。在JPEG压缩相机内的资源受限的平台,进行图像融合;AC系数选择使用融合规则,直流系数平均。当显示融合图像的JPEG压缩,直流水平复制使用直流系数的平均值和EV值。因此,融合图像块的DC系数相似的+电动汽车图像块和AC系数是一模一样的+电动汽车图像块。

4所示。模拟

4.1。仿真设置

六个图像集是用于模拟:“建筑1”“建筑2”“露台”,“比利时的房子”14),“威尼斯狂欢节”15),和“纪念教堂”(3]。相比之下,三个使用现有融合方法:接触融合(EF) [2),快multiexposure图像融合(FMMR) [7使用广义随机漫步,概率模型融合(GRW) [16]。我们的方法只考虑两对称Y渠道暴露图片颜色处理,我们把最远的价值从两幅图像之间的中性点CbCr颜色域。

我们接触融合的主要优点是它适用于资源受限的平台。此外,与我们的方法不同,现有的方法不能把JPEG图像流没有JPEG解码器。尽管原始图像数据可以使用现有的方法,可用于融合的原始数据需要太多内存。使用现有的方法融合图像计算复杂度的增加,相机,应该避免。出于这个原因,我们设置了测试床后,使用现有的方法融合图像JPEG编码和解码模块,如图13。

4.2。结果图像

数据14- - - - - -16图像显示结果与现有的和拟议的方法使用双重曝光捕捉。在“建设1”和“露台”,结果FMMR和GRW染色。特别是在FMMR结果“建筑1”的左上角红砖建筑是不自然的,因为减少的方法有二次抽样过程计算和内存消耗。同样,在GRW结果“露台”,大部分的绿叶浓度较低。在英孚的结果看起来更自然,通常很难确定细节在最黑暗、最聪明的地区。相比之下,我们的方法在这些领域产生自然图像具有良好的细节。增强的结果无疑是确认裁剪图像如图17。

客观地验证了图像质量,我们使用五个指标定量评估:SSIM [17],FSIM [18],FMI [19],MEF [20.],TMQI [21]。SSIM是一个著名的基于结构相似度的图像质量指标。FSIM基于凸的低级特征感知场景并显示更高的一致性与主观评价。因为SSIM和FSIM reference-based评估作物黑暗和光明的领域,分别和裁剪图像作为参考图像。中放音乐,这是一个基于特征图像融合指标,计算互信息的数量从源图像的融合图像。MEF为multiexposure图像融合设计。MEF关联与主观判断特别好。最后,TMQI tone-mapped图像的图像质量指标。换句话说,使用一个HDR图像作为参考,TMQI措施信号保真度和自然损坏色调映射图像。我们采用这个指标因为损坏色调映射图像类似于一个exposure-fused形象。 In our simulation, HDR reference images for TMQI are made using Adobe Photoshop CS6 with two source images.

定量结果如表所示1,2,3。该方法在SSIM得分排名第一(0.9106)和FSIM得分(0.9417)和第二FMI (0.8832), MEF(0.9686),和TMQI(0.9394)的分数。虽然该方法不是第一个在所有的个人指标,它是第一个在整体排名中使用所有指标(秩和的四个指标; , , , )。EF最高评分TMQI MEF(0.9723)(0.9497),但是SSIM的最低得分(0.8647),FSIM(0.9225),和FMI (0.8767)。这意味着英孚有很好的自然但糟糕的信号保真度,而该方法更忠实于结构富达自然性的轻微损失。FMMR和GRW信号保真度相对较好,但缺乏自然性。例如,结果图像的“建筑1”和“露台”有很多光环的构件(染色。相比之下,我们的方法所产生的均衡的结果图像。

4.3。计算时间

对于资源受限平台,计算时间是需要考虑的要点之一。表4显示了每个方法的计算时间在MATLAB 3.40 GHz CPU (i7 - 2600 k) PC 8.00 GB RAM。因为决定使用JPEG流的资源受限的平台,结果包括《纽约时报》被JPEG模块在测试床,如图13。该方法有最快的计算时间。蛮力JPEG编码使计算时间的JPEG解码和编码构成结果的很大一部分时间。然而,考虑到它不花很长时间(约0.5秒)写“建设1”作为JPEG图像文件使用imwrite在MATLAB函数,该方法可以快速的计算时间。

如果JPEG模块图13删除,其他融合方法变得过度的内存需求。例如,内存的两个原始图像“露台”是大约16.26 MB,而两个JPEG图像的记忆只有1.95 MB。因此,在考虑到内存需求和计算时间,该方法优于现有方法。

5。结论

本文提出了基于dct HDR接触融合为资源受限的平台。融合两个对称曝光图像的JPEG基线,我们证明了量化过程的JPEG基线质量合格测量在融合过程中,高斯误差函数估计,直流水平直流源图像的平均水平。此外,针对资源受限的平台,两个对称的暴露在JPEG压缩图像融合,然后是直流的融合图像复制在JPEG压缩。仿真结果表明,该方法平衡自然和细节的饱和区域整体良好的图像质量。此外,该方法快速计算时间,需要更少的内存,这样它满足要求接触融合在资源受限的平台。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究受到了基础科学研究项目通过韩国国家研究基金会(NRF)由教育部(NRF - 2015 r1d1a1a01059929和联盟- 2017 r1d1a3b03032807)。

引用

1. e·莱因哈德·g·沃德,美国Pattanaik和p .埃蒙斯高动态范围成像:采集、显示、和基于图像的照明,摩根Kaufmann出版社,2005。CIE、发布15.2,中央调查局CIE,维也纳,奥地利,第二版,1986年版。
2. t·莫顿,j . Kautz和f·范·Reeth”曝光融合:一个简单而实用的替代高动态范围摄影,“计算机图形学论坛,28卷,不。1,第171 - 161页,2009。视图:出版商的网站|谷歌学术搜索
3. p·e·埃蒙斯和j·马利克恢复高动态范围光辉从照片,地图”学报》24日的年度会议上计算机图形和交互技术(SIGGRAPH 97),第378 - 369页,1997年。视图:出版商的网站|谷歌学术搜索
4. j . m .歌曲,d .道c . Chen Bu, j .罗和c,“融合概率敞口,”IEEE图像处理,21卷,不。1,第357 - 341页,2012。视图:出版商的网站|谷歌学术搜索
5. 答:a . Goshtasby“融合多次曝光图像,”图像和视觉计算,23卷,不。6,611 - 618年,2005页。视图:出版商的网站|谷歌学术搜索
6. t . Pu和g .倪”Contrast-based使用离散小波变换图像融合,“光学工程,39卷,不。8,2075 - 2082年,2000页。视图:出版商的网站|谷歌学术搜索
7. 李和x Kang“快速多次曝光图像融合与中值滤波和递归滤波器”IEEE消费类电子产品,卷。58岁的没有。2、626 - 632年,2012页。视图:出版商的网站|谷歌学术搜索
8. r . Kakarala和r . Hebbalaguppe方法融合的图像的JPEG域,“实时图像处理》杂志上,9卷,不。2、347 - 357年,2014页。视图:出版商的网站|谷歌学术搜索
9. j .唐“基于对比度的图像融合技术在DCT域中,”数字信号处理,14卷,不。3、218 - 226年,2004页。视图:出版商的网站|谷歌学术搜索
10. m·b·a . Haghighat a Aghagolzadeh, h . Seyedarabi”Multi-focus视觉传感器网络在DCT域图像融合,“计算机与电气工程,37卷,不。5,789 - 797年,2011页。视图:出版商的网站|谷歌学术搜索
11. 即征服者、e·a·Edirisinghe和h。e .鹿角的第二叉”多次曝光& multi-focus在变换域图像融合,”专业会议进行视觉信息工程,页606 - 611,班加罗尔,印度,2006年9月。视图:出版商的网站|谷歌学术搜索
12. g·k·华莱士,JPEG静止图像压缩标准,“ACM的通信,34卷,不。4,30 - 44岁,1991页。视图:出版商的网站|谷歌学术搜索
13. h·j·s . h . g . y . Lee Lee Kwon和k . i Sohng”图像融合使用两个对称的暴露出JPEG图像流,”学报》国际会议图像处理、计算机视觉和模式识别雅典,页341 - 342年,2016年。视图:谷歌学术搜索
14. r·法塔尔·d·里奇斯,m·沃曼“梯度域高动态范围压缩,”ACM交易图片,21卷,不。3、249 - 256年,2002页。视图:出版商的网站|谷歌学术搜索
15. j . Joffre“威尼斯嘉年华2007日出时。”https://www.hdrsoft.com/gallery/gallery.php?id=69&gid=0。视图:谷歌学术搜索
16. j . r .沈,Cheng史,a·巴苏”融合多次曝光图像,广义随机漫步”IEEE图像处理,20卷,不。12日,第3646 - 3634页,2011年。视图:出版商的网站|谷歌学术搜索
17. z, a·c·Bovik h·r·谢赫和e . p . Simoncelli“图像质量评估:从错误的可见性结构相似,“IEEE图像处理,13卷,不。4、600 - 612年,2004页。视图:出版商的网站|谷歌学术搜索
18. l, l .张x谅解备忘录,d .张“FSIM:特征相似性指数图像质量评估,”IEEE图像处理,20卷,不。8,2378 - 2386年,2011页。视图:出版商的网站|谷歌学术搜索
19. m·b·A . Haghighat A Aghagolzadeh, h . Seyedarabi“非引用图像融合指标基于互信息的图像特征,“计算机与电气工程,37卷,不。5,744 - 756年,2011页。视图:出版商的网站|谷歌学术搜索
20. 王曾k, k, z,“感知质量评估多次曝光图像融合,”IEEE图像处理,24卷,不。11日,第3356 - 3345页,2015年。视图:出版商的网站|谷歌学术搜索
21. h . Yeganeh和z . Wang”tone-mapped图像的客观质量评估。”IEEE图像处理,22卷,不。2、657 - 667年,2013页。视图:出版商的网站|谷歌学术搜索

版权

版权©2017 Geun-Young李等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。