深度分析灰度积分使用连续小波变换多视图图像

文摘

积分图像的小波分析可用于提取的深度拍照/合成3 d对象。分析的结果,然而,取决于物体的颜色和质地,因此可以模糊。在本文中,我们提出规范化的图像前处理,以避免这种模棱两可,和提取深度不考虑颜色/材质。拟议的技术是在多重积分/ plenoptic图片验证,可以应用于多视图以及光场的显示。

1。介绍

有许多3 d技术(1- - - - - -3在3 d成像。尤其是小波用于3 d成像,例如,在多视图视频压缩(4在图像编码中,5在图像融合中,6),作为一个质量指标(7)等。立体图像的差异可以估计8),拍摄/合成对象的形状可以分析,和深度可以提取使用积分图像的小波分析(9- - - - - -11]。在本文中,我们提出了技术消除纹理的效果。基于3 d图像之间的相似性,在3 d内容表示在一个图像平面组成的逻辑图像细胞(12),我们的研究结果可以应用于积分(13- - - - - -15),多视图(16- - - - - -18],plenoptic图片,光场显示[19- - - - - -21]。

3 d图像的小波分析的结果,然而,取决于物体的表面的颜色和质地。这种效应被发现之前,大多数图像(9- - - - - -11)是二进制BW图像和大多数结果在定性视觉形式。这必须减少意外的不良影响,但是解决方案一直是未知的。

图像的强度在任何点在图像平面上点的亮度成正比的对象。所有体素分离的部分模式的强度(22)=对象的对应点的亮度。立体像素模式之前小波;因此,这一重要属性保存在小波。因此,小波系数取决于色彩;和小波分析的结果多视图图像像素点的亮度成正比(或块的表面纹理模型)。

定义中央视图(CV)的积分图像作为一个图像,在中央像素的图像细胞积分图像按照组装细胞的位置;即。,the centre pixel of the left top cell goes to the left top corner of the CV, the centre pixel of the right top cell goes to the right top corner of the CV, etc.; such image can be seen by a hypothetic (nonexistent) camera located at the centre of the lens array.

简历可以计算通过应用已知的交错技术(见,例如,23])沿着两个维度的整体形象。的简历可以计算二进制、灰度或彩色图像;参见图3。在我们的论文中,简历只是作为简单的图形图像的所有对象的三维图像,因为在原来的整体形象,对象可能看起来不清楚(nonsharp或失焦,或模糊,等等);比较数据1(一)和1 (b)。

重要的是,它是不必要的计算小波变换的简历,因此不是一个操作与小波需要简历。在这种背景下,中央看来只不过是一个描述性的期刊论文的插图。

在本文的后面,我们将名字积分/ plenoptic形象的简历(如图。1 (b)”),但实际上这样的引用(即意味着积分图像。”图1(一)”),对应于指定的简历。

以前,背后的颜色依赖保持现场,深度是混合的颜色。在这篇文章中,一旦我们知道答案,我们试图开门,略。恢复深度更正确,我们建议使用规范化的形象。首先,我们想说明依赖颜色积分小波分析的图像。

2。小波系数的依赖的颜色

考虑颜色的三个数字在123 -形象。如果所有的颜色都是相同的(如BW形象图1),然后每一个数字的小波系数是相同的。请注意,这是一个重新粉刷彩色图像,最初由b .李教授提供。

二进制小波分析的BW形象图1显示几乎统一的形状(平顶建筑物曲线)之间的深度飞机6 + 6,这个三维图像的数字在哪里可能位于空间;参见图2(一个)。每个数字处理的小波系数分别在图所示2 (b),所有三个最大值接近对方。

基于图2 (b),你会得出这样的结论:数字1位于+之间和+飞机,数字2 ,之间的数字3 -和- - - - - -飞机。这个区域以外的(> 3),小波系数单调衰减。因此在之后的相关数据4和5,我们将展示深度内的小波系数区域[2 + 2],在预期的结果是一个平顶建筑物水平线。

然后,如果数字的深浅的灰色或图的颜色是不一样的3的预期结果,小波分析将不同的每一位。

小波分析的结果(小波系数)的灰度图像,数字3(一个)和3 (b),如图4(一)。小波系数的颜色数字,数字3 (c)和3 (d),如图4 (b)。

有一个小波系数之间的本质区别各种颜色的位数。在所有情况下,而不是一个平顶和衰变(如图2(一个)二进制图像),灰色图像的小波系数可能起来,跌倒,或在中间有一个最大值或最小值;参见图4。这些图表可以隐约:要么数字在同一个平面上有不同的颜色,或位于不同距离位数相同的颜色。各种各样的中间的解释也是可能的。

这证实了结果强烈依赖于颜色的体素(纹理);这是一个不受欢迎的副作用的深度(形状)提取。下面,我们介绍了如何消除它。

3所示。材料和方法

在我们的例子中,源图像积分/多视图/ plenoptic图像与图像的正方形网格细胞(细胞是一个透镜状透镜面积)。这张图片来自独立的来源不同,照片或合成(电脑)图像。

多视图的小波算法的连续小波变换多视图是我们以前一模一样在纸的多视图小波(10,11]。

为了避免纹理和恢复的不良影响空间结构不考虑颜色,我们建议处理所谓的归一化图像(24]。归一化图像通常是为了减少使用非均匀照明在当地社区。归一化图像可以建造的算法(25]。归一化的图像与原始图像对应的位图1如图5(一个)。这个归一化图像的小波分析的结果显示在图5 (b)。

尽管微不足道的缺点(如非- 100%水平平面上),数据的图表2(一个)和5 (b)类似于彼此超过图在图吗4。这意味着归一化图像主要包含信息的三维结构(深度),而不是颜色(纹理)。例如,小波系数的均方根差之间的RGB和BW图像处理是1.2美(归一化均方根误差60%);在灰色和BW图像0.7运算器(48%);然而,在BW和归一化图像少2.5 - 4.2倍(0.3。U 19%)。这不是一个完全消除不良的效果,但其基本的减少。

前处理,彩色图像转换为grey-scaled图片,但不是必要的。全色图像处理,通过处理的R, G, B分别颜色组件。

图像的尺寸如下:数字是800 x 800像素的图像(简历和归一化图像是40×40像素),兔子1350 x 1350(简历和规范化45 * 45),这些书4031 x 4031像素(简历和规范化的139 x 139),和众议院4575 x 4575像素(简历和规范化的75 x 90)。

4所示。结果

为了说明拟议的技术,我们应用它plenoptic /积分图像从各种来源。正常化是紧随其后的是小波变换。在示例中,我们将比较结果(即。,the wavelet coefficients for the source and normalized images) by the depth planes and along the rows (horizontal lines) in the array of the coefficients.

房子的原始和归一化图像如图所示6(还记得,这是一个简历)。

考虑,例如,深度平面0和70行形象。路径和草坪之间的边界线是同时变化的线的颜色纹理。正因为如此,这条线的深度是隐藏在原始图像(隐藏);看到小波系数和沿水平行数据图7(一)和7(b)。重要的是归一化的图像,可以清楚地看到这一行作为一个单独的数字脉冲7(c)和7(d)。

注意:每一对在图的第一形象7显示小波系数的模量(黑色意味着最大,白色意味着零),而第二个图是完整的剖面沿选定的行。稍后将使用相同的布局数据9,11,12。

同时,注意平均(平均)水平的差异之间的车列的身体45和65虚线表示的数据7(b)和7(d)。的影响身体的纹理颜色的车显然是减少在图7(d)的平均水平这一行。

书的来源和归一化图像如图所示8。

在这个例子中,我们考虑深度平面1,95行。数据9(c)和9(d)清楚地表明一个公认的3 d边界(这本书的主干)作为一个单独的脉搏,但不是texture-induced效应(一步脉冲)数据9(一)和9(b)。

纹理的影响也减少在这幅图像。的平均水平在书的封面几乎是相同的归一化图像处理中的沿行(如图9(b)和9(d)的虚线)。

注意:字母“如”书的封面图9(一)不是一个恢复三维结构,而表面的纹理图。

兔源和归一化图像的图所示10。在3 d分析,两架飞机将被考虑。

(1)平面2、行13。兔子的眼睛变得认清规范化的形象,虽然它是完全看不见的非规范;参见图11。

(2)飞机5日行17。鼻子也是有效的。鼻子显然是公认的归一化处理图像,虽然它是隐藏在源图像(非规范);参见图12。

这两个例子也证明结构的影响是归一化图像,减少一些之前未特性出现。

5。讨论

我们处理灰度图像。前处理,颜色图片(如果有的话)变成了grey-scaled图片,但不是必要的。全色图像处理,通过处理RGB颜色组件。此外,我们使用BW归一化图像;然而总的来说,每种颜色组件可以单独规范化和五颜六色的归一化图像可以获得。

数组中的行和列的计算小波系数略有不同的行和列的简历,因为大小不同。(简历的大小是固定的,但在每个深度平面数组大小不同,因为我们没有做出任何假设的行为超出了原始图像的图像)。差异的数量小于当前深度平面,但这个小的区别是当前论文的范围。

本文中使用的3 d图像获得的独立作者从plenoptic相机(数字6和8)或通过积分成像(数据的计算机模拟1和10)。在这两种情况下,一个透镜阵列微透镜的方格网或其使用计算等效。优质的透镜阵列著称非常均匀结构(一个小镜头音调的偏差数组)。提出的图像处理程序可以应用于3 d图像建立在六角网格的镜头(正确地重新设计小波)。

代替透镜阵列,3 d图像也可以从相机获得数组,如[27和引用的3];另一方面,布局的相机相机阵列可能不如透镜阵列的制服。此外,3 d成像传感器随机位置[演示了28]。因此,我们希望小波处理原则上可以从相机阵列应用于3 d图像;然而,在这种情况下小波必须彻底修改。

正常化的大多数图像(只有少数的许多图像处理提出了),我们使用默认值σ₁= 18,σ₂= 24;然而在一些情况下,这些值被降低σ₁= 4.5,σ₂= 6。

6。结论

颜色(结构)的影响是减少通过归一化图像而不是源全色或灰度图像。技术确认处理积分/ plenoptic图片独立来源。飞机之间的数值比较成为可能,在每个飞机(因为小波系数是规范化的定义,因为积分图像本身是用于标准化形式)。积分、多视图、plenoptic(光场)的正方形网格细胞的图像可以处理。彩色图像处理。该技术可以有效地用于3 d成像深度提取和形状重建不考虑颜色/材质。

数据可用性

plenoptic /积分图像数据用于支持本研究的发现是来自两个来源。即两个示例中使用的四个图片我们是免费网站”http://www.tgeorgiev.net/“t·吉奥吉夫博士(26];另外两个图片是请由b .李教授在我们个人的请求。

的利益冲突

作者宣称没有利益冲突有关t他发表这篇论文。

确认

这项工作也在一定程度上支持了一个作者(i Palchikova教授)俄罗斯基础研究基金会,由教育部,新西伯利亚地区的科学和创新政策的框架内研究(项目号17-47-540269)。我们非常感谢李教授b的图片提供给我们个人(数字和兔子)。也,我们感谢t·吉奥吉夫博士为他精彩的和非常有用的网站(直到2014年)研究,尤其是免费的图像可以在网站(输入和众议院作物)。

引用

1. h . j .香港y . Kim崔et al .,“最近感兴趣的三维显示技术:原理、状态,和问题,“应用光学,50卷,不。34岁H87-H115, 2011页。视图:出版商的网站|谷歌学术搜索
2. J.-Y。儿子,b . Javidi, K.-D。Kwack”,显示三维图像的方法,“IEEE学报》,卷94,不。3、502 - 522年,2006页。视图:出版商的网站|谷歌学术搜索
3. m . Martinez-Corral和b . Javidi”3 d成像和显示原理:教程积分成像,光场,和plenoptic系统”先进的光学和光子学,10卷,不。3,p。512年,2018年。视图:出版商的网站|谷歌学术搜索
4. m . Flierl和b·吉伦特“多视图视频压缩,”IEEE信号处理杂志,24卷,不。6,66 - 76年,2007页。视图:出版商的网站|谷歌学术搜索
5. j·w·杨,y, f . Wu Cai, k . n .颜和美国,“4 - d小波多视图视频编码”IEEE电路和系统视频技术,16卷,不。11日,第1395 - 1385页,2006年。视图:出版商的网站|谷歌学术搜索
6. 诉,j·l·Rubio-guivernau Gurchenkov m a Luengo-oroz et al .,“小波图像融合在多视点三维显微镜,”生物信息学,28卷,不。2、238 - 245年,2012页。视图:出版商的网站|谷歌学术搜索
7. p . b .陈守煜,和c v Serdean“立体视频使用multi-wavelets视差估计,”学报》第七届国际会议上数字通信(ICDT),2012年50 - 54页。。视图:谷歌学术搜索
8. e·博斯克梨f·巴蒂m . Carli, p . Le荡妇”的小波图像质量度量评估3 d合成视图”24日的诉讼和T /有立体显示和应用程序发布会上,SD和2013卷。8648年,美国2013年2月。视图:谷歌学术搜索
9. 诉Saveljev”,小波和连续小波变换为“裸眼3 d”多视图图像,”《电气工程,4卷,不。1,19号,2016页。视图:出版商的网站|谷歌学术搜索
10. 诉Saveljev和i Palchikova”,使用多视图立体视觉三维图像的小波分析,“应用光学,55卷,不。23日,第6284 - 6275页,2016年。视图:出版商的网站|谷歌学术搜索
11. 诉Saveljev和i Palchikova”分析模型的多视图自动立体3 d显示器障碍或透镜状板,“杂志上的信息显示,19卷,不。2、99 - 110年,2018页。视图:出版商的网站|谷歌学术搜索
12. 诉诉Saveljev S.-J。心”,在整体布局和细胞摄影和点光源模型,”韩国光学学会杂志》上,13卷,不。1,第138 - 131页,2009。视图:出版商的网站|谷歌学术搜索
13. S.-G。公园,j . Yeom y, n . Chen J.-Y。香港,和b·李,“最近问题积分成像及其应用”,杂志上的信息显示,15卷,不。1,37-46,2014页。视图:出版商的网站|谷歌学术搜索
14. 肖x、b . Javidi m . Martinez-Corral, a·斯特恩,“三维积分成像的进步:传感、显示、和应用程序,”应用光学,52卷,不。4、546 - 560年,2013页。视图:出版商的网站|谷歌学术搜索
15. 黄永发。公园,英国在香港,和b·李,“最近进展基于积分成像、三维信息处理”应用光学,48卷,不。34岁H77-H94, 2009页。视图:出版商的网站|谷歌学术搜索
16. n·a·道奇森”的分析查看多视点立体视觉显示器,带”《立体显示和虚拟现实系统第九卷,4660年,页254 - 265,美国2002年1月。视图:谷歌学术搜索
17. B.-R。李,j j。黄,J.-Y。儿子,”多视图合成图像的成像特点和积分摄影,“应用光学,51卷,不。21日,第5243 - 5236页,2012年。视图:出版商的网站|谷歌学术搜索
18. y高木、田中k和j .中村”超级多视点显示分辨率较低平板显示,“光学表达,19卷,不。5,4129 - 4139年,2011页。视图:出版商的网站|谷歌学术搜索
19. r·Ng m . Levoy m . Bredif g·杜瓦·m·霍洛维茨和p•汉拉罕”与手持plenoptic相机光场摄影”,斯坦福大学(技术报告)2005年4月,CTSR 2005 - 02年,。视图:谷歌学术搜索
20. t·吉奥吉夫和a . Lumsdaine”集中plenoptic相机和渲染,“电子杂志的成像,19卷,不。2、2010。视图:谷歌学术搜索
21. j .金月亮,y, c .张成泽y . Kim和b·李”Dual-dimensional显微镜:体内三维实时观测方法利用高分辨率光场显微镜光场显示,“《生物医学光学,23卷,不。6、1 - 11,2018页。视图:出版商的网站|谷歌学术搜索
22. M.-C。诉诉Saveljev公园,美国居公园和美国金圆,“与体素合成三维图像,”三维成像、可视化和显示施普林格,页207 - 225年,2009年。视图:谷歌学术搜索
23. p .诉约翰逊,j . Kim和m . s .银行“立体3 d显示技术使用时空交错时空属性有所提高,“光学表达,23卷,不。7,9252 - 9275年,2015页。视图:出版商的网站|谷歌学术搜索
24. d .鼠尾草和m . Unser”教学图像处理编程在Java中,“IEEE信号处理杂志,20卷,不。6,43-52,2003页。视图:出版商的网站|谷歌学术搜索
25. d .鼠尾草,“当地正常化。”网页07年9月2018年http://bigwww.epfl.ch/sage/soft/localnormalization/。视图:谷歌学术搜索
26. t·吉奥吉夫”研究领域的光场,直到2014年,“网页13。2018年9月,http://tgeorgiev.net/。视图:谷歌学术搜索
27. y兴,Z.-L。熊,m .赵,Q.-H。王”,使用相机阵列实时积分成像传感器系统,”显示技术的进步八世学报》上,卷10556,p。12日,旧金山,美国2018年1月。视图:出版商的网站|谷歌学术搜索
28. m . DaneshPanah b Javidi, e·a·沃森“三维成像与随机分布的传感器,”光学表达,16卷,不。9日,第6377 - 6368页,2008年。视图:出版商的网站|谷歌学术搜索

版权

版权©2018年弗拉基米尔Saveljev Irina Palchikova。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。