一个阻塞方法和一致性约束Multiscopic深度提取

文摘

这是一种新方法来处理遮挡立体观察算法的多视图上下文使用注定自动立体显示图像。它利用信息从所有视图的一致性,确保差异地图。我们将演示在correlation-based方法和graphcuts-based方法中的应用。后者使用新能源,合并和遮挡评估的异同。我们讨论结果真实和虚拟映像。

1。介绍

增强现实技术有许多应用程序在多个领域如游戏或医疗培训。另一方面自动立体显示是一种新兴技术,它添加了一个深度的认知增强用户沉浸。增强现实技术可以应用于自动立体显示在一个简单的方法通过添加虚拟对象在每个图像。然而,它是更有趣的使用depth-related信息真实的场景,这样可以隐藏真实的虚拟对象。

为此,我们需要获得一个深度映射为每个视图。图像的特定上下文中注定要在自动立体显示器允许我们工作在一个简化的几何(如不需要整改,纵向对水平线的大小一样,因此差异向量对齐沿横坐标)。然而,我们的目标是获得良好的深度的评估在各种各样的场景,不做任何假设的内容。事实上图片可能有均匀的颜色以及他们可能有各种各样的颜色。同时,由于“裸眼3 d”的原则显示,用户可以看到两个图像在同一时间。然后强烈一致的深度图的关键。例如如果一个虚拟的对象是画在一个真正的对象在一个视图,它必须以相同的顺序绘制在所有视图。因此,我们引入一个新的阻塞方法多视图立体观察算法,旨在确保深度地图的一致性。

我们建议我们的方法的应用程序的一个示例correlation-based法和对称graph-cuts-based法。最后,我们讨论他们的结果。

2。相关工作

立体观察算法的目标是找到差距地图来推断出深度地图。这就是为什么我们将使用这个短语“差距地图”而不是“深度地图”在接下来的台词。深度地图可以很容易地从差异获得地图使用三角测量步骤。

让我们承认我们有一组从左边的图片,编号()到右(),用并行捕获系统专门为自动立体显示器。图1说明了这些射击条件。焦距和吗dioc是内部光学中心的距离。指定的像素的集合的形象。是一个函数将一个差异向量与像素吗从。之间的区别是这个向量的对应像素的坐标在图像和在图像。相应的像素在接下来的图像在位置。由于我们使用一个简化的几何,的维度。它是一个整数(),所以,我们不需要处理亚像素。而且可以找到相应的像素在任何图像使用唯一的差距。在任何图像,对应的像素是由。例如相应的像素在前面的图像。

光流算法是基于成本评估两个像素之间的颜色不同和。在彩色图像的情况下,它是由

在哪里,,(职责。,,)是红色,绿色和蓝色的组件(职责。)。几种方法使用多视图方面为了使算法更加健壮和少等对噪声敏感。当地的费用一个像素的(根据差异)然后由

读者可以参考Scharstein和Szeliski1]密集立体电视的完整分类算法。在许多这个领域最近的出版物,作者用颜色分割方法(2- - - - - -5]。然而颜色分割和其他原始提取方法为每个视图都是独立的。然后是不可能确保差距地图之间的一致性。此外,它可能是一个错误的原因主要应用于图像时均匀的颜色。因此这些方法不符合先前提供的目标,对工作在当地比色背景。我们可能没有任何假设图像的内容,因此,我们不能提取其他特性。所以我们的目标是弥补缺乏利用冗余的信息图像。

很多算法处理遮挡地图,为了获得更好的差距,保存在对象的边界不连续。第一步处理遮挡是能够检测到它们。Egnal和王尔德6比较五种方法。其中一些是基于颜色对应深度不连续。这些方法被称为photometry-based方法。阿尔瓦雷斯et al。7)使用灰色的水平的梯度,以局部调整平滑约束的能源:梯度值越低,平滑约束越强。另一方面,几何方法使用差异来检测遮挡区域。读者可以参考(6等一个完整的比较方法。我们喜欢photometry-based的几何方法,因为他们不做任何假设颜色和允许差异的地图图像进行互动和联系。这个链接可以确保一致性的差异,弥补了缺乏先前讨论过的信息。使用最广泛的线性几何方法是左右检查(领头的方法(8- - - - - -10]。原则是一个像素应该匹配像素从另一个图像相同的差距;否则发生阻塞。在两个图像(编号和),这可以表达的

在哪里接近于零当没有阻塞和高像素是阻挡在图像。已经有几次试图提高该方法的鲁棒性(11,12]。然而,最初的领头仍然是最受欢迎的方法(2,5,13,14]。我们提出一个LRC-based方法,不同的几个点:

(我)它是扩展到多视图的上下文,(2)它确保深度地图之间的几何一致性。

检测步骤后,主要困难是处理遮挡的匹配算法。Woetzel和科赫15]提出一个correlation-based算法,不添加了不同成本对整个的形象对但它的一个子集。他们取代(2)

在哪里选择的一组图像对。提出两种方法选择集图像对。第一个是选择最远最远的向右或向左的图像。第二个是选择对最小的成本。这种方法减少了遮挡对结果的影响,但在图像中引入了很多错误的futhest走了。

有两类方法基于能量最小化执行匹配,同时考虑遮挡。

第一类包含迭代方法(8,10基于算法)1。为了应用这一原则,Proesmans et al。8),与两个图像,使用四个地图,一个差距地图+ 1闭塞地图/形象。领头闭塞地图计算使用的方法。Strecha和Van干傻事10这一原则扩展到多视图上下文。首先,差异映射的计算的观点。然后为每个视图,闭塞地图计算领头的评估与所有其他视图。

为了获得更好的结果,一些方法在第二步第三步结束后重新开始循环,直到系统收敛。迭代方法是差异和遮挡的问题估计是独立的,不会相互影响,因此,不确保全球几何一致性。

第二类是由方法来同时估计遮挡和差距。在两个视图的背景下,阿尔瓦雷斯et al。9]介绍下面的能量与

在哪里评估差异对应的像素,对应的平滑约束的总和对于每一个像素的图像。和是加权因素。

注意,即使检测到像素作为阻挡,他们仍在考虑不同项的异同。这意味着这个术语包含失配的不同像素,这毫无共同之处。这是一个问题,因为,介绍了噪声能量。为了解决这个问题,因斯和康拉德13)使用一个能源类似于(5)以不同的形式

在哪里是一个加权函数,趋于0时高(即。,occlusions are detected). Moreover, they use the smoothness term in order to extrapolate the disparities in occluded areas.

出于同样的原因,我们提出了一个多视图graph-cuts-based方法(14)于一体的闭塞处罚在其能量函数没有集成失配的不同像素。

尽管这些方法使用光滑不连续保护功能,他们仍然可以包含不一致,我们将细节部分3。

3所示。遮挡检测的新方法

3.1。概述

让我们想象一个标准镜头和一个男人在墙后面。四个视图的场景拍摄;图2(一个)从每个图像显示相应的纵向线条并添加他们。这表示,我们称之为匹配图,为了定义匹配和遮挡是很有用的。在图2 (b),像素(绿色圆圈)差异。中相应的像素也是一个像素的男人,所以这些像素之间的匹配。在图像,相应的像素是墙的一部分(蓝色方块)。它有一个大的差距(因为墙更近)。因此这两个像素之间有一个闭塞,如图2 (b)橙色钻石。图中所描述的场景2 (c)匹配图的一个例子是不可能的。这个图表表明,墙上像素在图像对应一个像素在图像,这不是一个像素的墙,但人的表示。它有一个更小的差距。这种情况是不可能的,因为它假设墙是隐藏在其背后的人的差距意味着他是。这就是我们所说的一致性错误。领头的不处理这种矛盾。

我们建议以下规则来定义我们的方法的遮挡。让我们假设及其对应的像素:

(我)如果,和匹配,(2)如果,被挡住,(3)如果,有一个一致性错误。

为了简化写作,我们称之为闭塞的图像发生阻塞时图像的数字,也就是说,当对应的像素图像和不匹配。在图2 (b)举例来说,有一个图像之间的遮挡和,那么等于。

3.2。能量函数

为了考虑上述规则,我们使用一个能量函数的形式

在哪里是所有差异的功能呢。是平滑,这可能是一样的一个用于(5)。这种平滑约束应用于每个差距的功能。包含所有的不同,闭塞,和一致性的惩罚。

在图中2 (b),将包括三个差异的四个像素墙,加一两个像素之间的不同的人,加上一个闭塞点球两失配之间的像素。在图2 (c),是三个不同的和人之间的像素,像素墙之间的不同,处罚的一致性。当然这些例子考虑一小部分像素而认为所有的人。

最后,这一项是由

在哪里之间的当地费用是吗及其对应的像素要么在前面()或下一个()的形象。让我们称之为像素。我们有

这个词都是一样的,除了吗是在图像而不是。和是两个常量值对应于闭塞点球和一致性点球,分别。由于我们特定领域的应用(增强现实技术在自动立体显示器)、一致性约束必须非常强壮的价值然后非常高,以确保这种情况不会发生。

这个能量函数中可以使用不同的方法,我们会在部分4。

4所示。应用程序

在本节中,我们提出两个应用程序阻塞的方法。第一个不使用任何平滑约束和关注我们的方法的遮挡,以强调其相关性correlation-based方法。第二个是一个应用程序一节中定义能量函数的graph-cuts-based方法。

这两种方法都使用相同的常数。我们发现经验值100给好的结果与我们的不同。我们给的值。

4.1。Correlation-Based方法

这种方法使用两个不同的当地费用。第一个假设没有遮挡,第二个假设有一个闭塞。这两个成本竞争的赢家通吃(WTA)算法。

第一个成本可以是任何地方文献中发现的成本。我们的实现使用成本描述(2),是强度的绝对差求和的三个颜色组件。

第二个成本是一个本地的子集(8)。确实的成本像素包括(9)所有像素与能量在图片,假设只有一个闭塞和两个差距(左边和右边的闭塞)。为了确保一致性匹配图的隐式,只有满足一致性条件值测试。因此,常数永远不会出现。最后包含一个点球由于闭塞,加上匹配像素之间的异同。当地的费用在图像是

在哪里闭塞的形象和吗和分别是两个差异,左边和右边的闭塞。图3显示了三个方面与和相同的配置如图2 (b),也就是说,它显示每一项的成本。是相应的像素的在图像:等于如果在左边的闭塞(),等于如果它是正确的()。和包含不同成本左边和右边的闭塞,分别。他们是由

为了确保匹配图的一致性,只有满足以下条件的差异测试:

最后,选择是基于一个WTA算法:如果一个像素的最小成本获得使用,那么这个差距被分配到像素。如果它是获得使用然后分配给像素的差距或,这取决于分别是在左边或右边的闭塞。

4.2。Graph-Cuts-Based方法

我们的方法是基于能量函数之前描述的(7)和(8)。我们使用graph-cuts方法以减少我们的能源。请参考出版物由Boykov et al。16)的一个完整的演示graph-cuts方法和柯尔莫哥洛夫和Zabih [17的解释图施工。我们使用算法,与别人不同,我们为每个差距只循环一次。而且我们总是循环从差距最高到最低的一个,因为我们已经发现,这使结果更精确的闭塞地区。我们出现在本节的图是基于这样的假设,我们会看到更多。我们的图是由一个节点为每个像素的图像。它也有一个源()和一个接收器(),它的意思是“保持相同的差异”和“变化差异”,分别。

现在,我们将看到如何构建相对应的图(9)。事实上不会有相同的对应像素的图像是否改变其差异。相对应的图然后由三个节点组成的吗,,如果,这是相应的像素切从源或下沉。然而,它可以使用双(分为两个图表,)和(,)。图4显示相对应的通用图。

(我)一对(,)这双只有是有道理的切从源。这意味着削减和等于0。减少等于或或根据之前的差距和。因为我们的主循环从差距最高到最低,减少意味着会有差距低于吗。这就等于。如前所述,柯尔莫哥洛夫和Zabih17),下面的约束必须检查以确保图是可以实现的: 在我们的案例中和等于0,总是大于,所以我们的图是可以实现的。(2)一对(,)与前面的一对,同样的原则和等于0。等于不同处罚和等于闭塞点球。注意的价值必须大于或等于什么为了尊重的约束(13)。为此,我们截断的价值。

以确保结果的平滑项给定的能量(7)。我们使用以下定义: 在哪里是邻居像素的集合对形象吗。我们使用的两个实现平滑约束。在第一个只包含水平邻居为了获得1 d平滑约束。这样的约束使得一个独立选择纵向线条,然后并行实现。第二个使用一个2 d平滑约束,包括水平和垂直的邻居。

5。结果

比较我们的方法,首先它们之间与其他现有的,其次,我们使用两套8图像。第一个是一组的虚拟场景的图像,它允许我们对地面实况对比结果。第二个是一组摄影在宫殿duτ在兰斯18]。在两组图像的尺寸像素。图5显示了每组的一个图像。摄影有均匀的颜色,而虚拟场景有各种各样的颜色。这允许我们测试方法在这两种情况下。

我们比较三双的方法。第一对是由correlation-based方法。一个使用的成本(2),另一个是我们自己的correlation-based方法。第二个和第三个对graph-cuts基础方法。有沿纵向平滑约束线,和一个2 d平滑约束。每组由一个方法使用我们的能量函数和一个使用一个标准的能量形式

使用虚拟场景的地面实况,我们给每个方法在表相对应的错误率1。这个错误的结果真正的差异和我们的差距之间的绝对差异总结所有像素和除以像素的数量。其结果是每个像素的平均差异错误。我们当地的方法错误率最高,和我们的全球方法有最小的错误率。对于每个类别,出错率的方法使用我们闭塞的方法总是低于方法不使用它。我们观察的错误率correlation-based方法没有遮挡处理低于使用1 d平滑约束的方法之一。我们认为这是由于我们的虚拟映像包含没有噪音和反射光。这就是为什么correlation-based方法给出了特别好的结果在这种情况下。因此,correlation-based方法和基于能量最小化方法之间的比较是没有意义的。

表1也给两组图像上计算时间。我们使用英特尔酷睿2双核CPU E4700和2的内存。correlation-based方法是使用在NVIDIA CUDA实现方形住宅区外汇3700图形卡。*包括一整套的计算差距的地图。在全球范围内,方法使用阻塞方法比其他方法更慢。这是由于这样的事实,他们有更多的可能性考虑。事实上,correlation-based方法进行更多测试,和基于graph-cuts方法有一个更复杂的图结构,这是慢的解决。

图6显示结果没有和阻塞处理()。图6(一)说明了标准方法;而图6 (b)对应的方法。这些照片中我们可以看到,我们的方法具有精确检测遮挡边界的列。然而,没有深度不连续的区域背景包含错误。我们认为这是由于我们闭塞的噪声敏感性检测。前三个提取数据7(一),7 (b),7 (c)显示这些结果在前面列的细节。我们观察到correlation-based方法准确不连续配件的实际边界定义的列,但差距在闭塞地区包含错误(噪声图7 (c)),因为该方法等领域的困难找到他们。最后,我们的方法并不适合correlation-based的原则方法。事实上,在这些方法的选择差异为每个像素是独立的,和从一个差异映射到另一个一致性无法保证。

另一方面,基于graph-cuts方法允许对称的能量最小化,确保一个强大的一致性。数据6 (c)和6 (d)显示结果与一维平滑约束,和数字6 (e)和6 (f)显示结果与二维平滑约束。再次,该方法使用我们闭塞方法有非常准确的深度不连续物体边界。在我们(图1 d平滑方法6 (d)),水平线的效果比在经典的方法(图可见6 (c))。这是由于这样的事实:我们闭塞的方法惩罚任何差异变化,因为它是检测作为阻塞。我们的方法往往会添加一个强大的平滑约束沿纵向线。二维平滑约束允许补偿工件。图像数据7 (d)和7 (e)用这些方法显示前面列。我们注意到,没有遮挡处理方法无法找到一些像素的差距,这在所有图片是不可见的。另一方面,它准确地检测阻塞使用我们闭塞的方法。然而,我们观察图6 (f)列的背景(白色椭圆)并不明确。这是由于plane-sweeping算法和原理,本专栏实际上是两架飞机之间。读者可以参考(14表示我们的细化步骤,解决了这个问题。

6。结论

我们引入了一个新的方法来处理遮挡的多视图上下文中的一个场景。作为证据的相关性这一新的检测规则,我们提出了两种方法处理对象的特殊性边界非常准确。即使这些方法可以处理两个视图立体观察,他们设计的多视图上下文与任意数量的观点。我们获得的结果表明,阻塞方法成功检测对象边界计算时代的损害,甚至仍然可以创建差异所有视图的像素是不可见的。此外,使用对称能源minimization-based方法,我们的方法可以确保几何一致性,自动立体显示器是至关重要的。然而,计算时间是我们方法的主要问题。这就是为什么我们的目标是找到一个方法来减少能量更快。一种想法是削减的GPU实现图。一些工作已经在这一领域(19,20.),但目前我们不使用它,因为它引发很多约束图结构,必须适应我们的能源。另一个可能性,我们正致力于减少节点用于我们的图,为了简化最大流问题。

确认

工作提出了部分支持“国家科学”CamRelief项目的一部分。这个项目是兰斯大学之间的合作硕果累累的和3 dtv的解决方案。作者要感谢迪迪埃Debons,米歇尔•Frichet和佛罗伦萨Debons贡献的项目。

引用

1. d . Scharstein和r . Szeliski”密集的双座立体通信算法的分类和评价,“国际计算机视觉杂志》上卷,47号1 - 3,7-42,2002页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
2. a·克劳斯·m·Sormann k .圆锥形石垒,“基于航段立体匹配使用信念传播和自适应的不同措施,”18学报》国际会议模式识别(ICPR 06年),3卷,页15日,香港,2006年8月。视图:出版商的网站|谷歌学术搜索
3. Z.-F。小王和Z.-G。郑,“基于区域的立体匹配算法使用合作优化”学报》第26届IEEE计算机视觉与模式识别会议(CVPR ' 08)安克雷奇,页1 - 8,阿拉斯加,美国,2008年6月。视图:出版商的网站|谷歌学术搜索
4. 张,j .贾T.-T。Wong和h·鲍”,恢复一致通过束优化视频深度地图,”学报》第26届IEEE计算机视觉与模式识别会议(CVPR ' 08)安克雷奇,页1 - 8,阿拉斯加,美国,2008年6月。视图:出版商的网站|谷歌学术搜索
5. 问:杨,r, l . Wang h . Stewenius d . nist,“立体匹配与color-weighted相关性,分层信仰传播,和遮挡处理,”IEEE模式分析与机器智能没有,卷。31日。3、492 - 504年,2009页。视图:出版商的网站|谷歌学术搜索
6. g . Egnal和r·p·王尔德”检测双眼half-occlusions:实证比较五个方法,”IEEE模式分析与机器智能,24卷,不。8,1127 - 1133年,2002页。视图:出版商的网站|谷歌学术搜索
7. l·阿尔瓦雷斯r . Deriche j·桑切斯,j . Weickert“尊重图像不连续密度差异映射估计:PDE和基于尺度空间的方法,”杂志的视觉传达和图像表示,13卷,不。1 - 2,3-21,2002页。视图:出版商的网站|谷歌学术搜索
8. m . Proesmans l . van干傻事,e . Pauwels和a . Oosterlinck”测定光学流和不连续使用非线性扩散,”诉讼第三欧洲计算机视觉大会的94),卷2,页295 - 304,施普林格斯考克斯市,新泽西,美国,1994年。视图:谷歌学术搜索
9. l·阿尔瓦雷斯r . Deriche、t . Papadopoulo和j·桑切斯,“对称密集的光流估计遮挡检测,”学报》第七届欧洲电脑Vision-Part我大会02)施普林格,页721 - 735年,伦敦,英国,2002年。视图:谷歌学术搜索
10. c . Strecha和l . Van干傻事,”PDE-based视点深度估计,”学报第一国际研讨会3 d可视化数据处理和传输(3 dpvt ' 02),第425 - 416页,2002年。视图:谷歌学术搜索
11. 因斯和j·康拉德,“几何投影估计遮挡的视频帧对”学报IEEE国际会议音响、演讲和信号处理(ICASSP ' 05),卷2,页933 - 936,费城,宾夕法尼亚州,美国,2005年3月。视图:出版商的网站|谷歌学术搜索
12. 下午。Jodoin、c .罗桑伯格和m . Mignotte”与快速检测half-occlusion提出融合过程,”《英国机器视觉会议,第426 - 417页,2006年。视图:谷歌学术搜索
13. 因斯和j·康拉德,”Occlusion-aware光流估计,“IEEE图像处理,17卷,不。8,1443 - 1451年,2008页。视图:出版商的网站|谷歌学术搜索
14. c . Niquin s·普雷沃斯特,y Remion”准确的多视点重建遮挡处理,深度”第三3 dtv-conference学报》真正的机器视觉,传输和显示3 d视频(3 dtv-con ' 09)2009年5月,德国波茨坦。视图:出版商的网站|谷歌学术搜索
15. j . Woetzel和r·科赫”实时multi-stereo深度估计在GPU上近似的不连续面处理,”学报第一欧洲视觉媒体生产会议(CVMP 04),页245 - 254,伦敦,英国,2004年3月。视图:谷歌学术搜索
16. o . Veksler y Boykov, r . Zabih“快速通过削减图近似能量最小化,”IEEE模式分析与机器智能,23卷,不。11日,第1239 - 1222页,2001年。视图:出版商的网站|谷歌学术搜索
17. 柯尔莫哥洛夫和r . Zabih“能量函数可以通过图削减最小化?”IEEE模式分析与机器智能,26卷,不。2、147 - 159年,2004页。视图:出版商的网站|谷歌学术搜索
18. http://palais-tau.monuments-nationaux.fr。
19. a . Bhusnurmath和c·j·泰勒,”图通过削减${\ell }_1$范数最小化。”IEEE模式分析与机器智能,30卷,不。10日,1866 - 1871年,2008页。视图:出版商的网站|谷歌学术搜索
20. 诉Vineet和p . j .时称,“古巴削减:快速削减图表GPU,”IEEE计算机学会学报计算机视觉与模式识别会议研讨会(CVPR ' 08)安克雷奇,页1 - 8,阿拉斯加,美国,2008年6月。视图:出版商的网站|谷歌学术搜索

版权

版权©2010年塞德里克Niquin等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。