立体3 d鼠标光标:方法与3 d立体虚拟三维空间中的对象gydF4y2Ba

文摘gydF4y2Ba

介绍应用体视学原理的一种不同的方法来实现一个虚拟的3 d显示技术立体3 d鼠标光标(S3D-Cursor)基于两个或多个视图的一个普通的鼠标光标。这种想法已经被应用的基础知识作为副产品的stereo-based可视化应用程序通常不太关注它的优点和缺点的通用替代二维在立体三维空间。在这里,我们审查如果这样的一个满足所有或抽象的主要预期需求3 d光标。此外,我们分析它的准确性和评估这种方法的适用性的不同效率的因素。为了这个目的,我们已经采用了一种基于实时点渲染软件叫QSplat名叫QSplatMV多视图呈现版本。我们已经实现了S3D-Cursor除此之外新的应用程序和开发了一个简单的编辑工具操纵虚拟3 d对象。我们的用户评价结果表明方法的有效性的检测精度和用户满意度相比,使用一个普通的传统的2 d屏幕上的鼠标光标。gydF4y2Ba

1。介绍gydF4y2Ba

人类视觉的立体观测能力我们的视觉系统所使用的主要手段之一,给我们一个3 d感知的世界gydF4y2Ba1gydF4y2Ba]。这种能力允许我们有第三维度从两个不同的世界图像投射到我们的眼睛视网膜。受益于这种内在的能力,各种不同的立体设备和技术是用来创建从视觉立体内容深度的幻觉。最近的进步这些技术让用户在观看3 d内容的不使用任何过滤眼镜(多视图自动立体三维显示gydF4y2Ba2gydF4y2Ba])或观看3 d内容在传统全色显示(颜色代码眼镜(gydF4y2Ba3gydF4y2Ba])。伴随着这些立体显示技术的进步也需要发展目前的2 d / 3 d交互技术和设备的相互作用这些新的虚拟3 d环境的吸引力。其中,指向目标(对象或其他GUI组件)使用一些设备,如鼠标可能是最吸引人的交互方法特别有用在图形环境中工作(gydF4y2Ba4gydF4y2Ba]。出于这个原因,提供的可能性指向任意体素的3 d空间的第一个预期的任何用户谁想从2 d到3 d空间迁移应用程序。在这方面,一些3 d显示技术(或更广泛的类别3 d选择技术)介绍了在年gydF4y2Ba4gydF4y2Ba]。另一方面,一些商业或实验3 d输入设备如3 d空间导航器(gydF4y2Ba5gydF4y2Ba],OptiBurst [gydF4y2Ba6gydF4y2Ba),和3 d空中鼠标(gydF4y2Ba7gydF4y2Ba)和许多其他促进使用3 d对象介绍了2 d / 3 d空间中通过简化的基本任务,如缩放,旋转,平移,等等。gydF4y2Ba

Stereo-based 3 d光标是3 d显示技术,通常被实现为一个副产品的立体三维可视化(和/或3 d对象操纵)系统或应用程序,则较少受到关注,其功能作为一个通用的更换2 d鼠标光标在立体三维空间。立体3 d光标(以下S3D-Cursor)可通过提供两种或两种以上不同的2 d视图鼠标光标在一个特定的差距。游标深度可以通过调整控制量的差异。这使得用户可以指向任意3 d位置在虚拟三维空间投影的立体显示。gydF4y2Ba

在本文中,我们研究该技术的不同方面和展示该方法满足的主要功能要求一个抽象的3 d光标。此外,除了讨论一些问题,如精度和遮挡处理,我们将展示如何现场音响内容几乎可以用来提高性能的3 d显示技术费茨定律(gydF4y2Ba4gydF4y2Ba]。意识到这些想法的适用性,我们改善了QSplat [gydF4y2Ba8gydF4y2Ba),一个单一视图point-rendering软件,QSplatMV使快速多视点渲染3 d对象描述的3 d点的集合或一个三角形的3 d网格。我们已经实现了S3D-Cursor顶部的新应用程序和开发了一个简单的3 d编辑工具集来操纵虚拟3 d对象。应用程序是用来评估能力的3 d和2 d光标操作3 d可视化数据。我们的用户评价结果表明使用该技术的增强实效性的若干因素,包括检测精度,使用简单,整体用户满意度相比,使用一个普通的传统的2 d屏幕上的鼠标。关于这些优势,可能可以作为一个通用的方法在许多应用程序中包括3 d游戏,3 d医疗数据操作,3 d gui。gydF4y2Ba

本文的其余部分被组织为遵循。节gydF4y2Ba2gydF4y2Ba我们简要讨论相关的设备和技术。节gydF4y2Ba3gydF4y2Ba我们解释立体成像的基本原理,并描述S3D-Cursor背后的数学模型。部分gydF4y2Ba4gydF4y2Ba致力于S3D-Cursor的设计和实现方面。节gydF4y2Ba5gydF4y2Ba我们专注于S3D-Cursor作为一个通用的技术在立体三维空间。节gydF4y2Ba6gydF4y2Ba讨论了相关问题的准确性的立体鼠标和可能的方法提高其准确性。部分gydF4y2Ba7gydF4y2Ba讨论了应用程序方面,我们的方法,并给出了一些应用工具集和用户评价结果输出。最后,部分gydF4y2Ba8gydF4y2Ba致力于结束语和可能的未来的扩展。gydF4y2Ba

2。背景和相关工作gydF4y2Ba

几年的努力已经完成在简化与3 d应用程序环境的交互。一方面,受益于不同机械、电磁、光学、声学和惯性传感器和技术(gydF4y2Ba9gydF4y2Ba),介绍了3 d输入设备的几种促进使用3 d模型和应用程序。在最近的商业的我们可以引用一些3 d小鼠空间导航和同行等受益于一个压力传感技术在一个控制器帽提供同步平移,缩放,旋转的3 d对象。事实上,运动,如推、拉、扭,倾斜应用于帽被翻译到适当的3 d对象的运动(gydF4y2Ba10gydF4y2Ba]。3 d air-mouse是另一种类型的3 d电脑鼠标使用超声波技术。小鼠标设备的超声波发射器是戴在食指上像一个戒指,和一组接收器用于跟踪发射机(手指)的运动。这些运动转换成适当的行为在3 d对象。例如,缩放是通过将手靠近或远离屏幕gydF4y2Ba7gydF4y2Ba]。红外跟踪还用于一些产品,如OptiBurst地图平移和旋转的自然手运动由(6自由度)的3 d应用程序内的适当的操作(gydF4y2Ba6gydF4y2Ba]。一些其他的想法如河豚,GlobePointer SqureBone等人介绍了(gydF4y2Ba11gydF4y2Ba),使用传感器技术的组合来提供6个或多个自由度交互设备。gydF4y2Ba

另一方面,一些特定于任务的或通用的交互技术开发(gydF4y2Ba4gydF4y2Ba],结合3 d输入设备和技术提供了一个更简单,更自然的方式与3 d环境。这些相互作用可分为三个不同的任务域:对象选择和操纵,操纵视点(导航和旅游)和应用程序(系统)控制(gydF4y2Ba11gydF4y2Ba,gydF4y2Ba12gydF4y2Ba]。指向目标(对象或其他应用程序组件)可能被认为是一种最广泛使用的gui交互技术技能的上述任务的执行许多任务在每个域。指出通常是通过操纵一个2 d / 3 d光标位置和/或取向使用一个适当的输入设备。一个gydF4y2Ba按时间顺序排列gydF4y2Ba调查的3 d显示技术和3 d光标概念是在(gydF4y2Ba4gydF4y2Ba]。这包括gydF4y2Ba幼犬和杰克gydF4y2Ba(1987),gydF4y2Ba雷铸造gydF4y2Ba(1994),gydF4y2Ba关注的焦点gydF4y2Ba(1994),gydF4y2Ba虚拟手gydF4y2Ba(1995)和许多其他年长的或最近的技术。根据评审,所有这些方法主要是基于虚拟手,射线,或者聚光灯指向技术。后来在报纸上,一个更正式的定义为一个3 d光标。定义假设6或以上(至少3个平移和3个旋转)自由度定位设备和假设对用户可见的和可选择的目标意味着一个典型的3 d光标必须满足所有下列条件和约束。gydF4y2Ba

(一)gydF4y2Ba视觉表示(3 d光标有图形演示使它的位置和姿态向用户可见。gydF4y2Ba(b)gydF4y2Ba行为,3 d光标移动用户可控的使用一个适当的输入设备。gydF4y2Ba(c)gydF4y2Ba制约着3 d光标到达上的所有位置(3 d)图形显示和能够接触只有一个目标在一个时刻。gydF4y2Ba

然后,根据这个定义,提出了两种主要类型的3 d光标对3 d ui: 3 d光标和3 d光标。作者描述了这两个主要类型满足上述所有要求和所有提到的3 d显示技术可以从这两个主要类型。事实上,其他3 d显示技术可以被认为是利用一些可能的结果虚拟增强提高3 d指向的性能(或3 d目标采集时间)。这里,虚拟增强意味着改变一个或多个参数的值有效的三维目标获取时间根据3 d费茨定律模拟了。3 d费茨定律指出,收购目标时间或平均水平gydF4y2Ba运动的时间gydF4y2Ba(gydF4y2Ba太gydF4y2Ba)选择一个目标取决于gydF4y2Ba移动的距离gydF4y2Ba(gydF4y2Ba一个gydF4y2Ba),gydF4y2Ba目标的大小gydF4y2Ba(gydF4y2BaWgydF4y2Ba:宽度,gydF4y2BaHgydF4y2Ba:身高,gydF4y2BaDgydF4y2Ba:目标深度),和也gydF4y2Ba视角gydF4y2Ba(gydF4y2BaθgydF4y2Ba)的目标是由用户通过以下方程:gydF4y2Ba

在哪里gydF4y2Ba= 0.211,gydF4y2Ba= 0.717,gydF4y2Ba= 0.242,gydF4y2Ba= 0.194,gydF4y2Ba= 0.312,gydF4y2Ba= 0.147 (gydF4y2Ba4gydF4y2Ba]。在这方面,减少运动距离gydF4y2Ba一个gydF4y2Ba,增加目标的大小(或相当于指针的大小),或结合这些变化这种虚拟的例子有增强。gydF4y2Ba

尽管审查(gydF4y2Ba4gydF4y2Ba]并不指作为3 d立体3 d光标指向方法,已知技术多年,已经应用于一些立体三维可视化和操纵应用程序和gui。OrthoEngine 3 d立体提供了一个3 d立体3 d光标在其先进工具查看和操纵航拍图片或卫星图像数据gydF4y2Ba13gydF4y2Ba]。BioMedCache作为分子设计的应用程序还提供了立体3 d可视化和三维立体光标(gydF4y2Ba14gydF4y2Ba]。在[gydF4y2Ba15gydF4y2Ba),作者展示他们的成功修改X窗口系统的功能与构建通用工具的目的显示3 d-stereoscopic内容。在这种背景下,他们的参考实现3 d通过创建一个指针影子指针此前的运动真正的立体窗口的指针在这两个领域。在他们实现3 d光标的深度由自动控制调整差异的影子指针对真正的一个。此外,最近的原型同时2 d / 3 d GUI(汽车)介绍了立体显示,指的是一个3 d立体的实现游标。启用了立体声光标进入鼠标指针到3 d GUI区域(gydF4y2Ba16gydF4y2Ba]。这里差距将自动调整,以保持虚拟3 d光标接触表面的3 d对象和3 d GUI组件。gydF4y2Ba

尽管所有这些努力,有更少的关注研究立体光标的功能本身作为一个通用的延伸2 d光标的立体3 d空间。尽管这样的研究是必要的考虑越来越流行的一些新兴技术,如自动立体显示和其他stereo-based显示技术。在本文中,我们将研究不同立体光标的理论和实现方面。简单地命名为S3D-Cursor我们的实现,由两个或两个以上的观点相同的2 d鼠标光标(汽车)立体显示屏幕上呈现在一个特定的差异本质上遵循相同的原则应用由他人形成了3 d光标。然而,我们的实现支持两种差异调整模式(手动和自动),实际上使我们能够表明,这样一个简单的技术不仅满足上述所有要求的一个抽象的3 d光标还可以提高性能,灵活性,和简单的对象选择和指向任务应用几个虚拟增强。此外,我们讨论一些实际问题如S3D-Cursor自动立体显示的准确性和遮挡造成的歧义。我们的实现并不意味着任何假设输入定位设备,完全符合当前的2 d小鼠的功能。然而,特殊的输入设备,如可用3 d小鼠可能促进执行3 d任务。此外,差异计算在大多数情况下发生并发3 d模型渲染过程,因此,它不实施广泛的附加计算加载到应用程序。这个问题完全将通过提供一个解决系统级支持立体声光标。gydF4y2Ba

3所示。S3D-Cursor数学模型gydF4y2Ba

之前进入立体3 d鼠标的细节设计和实现我们简要描述了体视学过程建立一个支持数学模型。这个数学模型同样可以应用到立体3 d光标形成过程。我们将使用以下符号和定义和随后的部分(见图gydF4y2Ba1gydF4y2Ba):gydF4y2Ba

(gydF4y2BaXgydF4y2Ba,gydF4y2BaYgydF4y2Ba,gydF4y2BaZgydF4y2Ba):gydF4y2Ba一个3 d点,gydF4y2Ba:相应的估计3 d点gydF4y2Ba(gydF4y2BaxgydF4y2Ba_{l / rgydF4y2Ba},gydF4y2BaygydF4y2Ba_{l / rgydF4y2Ba}):gydF4y2Ba投影的3 d点左/右屏gydF4y2Ba :gydF4y2Ba估计一个3 d的投影点在左/右屏,考虑到最近的像素gydF4y2BaegydF4y2Ba_xgydF4y2Ba(gydF4y2BaegydF4y2Ba_ygydF4y2Ba):gydF4y2Ba两个相邻的像素之间的距离gydF4y2BaxgydF4y2Ba(gydF4y2BaygydF4y2Ba)方向gydF4y2BabgydF4y2Ba_xgydF4y2Ba:gydF4y2Ba基线之间的立体设置或水平位移下左边和右边的图像显示屏幕上gydF4y2Ba :gydF4y2Ba眼睛(相机)朝向角gydF4y2BadgydF4y2Ba:gydF4y2Ba观看距离gydF4y2BafgydF4y2Ba:gydF4y2Ba焦距gydF4y2BaRgydF4y2Ba:gydF4y2Ba全分辨率,像素的总数在单位正方形。gydF4y2Ba

下标的gydF4y2BacgydF4y2Ba,gydF4y2BaDgydF4y2Ba,gydF4y2BahgydF4y2Ba也指立体成像系统(相机),3 d显示,分别和人眼的特性。例如gydF4y2BafgydF4y2Ba_cgydF4y2Ba代表镜头的焦距gydF4y2BafgydF4y2Ba_hgydF4y2Ba意味着眼睛的焦距。gydF4y2Ba

图gydF4y2Ba1gydF4y2Ba说明了捕获的过程中,显示和观看立体影像。两个不同的音响系统都参与这个过程:立体声捕获和人类立体视觉。在这个图中,显示这两个系统可以有自己的配置独立于另一个。限制自己的两个基本立体相机配置,即平行和趋异的四个不同的场景可能发生在这个过程。在最简单的场景中,我们可以获取和查看双方承担并行几何。然后,假设一个针孔摄像机模型(gydF4y2Ba17gydF4y2Ba),一个3 d的投影点(gydF4y2BaXgydF4y2Ba,gydF4y2BaYgydF4y2Ba,gydF4y2BaZgydF4y2Ba)左、右摄像机图像平面是由:gydF4y2Ba

立体摄像机捕获的图像的缩放因子gydF4y2Ba年代gydF4y2Ba并在显示。因此,相应的2 d显示屏幕上的点坐标计算为:gydF4y2Ba

最后,眼睛上的3 d点预测通过显示介质放置在距离gydF4y2BadgydF4y2Ba得到了,gydF4y2Ba

从公式(gydF4y2Ba4gydF4y2Ba)3 d重建人类的眼睛是理论上的gydF4y2Ba

在一个更现实的场景中,我们可以假设有一个小朝向角gydF4y2BaαgydF4y2Ba作用于人类的眼睛看一对立体声时通过一个立体设备。从公式成立于(gydF4y2Ba18gydF4y2Ba]vergence-stereo配置,3 d重建的眼睛在这种情况下是由gydF4y2Ba

在哪里gydF4y2Ba

和gydF4y2BaxgydF4y2Ba_rhgydF4y2Ba,gydF4y2BaxgydF4y2Ba_韩gydF4y2Ba,gydF4y2BaygydF4y2Ba_rhgydF4y2Ba是由:gydF4y2Ba

如果我们应用公式(gydF4y2Ba8gydF4y2Ba)(gydF4y2Ba6gydF4y2Ba)获得的3 d点估计显示坐标,经过简化,公式(gydF4y2Ba5gydF4y2Ba)再次获得(细节在这里跳过)。这意味着,如果在显示屏幕上给出的立体影像捕获下并行配置,然后3 d场景重建人类的眼睛里,理论上并不依赖于大量的趋异的眼睛。gydF4y2Ba

对于其他两种情形下的立体图像捕获趋异。因此,假设一个朝向角gydF4y2Ba再一次使用配方中给出(gydF4y2Ba18gydF4y2Ba)摄像机图像平面上的3 d点预测得到gydF4y2Ba

因此,这些预测的坐标代表后显示比例因子gydF4y2Ba年代gydF4y2Ba是gydF4y2Ba

与第一个和第二个场景,这里显示屏幕上相应的预测不定位在相同的光栅线。然而,当我们在讨论gydF4y2Ba19gydF4y2Ba]假设眼睛是能够建立相应的预测之间的一致性在左和右视图,然后gydF4y2BaZgydF4y2Ba_hgydF4y2Ba和gydF4y2BaXgydF4y2Ba_hgydF4y2Ba可以计算使用方程(gydF4y2Ba5gydF4y2Ba)(假设并行人眼几何)或方程(gydF4y2Ba6gydF4y2Ba)(假设人类的眼睛朝向几何)。如果我们假设眼睛弥补对应点的垂直差异(见我们的证明实验(gydF4y2Ba19gydF4y2Ba)),那么我们可以说,人类眼睛的3 d点位置估计主要取决于水平差距的立体像对中相应的预测。关于这个简化的假设,我们可以应用方程(gydF4y2Ba5gydF4y2Ba)是一个很好的(近似)模型对3 d点估计(3 d光标位置估计),人眼通过立体影像(2 d光标图像)提出的立体设备在所有上述可能的场景。gydF4y2Ba

4所示。S3D-Cursor实现gydF4y2Ba

S3D-Cursor最好的实现,有必要实现底层(多视图)立体呈现应用程序。为了这个目的,我们已经延长了QSplat支持渲染3 d对象的多个视图。QSplat是实时积分渲染程序,使用分级累进方法特别有用呈现大型几何模型由大量的3 d点描述(gydF4y2Ba8gydF4y2Ba]。程序使用OpenGL作为其图形库来实现不同类型的rendered-point原语称为长条木板。我们的新扩展名为QSplatMV允许用户决定相机的数量(的观点),相机之间的距离(gydF4y2BabgydF4y2Ba_xcgydF4y2Ba),水平位移量的意见显示屏幕(gydF4y2BabgydF4y2Ba_xDgydF4y2Ba)。假定平行配置和当前版本相同的所有摄像机基线。这允许一个简化实现摄像机的旋转和翻译。这些运动应用到一个中央虚拟摄像机的位置和方向,然后所有相机都被设置对这个虚拟相机。游标的差距也简化了在并行计算几何。该系统还支持一个特殊的红色/蓝色渲染模式使传统使用应用程序在所有显示的灵活性就穿简单的浮雕的眼镜。gydF4y2Ba

4.1。双目实现gydF4y2Ba

实现立体鼠标光标QSplatMV的顶部。两个不同的差异调整模式被认为是游标:手动和自动。针对现有的自动模式是更有用的应用程序中的对象,如3 d游戏和3 d对象操纵工具场景的三维信息是可用的。在自动模式下一种观点,说左边,被认为是引用视图。当鼠标光标指向一个像素在左视图中,在像素的深度信息(通常是在深度缓冲)和相机参数,相应的像素在右边视图(或右光标的位置)可以使用基本立体成像公式确定。gydF4y2Ba

考虑到OpenGL默认透视投影,这意味着一个标准化变换(gydF4y2Ba20.gydF4y2Ba),点深度之间的关系在虚拟摄像机坐标gydF4y2BaZgydF4y2Ba_cgydF4y2Ba和深度保持在深度缓冲gydF4y2BaZgydF4y2Ba_wgydF4y2Ba可以表示为gydF4y2Ba

在哪里gydF4y2Ba剪切面距离,是远gydF4y2Ba附近是剪裁距离或相机焦距。另一方面,从(gydF4y2Ba2gydF4y2Ba)gydF4y2BaZgydF4y2Ba_cgydF4y2Ba可以确定为gydF4y2Ba

从(gydF4y2Ba11gydF4y2Ba)和(gydF4y2Ba12gydF4y2Ba)获得的数量差异gydF4y2Ba

差异计算(gydF4y2Ba13gydF4y2Ba)应该适当地扩展和调整考虑viewport转换设置和观点的位移量gydF4y2Ba。gydF4y2Ba

如前所述,自动调整差距导致的幻觉接触真正的3 d物体的表面,当用户鼠标指针在屏幕虚拟3 d光标之前的漏洞或其他违规行为表面的3 d对象。图gydF4y2Ba2gydF4y2Ba显示了露西的红蓝立体模型有三个立体鼠标光标的样本在不同差异实际上合奏三游标在三个不同的距离观众(看这个图使用红蓝立体镜片看到这些3 d光标的形成在不同的距离)。gydF4y2Ba

实现自动差异调整在立体像对图像/视频意味着一种有效的立体匹配算法被纳入系统中找到相应的预测左和右视图。与经典的立体匹配算法,其中包括建立对应所有像素,这里需要只找到对应的像素位置在当前的位置(或者右)鼠标光标。这种假设可能导致更有效的算法对实时应用程序。gydF4y2Ba

在手动模式下用户能够更改的深度3 d光标通过手动调整左右光标之间的差距。手动模式是有用的,当用户想点之外的其他地方可见表面的3 d对象或调整差距估计立体匹配算法。后者尤其可以用作划算,真实准确的方法提取数据从立体图像对。gydF4y2Ba

4.2。多视图的实现gydF4y2Ba

多视图实现立体视觉多视图显示尤其有用。实现本质上是类似于两个视图的情况。假设所有摄像机平行和位于同一基准在相等的距离那么所有相应的显示屏上的3 d点的预测将位于相同的光栅与差距。因此,又一个视图可以被视为参考差异计算和其他相应的投影可以确定对视图的引用。gydF4y2Ba

虽然,这个植入是非常简单,它可能会导致一些问题在闭塞地区。这是因为,在立体视觉3 d显示观众只能看到两个连续的场景视图。作为结果,如图gydF4y2Ba3gydF4y2Ba,实现工作正常时相应的预测,类似于圈内的实例,在所有视图是可见的。实现时相应的预测成了问题分为闭塞地区连续两个或两个以上的观点。例如观察第三和第四的游标用方格。当观众他/她去看第三和第四的观点,3 d重建3 d光标的位置这两个游标的观点,是不正确的估计。问题可能是固定的,如果每个视图下相邻视图作为参考。然而,这可能导致歧义的光标位置转换成一个独特的3 d位置。更高级的算法可以发现闭塞的地区,隐藏或突出显示光标在相应的视图。收到这样的一个提示,用户可能会改变观点或光标位置从任何想要的视图来访问一个特定的点。gydF4y2Ba

5。S3D-Cursor作为一个通用的3 d指向技术gydF4y2Ba

一般来说,S3D-Cursor可分为3 d光标点满足所有假设和抽象的3 d光标的要求如下。gydF4y2Ba

(我)gydF4y2Ba显然三个平动自由度,3个转动自由度可以通过操纵的观点。gydF4y2Ba(2)gydF4y2Ba虽然阻塞问题自动立体显示可能需要进一步抓住目标,所有场景的可见部分(所有可见的目标)是由用户选择。gydF4y2Ba(3)gydF4y2Ba鼠标有一个视觉呈现,除了它的位置也可能使其定位用户可见。gydF4y2Ba(iv)gydF4y2BaS3D-Cursor运动仅仅是使用传统鼠标的用户可控的;然而,更合适的输入设备,如3 d小鼠可能适应效率的目的。gydF4y2Ba(v)gydF4y2BaS3D-Cursor能够达到舒适的观看中所有位置适当范围的立体图形显示(手动)调整差异。这是特别重要的,当用户目标指向一个空的空间为例的目的是创建一个新对象。gydF4y2Ba(vi)gydF4y2Ba最后,因为在立体三维空间用户只能看到表面的不透明的物体,所以他/她可以联系在一个时刻只有一个目标在自动模式下(优先级机制可能申请透明或半透明的物体)。在手动模式下适当的视觉提示可以实现意识到身体的用户将光标移动到无形的领域。gydF4y2Ba

对于这些属性,S3D-Cursor可以应用一般选择2 d光标的立体空间。一些虚拟的增强可以实现提高S3D-Cursor的基本功能。事实上,汽车差距调整可能已经被认为是这样一种增强,几乎降低到目标的距离(减少gydF4y2Ba一个gydF4y2Ba在(gydF4y2Ba1gydF4y2Ba)“gydF4y2Ba删除光标和目标之间的空间gydF4y2Ba”——增强,根据(gydF4y2Ba4gydF4y2Ba不是已经在其他3 d显示技术。”gydF4y2Ba增加目标大小gydF4y2Ba”,也就是增加gydF4y2BaWgydF4y2Ba,gydF4y2BaHgydF4y2Ba,或gydF4y2BaDgydF4y2Ba在(gydF4y2Ba1gydF4y2Ba)是另一个特别有用的增强处理的准确性不足立体声光标(见部分gydF4y2Ba5gydF4y2Ba)。如果应用程序控制组件也实现3 d,然后几个增强可能应用于GUI组件特别是在菜单和应用程序窗口本身。这些包括弹出菜单的外观在同一深度的3 d光标,并动态地管理窗口的位置和大小取决于现场作文和用户操作。这些类型的增强也可能被视为虚拟还原到目标的距离。gydF4y2Ba

6。S3D-Cursor精度分析gydF4y2Ba

考虑到方程(gydF4y2Ba5gydF4y2Ba节)gydF4y2Ba3gydF4y2Ba图中所示,整个体视学系统gydF4y2Ba1gydF4y2Ba可以被视为一种(并行)立体摄像系统的焦距等于人类的焦距+观看距离吗gydF4y2Ba,它的摄像机之间的距离或其基线长度等于人类眼睛的距离gydF4y2Ba流离失所,显示屏幕的左/右左/右屏的作用。假设gydF4y2Ba,gydF4y2BadgydF4y2Ba,gydF4y2Ba常量值,重构的准确性或立体3 d点分辨率主要取决于像素的大小(宽度和高度)的显示。事实上,从方程(gydF4y2Ba5gydF4y2Ba),宽度和高度的像素有不同的贡献从立体3 d点估计的准确性。图gydF4y2Ba4gydF4y2Ba显示了比较每个坐标上的最大可能的估计错误组件对不同像素纵横比为单个像素使用中提到的典型值表gydF4y2Ba1gydF4y2Ba。错误计算获得的差异值gydF4y2Ba使用方程(gydF4y2Ba5gydF4y2Ba)和相应的最大倾斜值从方程(gydF4y2Ba假定等于什么gydF4y2Ba):gydF4y2Ba

图gydF4y2Ba4gydF4y2Ba表明,尽管估计误差gydF4y2BaYgydF4y2Ba组件是一个小的增加较小的纵横比,平均估计误差降低了。特别是,错误的估计gydF4y2BaZgydF4y2Ba是大减,这意味着一个更好的水平显示屏幕上离散化收益率在一个更好的深度分辨率。gydF4y2Ba

我们推广这个概念在我们先前的研究[gydF4y2Ba21gydF4y2Ba)和通过理论分析表明,对于一个典型的立体设置和一个给定的总决议gydF4y2BaRgydF4y2Ba,更细水平离散化(gydF4y2BaegydF4y2Ba_xgydF4y2Ba)与垂直离散化(gydF4y2BaegydF4y2Ba_ygydF4y2Ba)收益率在3 d点估计错误。这是通过把一个上界深度估计误差,然后最小化误差对水平到垂直离散化比例。对于一个典型的平行立体设置过程可以简单描述为遵循(见[gydF4y2Ba21gydF4y2Ba]细节):gydF4y2Ba

假设在裁缝的扩张(高阶术语gydF4y2Ba15gydF4y2Ba)是微不足道的:gydF4y2Ba

然后gydF4y2Ba

或gydF4y2Ba

考虑单位查看或图像捕获面积:gydF4y2Ba

因此,从(gydF4y2Ba18gydF4y2Ba)和(gydF4y2Ba19gydF4y2Ba)我们可以重申获得上限相对估计误差gydF4y2BaYgydF4y2Ba组件:gydF4y2Ba

减少方程(gydF4y2Ba20.gydF4y2Ba)对gydF4y2BaegydF4y2Ba_xgydF4y2Ba给出了最优像素宽度(然后最优像素长宽比)为一个3 d点。在实践中需要最小化估计误差在合理的观看量和其他一些参数,比如朝向也可能包括在优化过程(见[gydF4y2Ba22gydF4y2Ba,gydF4y2Ba23gydF4y2Ba])。gydF4y2Ba

在[gydF4y2Ba19gydF4y2Ba)我们有这个理论适用于上述立体设置(方程(gydF4y2Ba5gydF4y2Ba),显示一个典型的台式电脑或笔记本电脑gydF4y2Ba像素长宽比(即。,three horizontal versus two vertical pixels) gives a better 3D visual experience than the uniform (square) pixel distribution. Applying the same theory to the stereo mouse cursor, we can say that a finer horizontal resolution not only yields in a better 3D visualization but also more accurate stereo-based 3D pointing especially across the depth dimension. However, this is a hardware solution which requires establishing new standards for stereo capturing and displaying devices.

立体3 d鼠标相关的另一个问题是它的准确性gydF4y2Ba异构gydF4y2Ba行为主要在深度维度。这从根本上源于内在的行为透视投影+数字图像的离散特性。如图gydF4y2Ba5gydF4y2Ba所有点位于3 d钻石(压)由相应的像素估计相同的3 d点。这些探测器非均匀分布,这样分辨率(特别是深度分辨率)随距离的立体相机(观众)gydF4y2Ba24gydF4y2Ba]。作为结果,立体鼠标光标时不够准确的对象并不足够接近观众。几个虚拟增强可能适用于一些可接受的程度上弥补这个缺点。缩放整个三维空间(gydF4y2Ba使目标光标gydF4y2Ba),扩大整个深度的对象(gydF4y2Ba改变目标的大小gydF4y2Ba在深度,即。,改变了gydF4y2BaDgydF4y2Ba参数),或操纵目标在鱼眼镜头的实现(这可能解释为某种形式的gydF4y2Ba把目标光标gydF4y2Ba)是可能增强。另一种可能性是使用3 d对象的信息,这些信息是可用的。这不同于简单计算下面的差异和可能非常有用的消歧的目标对象的对象不足够近杰出的差距。在这种情况下,最近的3 d对象(或3 d对象元素)估计3 d光标位置可以优先目标对象。gydF4y2Ba

7所示。实际应用S3D-CursorgydF4y2Ba

立体3 d鼠标光标可以用于广泛的应用程序包括3 d电脑游戏和3 d对象操纵。实现上的适用性S3D-Cursor操纵3 d对象我们已经开发出一个简单的3 d对象操纵工具集包含一个标记(笔),把(橡皮擦)工具和一些辅助displaying-state控制工具都允许用户标记/丹麦所需的3 d虚拟立体三维空间中的点。gydF4y2Ba

图gydF4y2Ba6gydF4y2Ba显示了一个示例应用3 d编辑工具集的结果(自动模式)真实的数据测量。这里S3D-Cursor用于指定一个三维轮廓周围结核病腔肺在3 d模型。使用的红蓝模式QSplatMV为了提供立体效果模型在一个虚拟的三维环境。左肺图像显示红蓝表示和图像显示相应的单一视图相同版本的模型和相同的轮廓在红蓝可视化模式中定义的。虽然这些图像退化由于缩小规模,读者应该仍然能够观看3 d立体效果使用简单的浮雕眼镜,比较它与相应的2 d图像。gydF4y2Ba

7.1。用户评价gydF4y2Ba

我们使用了QSplatMV及其编辑工具集来评估立体3 d对象的可视化和操纵与相似的任务在相应的普通角度表示。再一次的红蓝模式QSplatMV用于提供立体的效果。我们进行了两组实验。表gydF4y2Ba2gydF4y2Ba显示一个简短描述的标准用于这些实验。参与实验的人没有与立体光标前的工作经验,但他们中的许多人有一个时间或观看立体内容的更多的经验。此外,一些人已经熟悉一些3 d输入设备如空间导航器(gydF4y2Ba10gydF4y2Ba)和少数一些线游标使用指向洞穴内的3 d位置VR系统(gydF4y2Ba25gydF4y2Ba]。gydF4y2Ba

在第一个实验中要求人民比较他们的视觉体验与3 d立体可视化与2 d可视化。这个实验的目的是表明如果人们更好地理解物体的三维形状,当他们能够使用S3D-Cursor触摸物体的表面。三个不同的模型,也就是说,露西,龙,唐娜随机选择和用于执行这个实验。作为第一个标准在这个实验中,我们想要确保参与者能够观察到使用浮雕立体眼镜的3 d效果和分离造成的3 d感觉音响和那些可能的3 d体验可能是由于3 d光标运动本身。尽管红蓝表示可能会导致一些重影效果对于一些人来说,大多数的人民(强烈)认为,他们有更好的3 d体验立体模式没有3 d光标的干预(见图gydF4y2Ba7gydF4y2Ba,列1)。第二准则要求人民如果S3D-Cursor有助于更好的3 d视觉体验当他们触摸物体的不同部分。大多数用户认为当他们幻灯片光标在3 d对象,深度3 d光标动作让他们更好地理解它的3 d形状(图gydF4y2Ba7gydF4y2Ba列2)。根据这些结果,相反的2 d光标,有可能会造成一些干扰形成的3 d环境,S3D-Cursor有助于更好的通过给用户视觉体验有趣的感觉触摸表面的虚拟3 d对象。gydF4y2Ba

在第二个实验中,我们要求用户执行相同的操作任务的3 d肺模型单一和立体视图模式。事实上,我们要求他们标志着结核病腔的边界在2 d和3 d表示。再次我们的用户调查表明,S3D-Cursor技术提供了更好的深度信息(图gydF4y2Ba7gydF4y2Ba列3)和感兴趣的用户可以指定地区相比更准确地使用一个2 d鼠标光标在2 d显示(图gydF4y2Ba7gydF4y2Ba列4)。事实上,三维可视化允许用户更好的区分凸,凹表面和边境地区。gydF4y2Ba

最后,我们要求用户整体表达自己意见的简单的使用和S3D-Cursor通过他们的可用性与S3D-Cursor短暂的工作经验。大多数人强烈认为它可以作为简单的作为一个普通的老鼠和他们中的许多人发现它有用的设备操纵3 d对象。gydF4y2Ba

8。结论和未来的工作gydF4y2Ba

在本文中,我们讨论了在不同的理论方面stereo-based 3 d技术使得用户指向点在三维空间内任意位置由一个立体的3 d显示和描述我们的方法实现这样的一个3 d光标。我们还讨论了这种技术如何满足所有抽象3 d光标的要求,所以它可能可以被认为是一个简单的扩展的2 d光标的3 d立体空间。S3D-Cursor表明我们的用户体验,交互与这个虚拟空间潜力巨大。这里显示它的实用性和效率在处理3 d对象和提出了一些不错的效果。然而,进一步改善需要克服一些小缺点像低精度的进一步深度。这可以通过虚拟改进的实施建议。我们也需要进一步改善我们的UI工具智能操纵3 d轮廓,表面和卷基于更先进的新彩色立体可视化技术。gydF4y2Ba

确认gydF4y2Ba

作者要感谢iCORE和NSERC金融支持,斯坦福计算机图形学实验室和克莱姆森大学有限元存档VCG-ISTI (AIM@SHAPE形状库)提供3 d模型,肺和Alexey Abadalov提取3 d模型。gydF4y2Ba

引用gydF4y2Ba

1. n .霍利曼“3 d显示系统”,计算机科学系,杜伦大学,2009年8月,gydF4y2Bahttp://www.dur.ac.uk/n.s.holliman/presentations/3dv3 - 0. - pdfgydF4y2Ba。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
2. n·a·道奇森”“裸眼3 d”3 d显示,“gydF4y2Ba电脑gydF4y2Ba,38卷,不。8日,31-36,2005页。gydF4y2Ba视图:gydF4y2Ba出版商的网站gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
3. s e·b·索伦森p·s·汉森:l·索伦森et al .,”方法录制和观看立体图像在颜色使用multichrome过滤器,”美国专利号6687003,2009年8月,gydF4y2Bahttp://www.patentstorm.us/patents/6687003.htmlgydF4y2Ba。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
4. N.-T。见鬼,”一个调查和分类的3 d显示技术”gydF4y2Ba诉讼IEEE国际会议上的研究、创新和对未来的愿景(RIVF ' 07)gydF4y2Ba河内,页71 - 80年,越南,2007年3月。gydF4y2Ba视图:gydF4y2Ba出版商的网站gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
5. p .最好的,“最终的3 d设计导航工具,”gydF4y2BaGizmag说新兴技术杂志gydF4y2Ba,2009年8月。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
6. “老鼠”(计算),2009年8月,gydF4y2Bahttp://en.wikipedia.org/wiki/Mouse_(计算)gydF4y2Ba。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
7. l .痘痘”3 d air-mouse你戴戒指,“gydF4y2BaGizmag说新兴技术杂志gydF4y2Ba,2009年8月。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
8. Levoy Rusinkiewicz和m .,“QSplat:一个多分辨率点渲染系统对于大型网格,”gydF4y2Ba计算机图形学学报ACM SIGGRAPH会议(SIGGRAPH ' 00)gydF4y2Ba新奥尔良,页343 - 352年,洛杉矶,美国,2000年7月。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
9. c的手,“3 d输入设备的调查,”科技,众议员TR94/2计算机科学系,De Montfort大学,莱斯特,英国,1994。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
10. “3 d鼠标是什么?“2009年8月,gydF4y2Bahttp://www.3dconnexion.com/3dmouse/what_is_3dmouse.phpgydF4y2Ba。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
11. b . Frohlich j . Hochstrate a Kulik, a . Huckauf”3 d输入设备。”gydF4y2BaIEEE计算机图形学和应用程序gydF4y2Ba,26卷,不。2、15 - 19,2006页。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
12. c的手,“3 d交互技术的一项调查,”gydF4y2Ba计算机图形学论坛gydF4y2Ba,16卷,不。5,269 - 281年,1997页。gydF4y2Ba视图:gydF4y2Ba出版商的网站gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
13. “Orthoengine 3 d立体技术规范,2009年8月,gydF4y2Bahttp://www.pcigeomatics.com/pdfs/3D_Stereo.pdfgydF4y2Ba。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
14. “Biomedcache用户指南”,软件用户指南,2009年8月,gydF4y2Bahttp://www.ch.ic.ac.uk/local/organic/medchem/UserGuide.pdfgydF4y2Ba。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
15. s . a . Safier和m·w·西格尔,“3 d-stereoscopic X windows,”gydF4y2Ba国际光学工程学会gydF4y2Ba卷,2409gydF4y2Ba学报学报gydF4y2Ba圣何塞,页160 - 167年,加州,美国,1995年。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
16. f . Steinicke g . Bruder k Hinrichs, t . Ropinski”Simultane 2 d / 3 d用户界面konzepte毛皮autostereoskopische desktop-VR systeme,”gydF4y2Ba《4。GI-Workshop AR /虚拟现实gydF4y2Ba瓶,页125 - 132年,组织:GI-Fachgruppe VR / AR 2007。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
17. r·哈特利,a . ZissermangydF4y2Ba计算机视觉中的多视图几何gydF4y2Ba英国伦敦剑桥大学出版社,2003年。gydF4y2Ba
18. h . Sahabi和a·巴苏”,分析错误与朝向深度知觉和空间不同传感、”gydF4y2Ba计算机视觉和图像理解gydF4y2Ba,卷63,不。3、447 - 461年,1996页。gydF4y2Ba视图:gydF4y2Ba出版商的网站gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
19. h . Azari即成,a·巴苏,“最优像素长宽比为3 d立体显示实际观察条件下,”gydF4y2Ba学报3 dtv会议:真正的机器视觉、传输和显示3 d视频(3 dtv-con ' 09)gydF4y2Ba波茨坦,页1 - 4,德国,2009年5月。gydF4y2Ba视图:gydF4y2Ba出版商的网站gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
20. k·e·霍夫变换,推导openGL的角度深度“技术。代表,2009年8月,gydF4y2Bahttp://www.cs.unc.edu/ ~几何学/霍夫/ techrep / perspective.docgydF4y2Ba。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
21. 答:苏,“最佳离散化立体重建,”gydF4y2Ba模式识别的字母gydF4y2Ba,13卷,不。11日,第820 - 813页,1992年。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
22. 程,k . Daniilidis, a·巴苏,“最佳长宽比在朝向对3 d电视,”gydF4y2Ba学报3 dtv-conference:真正的机器视觉、传输和显示3 d视频(3 dtv-con 08年)gydF4y2Ba,页209 - 212,伊斯坦布尔,土耳其,2008年5月。gydF4y2Ba视图:gydF4y2Ba出版商的网站gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
23. 程和a·巴苏,“最佳长宽比为3 d电视,”gydF4y2Ba学报第一国际会议3 dtv (3 dtv-con ' 07)gydF4y2Ba,页1 - 4,科斯,希腊,2007年5月。gydF4y2Ba视图:gydF4y2Ba出版商的网站gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
24. l . Matthies和s a·沙佛”,在立体导航误差建模,”gydF4y2BaIEEE机器人与自动化》杂志上gydF4y2Ba,3卷,不。3、239 - 248年,1987页。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba
25. 张,C。Demiralp d . f . Keefe et al .,”一个身临其境的虚拟环境为梗死后体积可视化应用程序:一个案例研究,”gydF4y2Ba《IEEE可视化会议gydF4y2Ba,第440 - 437页,2001年。gydF4y2Ba视图:gydF4y2Ba谷歌学术搜索gydF4y2Ba

版权gydF4y2Ba

版权©2010 Hossein Azari et al。这是一个开放的分布式下文章gydF4y2Ba知识共享归属许可gydF4y2Ba,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。gydF4y2Ba