文摘

随着智能手机、平板电脑和其他移动设备继续主宰我们的数字世界的生态系统,有许多行业使用移动或可穿戴设备执行增强现实(AR)函数在他们的工作场所,以提高工作效率,减少不必要的工作量。手机基于“增大化现实”技术基本上可以分为三个主要类型:手机,可穿戴的基于“增大化现实”技术,和projector-based AR。其中,projector-based AR或空间增强现实(SAR)是最不成熟的,至少认可为最终用户类型的基于“增大化现实”技术。这是因为有少量的商业产品提供projector-based基于“增大化现实”技术的功能在一个移动的方式。同时,移动投影仪的价格仍相对较高。此外,仍有许多关于projector-based AR技术问题一直得不到解决。然而,projector-based AR有潜力解决大多数手机AR系统共享的一个根本问题。也始终可见projector-based基于“增大化现实”技术的本质是一个很好的答案为解决当前手机的用户体验问题基于“增大化现实”技术和便携式的基于“增大化现实”技术的系统。因此,在本文中,我们分析什么是用户体验对于常见的手机AR系统问题和技术问题,最近广泛的基于手机的基于“增大化现实”技术的系统,和不断上升的可穿戴的基于“增大化现实”技术的系统。然后对于每一个问题,我们提出并解释如何使用projector-based基于“增大化现实”技术的新的解决方案可以解决的问题和/或帮助其提高用户体验。我们建议的框架包括硬件设计和体系结构以及对移动projector-based AR系统软件计算范型。 The proposed design is evaluated by three experts using qualitative and semiquantitative research approaches.

1。介绍

说到数字经济,许多人将它称为“经济基于数字计算技术”包括大品种的技术从互联网技术以现实为基础的技术如虚拟,混合,和增强现实。然而,随着日益增长的数字经济,有社会没有停止过物理缺口不断扩大,带领我们到一个新的世界,我们更数字化与那些身体很远但不与那些身体附近。这些物理差距造成的数字经济的一个原因是因为仍有一个巨大的差距现在数字和物理世界。在这一点上,增强现实(AR)、技术无缝地增加物理世界与数字内容,可以是一个答案,帮助填补这一缺口,将两个世界靠得更近,数字和物理。

目前,大多数人在这个数字经济时代仍未意识到的真正潜力AR技术除了游戏,娱乐,和技术手段。在[德勤强调1),数字经济的核心不是创建另一个独角兽而是“使用最新的技术来做你已经做的事情,但是更好”;这有助于解释最近成功的秘密技术产品和服务,在技术不习惯强迫用户去做新事物但说服他们做老东西与另一个选择更好的用户体验。许多成功和失败的故事基于“增大化现实”技术的面向用户体验的产品遵循这条道路。例如,在谷歌翻译的智能手机应用程序,它基于摄像头实时翻译功能(以前称为词透镜应用程序)是一个use-at-will吸引很多用户的基于“增大化现实”技术的选择提供了一个更好的用户体验point-camera-to-translate代替传统type-characters-to-translate。可以找到一个类似的故事在著名的口袋妖怪去简单的基于“增大化现实”技术的游戏模式术语基于“增大化现实”技术的全球传播和AR技术本身已被大规模利用的任何年龄的人在许多国家基于“增大化现实”技术的历史上第一次。成功的一个关键共享这两个基于“增大化现实”技术的产品是他们成功的基于“增大化现实”技术特征陷入现有用户的行为。然而,这是与谷歌眼镜的故事(版本1.0),一个基于“增大化现实”技术的玻璃,曾经是一个冉冉升起的新星在AR然后失败由于缺乏社会接受。可以说,第一个谷歌眼镜是一种基于“增大化现实”技术的案例研究的最新技术未能进入现有的用户行为,导致意外坏的用户体验。

考虑最近的趋势在手机增强现实技术,它们可以被分为三个types-phone-based AR或基于监测的基于“增大化现实”技术,可穿戴的基于“增大化现实”技术的使用光学透明或视频透明玻璃或头戴设备(HMD),和projector-based AR或空间增强现实(SAR)中引入[2]。对于电话基于“增大化现实”技术,有大量的例子,应用程序和软件可用,从易用的基于“增大化现实”技术的内容创造者和播放软件多媒体设计师免费的基于“增大化现实”技术的图书馆和程序员和开发人员工具包。至于可穿戴的基于“增大化现实”技术,尽管谷歌眼镜1.0的故事不是一个快乐的结局,谷歌眼镜的回归企业版(谷歌玻璃EE)以及其他smartglasses似乎执行以及“职场实用工具,节省了时间和金钱”(3]。也有微软全息透镜(开发人员版),光学透明头盔显示器,帮助促进第二类型的手机之间的基于“增大化现实”技术的研究人员和技术爱好者。

不过,因为性质的小显示器有关手机AR和wearer-only私人经验以及庞大的头戴设备关于可穿戴的基于“增大化现实”技术,这两种类型的基于“增大化现实”技术的相似用户体验困难组观察和不方便面对面的社交互动;这意味着这两个类型的基于“增大化现实”技术的移动解决方案可能不是好社会物理桥梁造成的数字经济的发展如前所述。此刻虽然实际三维全息显示技术还没有准备好,这是第三种类型的手机,projector-based基于“增大化现实”技术,可以帮助缓解这些用户体验问题。

谈到投影仪,它是一个空间效率最高可编程的光源,允许创建和无缝视觉显示以一种基于“增大化现实”技术的方式。使用光线投射一个投影仪,我们能够增加有形物体投影图像,带来直接的物理对象和环境,生活在一个共享空间。这种可控光源允许我们任意表面转变成一个交互式触摸屏OmniTouch [4),重新绘制一个历史绘画没有破坏宝贵的画布(5),几乎恢复老矮人的房子在迪斯尼主题公园梦幻的房子6),提高low-dynamic-range照片一个高动态范围(7)和模拟基于“增大化现实”技术的虚拟对象,用户可以捕获和扔到另一个房间8]。

使用相机和投影仪一起被称为pro-cam设备已配对的受欢迎的选择创建移动projector-based基于“增大化现实”技术,因为它不需要主动传感器设置在一个环境,允许从空间转移到空间的交互。然而,根据建立的一个基本事实pro-cam设备,照相机和人类通常在相同的可见光谱,导致两个移动projector-based AR的困境。第一个是当投影图像显著改变物体的视觉表象所看到的相机;这种情况可能导致误解甚至失败的视觉分析算法,特别是在移动projector-based AR系统严重依赖的对象识别建立。第二个困难是当一个投影仪需要突出一些特殊的意象来帮助促进或简化应用识别:例如,预测一个棋盘模式pro-cam校准或深度计算和预测一个预定义的标记作为视觉信息交流很多投影机在点对点(P2P)风格。第二个情况导致了一个问题,突出这些特殊的标记或模式通常不能没有损害或中断正常的实时投影或被观众注意到。

在这一点上,可以看出,所有三种类型的手机AR拥有自己的问题,优势,劣势。在本文中,我们的目的是讨论关于用户体验问题已经知名手机AR和可穿戴的基于“增大化现实”技术,然后为每一个问题,我们提出一个替代解决方案使用projector-based AR及其集成的硬件设计、架构和软件计算范型。从部分2,我们将描述在相关领域工作的移动projector-based AR为了让读者熟悉这种类型的手机AR以及其常见的设计和架构。部分3解释关于现有手机AR系统的用户体验问题。部分4礼物我们提出projector-based AR手机基于“增大化现实”技术的提高用户体验,包括硬件设计和软件计算范例。部分5显示评价结果和讨论我们的建议的基于“增大化现实”技术及相关领域的专家。最后,部分6总结这篇文章连同我们的计划未来的工作。

2。相关的工作

为了让读者更广泛背景关于互动投影系统的覆盖范围包括几乎所有移动projector-based AR。在本节中,我们讨论之前的互动投影系统的研究,特别是无处不在和移动投影手机需要基于“增大化现实”技术的使用场景。然而,缩小范围,我们的重点是以前作品的互动投影涉及困难或解决方案关于投影图像之间的串扰和可见光谱相机反馈,这是两个根本问题建立pro-cam设备所部分1。

最常见的和最容易的解决方案使用的pro-cam建立互动投影设备是使用一个预定义的基准标记的基本能见度时被覆盖被相机几乎退化的投影图像。的例子可以发现在许多概念就像(10- - - - - -12]。这个解决方案是简单而有效的,允许交互式移动投影在任何对象附加或印有预定义的标记或模式。然而,突兀的性质,这些标记违反的真正精神手机AR的物理环境应该是动态的,措手不及。

避免身体重叠投影图像和物理对象通过仔细的计算13- - - - - -15)是另一个解决方案,仍然允许一个完美的手机AR系统。然而,projector-camera-object几何校准需要做精确和有一个额外的时间用于计算nonoverlap区域投影。有限区域的投影是一个主要的缺点这个解决方案可能并不适合投影在一片凌乱由物理对象。

与投影图像而不是妥协,许多作品使用更复杂的技术来减少投影图像的可视性几乎看不见或不知不觉中相机反馈:例如,再造投影引擎的内部机制(16)和分析独特的微镜抛的特点和在一个现成的色轮DLP(数字光处理)投影仪(17- - - - - -19]。这些技术的结果令人印象深刻,需要一些努力在在线计算。然而,他们高度依赖于特殊的相机(高速度和外部触发)和特定的投影技术可能不会持续很长时间。除此之外,是不容易的重新设计或控制内部投影机制没有合作技术的所有者。

更便宜和更独立的选择,使投影图像在相机反馈是无形的完全独立的工作光光谱,一个在可见光谱和其他在红外光谱;这是指主动红外技术。通过让投影图像在可见光谱和红外光谱相机反馈,没有相声关注无论任何上下文敏感的图像被投射到或物理对象。消除投影图像的简单场景摄像头反馈,主动红外替代品的成本相对较低,几乎不需要专业知识的机制。通过附加机载红外光源和一个infrared-pass过滤器应用到普通相机,pro-cam设备准备同时红外视觉传感和颜色投影;这是相同的技术用于支持夜视监控摄像头。互动投影系统采用主动红外技术的例子可以发现在20.,21]。

尽管如此,使用主动红外协助互动投影已经远远超出投影图像和相机之间的串扰消除反馈。提出了(22),将一个或多个预定义的标记在红外使M2M (M2M)视觉传达在多个投影仪P2P的风格。对于这些高级场景projector-to-projector P2P的视觉传达,不扰乱正常颜色投影,一个投影仪能够预测同时可见彩色图像和不可见的红外图像(即。,一个IR-RGB双输入投影仪)是必需的。此刻这是一个困难的要求因此投影仪主要在研究实验室或作为原型存在内部密封部分特别设计的产品,如Kinect传感器内部,跳跃运动,或索尼Xperia联系。在过去的十年中,最受欢迎的用法的主动红外也许是建立实时深度感知内部,因为这是一个功能实现微软Kinect传感器,智能电视,和跳跃运动。现有的互动投影系统利用这个活跃的红外特性在微软Kinect传感器包括(4,8,21- - - - - -24]。

除了照明的环境统一的红外线或预测所需的图像与红外光线,许多作品进一步使用主动红外与其他技术合作增加红外应用互动投影系统的力量:例如,包装与红外目标对象回射的材料来提高其可见性在红外摄像机的反馈(21),用红外吸收墨水印制的使用对象的标记是人类看不见但红外摄像机在[25),使用两个波长的红外线(即。,830. nm and 950 nm) to enable two different interactive infrared projections at a time as in [21],应用时间调制、编码或加密技术嵌入更多诡辩M2M视觉传达信息在许多交互式投影仪。

目前许多设计的移动pro-cam设备支持应用提出了主动红外,主要是为了使特定的互动投影功能要求一个特定的系统。在本文中,我们专注于提出设计和架构pro-cam设备有活跃的红外功能;这是为了提高用户体验的手机基于“增大化现实”技术,而不是创建一个设计为一个特定的工作互动投影的需求,我们的建议往往是更一般的和可持续的,使所有先前提出消除投影之间的串扰和摄像头以及先进的M2M通信要做一个独立的和合作方式。

3所示。手机用户体验问题的基于“增大化现实”技术的数字经济

驾驶我们的数字经济,AR技术的力量在于,它允许替代用户体验,一个人不需要之间来回切换他们的关注物理对象和电子显示器显示数字内容。这是因为周围的数字内容已经显示在/ /物理对象在实时查看从适当的渠道。根据(3,27- - - - - -29日),谷歌眼镜EE已经报道可以帮助提高工作效率和工作质量制造业、物流、现场服务和医疗保健在许多巨大的行业包括通用电气、波音、DHL、大众、细致,很多医生办公室。例如,DHL获得供应链效率从6%增加到15%,爱科取得了生产时间减少25%,减少20%关于医生的管理论文工作在使用谷歌玻璃EE。也根据用户研究由富士通实验室有限公司在工厂环境中,(30.)报道,突出实际尺寸和实际速度专家的手直接适合新手员工真实的对象有助于提高精度以及降低工作感到困难和容易记住/跟随。

它可以表示,关闭之间的差距为目的的物理世界和数字世界为了提高个人用户体验,手机AR和可穿戴的基于“增大化现实”技术的建议选择有潜在驱动最近根据许多可用的报告和研究数字经济。另一个共享电话AR和可穿戴的基于“增大化现实”技术的优点是,他们都可以很容易地在现有的移动设备和平台上实现像智能手机,平板电脑,谷歌眼镜,微软全息透镜,等等。然而,尽管他们的欢迎,手机AR患有小尺寸显示监视器,可穿戴的基于“增大化现实”技术提供wearer-only私人基于“增大化现实”技术的经验,并且都共享相同的缺点的视野有限,困难组观察,而不是鼓励面对面的社交互动。这意味着为了把人们紧密和引发更多面对面的交互数字和身体上,手机仅基于“增大化现实”技术和可穿戴的基于“增大化现实”技术可能还不够。

相比手机AR和可穿戴的基于“增大化现实”技术,projector-based AR项目数字内容,直接覆盖在身体表面。因此,公众基于“增大化现实”技术的经验可以自动通过这种类型的手机,允许更多的可能性和使用场景关于社会互动在物理和数字连接礼仪。注意这些交互式实时投影在物体表面的特征类似于洞穴(洞穴自动虚拟环境)虚拟现实(VR),一个房间大小的虚拟现实环境,墙壁,地板,天花板通常由交互式灯光投射画从许多静态投影仪。一方面,projector-based AR和洞穴VR共享相同的问题空间的使用虚拟内容由投影仪投影交互物理表面油漆。另一方面,他们的使用目的,设备安装,以及相关的用户体验问题是不同的。而洞穴VR使用静态投影仪在静态的房间,集中在模拟身临其境的体验在虚拟环境中,我们的移动projector-based AR在动态环境中使用一个或多个移动投影仪和专注于精确的物理环境进行精确解释虚拟扩充。洞穴VR的一些用户体验研究包括(31日),用户交互使用和不使用虚拟手比较现实世界和洞穴之间虚拟现实。这种用户体验研究是特定于虚拟现实环境;因此,它超出了本文的范围。

projector-based电话AR和可穿戴的基于“增大化现实”技术相比,基于“增大化现实”技术的不成熟,还不知道。然而,对于实现电话基于“增大化现实”技术的完整用户体验和可穿戴AR正如前面所讨论的,projector-based AR的投影图像的大小是一个好的答案并不取决于大小的投影引擎和投影图像通常始终可见公共旁观者,鼓励自发预计AR周围的人之间的协作内容。例如,SurfacePhone [32)提出了一种嵌入式智能手机情况投影仪,帮助扩展视觉显示智能手机的小型监控任何附近的tabletop-like表面和33)项目用户的在线社交身份到身体表面为了触发面对面的用户和其他附近的人们之间的社会互动。

除了可穿戴的基于“增大化现实”技术的用户体验问题,最近的一项研究[34]提到,对手机使用光学透明的HMD AR(即。,Microsoft HoloLens) makes the AR contents appear too transparent for users, particularly when dark AR contents are being displayed in a bright environment. In order to make AR objects look more solid and less transparent for the HoloLens’ wearer, [34)提出了SolidAR成为一个开放的框架,利用现成的投影仪项目AR闭塞面具在身体表面,导致更多的不透明的基于“增大化现实”技术的游戏对象的表象和更好的本地化能力基于“增大化现实”技术的对象时的用户在一个复杂的表面被覆盖。

尽管projector-based基于“增大化现实”技术的优势,可以满足许多洞最近的电话AR和可穿戴AR系统,对手机使用投影仪基于“增大化现实”技术引入了另一个用户体验问题总是有差距的技术解决方案和实际利用率。projector-based基于“增大化现实”技术的一个明显的问题是关于数据隐私是不容易控制允许或不允许看到始终可见内容投射到一个公共的物理表面。这隐私问题简单解决方案切换回私人经验的可穿戴的基于“增大化现实”技术的公共电话AR的可视性。对于其他棘手的解决方案,用户交互设计需要更仔细地与其他用户互动技巧相结合为例(35),一张回射的材料结合使用胸穿pro-cam设备以便pro-cam佩戴者将是唯一一个将内容投影到那张。

另一个用户体验的问题projector-based AR技术问题源自根本问题在大多数手机AR系统。谈到手机基于“增大化现实”技术,它传达了在动态控制的工作环境,可能会改变不可预知的时候。因此,实时现场分析是一个重要的特性要求的大多数手机AR系统为了提供正确的和有意义的实时增加物理环境。到目前为止实时场景分析的问题是重要的,尤其是在无处不在的或移动的使用场景,解决一些传感器在一个环境是不可能的或可取的。方法使用相机传感器是最受欢迎的解决方案建立在这个问题域由于三个主要原因。首先,它是因为最新进展和嵌入相机在移动设备的可用性,使相机成为最容易传感器之一。第二,因为主流的基于“增大化现实”技术已经由视觉输出;因此,使用相机观察视觉输出是一个简单和直观的解决方案。第三,因为使用相机允许传感任意环境视情况而没有任何预定义的设置;因此,它不违反手机AR的真正精神。

然而,在实际,分析流媒体图像读取动态场景由于大数据的本质是困难的图像和高图像分析算法的复杂性。受欢迎的技术来处理这些困难之一是使用一些类型的主动传感器,发出一些已知的未知能量环境。然后,而不是直接测量未知环境的变化,系统间接计算未知环境的变化通过已知能量的变化。使用投影仪和摄像机结合在一起形成一个pro-cam设备,可以作为一个活跃的传感器在手机便于实时场景分析AR系统。考虑projector-based AR活跃传感器实时场景分析的作用,视觉分析和投影图像之间的串扰是一个根本性的问题,可能导致中断或受损的用户体验,同时查看实时的基于“增大化现实”技术的内容。存在许多替代解决方案,解决用户体验问题如前所述2。然而,为了更快的速度和更轻的在线计算负荷,本文将重点提出面向硬件的解决方案。

总之,有六个问题手机基于“增大化现实”技术的用户体验将在本文讨论;一些直接从手机产生AR和可穿戴的基于“增大化现实”技术的游戏,一些是基本在大多数手机AR,和一些使用projector-based AR的后果来解决问题的手机,电话,或可穿戴AR。表1总结了六个方面的问题。因为解决方案关于第一、第二和第三个问题可以推断projector-based AR如前所述的本质已经在本节中,我们将不再讨论。至于第四问题,基于“增大化现实”技术的内容从投影仪投影可以通过不恰当的环境照明和复杂性受损表面的纹理,导致太透明或混淆视觉表象的基于“增大化现实”技术的内容所看到的观众。然而,解决第四问题做实时辐射补偿的技术细节太深,超出了本文的范围。因此,我们的建议4将主要集中在5日和6日使用pro-cam设备的问题作为促进活跃传感器在手机AR系统实时动态场景分析。

注意,因为所有三种类型的手机基于“增大化现实”技术具有其独特的优势和劣势,研究我们的目的并不是替换现有手机AR或可穿戴AR系统但团结他们projector-based AR在必要时为了增强用户体验。除此之外,有其他替代方案没有投影仪,可以解决用户体验问题的手机AR,电话,和可穿戴的基于“增大化现实”技术。例如,Pinlight显示(36]提出了一种新的设计原型的光学透明的基于“增大化现实”技术的玻璃与紧凑的外形和更广泛的视野;他们的成就是通过数组编码点光源的LCD面板放置在前面的眼睛但失焦。

4所示。移动投影相机的设计和架构

在本节中,我们将提出和讨论如何设计projector-based AR系统从硬件的角度来看。目的是为了实现不完整的手机用户体验AR,电话基于“增大化现实”技术,可穿戴的基于“增大化现实”技术和解决技术问题源自projector-based AR本身。从部分4.1pro-cam装置的硬件设计和架构projector-based基于“增大化现实”技术的用户体验问题出发,讨论了在桌子上1。然后一节4.2描述了使用我们的软件计算范型与硬件提出了部分4.1。两部分的组合不仅能解决用户体验问题中提到的表1也促进视觉传达很多投影机为未来的手机在一个看不见的P2P风格基于“增大化现实”技术的应用。

4.1。硬件

虽然这部分侧重于手机AR依靠移动设备,提出设计和架构可用于其他AR系统使用可操纵的或便携式投影仪。在以下部分中,我们将参考不可见的红外线RGB光红外和可见的颜色。

以下4.4.1。一个IR-RGB双输入投影仪

建立一个IR-RGB双输入投影仪完全分离工作灯光谱视觉分析(IR后台进程)和正常颜色投影projector-based AR(前台进程在RGB),技术改变现成的商业投影仪infrared-only投影仪的提出(37]。否则,我们可以使用两台放映机一次模拟一个IR-RGB双输入中展现的投影仪(38]。图1显示我们的原型模拟IR-RGB投影仪加入正常RGB微型投影机红外投影仪(嵌入在Kinect Xbox 360传感器)。这个原型是,然而,没有能够预测任意红外图像作为输入的红外投影仪是固定的Kinect的制造商。注意,这里使用半透明的论文是模糊的特殊红外光点图形投影Kinect。因此,原型图1项目可以任意RGB图像,同时,能够照亮一个环境与静态和光滑的红外线。

然而,建议关于如何创建一个投影仪投射的红外和RGB图像通过一个镜头都是写在[22,39,40]。论文(22,40]解释如何将红外通道添加到现有图像投影的形成机理。这是通过准备一个光源(如led)红外通道的投影仪有四个而不是三个光源(即四预计通道。、红、绿、蓝、和红外)。通过RGB和红外图像投影仪,用户可以简单地创建一个四通道图像和对待第四频道作为红外通道。

四通道投影成像技术可以很容易地扩展以便投影机项目不仅两个红外波段ROOMProjector [21]。这种方法显示在图的插图2。注意,这说明不是一个实际的光学实现,因为它取决于每个投影技术,超出了我们的范围的建议。

4.1.2。多波段相机

在这种背景下,一个多波段相机意味着相机同时与图像在不同波长的能力:例如,感应一个红外图像和一个RGB图像,或感应一个RGB图像和两个红外图像;这指的是四,五频投影机制部分中提到4.1。1。使用这种多波段相机而不是单波段相机像往常一样让更多的可能性projector-based AR交互以及更复杂的实时现场分析技术。

设计的多波段相机能够感应一个可见光图像和两个红外线图像提出了(39]使用的组合热镜(反射红外光发射可见光),红外线分光镜(传入的红外线分割为两个方向),和带通滤波器(只有一个特定波长的光可以通过过滤器)。图3说明了如何实现多波段相机。可以看出,四和五频投影机制,多波段相机内部由两个和三个摄像头,分别。

4.1.3。一个IR-RGB双输入多波段相机投影仪

结合IR-RGB双输入投影仪和多波段相机为我们的独立是一个完整的设计和架构pro-cam装置,能够解决或缓解5日和6日用户体验问题写在桌子上1。正如前面所提到的部分4.1。1和4.1。2、内部coaxialization可以通过简单地增加棱镜或特殊镜子。Coaxializing一切保证一切,可以预计在也可以被相机。因此,没有必要计算实时3 d投影仪之间的构成相对于相机。然而,coaxializing IR-RGB双输入投影机与多波段相机不是简单的单一光学路径将负责RGB和红外(s),传入(相机)和输出(投影仪)的方向。

图4说明了光学指南如何coaxialize一双一个投影仪和一个照相机。从图可以看出4从我们的原型实验图5使用分光镜coaxialize投影仪和摄像机操作在同一波长(即。,RGB projector versus RGB camera and infrared projector versus infrared camera) causes half of the projected light to be reflected away which is power inefficient, particularly for a mobile projector with limited brightness. Besides, half of the light reflected from the environment is also reflected away from the camera, degrading visibility in camera feedback.

Coaxializing一切都不是不可能但更复杂的制造和光学机制是必需的。因为这个复杂的光学工作超出了我们的范围,我们将离开这里的讨论。不过,为了简单起见,可以选择一些外部校准所有部件而不是coaxializing它们。这是实现微软Kinect Xbox 360的传感器中RGB相机,IR-pass摄像机,红外发射器线性放置到一个另一个在水平方向。这和kinect相似的选择需要的3 d构成复苏投影仪(RGB或红外线)相对于相机(RGB或红外),并不能保证可以被相机也可以预计。然而,这种方案可以成为有用的视差性质等任务的深度感知和3 d复苏。

4.1.4。激光投影仪

我们的另一个视觉发育完全的硬件架构projector-based AR包含short-throw激光投影。激光投影投影允许RGB和红外图像保持聚焦的图像无论3 d几何表面的深度或改变。然而,从调查中(41),新移动RGB-laser投影仪缺了市场自2011年以来,红外激光投影仪,而据我们所知,几乎没有被谈论的移动投影仪。因此,尽管它是绝对有用的移动场景,我们从我们目前的提议,直到排除这种focus-free能力得到更多的技术准备。

4.2。软件

软件对该设计的主要要求4.1是一种软件进行实时图像处理和计算机视觉的能力。四个主要计算模块使用该pro-cam设计以交互式方式见图6。输入模块是光从一个环境相结合,包括可见光和红外线。输出模块组合的两个独立的投影图像;一个图像是一个RGB图像(可见光波长)和其他图像是一个无形的红外图像。为一个完整的计算系统包括四个模块,每个模块的责任的结论如下:(我)模块一负责同步或校准RGB和红外图像,使用两个图片一起在分析可以通过正确的方式;同步和校准不仅对相机,也对投影仪。这个模块noncoaxialized设计至关重要的光学轴RGB和红外摄像机/投影仪不coaligned和领域之间存在视差的观点。一个例子所示camera_rgb和camera_ir的图6。可以看出,虽然两个图片表示相同的场景,两幅图像中对象的位置不是coaligned。(2)模块B负责处理、分析或解释这两个图像(例如,camera_rgb和camera_ir在图6)使用图像处理和计算机视觉算法来提取图像所需的知识。(3)模块C使用结果从B创建实时的基于“增大化现实”技术的投影的反应(例如,project_rgb1和project_ir1在图6适当地)与即时交互的环境。注意,这个模块的实现不同,根据每个系统的需求。(iv)模块D经常发现在智能投影系统,包括projector-based AR系统,原始图像投影转换之前实际投影。通常这被称为几何(4,14,18,24,42- - - - - -44)和光度。,放射5,7,24,26,45- - - - - -47)补偿的目的是precompensate投影图像,图像时覆盖在表面上看起来尽可能接近其最初的外表,无论表面的几何形状,颜色,纹理,等等。一个示例见图6原project_rgb1和project_ir1改变都是几何和光度学的吗project_rgb2和project_ir2。

然而,如上所述在图6可以省略,模块A和D和两个输入相机图像之前可能直接进入模块B C模块生成的投影图像直接投射出来。省略模块指的是情况下,当一个系统不需要cointerpretation或coanalysis RGB与红外摄像机图像或投影仪和摄像机之间。跳过模块D是一个系统的问题不包括自适应投影在任意表面。

最后,我们建议的设计适用于实时移动用法,它意味着一切环境中可能是动态和互动反应必须实时更新。的关键问题是,实时互动投影在移动环境中引入了巨大的计算负荷,大多是超出限制最近的移动设备:例如,做三维深度识别模块B和实时计算光度补偿模块中为每一个像素值d .因此,来完成这个软件在实践中,我们强烈建议添加特定硬件或处理单元的加速计算,特别是在耗时的和常用的任务。

至于效率有关的可视化分析pro-cam设备在一个活跃的红外环境下,实验(9)认为,从理论上讲,虽然室内环境光没有区别在主动红外摄像机视觉分析反馈,在实用、视觉识别RGB相机反馈是明显比红外相机反馈更精确和稳定。

5。评估和结果

在本节中,我们将评估,从专家的观点,我们提出的设计部分4可以解决或缓解用户体验问题关于移动projector-based AR,尤其是第五和第六个问题列在表吗1。获得深入的信息,我们应用定性和半定量的研究方法使用开放式和封闭式的面试问题以及自言自语协议(48]。有三个基于“增大化现实”技术及相关领域的专家参与这个评估我们会称他们为E1, E2和E3,分别。专家E1积极和高级游戏程序员/开发人员一直在世界上排名和非常著名的游戏公司。专家E2是图像处理和计算机视觉的学术研究员高级数据科学家目前正在为一个国际私人产业。专家E3是一个活跃的基于“增大化现实”技术的学术研究。注意,学术专家E2和E3的表演包括许多国际刊物的影响因子和高四分位数排名SJR (Scimago日报》和国家排名)由。

我们一对一访谈会话的目的是使用每一位专家约20 - 30分钟后,下面列出的循序渐进的过程:(1)当前的手机AR(自由泳的意见):我们使用开放式的问题要问我们的专家是如何思考当前的基于“增大化现实”技术的景观,包括问题和他们的建议(如果有的话)。相同的问题重复三次为每个类型的手机基于“增大化现实”技术。(2)当前的手机AR(李克特量表):我们要求我们的专家率表中列出的每个用户体验问题1对所有三种类型的手机AR。五李克特等级量表解释这里5:非常重要,4:重要的是,3:相当重要,2:稍微重要,和1:不重要。(3)评价对我们的建议(李克特量表和自由式的意见):在解释了我们的概念IR-RGB双输入投影机与多波段相机提出了部分4我们的专家,我们使用开放式的问题去问我们的专家意见的提出设计解决用户体验问题在表5号和6号1。然后,我们使用封闭式问题,问我们在五个不同的attributes-novelty专家给我们的建议,实用性,手机基于“增大化现实”技术的用户体验(改善),实际实现的困难,在商业市场和可能性。五个李克特等级量表解释这里5:很高,4:高,3:公平,2:低,1:非常低。

表2,4,5和数字7- - - - - -8总结我们的评估结果。使用一个间隔 在表中,我们的半定量的结果4和5将被解释为在表吗3。

结果显示在表中2和4和图7,基于“增大化现实”技术的问题不鼓励面对面的社会互动是最低的额定(1.78 =不重要),而串扰的问题是最高(4.67 =非常重要)。结合定性访谈的结果,证实了我们的想法,projector-based AR应该经历的基于“增大化现实”技术作为替代选择,而不是替代现有的手机或可穿戴AR。这是因为projector-based AR不仅会导致新的基于“增大化现实”技术的用户体验问题,但也引入了额外的复杂性和难度,同时现有的基于“增大化现实”技术的用户体验问题。

最后,根据结果表5和图8从访谈以及定性信息,我们提出了设计的IR-RGB双输入投影仪使用多波段相机额定3.67(=高)关于新颖性和实用性。我们的建议的最高及最低的额定属性实现困难(4.50 =非常高),商业市场的可能性(2.67 =公平)。根据访谈、专家毫无疑问,提出设计确实有潜力解决或缓解问题困难的视觉场景分析和相声projector-based AR。然而,其高复杂性(可能高价格)与当前事实projector-based AR是最不为人所知,由最终用户类型的手机使用基于“增大化现实”技术。只要projector-based AR无法证明其使用场景是值得处理所有这些技术上的困难,这种问题将继续从专家和最终用户。

6。结论和未来的工作

在本文中,我们讨论关于手机的用户体验问题基于“增大化现实”技术在当前数字经济生态系统。讨论包括问题目前在手机发现AR和可穿戴的基于“增大化现实”技术,两种流行的手机AR。对于每个问题,我们描述如何projector-based AR,手机基于“增大化现实”技术的不成熟的类型,可以用于提高用户体验。此外,我们提出一个框架,用于硬件设计和架构以及软件计算范例为了有效和可持续应对当前和未来的用户体验问题源于实际手机AR系统的利用率。我们提出的设计由三个来自相关领域的专家评估。

新框架提出了可以被认为是指导未来IR-RGB交互式移动投影系统,特别是那些有高期望的直观的上下文敏感的交互与用户或物理对象像手机AR系统。对于我们未来的工作,它可以分为两个任务,可以以类似的方式进行。第一个任务是执行非专家用户研究关于移动基于“增大化现实”技术的用户体验问题,比较本文中给出的结果与我们的结果。第二个任务是创建一个未来的原型IR-RGB双输入投影机使用多波段相机,包括绩效评估对于每个用户体验问题集中。

的利益冲突

作者宣称没有利益冲突有关的出版。