知道一个声源的起源是一个机器人的一个重要技能。通常,这个技能是与生存相关的行为,知识是用来应对天敌或杰出的危险。然而,这个技能也在互动的过程中起着关键作用,例如,在调用一个服务员过去。起初,知道到达方向(DOA)的声源似乎太基本元素的交互;然而,正如我们将显示,这些信息可以是有意义的,这样的机器人可以以适当的方式,提高交互反应。gydF4y2Ba

我们考虑的方向到达信息作为一个索引的皮尔斯的符号理论提出的gydF4y2Ba 1gydF4y2Ba,gydF4y2Ba 2gydF4y2Ba]。在这个理论中,考虑到他们的关系有三种类型的迹象表示对象。这些类型gydF4y2Ba 图标gydF4y2Ba,gydF4y2Ba 指数,gydF4y2Ba和gydF4y2Ba 象征gydF4y2Ba。gydF4y2Ba 图标gydF4y2Ba反映对象的定性特征,例如,对象的图片或图纸。gydF4y2Ba 指数gydF4y2Ba有一个存在或与特定上下文中的对象物理连接;例如,一个乌云是下雨。另一方面,gydF4y2Ba 符号gydF4y2Ba有一个稳定的解释基于公约,连接他们的对象,例如,一个产品的标志。这也适用于口语沟通;拟声词,例如,标志性的因为他们像他们代表什么(例如,gydF4y2Ba 切gydF4y2Ba),代词是指数,因为他们“点”他们所代表的对象,和名词是象征性的,因为他们是传统和脱离他们所代表的对象。在这个分类的背景下,DOA信息有一个索引的质量;索引的对象的位置也发出声音和物体本身,因为它拥有一个强烈的声音发射器之间的联系(对象)和到达方向(迹象)。在这项工作中,我们利用这个索引的使用机器人之间的交互和用户的支持。gydF4y2Ba

目前工作的索引的新风是SitLog形式化和实现编程语言,我们开发并用于项目服务机器人(gydF4y2Ba 3gydF4y2Ba,gydF4y2Ba 4gydF4y2Ba]。SitLog定义了一组行为,从简单的(一个技能)组成(不止一个技能)行为。这些行为的基本块用于计划我们的机器人在一个更高的水平。简单的行为的例子gydF4y2Ba 走gydF4y2Ba,机器人从当前位置到目的地,和gydF4y2Ba 问gydF4y2Ba,提示用户并等待口语答案的问题。由行为的一个例子gydF4y2Ba 寻找一个对象gydF4y2Ba在不同的位置,因为它依赖于其他基本行为等gydF4y2Ba 走gydF4y2Ba和gydF4y2Ba 看到对象gydF4y2Ba。从本质上讲,一个行为必须是(1)便携式,所以它可以用在不同的任务,(2)组成,所以通过耦合不同的行为我们可以创建更复杂的行为或程序任务,和(3)能够处理潜在故障(例如,不是到达目的地,从用户不听答案,或者找不到对象)。gydF4y2Ba

为了模型的indexicality DOAs并将其融入到交互功能的机器人,我们提出一个简单的行为来处理新风和解释这些指标。这支持的交互通过允许调用在远处。在这种情况下,用户或用户可以使机器人的注意到一个特定的区域中产生声音。这种行为也可以结合使用gydF4y2Ba 走gydF4y2Ba行为允许中断期间行走如调用一个服务员过去。此外,还支持行为验证来源的数量在谈话。特别是,这可以结合使用gydF4y2Ba 问gydF4y2Ba行为,以确保当机器人听答案,只有一个人说话。gydF4y2Ba

本文的组织结构如下:部分gydF4y2Ba 2gydF4y2Ba了以前的工作声音信息服务机器人的任务的一部分。部分gydF4y2Ba 3gydF4y2Ba评论indexicality为解释过程。部分gydF4y2Ba 4gydF4y2Ba介绍了框架我们用来DOAs迹象解释为指标。部分gydF4y2Ba 5gydF4y2Ba描述了DOA行为的方式解决了DOA指标。部分gydF4y2Ba 6gydF4y2Ba显示的四个任务指标声音来源用于直接交互。部分gydF4y2Ba 7gydF4y2Ba提供了一个讨论我们的建议和发现。gydF4y2Ba

使用机器人声源定位(SSL)是一个盛开的领域;Okuno和Nakadai Argentieri et al .,现在评论的主要方法及其使用不同类型的机器人(gydF4y2Ba 6gydF4y2Ba- - - - - -gydF4y2Ba 8gydF4y2Ba]。应用机器人技术以来,SSL被提拔为机器人的主要技能。布鲁克斯等人提出齿轮项目中作为交互的基本技能(gydF4y2Ba 9gydF4y2Ba]。提出了机器人团体作为世界杯赛的实验设置竞争(gydF4y2Ba 10gydF4y2Ba];和机器人斯巴达克斯党参加了2005年AAAI移动机器人挑战实现SSL作为它的一部分技能(gydF4y2Ba 11gydF4y2Ba]。gydF4y2Ba

虽然互动的目标是一种动力,有一个努力开发一个健壮的SSL模块。记住这个目标,首选设置数组的使用麦克风上的机器人。many-microphone解决方案提供了不错的性能由于其冗余。在[gydF4y2Ba 12gydF4y2Ba)、华菱等人提出的gydF4y2Ba 8gydF4y2Ba 麦克风3 d数组来提高语音识别和DOA估计的序言。更多的可能是麦克风。Hara等人用两个数组gydF4y2Ba 8gydF4y2Ba 麦克风(总共16日)(gydF4y2Ba 13gydF4y2Ba]。然而,最小的系统gydF4y2Ba 2gydF4y2Ba 麦克风也是有可能的,比如在[gydF4y2Ba 14gydF4y2Ba]。一个常见的设置,我们遵循,是使用gydF4y2Ba 3gydF4y2Ba 麦克风(gydF4y2Ba 15gydF4y2Ba,gydF4y2Ba 16gydF4y2Ba]。最好的方法和配置仍然是一个悬而未决的问题。Badali等人提出了一个评估的主要方法gydF4y2Ba 8gydF4y2Ba 麦克风阵列的移动机器人(gydF4y2Ba 17gydF4y2Ba]。gydF4y2Ba

源定位活性,可以作为互动的形态呈现在作品处理后的谈话(gydF4y2Ba 18gydF4y2Ba- - - - - -gydF4y2Ba 21gydF4y2Ba];也可以是交互的一个重要组成部分,比如使用声音控制机器人的导航定位。特别是,Teachasrisaksakul等人提出一个系统,是一个人通过一个房间她或他的声音gydF4y2Ba 22gydF4y2Ba]。另一方面,李等人证明了一个机器人gydF4y2Ba 捉迷藏gydF4y2Ba使用视觉和听觉形式的交互(gydF4y2Ba 23gydF4y2Ba]。这些作品遵循类似的方法对如何将声源位置作为交互的一部分我们的建议。然而,由于只有一个用户存在于他们的工作,其治疗指数是微不足道的。DOA标志直接解读为用户;没有冲突对于谁可以代表签字。gydF4y2Ba

考虑到该领域的进展,针对捕获一个更复杂的交互。例如,Fransen等人提出一个多通道的机器人它遵循两个用户之间的指令到达一个目标(gydF4y2Ba 24gydF4y2Ba]。Nakadai等人提出一个机器人能够判断剪刀声音游戏(gydF4y2Ba 25gydF4y2Ba]。Quizmaster机器人玩一个游戏,它要求一个问题4参与者和使用SSL和源分离决定谁先回答gydF4y2Ba 26gydF4y2Ba]。做等人提出一个机器人一起照顾者日志和检测某些声音的来源gydF4y2Ba 27gydF4y2Ba]。在这个水平的相互作用的复杂性,DOA的迹象正在间接用作指数:新风成为指数表示直接的用户和这些信息是用来消除歧义调用或赢。在[gydF4y2Ba 27gydF4y2Ba),新风和相关类别表示类型的事件。在这个层次上,多个源使一个方法来分配必要的DOA的实体。我们会看到在这个工作,考虑DOA作为索引的好处在正确的上下文中允许我们使用索引的决议执行该消歧的情况下多个DOA竞争。在这项工作中,我们形式化这项决议同样对机器人其他引用解析机制,如直证的引用(gydF4y2Ba 28gydF4y2Ba,gydF4y2Ba 29日gydF4y2Ba]。这不同于其他方法的研究和多通道信息互补消歧gydF4y2Ba 30.gydF4y2Ba]。gydF4y2Ba

交互式剂如机器人理解用户的意图或预期的事件可以发生在环境为了产生足够的反应。考虑皮尔斯的符号理论,我们可以制定“理解”的目标提供一个信号或一组符号识别所指对象或对象(gydF4y2Ba 1gydF4y2Ba,gydF4y2Ba 2gydF4y2Ba,gydF4y2Ba 31日gydF4y2Ba]。为了表示的对象,它的机器人构建表示法。例如,如果用户命令gydF4y2Ba 机器人去厨房,gydF4y2Ba符号的序列gydF4y2Ba 机器人gydF4y2Ba,gydF4y2Ba 去gydF4y2Ba,gydF4y2Ba 来gydF4y2Ba,gydF4y2Ba 的,gydF4y2Ba和gydF4y2Ba 厨房gydF4y2Ba把翻译成表示gydF4y2Ba ggydF4y2Ba ogydF4y2Ba (gydF4y2Ba rgydF4y2Ba ogydF4y2Ba bgydF4y2Ba ogydF4y2Ba tgydF4y2Ba ,gydF4y2Ba kgydF4y2Ba 我gydF4y2Ba tgydF4y2Ba cgydF4y2Ba hgydF4y2Ba egydF4y2Ba ngydF4y2Ba )gydF4y2Ba ,机器人可以建立所指对象(本身,厨房,和行动)并采取相应行动。一个类似的机制可以用于标志性符号的解释;例如,当机器人看到一个表,确定了一瓶果汁,它将生成表示gydF4y2Ba ogydF4y2Ba ngydF4y2Ba (gydF4y2Ba jgydF4y2Ba ugydF4y2Ba 我gydF4y2Ba cgydF4y2Ba egydF4y2Ba ,gydF4y2Ba tgydF4y2Ba 一个gydF4y2Ba bgydF4y2Ba lgydF4y2Ba egydF4y2Ba )gydF4y2Ba ,表示完全的对应汁对象。gydF4y2Ba

当一组交互的迹象包括索引的迹象,表示不完全指定的迹象以来该指数有关决议一个额外的步骤中表示对象。例如,如果用户状态的命令gydF4y2Ba 机器人来这里gydF4y2Ba,这话语是不作为的表现gydF4y2Ba λgydF4y2Ba hgydF4y2Ba 。gydF4y2Ba ggydF4y2Ba ogydF4y2Ba (gydF4y2Ba rgydF4y2Ba ogydF4y2Ba bgydF4y2Ba ogydF4y2Ba tgydF4y2Ba ,gydF4y2Ba hgydF4y2Ba )gydF4y2Ba 。为了充分指定这个表达式,它必须是关于任务的背景下,分析中可以推断出用户的位置。例如,如果用户位于厨房,表情应该解决gydF4y2Ba ggydF4y2Ba ogydF4y2Ba (gydF4y2Ba rgydF4y2Ba ogydF4y2Ba bgydF4y2Ba ogydF4y2Ba tgydF4y2Ba ,gydF4y2Ba kgydF4y2Ba 我gydF4y2Ba tgydF4y2Ba cgydF4y2Ba hgydF4y2Ba egydF4y2Ba ngydF4y2Ba )gydF4y2Ba 。gydF4y2Ba

在这个方案中,产生一个未指定索引的迹象表示在以后首先应解决的上下文信息。此外,指标提供额外的约束类型的对象可以解析表达式;例如,在前面的例子中,机器人的目的是解决有效的位置。为了解释这种现象,受到的治疗指数(gydF4y2Ba 32gydF4y2Ba),我们建议以下公式演算的一个索引,我们使用符号”gydF4y2Ba :gydF4y2Ba “信号约束gydF4y2Ba αgydF4y2Ba 在一个特定的变量gydF4y2Ba xgydF4y2Ba :gydF4y2Ba (1)gydF4y2Ba λgydF4y2Ba αgydF4y2Ba 问gydF4y2Ba xgydF4y2Ba 。gydF4y2Ba 问gydF4y2Ba @gydF4y2Ba xgydF4y2Ba :gydF4y2Ba αgydF4y2Ba 。gydF4y2Ba 指标定义这种形式接受作为参数约束gydF4y2Ba αgydF4y2Ba 遗漏和谓词gydF4y2Ba 问gydF4y2Ba ;应用这些参数的影响是约束变量的绑定gydF4y2Ba xgydF4y2Ba :gydF4y2Ba αgydF4y2Ba 到表达式gydF4y2Ba 问gydF4y2Ba 。在这种情况下,符号gydF4y2Ba @gydF4y2Ba 象征功能的应用程序(例如,gydF4y2Ba βgydF4y2Ba 减少演算)。如果我们在前一个例子应用指数gydF4y2Ba 问gydF4y2Ba =gydF4y2Ba λgydF4y2Ba hgydF4y2Ba 。gydF4y2Ba ggydF4y2Ba ogydF4y2Ba (gydF4y2Ba rgydF4y2Ba ogydF4y2Ba bgydF4y2Ba ogydF4y2Ba tgydF4y2Ba ,gydF4y2Ba hgydF4y2Ba )gydF4y2Ba 和gydF4y2Ba αgydF4y2Ba =gydF4y2Ba ugydF4y2Ba 年代gydF4y2Ba egydF4y2Ba rgydF4y2Ba pgydF4y2Ba ogydF4y2Ba 年代gydF4y2Ba 产生如下表示:gydF4y2Ba λgydF4y2Ba hgydF4y2Ba 。gydF4y2Ba ggydF4y2Ba ogydF4y2Ba (gydF4y2Ba rgydF4y2Ba ogydF4y2Ba bgydF4y2Ba ogydF4y2Ba tgydF4y2Ba ,gydF4y2Ba hgydF4y2Ba :gydF4y2Ba ugydF4y2Ba 年代gydF4y2Ba egydF4y2Ba rgydF4y2Ba pgydF4y2Ba ogydF4y2Ba 年代gydF4y2Ba )gydF4y2Ba 。还未指定,但限制了变量gydF4y2Ba hgydF4y2Ba 用户的位置。第二个决议过程识别从上下文用户是在厨房里。gydF4y2Ba

表gydF4y2Ba 1gydF4y2Ba索引的的两个例子显示使用该配方与一个机器人。对于这些例子,考虑以下背景:用户和机器人在桌子前有一个橙汁放在它。第一个插图示例是一个多通道表达式:用户说什么和指向一个对象。这个词gydF4y2Ba 这gydF4y2Ba会同指向手势定义一个索引,对所指的对象空间约束。在这种情况下,约束对象的构成(从视觉系统提取的位置和姿态)。这个约束是用来识别场景中的对象,在这个例子中要解决的一瓶果汁。第二个例子展示了一个索引的引用这个词gydF4y2Ba 它gydF4y2Ba也增加了约束(gydF4y2Ba 33gydF4y2Ba]。在这种情况下,遗漏变量必须解决一个对象在现实世界中,一瓶果汁。请注意,我们调用一个空间和直证的分辨率;然而,我们没有指定一个特定的机制来执行这种类型的决议。有效的解决机制的主题索引的表情仍是研究在不同领域gydF4y2Ba 34gydF4y2Ba- - - - - -gydF4y2Ba 36gydF4y2Ba),应用机制取决于类型的表达式和类型的任务得到解决。在这项工作中,我们定义索引的DOA的解析表达式和机制可以应用的条件。gydF4y2Ba

在我们的机器人,模块之间的协调执行期间执行的任务是通过对话模型。这些对话模型使用SitLog编程语言编写服务机器人。模型由一组对话gydF4y2Ba 的情况下gydF4y2Ba有一个相关的元组的gydF4y2Ba 预期gydF4y2Ba,gydF4y2Ba 行动,gydF4y2Ba和明年gydF4y2Ba 的情况下gydF4y2Ba。在一个典型的互动循环,机器人是在一个给定的情况下,它有一定的期望;如果到达解释匹配一些期望,机器人继续执行相关的操作和移动到另一个的情况。在这个框架中,执行一个任务包含在遍历一个对话模型模块提供解释和执行的操作定义的对话模型。此外,在SitLog,可以动态的主要元素定义为函数,构建对话的结构模型。也可以调用另一个对话模型从一个特定的情况。图gydF4y2Ba 1gydF4y2Ba描述了这些情况:gydF4y2Ba (一)gydF4y2Ba

它显示了一个典型的SitLog弧的情况gydF4y2Ba 年代gydF4y2Ba 我gydF4y2Ba 有一个期望gydF4y2Ba αgydF4y2Ba ;如果这是满意的,行为的集合gydF4y2Ba βgydF4y2Ba 执行和电弧到达情况gydF4y2Ba 年代gydF4y2Ba jgydF4y2Ba 。gydF4y2Ba

(gydF4y2Ba idgydF4y2Ba = = >gydF4y2Ba s_i,gydF4y2Ba

SitLog framework-agnostic的核心;一个可以实现不同的框架如包容(gydF4y2Ba 37gydF4y2Ba),反应(gydF4y2Ba 38gydF4y2Ba),或简单状态机架构。在我们目前的实验室,我们已经开发出一个完整的图书馆基于我们的交互行为和任务周期的这是一个高水平的认知体系结构(IOCA [gydF4y2Ba 4gydF4y2Ba,gydF4y2Ba 39gydF4y2Ba])。与体系结构相关,我们已经实现了一些技能如视觉、语言(gydF4y2Ba 40gydF4y2Ba)、声音(gydF4y2Ba 5gydF4y2Ba),导航,操作,和运动。使用这个框架,我们编程Golem-II +机器人(如在图所示gydF4y2Ba 2gydF4y2Ba(gydF4y2Ba 41gydF4y2Ba])。表gydF4y2Ba 2gydF4y2Ba总结了主要功能模块和硬件组成的机器人。在这个框架和当前版本的硬件,我们实现了几个任务,比如一个人后,介绍自己,寻找对象,作为宴会或餐厅的服务员gydF4y2Ba 42gydF4y2Ba),保护博物馆,玩游戏比赛的记忆(任务的例子,请访问gydF4y2Ba http://golem.iimas.unam.mx/gydF4y2Ba)。gydF4y2Ba

DOA行为的目标是将DOA的测量转换为参考对象上下文中的任务。当DOA系统检测到一个源,这个标志与声音的发射器有很强的关系。这个强大的DOA行为利用关系来解决对象被征收“指向”空间限制可能的来源。空间约束的相对位置gydF4y2Ba 一个gydF4y2Ba 的源gydF4y2Ba xgydF4y2Ba 鉴于目前机器人的位置(例如,gydF4y2Ba λgydF4y2Ba 一个gydF4y2Ba xgydF4y2Ba 。gydF4y2Ba rgydF4y2Ba egydF4y2Ba lgydF4y2Ba _gydF4y2Ba pgydF4y2Ba ogydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba xgydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba )gydF4y2Ba )。在这一点上,我们只有是在位置的信息gydF4y2Ba 一个gydF4y2Ba ;然而,由于我们考虑DOA索引,我们可以使用公式(gydF4y2Ba 1gydF4y2Ba减少为指标),这样我们得到以下:gydF4y2Ba (2)gydF4y2Ba λgydF4y2Ba xgydF4y2Ba 。gydF4y2Ba rgydF4y2Ba egydF4y2Ba lgydF4y2Ba _gydF4y2Ba pgydF4y2Ba ogydF4y2Ba 年代gydF4y2Ba xgydF4y2Ba :gydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba 。gydF4y2Ba 尽管我们能够限制的对象,到目前为止,我们还没有解决了索引正确的指示物;为了达到这个目标,我们需要使用上下文信息。DOA的角度是用来识别潜在对象的上下文。算法gydF4y2Ba 2gydF4y2Ba负责这项决议阶段通过分析哪些对象上下文约束满足DOA。gydF4y2Ba

需要gydF4y2Ba:DOAs Pred上下文gydF4y2Ba

整个机制是封装在一个行为的编程模型(参见图作为一个简单的对话gydF4y2Ba 7gydF4y2Ba)。这个对话模型可以处理多个独立;对于每个人来说,这将试图解决被提到的对象。如果成功,它创建一个gydF4y2Ba ogydF4y2Ba kgydF4y2Ba 情况与所指对象的列表,否则,它达到gydF4y2Ba 错误gydF4y2Ba的情况。拟议的DOA行为支持交互两个模式:gydF4y2Ba (我)gydF4y2Ba

无限制的电话。gydF4y2Ba

第一种情况对应的场景,在该场景中,用户的位置不能期望/事先预测;在本例中,上下文的描述gydF4y2Ba CgydF4y2Ba 是空的意思是只有一个用户存在(图gydF4y2Ba 8(一个)gydF4y2Ba描述了机器人在这种情况下);即指标直接解释为用户机器人互动。在第二种情况下,机器人有一个期望的方向,它将调用使用这种期望确定调用者。例如,图gydF4y2Ba 8 (b)gydF4y2Ba描述了机器人和两个用户对话;的信息的位置,它可以丢弃三分之一用户不是谈话的一部分。gydF4y2Ba

到目前为止,我们已经假定机器人不动,但是用户应该能够调用机器人移动时。为了解决这种情况下,我们创建了一个由行为使机器人行走距离和监听可能调用。图gydF4y2Ba 9gydF4y2Ba显示了这种行为的对话模型。要求这种行为gydF4y2Ba wgydF4y2Ba 一个gydF4y2Ba lgydF4y2Ba kgydF4y2Ba dgydF4y2Ba ogydF4y2Ba 一个gydF4y2Ba (gydF4y2Ba DgydF4y2Ba ,gydF4y2Ba CgydF4y2Ba )gydF4y2Ba ;gydF4y2Ba DgydF4y2Ba 代表了目的地,gydF4y2Ba CgydF4y2Ba 空间环境的描述。首先,行为开始的行动gydF4y2Ba 走gydF4y2Ba来gydF4y2Ba DgydF4y2Ba 的机器人的民意调查,尽管这样做可能DOAs的来源gydF4y2Ba CgydF4y2Ba 。如果没有,它继续走;否则,它结束了对话的情况gydF4y2Ba 我gydF4y2Ba ngydF4y2Ba tgydF4y2Ba egydF4y2Ba rgydF4y2Ba rgydF4y2Ba ugydF4y2Ba pgydF4y2Ba tgydF4y2Ba egydF4y2Ba dgydF4y2Ba 它包含相关的信息中断。空间上下文在每次调用更新当前位置的机器人。注意,这种行为重用简单DOA行为(情况gydF4y2Ba RgydF4y2Ba dgydF4y2Ba ogydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba CgydF4y2Ba )gydF4y2Ba )。gydF4y2Ba

对于另一种情况,当用户移动时,信号DOA强加了一个额外的约束指数。这个约束是相对位置的DOA之前来自同一声源DOA这额外的信息是由multiple-DOA估计系统的跟踪阶段。多亏了这个约束,我们可以使用相同的机制迄今概述来处理这种情况。结合散步和听的行为,他们可以蜡烛场景,在该场景中,用户和机器人移动。gydF4y2Ba

另外,我们还建议使用DOA行为来验证声音来源的数量在一个特定的时刻。特别是,我们已经创建了一个由行为之间的问和DOA行为,利用这种情况。图gydF4y2Ba 10gydF4y2Ba这种行为显示了对话模型。后问一个问题gydF4y2Ba PgydF4y2Ba 从用户和听答案,机器人检查有多少指数(即恢复。元素的个数gydF4y2Ba ZgydF4y2Ba ):如果只有一个,它可以进行交互;如果不止一个,多个用户的机器人推断说话,所以它会产生一个错误必须由机器人处理。类似于行走行为,这种行为重用简单的DOA的行为。gydF4y2Ba

DOA行为被用来与我们的机器人程序以下任务Golem-II +(这些任务可以观看的视频gydF4y2Ba https://youtube/Q6prwIjoDnE?list=PL4EiERt__u4faJoxHF1M5EMwhEoNH4NScgydF4y2Ba)。gydF4y2Ba

后一个人。gydF4y2Ba在这个任务中,机器人是一个人通过视觉跟踪系统(基于kinect)。机器人试图保持1米的距离;在用户移动,机器人试图捕捉它在一个安全的速度。在机器人失去他,它要求用户称之为所以机器人可以推断出哪个方向去寻找。一旦放置在正确的方向上,它使用视觉继续跟踪使用。失去时,用户可以在任何方向和在一个5米的比例和机器人将确定它在哪里。如果用户没有找到,它会坚持被称为并再次尝试找到他(全系统的演示,请参阅补充视频gydF4y2Ba person.mp4后gydF4y2Ba在网上补充材料gydF4y2Ba http://dx.doi.org/10.1155/2016/3081048gydF4y2Ba)。gydF4y2Ba

出席。gydF4y2Ba在这个任务中,机器人将出席在类通过调用类的成员的名字和每个调用,预计听觉反应。确定反应的方向时,它面临着向那个方向,检查如果有一个人问波,并接近核实学生的身份。学生的数量是有限的视觉系统只可以看到多达四个不同的人。他们必须位于一条直线;目前,任务不考虑多个行。我们利用这个设置指定一个空间环境中,学生只有在前面的机器人(全系统的演示,请参阅补充视频gydF4y2Ba 采取class.mp4出席gydF4y2Ba)。gydF4y2Ba

在马可波罗。gydF4y2Ba在这个任务中,机器人的角色寻找用户,适合gydF4y2Ba 马可gydF4y2Ba和期待一个或多个gydF4y2Ba 马球gydF4y2Ba响应。当确定响应的方向,它走向那个方向。当这个方向前进,如果前面的激光传感器承认有人近距离,它假定它赢得了比赛;否则,它继续打电话gydF4y2Ba 马可gydF4y2Ba直到用户响应。机器人有gydF4y2Ba ngydF4y2Ba 试图抓住用户;如果不是,它放弃和失去了比赛。激光假设有人在前面,如果它检测到一个不连续的阅读。在此设置中,玩家可以位于任何方向的比例5米(全系统的演示,请参阅补充视频gydF4y2Ba 玩Marco-Polo.mp4gydF4y2Ba)。gydF4y2Ba

服务员。gydF4y2Ba在前面的例子中,DOA的行为依赖于机器人的倡议。这个任务将行为mixed-initiative策略。在这种情况下,机器人是一个服务员,它等待电话用户位于餐厅表。一次表调用在远处,机器人会走到表的订单客户。然而,尽管走,它会倾听其他调用不同的表;如果发生这种情况,它可以让用户在相应的表中知道它将尽快完成表目前步行。在接受订单时,机器人将交互如果多个客户端同时进行谈判。一旦订单,继续把它的饮料/食物从指定的传感器位置在厨房区域或直接问厨师。这个任务的最大数量是有限的资源,可以同时检测(gydF4y2Ba 4gydF4y2Ba )。在这种情况下,表参加的最大数量gydF4y2Ba 4gydF4y2Ba 的最大数量gydF4y2Ba 4gydF4y2Ba 客户在每个表;这要比5米(整个系统的演示,看到补充视频gydF4y2Ba 服务员在restaurant.mp4gydF4y2Ba)。gydF4y2Ba

我们假设的成功交互的每个任务是有可能的,因为利用DOA信息索引完全解释每个任务的上下文中。这些上下文之间的物理关系符号(调用)和对象(用户或用户)明显。见表gydF4y2Ba 4gydF4y2Ba总结的主要元素参与的分辨率DOA指标在每个任务和详细如下。gydF4y2Ba

在的情况下gydF4y2Ba 后一个人gydF4y2Ba任务,直到用户和地址的机器人已经失去了她或他,被解释为用户的响应和方向,它可以寻找它的用户;这是一个无约束的情况下电话的空间上下文是空的。没有上下文,机器人能够建立用户的相对位置。gydF4y2Ba

在的情况下gydF4y2Ba 将出席gydF4y2Ba任务,交互的协议很标准。机器人叫学生的名字,她或他必须应对这些调用。这样的反应是解释为学生的存在及其相对位置。在这里,我们可以限制的呼声在机器人的前面。gydF4y2Ba

在的情况下gydF4y2Ba 在马可波罗gydF4y2Ba任务,规则定义的上下文调用解释。这些规则指定,当机器人说gydF4y2Ba 马可gydF4y2Ba,用户必须应对gydF4y2Ba 马球gydF4y2Ba;此类反应的指数的相对位置可以解释为一个特定的球员,它可以直接机器人看起来在这个领域。这个任务也使用一个不受约束的调用。事实上,用户甚至不需要说gydF4y2Ba 马球gydF4y2Ba,因为这个游戏的目的是,机器人“捕获”的一个单独用户通过声音;因此,任何声音的DOA可能被视为一个索引;这个DOA指用户。gydF4y2Ba

在的情况下gydF4y2Ba 服务员gydF4y2Ba任务,定义的空间上下文是安排在餐厅的表。这个任务使用这个空间上下文来解释表要求机器人的注意。引发的约束DOA信息帮助识别调用表,并建立了其相对位置。任务使用简单版本和步行版本的DOA行为解决指标。此外,它使用问版本的DOA行为时的顺序。提供的信息要求机器人使用的版本是面对客户在把他们的订单和直接问的交互用户说话的时间。gydF4y2Ba

在这项工作中,我们提出了利用声源的方向到达指数。在许多人机交互任务,对象的位置是至关重要的执行任务,例如,失去一个人而他或她。在这个角度看,DOAs是二等公民,因为他们不提供一个位置,但方向。然而,治疗DOAs等指标允许机器人链接对象的方向在空间环境中导致的正确解释和延续的任务,猜测,失去的是一个方向。这种考虑允许建模要求在远处一个机器人是一个可取的方式与交互式代理进行交互。为了证明这个概念,我们实现的一组行为取决于DOAs被解释为指标和测试他们在四个任务:一个人后,类的出勤率,玩马可波罗,作为一个服务员在餐馆。gydF4y2Ba

空间上下文,或缺乏,定义方面的交互类型的任务。当没有可用空间上下文,例如当马可波罗,任何索引被机器人作为一种可能的参与者。然而,当一个空间上下文定义,例如,在一家餐馆参加表,可以跟踪多个用户。还可以有一个mixed-initiative互动的机器人等待电话,而不是访问每个表和问他们想要的任何东西。DOAs的indexicality允许机器人反应用户并继续交互的方向,不一定是在相同的模式:gydF4y2Ba 马可波罗,gydF4y2Ba机器人移动的方向指数;在gydF4y2Ba 将出席gydF4y2Ba和gydF4y2Ba 后一个人gydF4y2Ba任务,机器人通过视觉方法确认了用户的存在的方向指数;在gydF4y2Ba 服务员gydF4y2Ba任务,机器人面临对应索引的表。这些交互作用的三种可能的方面当使用索引的DOAs (mixed-initiative,多用户和多通道)的一个例子是丰富的使用电话在远处的交互。gydF4y2Ba

此外,我们表明,DOA补充言语互动行为。特别是,知道有不止一个人说当机器人听是一个好迹象,交互可能不是很好。索引的信息,机器人可以控制和直接的交互通过要求每个用户说一次,防止错误的沟通。gydF4y2Ba

以来我们能够实现这些任务multiple-DOA估计系统是光和强劲的四声音来源。然而,这个系统和其他机器人系统强加一些限制交互。对于一个人后,它只能跟一个人近距离(1米);在出席的情况下,学生必须一致;在我们的测试中,有三个学生;玩的马可波罗和等待表、用户、球员和表,必须在一个5米的比例。在所有这些情况下,扬声器的最大数量可能是四个。然而,在这种情况下,系统的性能是最贫穷和有影响的交互;我们的评估显示,一个用户对马可波罗和两个用户表在服务员的情况下实现良好的性能。在这一点上,另一个主要问题是劫持的可能性的关注机器人。 This is related to the fact that when the spatial context is not defined, the robot automatically interprets the DOA as its target. This is exemplified with the Marco-Polo game. At the moment, our implementation of the task takes advantage of this situation and an index is interpreted as a possible user which becomes the target to approach. However, this situation can provoke the fact that the robot switches targets constantly rather than targeting one which might be a better strategy to win the game. In order to account for this situation, we have identified that the DOA behaviour could be complemented with a speaker verification stage in which the identity of who is responding with 马球gydF4y2Ba将得到证实。这个补充持续我们的建议,因为它变成了一个额外的约束称为对象。其他任务也可以利用这一点,因此验证的一部分gydF4y2Ba 后一个人gydF4y2Ba,gydF4y2Ba 将出席gydF4y2Ba,gydF4y2Ba 服务员gydF4y2Ba任务。在未来,我们将探讨补充DOA与验证和其行为后果的交互。gydF4y2Ba