文摘

复杂设备的快速发展,如飞机、适当的人机界面的设计往往是升级,因此出现了许多的方法来评估这种升级是否有效。大多数研究集中在人类状态的时间累积效应评价的交互界面。然而,在航空应用程序中,飞行员的瞬时反应的表现也显示界面的设计效率,自获得有用信息的难度将严重影响反应时间在一些语音命令任务或紧急情况。除此之外,有很多飞行场景不可能模拟实验或在实验室环境。同时,语音命令太无数遍历模拟。介绍了预测听觉反应时间作为指标来评价人机界面的设计。该方法有两个优点。一方面,它有效地措施飞行员的听觉反应时间基于眼动跟踪;因此,这些数据可以在飞行任务场景,和实验不会导致干扰受试者。另一方面,提出了一种预测模型,飞行员的反应时间下更通用的语音命令可以估计基于一组小型示例。

1。介绍

人机(计算机)系统是指人类和机器的系统组成和实现一些功能通过人类和机器之间的交互1]。复杂设备的快速发展,如飞机和遥控飞机(战),适当的人机界面的设计中起着至关重要的作用在利用设备的强大的功能2]。在普通情况下,升级设备的接口设计或修改基于最初的界面的上一代,而添加新功能。然而,简单的界面修改或更新不会充分发挥的功能的新一代设备。有时,用户界面设计可能会导致失败获得关键信息(3或引起故障的认知和决策在运营商中,这可能导致事故(4]。因此,许多方法称为可用性评价出现,旨在评估这种升级人机界面是否有效。

有方法基于分析接口的静态属性。在[5),颜色和亮度对比讨论了信息编码在空中交通管制(ATC)显示系统。原型调色板使用颜色编码优先显示信息,同时保持良好的易读性。人类的算法提出了以知识为基础的布局设计方法(HAKD)处理布局设计的问题(6]。HAKD了进化算法(如遗传算法)算法的基础上,在human-provided人工布局方案(人工解决方案)和布局图提供先验知识解决方案,和新颖的算法产生的进化算法解决方案。因此,人类的智力,计算机智能进化算法,和从布局图中提取的先验知识融合来解决问题。

然而,上述研究更加关注接口的静态属性,和人类的动态因素很少考虑。因此,研究基于实验,认为人类的性能,从工作绩效评估的角度或心理工作负荷评估,都被采纳了。

在绩效评估中,认知走查是一个方法。接口的开发人员走过接口核心任务的上下文中,一个典型的用户将完成。接口的行为和反馈比较用户的目标和知识,和用户的期望之间的差异和接口所需的步骤被指出7]。随着技术的发展,眼球追踪成为其中一个最精确和客观的可用性研究方法(8),被认为是一种有效的方法来评估设计的人机界面9]。发现组织功能分组导致更短的扫描路径,覆盖较小的地区。一个名为黛米的评价方法是证明(10]。两个有效措施包括fixation-to-importance比率(杉木)表示注意力资源花在一个信息源与信息来源的重要性相比,和选择性注意有效性(SAE)整合所有信息来源提出了冷杉。然后,困难引起的一个贫穷的人机界面设计进行评估的焦点访谈的基础上,冷杉的评估。

一些研究基于测量用户的心理工作负载(平均水平面)评估用户界面设计。在工程应用中,美国国家航空航天局任务负荷指数(及)采用的指标测量平均水平面(11]。它收集主观工作负载分数基于加权平均评级的六个因素,其中包括精神需求,物质需求,需求时间,自己的表现,努力,和挫折水平。结果表明,人机界面的设计风格不同的因素影响运营商的工作负载。另一个多索引对性能评价方法发展措施,主观评级,生理测量是用来评估平均水平面运营商的12]。它指出,界面设计有很大的影响在核电站运营商的平均水平面。在核电站界面设计的领域,采用模糊综合评价理论在13界面设计的)评估。该方法验证实现的快速和准确的评估考虑到运营商的平均水平面时不同的显示接口。域的空中交通管制(ATC), (14)使用运营商的行为和鸡蛋/ ERP测量认知负荷和也实现了界面设计的有效评估。

大多数以前的方法基于操作性能或心理工作负荷评估考虑的时间累积效应交互过程中人类的状态。然而,人类瞬时反应的表现也显示界面的设计效率,自获得有用信息的难度将严重影响一些语音命令的响应时间或紧急任务。例如,在飞行控制的应用接口,对于一些任务,特别是高机动性的使命,声音接收命令后,飞行员的关键是理解并执行的命令迅速在高度动态飞行场景。反应速度会影响整体的任务绩效任务[15]。同时,特殊情况的处理在飞行期间,接到听觉警告/报警信号后,飞行员必须尽快从接口获取有用的信息,以避免事故(15]。因此,在上面的应用程序场景中,它是非常必要的,提出的反应时间(RT)作为一个指标来评估用户界面。

飞行员的RT与他的能力;例如,专家飞行员显示更少的RT (16]。但同样的专业飞行员,他的RT对某些语音命令可以显示有用的信息的可访问性交互界面提供给用户(17]。RT通常被定义为一个刺激和反应之间的时间间隔,可以用作指数评价人机界面。在[18一起,RTs心理工作负荷和主观反馈被用来评估农业机器以用户为中心的界面。显著差异被发现在RT两个用户界面,显示RT可以是一个指数来衡量一个接口的可用性。考虑到交互界面可能会影响用户的效率获取有用的信息,用户的响应时间回答问题相关的信息在一个接口采用推断用户感知获得的。高响应时间与低情境意识。除了研究听觉RT, RT的视觉警告,听觉警告,触觉警告,这些操作的组合三种类型的信号被认为是索引来评估用户的接口(19]。

尽管这些研究有一定的现实意义和提供良好的指导评估的设计人机界面,大部分的研究设计基于虚拟实验任务或假设的任务。例如,评估听觉注意力在人机系统中,选择RT实验组织,用户必须给刺激响应相对应(20.]。在另一个研究中,使人体工程学建议多种感觉的界面设计在控制台,一个信号(视觉和听觉)按按钮的任务旨在评价人机界面在不同条件下通过测量RT和误差百分比21]。Gerhardt-Powals [17任务创建了一个简单的射击游戏。RT是通过记录信息接收和细胞之间的时间间隔。几个原则基于实验得出产生“认知友好”界面。

为应用程序的人机界面在航空,飞行甲板是复杂的,包含大量的信息22]。人机交互的问题可以看作是两个强大的信息处理器试图通过narrow-bandwidth相互通信,高度受限的接口(23]。大量的实验结果表明,人类感知的带宽是极其有限的24),这意味着只有有限的信息可以被用户在一个单位时间内成功地收购了。此外,飞行员的RT礼物更任务相关的功能。不同的听觉命令或警告音调飞行场景和任务可以严重影响信息需求的用户。例如,在一个有条件的自动驾驶实验,参与者收到的命令在限制RT当车子靠近鹿低于对照组(25]。因此,它尤其重要的人机界面评价航空考虑不同的听觉命令尽可能真实场景中飞行。

然而,在以往的研究,实验并没有设置任务状态下或RT的实验测量可能干扰受试者完成最初的任务。此外,不同于其他应用程序,飞行任务和场景过于复杂模拟;例如,在高机动性任务,很难推广适当的语音命令实验。也不同于警告/报警信号、语音命令信息,多到被遍历模拟。但它总是希望该方法应该能够评估界面设计更一般的情况下基于小型实验样本集。

提出了预测听觉RT作为一个指数来评估控制台远程驾驶飞机接口(战)。此外,方法可以进一步应用于其他领域,如界面评价飞机和复杂的指挥和控制系统。工作集中在以下三个问题:(1)实验方法测量和评估听觉任务状态命令,它应该保持在正常操作状态和不影响执行常规任务(2)计算方法预测更通用的语音指令的听觉RT小型样本集(3)分析的方法来评估和分析界面设计是基于听觉RT

我们试图解决上述问题,本文组织如下:在部分2,提出的架构方法解释道。部分3代表了听觉RT的方法测量,实验是在飞行员的飞行任务组织的状态。部分4是关于语音命令RT的预测方法,在RT估计为更一般的基于关键字的语音命令。最后,RT被用来评估两个飞行控制台接口部分5提供的想法如何分析与沿界面的可用性部分6结论和未来的工作。

2。该方法的体系结构

在人类的反应过程,刺激诱发的过程刺激激活感觉器,途经传入神经大脑的神经中枢,经过复杂的处理,从传出神经肌肉,合同执行的操作。虽然这个过程是潜伏在体内,每一步都需要时间。时间之和称为反应时间。RT(即由感知时间。,the time from the presence of the stimulus to the beginning of the action) and action time (i.e., the execution duration of action): 在哪里是总反应时间,感知时间,动作时间。在信息采集和处理、感知时间是指听觉信息采集的时候,虽然动作时间是指活动视觉信息获取的时间。

在飞行任务中,飞行员收到语音命令后,他/她不会产生直接手动操作但获得相关的视觉信息收集有用的信息,然后法官基于信息的情况和经验,最后执行的行动。基于这一现象,采用眼动跟踪作为一个RT飞行任务的测量手段。从信息感知方面,语音命令的结束时间之间的时间间隔和人类首先获得有用的视觉信息表明处理听觉信息所花费的时间,同时获得第一个目标之间的时间间隔的信息和所有的有用的视觉信息,获得代表反应过程的信息处理结果。因为这工作使用RT评估信息显示界面,手动操作时间不考虑。

假设和代表一个语音命令的开始和结束时间。是飞行员首先形成了固定的时间点在该地区的利益(aoi)的用户界面。因为将语音命令转换为有用的视觉信息和实现这些信息需要时间,可能并不总是等于第一个目标的时间点苍老师对于不同的接口。显示所有目标的时间苍老师获得了飞行员。这些时间点序列的关系可以表示为

飞行员的RT代表了一定的命令下难以获取多个信息;因此,它可以作为一个索引来评估的合理性多个信息界面的布局。

该方法主要由三个部分组成。第一部分是为典型的听觉获得RT的模板数据命令基于眼动跟踪。飞行员被要求在这一部分做正常的飞行任务,而典型的语音指令给出了随机和眼动数据记录在同一时间。因为实验没有令人不安的飞行员和飞行任务,所有数据都聚集在任务状态。第二部分发达的方法RT预测基于小样本的实验,其中包括两个步骤。第一步是关键字提取,提取关键字从原始的音频文件。这个步骤是构造基于经验丰富的飞行员通常回应语音命令根据获得的关键词,这样他/她可以提供及时的响应。不同关键词的组合将决定命令飞行员的RT。第二步是预测RT,我们训练一个神经网络,使用模板数据,其中包括RT为典型的命令和模板关键词,预测RT更一般的听觉的命令。这个预测模型的意义在于它可以估计RT为不同的命令没有遍历所有示例命令,因为并不是所有的飞行模拟器可以模拟场景,并在一些飞行任务,任务命令应该根据实际情况很难模拟。 Moreover, the human-machine interface can be evaluated in more general cases. The workflow of our work is illustrated in Figure1。第三部分是分析飞行控制台接口基于RT预测不同的语音命令。

这种方法提供了一个新的想法来预测语音命令的RT任务状态下的航空应用程序。此外,可以采用RT的索引来评估飞行效率的控制台界面,提供用户感知信息在不同而复杂的任务。

3所示。听觉反应时间获得基于眼动跟踪

在普通情况下,升级设备的接口设计或修改基于最初的界面的上一代。假设接口是一个新的界面的可用性需求评估。然而,由于其可用性尚未评估,我们无法测量它在真实的场景中为了安全。同时,需要大量的人力和时间进行实验所有听觉命令,我们建立一个预测模型来预测RT的少量的命令的语音指令通过实验可以模拟。假设接口B是一个旧版本的界面,这有更多的飞行员的RT数据在语音指令。通过比较飞行员的RT每个命令下,不同的接口可以比较和评估。例如,对于战斗任务,界面,飞行员与作战命令是较小的RT更好;搜索和救援任务,飞行员的接口有较小的RT搜索命令更好。

3.1。实验方案与平台

这些实验是基于搜索和营救任务。所有的实验都做战的模拟器操作平台(如图2)。平台由六个模块组成,模块的综合情况,飞行控制模块,CCD操作模块、雷达照明模块,语音命令模块,和眼动跟踪模块。在该平台上可以模拟不同的飞行任务,比如“起飞”,“爬”,“巡航”,“搜索目标,”和“飞行返回。“在实验中,狙击枪飞行员执行特定的飞行任务,广播语音命令的语音命令模块根据当前航班的情况,这是选择从命令库包括常用的命令从地面指挥中心。

眼动跟踪模块记录雷达分析驾驶员的眼动数据在同一时间用语音命令和飞行参数Tobii Pro x3 - 120。在实验之前,我们使用校准软件校准眼动跟踪。在校准过程中,我们确保所有的信息在屏幕上可访问的飞行员。对于收集到的眼动数据,固定时间大于100 ms被选为固定点。此外,多个aoi(图3)可以通过划分功能区域显示,和眼球运动点在相应苍老表明相应葵获得信息。

发现在接受听觉命令或警告信号,而不是输出立即手动操作,飞行员获得相关视觉信息首先收集有用的信息了解现状或准备下一个操作。然后,他终于通过语音命令执行请求的操作。基于这一发现,它是合理的介绍眼动跟踪评估飞行员的听觉命令响应的性能。此外,在同一飞行任务,完成适当的操作,同样的命令,aoi(的利益),专家飞行员注意是相同的,而这些专家飞行员得到了苍老师很一致。然而,不同的飞行员可能专注于同一组应对一个命令时,空姐;每个飞行员可能不会苍老师集中在相同的顺序。例如,在飞行员的语音命令“遇到风暴,高度6000,”他/她可以首先获得“高度”或“跟踪”信息的信息。

因此,在这项工作中,听觉RT之间的时间间隔定义为语音命令的结束并取得的目标苍老师。目标,空姐是通过专家的知识。例如,在飞行员的语音命令“遇到风暴,高度6000,“他需要获得“高度”和“跟踪”信息的信息。但是没有要求的信息采集。在这种情况下,实验不打扰飞行员在飞行任务的操作,和数据记录的飞行任务状态。

这个话题是飞行员的专家,具有良好的飞行经验(三年的操作经验),不戴眼镜,可以掌握过硬的仿真平台。

每次实验的试验后,飞行员可以有一个短暂的休息,以确保RT不受疲劳状态的影响。

3.2。听觉反应时间获得

通过测量行动时间,人机界面显示混合信息的能力获得飞行员。执行一个命令通常需要访问数的信息对当前飞行参数,这需要飞行员获得多个信息显示在单个或多个显示器。根据SEEV理论(26),期望是影响视觉注意力的一个重要因素,所以应该适当考虑飞行员的视觉注意力和视觉信息应该输入飞行员在一个适当的方式。一个良好的人机界面应该合理计划;因此,飞行员可以快速获取信息。

我们把飞行任务“巡航”作为一个例子来说明如何获得RT的眼动数据。数据获取过程如下。

飞行员做了正常的飞行任务的模拟飞行平台;然后,他的飞机所需的高度,开始巡航任务。在巡航阶段,语音命令被送到飞行员根据实际情况以不规则的间隔和飞行的场景。平台可以记录时间当声音的评论是发送和结束时间吗命令的 。飞行员的眼球运动记录与同一时间标签。眼动点被分配到苍老师,如图4,红块预定义的苍老师根据飞行控制台界面的功能区域,和绿色线表示眼动轨迹从一个苍老师。在这种情况下,每个注视点标记的功能信息。结束后的语音命令 ,的时候第一个葵被飞行员被记录为收购 ,但这首先获得的信息可能不是必需的信息准备的操作命令。因此,第一个目标时葵被飞行员被记录为收购 。当所有的目标,空姐已经获得的飞行员,被记录的时间 。的总RT命令可以通过计算 。

4所示。反应时间的预测

4.1。提取关键字的语音命令

在飞行任务,当语音命令由指挥中心或地面站,给出专家飞行员通常对所涉及的关键词获得命令根据他的经验。在这种情况下,他可以尽快执行命令来处理复杂的情况。例如,当命令”没有。02 CCD目标10秒,”,“2”是他的飞机的编号,飞行员将他注意CCD视图的信息在用户界面中根据关键字“CCD。”

在飞行任务,因为语音指令的指挥中心有非常严格的限制,通常与某些广播频率和音调,同一关键词在不同命令的功能非常相似。此外,它可以收集关键词出现在语音命令文件基于专家经验的飞行员。因此,可以构造模板基础收集关键词的提取特征。自不同的关键词中包含的信息量是不同的,这决定了信息处理的难度等级的飞行员,一本同义词典建立根据文字信息内容,也是专家提供的飞行员。然后,发现关键词进行分类根据同义词典。在这种情况下,模板基础存储根据信息类别。

对于任何语音命令飞行任务期间,滑动窗口方法和动态时间扭曲(DTW)匹配算法是采用自动检测输入关键字。摘要语音命令识别方法的设计如图5。除了输入语音的预处理命令,关键词的过程主要包括特征提取和模板匹配,将在以下部分解释。

以下4.4.1。特征提取关键字的语音命令

之前建立模板库和识别输入语音,有必要促进进一步处理的语音信号进行预处理,通常包括加工过程,如采样和量化、预加重、框架和窗口。两种最常用的MFCC特征参数(Mel频率Cepstral系数)和LPCC (Cepstral线性预测编码)。其中,MFCC特征参数被广泛用于语音识别。MFCC特征参数的提取工艺(27]在语音命令关键字被描述为本文采用以下步骤:(1)这项工作中采用的预处理包含预加重的过程,框架和窗口。预加重过滤器应用于一个信号使用下面的方程的一阶滤波器滤波器系数 :

预加重后,信号分为短的时间框架 。然后,汉明窗应用于每一帧旨在增加左和右的连续性框架的结束。选择的形式 在哪里窗口长度, 。(2)语音命令信号的功率谱是通过傅里叶变换计算: 在哪里是框架 。(3)然后,我们之间可以转换赫兹( )和梅尔( )使用以下公式: 2959年和700年的经验常数。梅尔·规模旨在模仿的非线性人耳感知声音,被更多的歧视在较低的频率和更少的歧视在更高的频率。

梅尔的能谱是通过一组三角形滤波器,和一个过滤器银行过滤器的定义是 在哪里 。(4)最后,我们必须获得Mel频率Cepstral系数(MFCCs)。计算每个滤波器组的对数能量输出由以下方程:

离散余弦变换(DCT)应用于decorrelate滤波器组系数和收益率的压缩表示滤波器: 在哪里是指MFCC系数的顺序。

4.1.2。关键字模板匹配

当使用语音识别的模板匹配方法,一个词通常被认为是一个识别单元。在训练阶段,用户的每一个字反过来说,每个单词的模板中提取特征向量作为模板的基础。在识别阶段,输入语音的特征矢量之间的相似性系列和每个模板的模板基础测量。模板由于相似性最高的选为识别结果。

然而,它是不可能简单地比较直接输入参数序列与相应的参考模板,因为语音信号有很大的随机性;即使同一个人说同一个词在不同的时间,同样的声音,它不能有相同的时间。在模板匹配,这些变化的时间长度会影响测量评估和降低识别率。因此,语音命令的过程的时间尺度信号是至关重要的。

DTW是一种非线性正则化技术相结合时间与距离测度计算正则化。例如,测试音频参数 - - - - - -是一个框架向量,参考模板 - - - - - -框架向量, ;然后,动态时间扭曲是要找到一个时间扭曲函数 ,时间轴的地图测试向量的非线性时间轴的模板,使函数满足: 在哪里 测量之间的距离吗测试向量和向量 。 在最佳时间扭曲的情况。成本函数 在哪里的成本是 。因此,总成本函数之和点本身的成本和成本的最佳路径。

因为DTW不断计算两个向量之间的距离来寻找最优匹配路径,两个向量匹配与最小累积距离归一化函数,保证它们之间的最大声学相似。

4.2。关键字(s)向量化

当飞行员执行任务时,他的反应时间语音命令实际上是由多个关键字的组合命令。他会注意关键词的不同组合来完成飞行目标的任务。

根据命令模板,确定飞行命令转换成输入样本的预测模型。具体方法描述如下。

很难确定的RT直接从文本信息,有必要进行预处理得到的文本信息。自然语言处理模型的启发,我们提取关键字可能出现语音指令根据专家的经验的飞行员。这些词分为基于内容相似,不同的主题,每个主题定义为一个维度的特征向量。因此,特征向量对应的命令。然后,根据概率选择主题的话语;也就是说,如果一个句子出现,表示句子的几个词选为主题。例如,当检测到“爬到1000”这个词,有一个高概率,这个句子属于的类别”爬到XX”,而这个词”到“发现,没有一个高概率的命令与“爬到XX的类别有关。”因此,对于这句话,这个话题“爬”代表的主题选择命令,和这个词涵盖了大部分的这个句子的信息。关键词相关性高,单词的高概率出现在一起,话很相似,或可以互相替换词,被归类为一个主题。主题句是根据实验结果决定的。因为语音命令在指定飞行场景的结构和命令字非常标准,声音命令可以通过这些主题文字矢量化。 Here are some topic words used in the experiment presented in Table1。真实的场景,将会有更多话题的单词。

例如,如果上面的主题词汇出现在语音命令,相应的向量维度是指定为1。如果它不出现,它被分配 。每个命令都是矢量化根据选题的话。

一些典型的命令向量展示在表2。

4.3。反应时间的预测

到目前为止,RT预测的问题可以被看作是一个常见的预测问题。也就是说,每个语音命令的命令向量估计相应的响应时间。监督学习算法可以用来解决这个问题。

摘要构造BP神经网络实现的预测沿神经网络结构如图6。输入数据矢量化语音命令,输出数据是rt,从实验中获得的所有数据用于训练神经网络。

4.4。RT预测结果和分析

在本文中,我们给出了一个例子,14个语音指令用于训练神经网络预测rt,预测结果图中描述7。盒子代表测量RT获得的实验数据。黄线代表所有实验数据的中值,和蓝点是神经网络的预测价值的命令。

计算的准确性为命令在反复核查:

总精度是计算 在哪里代表了预测RT的命令和是得到的平均值RT命令吗 ,而表示命令的总数。

在这个例子中,总的结果预测精度( ),如图7。对于一些命令,预测精度可以达到0.995。然而,一些只有0.470实现。可以用图来解释的原因8。在图中,蓝色的酒吧代表那些话题词汇训练的次数条件下结合话题的单词出现在语音命令,而橙色酒吧代表这些话题的次数的话单独训练。例如,在命令“悬停在导航点,”“悬停”和“导航”属于一个不同的主题类别和被训练在一起。在命令“爬到1100年,”“了”是独立训练,例如,命令“10秒内接触目标”一个糟糕的预测性能(0.470),因为在这个命令没有主题句单独训练。命令“爬到1100”表现良好(0.995),因为这个话题词“了”是单独训练,可以达到很好的预测精度的组合词。在这个例子中,话题的话没有。11,没有。12不出现在所有14指令,如表所示2。然而,为了说明我们的方法可以预测更大样本的反应时间的指令基于培养更多的话题的话,我们把这两个主题字图8。

5。界面评价基于反应时间的预测

在本节中,两个航班控制台接口是评价的基础上,预测语音命令沿接口B的原始版本是狙击枪操作界面,在界面的更新版本。下面列出了两个版本之间的差异:(1)接口(图4(一个)显示速度和高度的信息则使用场景重叠显示在前视图界面。例如,Rec 6所示“速度”和“高度”是Rec 7所示。提出了矩形表示前面定义的葵和作为一个红色矩形图。黄点记录飞行员们的眼光停留在飞行任务(2)接口B(图4(b))分别显示速度和高度信息。例如,“速度”和“高度”中描述矩形14和Rec 15日分别,他们表现出独立的飞行参数监控界面

除了“高度”和“速度”的信息,其他信息在这两个接口是相同的。

操作平台是放置在一个安静的和明亮的实验环境;专家飞行员具有良好的飞行经验(三年的操作经验),不戴眼镜,可以掌握过硬的仿真平台。大脑袋旋转期间避免飞行任务的执行,以确保眼动跟踪数据的准确性。

与接口,飞行员的RT组14日实验语音命令,每个命令的8倍。有效培训RT数据的总数是86。与接口B,飞行员的RT实验上执行相同的命令,14组,但每个命令的4倍。删除后测量RTs比以及RT与一个非常大的波动幅度,这通常是由于眼动跟踪的准确性,RT实验获得的数据。图9礼物所有测量RT每个语音命令的两个接口,分别在盒子里描述了测量RT数据分布,橙色线代表了中值试验,和绿色的点线代表了平均值。

两个情况下,语音指令1 - 8号,10,11日,13和14个训练数据集,而9号和测试集(表122)。RTs的语音命令9和12号与该模型预测。预测错误指令没有率是5.5%和15.9%。9,没有。12,respectively, which refers to the mean value of RT of all trials. From the RT predicted results present in Figure10,我们可以发现,对于大多数指令,RTs的两个接口是相当接近。独特,说明4、5和14日接口B表现好于接口A .请示6和7 B接口执行比接口。

在表3,大胆的表明,接口A或B表现更好在这个声音指令。“f”表示,飞行员获得视觉信息”前视图”,“a”代表“高度”,“s”是“速度”,“t”是“,”“l”代表“CCD信息”和“()”这是苍老师出现好几次了。它与界面显示,B,飞行员花太多时间在“CCD信息”(例如,说明没有。6,没有。7)。原因是当飞行员需要CCD信息响应语音命令,在界面,飞行员用外围大致获取CCD信息因为速度和高度信息非常接近CCD视图(CCD视图呈现在图左边的接口4)。这也可以发现的事实有更多固定CCD上形成观点的接口B与接口a。然而,在接口B中,这些信息是分开的,这表明飞行员看CCD故意来获取信息。

语音命令。4、所需的空姐飞行员在两个接口是相同的,而接口B显示了更好的性能。在我们的例子中,这表明速度和高度信息接口B(显示为叠加模式)可以更容易获得的飞行员比界面(显示为数字数字)。

随着CCD信息可以更容易获得的飞行员与接口,信息显示界面可用于搜索和救援任务。因为高度和速度信息与接口B,相对容易被收购信息如B接口可用于高机动性任务。

6。结论和未来的工作

提出了预测听觉RT作为一个指数来评估飞行控制台界面。建议的体系结构的方法包括三个部分RT下测量样品的声音命令,预测方法估计RT更一般的命令下,和接口与RT预测评价,获得了以下成果。

首先,飞行员的听觉RT是有效地计算了眼动跟踪,使实验进行的飞行任务状态,和测量不会影响飞行员执行正常任务。

其次,RT预测模型是建立基于提取的关键字出现在命令。然后,构造神经网络,这使RT更通用的命令下被估计的小样本实验。这可以帮助克服困境,一些飞行的场景是很难模拟和各种语音命令不可能遍历模拟。

最后,采用语音命令RT为评估一个方面利用新一代接口,不仅认为人类状态的时间累积效应也瞬时反应的交互界面的输入信息。

本文只介绍在评估飞行控制台应用程序接口;事实上,该方法也可以应用在其他系统中,如人机界面和操作界面的指挥中心。为进一步应用,仍有几个未来需要做的工作:(1)本文中使用的语音命令图书馆不够大,更大的数据集可以用来改善预测的结果,以及更多的评价指标可以用来评估人机界面(2)指令的功能不仅包括关键词的语义结构。每个关键词之间的关系可以被认为,这可能有助于增加RT预测精度在更一般的场景(3)实验下完成特定的任务,但我们的工作可以解决预测问题在几个不同的任务。因此,上下文信息可以输入预测模型实现不同任务下的预测(4)目标光学基础是基于专家的知识。然而,尽管新技术的出现,新的指令将出现,这意味着没有目标葵知识这些指令。因此,提出的实验方法可以提取专家的知识

数据可用性

的数据支持本研究的发现可以在请求从相应的作者。数据不公开由于隐私限制。

的利益冲突

作者宣称没有利益冲突。

确认

支持的研究是陕西的关键研究和发展项目和“111工程”(批准号B13044)。