单开关用户界面的机器人手臂帮助残疾人使用rt -中间件

抽象的

我们正在开发机械手系统，以支持残疾人的肌肉力量较少，如肌肉营养不良患者。这种机器人应该有一个容易的用户界面，供用户控制它。但残疾人的支持机械手不能制造大型行业，所以我们应该提供廉价的制造方式。这些类型的产品称为“孤儿产品”。我们报告了使用RT-Middryware的建造，即RT-Middleware是一个用于机器人系统的开放软件平台。因此，可以在用户界面中替换适用于其他症状的其他用户界面组件或机器人组件，而不会改变内容。将单个开关和扫描菜单面板引入为机器人臂的手动控制的输入设备。扫描菜单面板旨在使用单个开关执行机器人臂的各种动作。构建机械手仿真系统以评估输入性能。两个肌肉营养不良患者尝试了我们的用户界面来控制机器人模拟器并进行评论。 According to the comments by them, we made several improvements on the user interface. This improvements examples prepare inexpensive manufacturing way for orphan products.

1.介绍

残疾人辅助技术对追求自我保健，教育，职业和娱乐活动的使用持续增加数量和质量[1］.应用这些辅助技术的学术课程，临床中心，学校，医院和研究机构的数量急剧增加。辅助技术设备被定义为用于增加，维护或改善残疾个人功能能力的物品，设备或产品系统。如[1]辅助技术系统由辅助技术装置，具有残疾的人类运营商以及要进行功能活动的环境。

人类活动辅助技术(HAAT)模型被建议作为一个框架，以了解辅助技术在残疾人士生活中的地位，指导临床应用和研究调查[1］.该模型有四个组成部分，人，活动，辅助技术以及存在这三种综合因素的背景。辅助技术包括人/技术界面，环境界面和活动输出组件，以有助于功能性能。其中一个重要的活动输出是操纵的。

为了将操作作为一种活动输出，能够支持残疾人日常生活的服务机器人有望出现在真实的市场上。用于支持患有肌肉萎缩症、脊髓损伤、肌萎缩性脊髓侧索硬化症和脑瘫的残疾人的机械手臂正在研制中。2-6.］.操纵器应便携式用于床或轮椅上的使用，并便于用户控制。患者的症状是多样的，并且控制机器人的输入方法应单独调整它们。

例如，IARM（辅助机器人操纵器）[6.开发的是连接到轮椅或床的一侧，以便执行其用户的任务。IARM包括多个用户界面：键盘，操纵杆和单开关。患有肌营养不良的患者可以根据其条件与这些用户界面一起操作操纵器。然而，IARM的信息显示设备仅是7×5矩阵类型指示器，该指示器放置在机器人臂肩上。在使用操纵器之前，单个交换机用户必须知道指示器上显示的所有所呈现的字符，以及操纵器控制模式的状态转换。

现在我们正在开发一种便携式机械手系统，用于较少肌肉发电的患者，如肌肉营养不良患者。作者正在为系统开发某些类型的用户界面。其中一个是具有扫描菜单面板的单个开关。具有扫描菜单面板的单个开关是残疾人的重要方法[1那7.］.

带有自动扫描面板的单开关对上肢残障人士具有重要意义。在[1]间接选择接口对残疾人重视。自动扫描菜单有一些选择模式，行扫描最普遍。我们采用此行栏扫描方式。

这些产品用于少数民族用户（例如，上肢残疾患者）称为“孤儿产品[8.]。“孤儿产品对于具有特异性症状的特定用户严重可取，但难以使工业产品成为预期的营业额。由于患者的症状是多样的，所以用户界面的变化应该很大。应将接口独立配置和重建给每个用户。我们将介绍我们的用户界面及其对支持机器人的改进。要为市场提供支持机器人，我们考虑了机器人系统的标准软件组件，RT-中间件。

在本文中，我们报告了使用RT-Middleware开发单交换机用户界面[9.］.患者的行为受到限制的条件，改变。因此，机器人的操作输入应该有许多类型和等级。这些多种类型的输入方法可以简单地通过RT-Middyware采用，因为RT中间件是机器人系统的常见软件平台。我们开发了某些类型的用户界面，例如键盘，操纵杆（图1）和带有autoscan面板的单个开关（图2)．

两名患者尝试了单交换机用户界面并对它进行了评论。然后我们根据评论报告单开关用户界面的改进。我们的用户界面是在计算机控制台上的单个开关和输入按钮面板构建。此按钮面板是AutoScan类型，采用行列扫描方式[10.］.输入面板是刚性的，用户不能随意更改配置。第一个改进允许用户定制输入面板配置。为了方便用户使用，我们增加了一个新的功能，用单开关代替用户自己在面板上的按钮位置。另外，我们增加了按钮面板的扫描方式。通过一种新的扫描方式，用户只需点击单开关即可将扫描按钮向前推进。用户可以通过双击单开关来选择按钮。

Robot系统的精确评估报告了[11.］.在本文中，我们讨论了系统的基本评估和用户界面的改进实例，以将我们的“孤儿产品”提供给真实用户的日常生活。

在以下部分中，我们讨论RT-Middentware和OpenRTM-Aist实现。在部分3.，我们介绍了使用RT-Middentware构造的用户界面系统。在部分4.，我们描述了患者对用户界面的操作和评估。在部分5.，我们根据用户界面的评估描述了用户界面的改进，最后结论了本文。

2.RT-Middleware

RT-中间件是由AIST开发的作为开放机器人软件平台。“RT”表示“机器人技术”，其不仅应用于工业领域，还应用于诸如人日常生活支持系统的非工业领域。RT-中间件是RT系统的软件平台。RT-中间件旨在基于分布式对象技术建立一个共同的平台，通过集成各种具有RT组件的各种网络的机器人元素来构建各种网络机器人系统的构建。如果RT-Components之间的通信协议统一，则可以将任何其他RT组件替换为它们。已经研究了RT元素和RT-Mideware的模块化，并在AIST上开发，促进了RT在各种领域的应用。RT-中间件可能会提高机器人研究和开发的效率，扩大RT目标领域，并制作新的机器人市场[12.］.

2.1。RT组件架构

RT-Component是基于RT-中间件的系统的基本功能单元。数字3.显示了RT-Component的体系结构框图。

对于平台独立性，采用CORBA(公共对象请求代理体系结构)作为分布式对象中间件，并用于对rt - component建模。RT-Component由以下对象和接口组成:（一世）组件对象，（ii）活动,（iii）inPort作为输入端口对象，（iv）出口作为输出端口对象，(v)ServicePort作为服务界面，(vi)配置接口。

一般分布式对象模型可以描述为包含具有参数的操作和返回值的一些接口，例如扭矩命令和编码器值。另一方面，RT组件模型具有作为主体的组件对象，作为主流程单元和输入端口（Inport），以及输出端口（Outport）作为数据流端口。

２.２.OpenRTM-aist

“OpenRTM-AIST”由AICT开发和分发作为RT-中间件接口规范和RT-Component对象模型的实现[13.那14.］.“OpenRTM-aist”由一个RT-Component开发框架工作、管理器和一组工具组成。

因为RT-中间件旨在改进软件的重用，所以我们的单开关接口组件和机器人模拟器组件分别可以分别用操纵杆组件和真实机械手控制部件替换。

此外，当开发许多类型的用户界面以对应于患者的症状时，这些新组件可以连接到原始组件而不改变它们，并且如果组件的通信协议是相同的。

3.用户界面系统

3.1。单交换机接口的一个例子

禁用人员使用单交换机用户界面来控制计算机[8.］.有几个商业软件包[15.那16.]用于单交换机。例如，“Den-no-shin”就是一个应用。在deno -no-shin，电脑在控制台上显示了一个由按钮组成的面板。按钮颜色按顺序(扫描)变化，用户可以选择高亮按钮按单开关。这个软件使残疾人能够输入文字，说出输入的句子，启动Windows应用程序，用控制台上的交叉光标控制鼠标光标，并点击鼠标光标。

但是，只有很少的单交换机用户界面系统来控制机器人。通过单开关扫描控制机器人轮椅的控制[16.］.但用户只能给出命令来改变轮椅的方向。我们开发了一个单开关扫描用户界面组件，以控制机器人臂。

3.2。系统的轮廓

残疾人的用户界面有很多变化，因为他们的症状多种多样，他们可用的输入法也受到限制。即使用户界面是多种多样的，用户界面与机器人组件的通信协议也可以事先确定。在该协议下，多种用户界面和机器人组件可以统一连接为RT-Components [9.］.

用户界面的概述和带有单个开关的计算机控制台上的机器人模拟器如图所示4.．用户界面由单开关和扫描菜单面板界面组成。面板界面左侧显示一个由用户界面控制的机械手模拟器。

面板接口和机器人模拟器分别从接口组件和模拟器组件创建。

3.3。机器人组件

用户界面与机器人组件的通信协议依赖于机器人组件的输入/输出数据。机器人组件应具备以下功能:（1）机器人运动的手动控制，（2）搬到家庭位置，（3)移动到预备位置，（4）手打开/关闭，(5）伺服开/关。

机器人手臂有两种控制模式。其中之一是坐标控制模式。在这种模式下，可以控制机械手的坐标。另一种控制模式是关节模式。机器人手臂的关节可以被控制。

主位置是机器人手臂的闭合配置。准备位置是机器人手臂开始移动的初始位置。

机器人的手可以张开和握紧物体。

机器臂具有伺服开/关功能，可暂停和重新启动。

在本文中，机器人臂具有5或6度的自由度。坐标命令作为圆柱形极性和笛卡尔坐标。

3.4。通信协议

为了实现机器人组件中的上述功能，我们确定机器人组件和用户界面组件之间的通信协议如下。用户界面组件的输出端口的数据如下：（1）机器人手的参考速度，（2）参考关节角度。

机器人组件接收上述数据并与它们一起移动。用户界面组件的输入端口的数据如下：（1）机器人手臂当前的关节角度。

用户界面组件可以使用数据记录机器人的配置。

业务端口用于执行异步命令。用户界面组件到机器人组件的服务端口命令如下:（1）伺服开关，（2）设置控制模式，（3)移动到目标关节角度，（4）搬到家庭位置，(5）搬到准备好位置（6)手开关。

一个精确的组件连接图如图所示5.．

RT-组件与“RTC-Link”连接。RTC-Link是一个GUI工具，用于管理RT-Components之间的Inport / Outport和服务端口的连接，并执行RT-Component的激活/停用。RTC-Link是一个强大的工具，可以在执行RT-Components的开发和调试时使用。此外，它也可以用于与机器人系统进行验证和实验，执行组件的低级别集成。RTC-Link如图所示6.．

每个组件都是在Linux中描述和执行的，并且两个组件都可以在Windows和VMware上执行。

3.5。面板界面

我们的操作用户界面包括计算机监视器上显示的按钮面板。面板上的按钮按顺序更改颜色（按顺序扫描）。当突出显示目标按钮时，用户可以使用单开关推动并控制机器人臂进行选择（图7.)．

该小组包括三个部分。它们是主面板、子面板和消息面板。用户可以通过选择主面板和子面板上的按钮来命令机器人。消息面板显示执行的操作结果和错误。

主面板有六个按钮。第一个按钮是启动和暂停面板扫描。第二个按钮是保存和恢复机械手当前的位置。第三个按钮是使用机器人手坐标的移动命令。第四个按钮是机器人手臂手指的开合。第五个按钮是机器人关节角度的移动指令。第六个按钮对应选项。

(1)扫描/暂停按钮
当此按钮被选中时，面板的扫描将暂停。如果再次按下单开关，扫描将重启。

（2）保存/恢复按钮
此按钮将打开子面板以保存当前手臂位置并恢复该位置。子面板如图所示8.．子面板包含移动到准备位置和主位置的按钮。

(3)协调移动命令按钮
此按钮可打开一个子el for the机器人手坐标的命令按钮（图9.)．在我们项目的开始，目标机械手被设定为5个自由度。有10条命令。用户可以在这10个按钮中选择一个按钮来指示机械手的运动方向。

所选按钮控制机器人手以在图中的方向上移动10.．机器人手动运动的方向和旋转在面板中的仿真和按钮字符的外观中是相同的。

这些按钮是切换按钮。当单开关按下并选择按钮时，机器人开始移动。然后再次按下单开关，机器人停止。

（4）手打开/关闭按钮
选择此按钮时，如果手已经打开，则手将关闭。再次选择此按钮时，将打开手。

（5）联合命令按钮
此按钮打开机器人臂的关节角度指挥的子el（图11.)．用户可以命令5个关节向正、负方向旋转。在图12.，示出了操纵器的所有关节的旋转。

这些按钮是切换按钮。当单开关按下并选择按钮时，机器人开始移动。再次按下单开关，机器人停止。

（6）选项按钮
此按钮打开子el以获取选项以更改面板设置（图13.)．该面板中显示了清除消息面板中的文字、设置面板扫描的哔声开关、设置扫描重启时的扫描顺序以及更改按钮的扫描速度的按钮。

可以使用其执行的时间将所有按钮操作记录在日志文件中。

我们的面板用户界面是用Java编写的。C ++程序通过JNI调用面板用户界面程序，如图所示4.．我们的系统是用openrtm - ist-0.4.0开发的。

3.6。机器人手臂模拟器

我们构建了一个机器人模拟器来评估单开关扫描用户界面（图14.)．机器人手臂根据单开关扫描界面的操作命令在模拟器窗口内移动。

我们在模拟器中开发了一个简单的任务。任务是让机器人掌握绿色盒子并将其放在红色圆圈上。绿色框和红色圆圈的初始位置可与模拟器的配置文件更改。

在我们的模拟器中，没有计算机械手与抓取物体或环境之间的接触。当手靠近目标物体足够近时，模拟器判定机器人已抓取物体，完成抓取后在机器人手指间绘制物体。

模拟器的图像在平面上绘制。因此，用户不能精确地在深度方向上理解机器人的位置位置。像激光指针那样的红线从手的垂直线上的手中的垂直线上汲取，以显示手中的相对位置在任务环境中。

模拟器是用Java编写的，类似于用户界面面板，c++程序通过JNI调用它。

4.用户操作和评估

我们与日本Shimoshizu国家医院合作。该医院为肌营养不良患者有一个特殊的病区。两名患者对我们的用户界面和模拟器进行了试验30分钟。在试验之前，我们调查了人体工程学实验，并申请了艾克斯的伦理委员会。它们通常使用单交换机扫描用户界面来控制计算机，以便它们习惯于单开关扫描用户界面。他们自己的单个交换机通过USB连接连接到用户界面计算机（图15.)．

首先，审查员简单地解释了用户界面和模拟器并演示了任务。然后，每个受试者都分别执行了拍摄盒子并将其放置在模拟器中的目标位置的任务。在任务执行期间和任务之后，审查员询问了关于一般印象，按钮内容，按钮，安全问题的扫描速度以及控制机器人武器的扫描速度的主题，以及控制机器人臂的愿望。他们的评论如表所示1．

两名受试者都表示这个用户界面主要是好用的，他们想尽一切办法用这个用户界面来控制一个真正的机器人。他们还评论了用户界面的安全功能。

在该评估中，审查员仅使用手提板的移动命令和对象来简化评估。上一节中描述的子包已使用患者的评论进行了精制[17.］.

这个评估是改进我们的用户界面的基础。使用真正的机械手“RAPUDA”进行精确的人体工效学评估，在[11.］.考试反应通常很好。真实用户的评估是[11.］.下一步应进行日常生活中的测试和评价。

5.用户界面的改进

5.1。肌营养不良患者的要求

如上所述，我们让2名肌肉萎缩症患者测试我们的用户界面。一位病人给了我们如下的评论:“如果我能从许多类型的面板中选择一种，它似乎更可取。””(表1)．

前面的输入面板是刚性的，如图所示7.．面板配置在初始配置文件中描述。

系统的程序员可以重写它并重新配置面板配置。但是用户界面的用户不应该自己单独重新配置面板。

输入面板的可重新配置功能可以比用户的其他类型的输入面板更方便。

另一位病人告诉我们:“如果按钮的扫描不是自动进行的，而是由我来指挥的，那似乎更好。””(表1)．

两位患者都表达了紧急停止功能的必要性。此外，患者的评论如下，“扫描按钮的扫描应该在列表的开头开始，除非用户想要使用此用户界面，否则应停止扫描”和“扫描。”（桌子1)．

5.2。按钮替换功能

因此，我们制作了新功能，因此用户可以自由地替换输入面板中的按钮的位置，并在选项面板中进行更换按钮（图16.)．

当用户选择按钮时，用户界面将进入按钮替换模式。下一个选中的按钮与单开关点击和下列选中按钮在面板中被替换(图17.)．该面板用于操纵器，具有6度的自由度运动。

要从替换模式中逃避，使用长点击单击单击单击开关。

通过此功能替换按钮的结果可以存储在输入面板的初始配置文件中。

该功能允许用户自由更改平时使用的按钮位置。

5.3。扫描和选择按钮的替代模式

我们对用户进行了替代扫描模式，根据他/她的意志控制按钮扫描。用户可以使用单击命令一个按钮扫描，可以使用双击选择按钮。替代扫描模式按钮在选项面板中准备（图16.)．

用户可以让按钮扫描他/她自己用这个函数扫描。用户可以选择的选项变得丰富。

5.4。紧急停止长点击

急停功能是通过单开关长点击来完成的。长时间的单击使所有面板的颜色变为红色，并向机器人组件发送一个停止命令(图18.)．

LONG CLICK SON也用于从替换模式中转义。在替换模式期间，机器人无论如何都不会移动。因此，用户不会混淆[15.］.

可以更改长单击时间。在该系统中，指示1秒钟。时间应根据机器人速度和自动驾驶速度决定。

5.5。更改扫描重启的位置

可以在按钮列表或当前按钮的第一个中设置扫描的重新启动位置。此选项的Toggle按钮设置在选项面板中（图16.)．

5.6。扫描暂停按钮

暂停面板扫描按钮设置在主面板的顶部。由于患者的要求（图）添加了此按钮（图7.)．

5.7。根据先前输入扫描按钮替换

面板按钮的顺序根据用户以前的操作自动交换。订单以2个步骤交换。首先，交换平行运动低和旋转运动。在LOW，先前的命令集（+和 - ）位于低的顶部。数字19.显示扫描面板中的按钮集的替换低和位置（图19.)．

通过这种改进，用户可以轻松地重复所需命令的+和−。2名经过培训的操作人员已使用此用户界面执行拣放任务。任务的平均总时间减少了6%。

六，结论

残疾人的支持机器人不能制造大型行业，所以我们应该提供廉价的制造方式。这些类型的产品称为“孤儿产品”。为了支持残疾人，特别是肌肉营养不良患者等肌肉力量较少，我们开发了一个单开关扫描用户界面来控制机械手系统。输入菜单面板旨在使用单个开关执行机器人手臂的各种动作，并且可以轻松理解。用户界面和机器人模拟器的所有组件都是用RT-Middentware构造的。因此，其他新用户界面组件可以重新连接到我们的系统，而不会在它们中进行任何变化，并且如果组件的通信协议是相同的。

肌营养不良患者测试了用户界面并进行了评估。这两个患者都表示，这种用户界面主要是使用，他们希望通过一定手段控制具有此用户界面的真实机器人。

根据测试人员的评论，我们改进了一个单开关扫描用户界面来控制机械手系统。第一个改进允许用户定制输入面板配置。我们添加了替换面板中的按钮位置的功能，只能使用单个交换机替换面板中的按钮位置。

此外，我们添加了扫描按钮面板的替代方法。通过新的扫描，用户可以通过单击单击单击单击单击“扫描”按钮。用户可以通过双击单击单击单击单击“按钮”。

此外，我们还增加了紧急停止功能、扫描重启时改变位置的选项和扫描暂停功能。

最后，我们采取了可选的改进，即面板按钮的顺序根据用户以前的操作自动交换。

这些新的输入功能涉及到用户的配置，使我们的用户界面系统更加人性化。

在此项目中，我们将为结果综合用户界面和实际操纵器。此外，该模拟器可以是控制服务机器人以用于日常生活的培训套件。

致谢

作者感谢在这项研究中病人和日本Shimoshizu国立医院的工作人员的合作。我们也要感谢AIST项目的工作人员为个人机器人。本研究是AIST的UCROA (User - Centered Robot Open Architecture)项目之一[12.］.

参考文献

1. A.厨师和J.波尔加，辅助技术，王子和实践，Mosby elsevier，巴尔的摩，MD，美国，3号，2008年。
2. J.Sijs，F. liefheber，和G. W. R. B.E.Römer，“机器人操纵器的联合职位和力量控制”第十届IEEE国际康复机器人会议论文集(ICORR’07)，pp.106-111，Noordwijk，荷兰，2007年6月。查看在：出版商网站|谷歌学术搜索
3. M. J. Johnson, G. a . Di Lauro, M. C. Carrozza, E. Guglielmelli，和P. Dario，“GIVING-A-HAND:一种小型的，有台面的，移动的机器人厨房助手的早期发展，为老年人和中等到高残疾的人”第八届国际康复机器人会议论文集(ICORR’03)，pp.20-123，2003年4月。查看在：谷歌学术搜索
4. M. Nokhtari, B. Abdulzarak, M. A. Fki, R. Rodriguez，和B. Grandjean，“智能家庭背景下康复机器人的整合:辅助机器人的应用”第八届国际康复机器人会议论文集(ICORR’03)，pp。5-8，2003年4月。查看在：谷歌学术搜索
5. G. Verburg, M. Milner, S. Naumann, J. Bishop，和O. Sas，“MANUS轮椅操纵器的评估”，刊于Resna International的诉讼程序'92，pp。602-604，1992。查看在：谷歌学术搜索
6. http://www.exactdynamics.com/．
7. J. Angelo，“影响使用单个开关与辅助技术设备的因素”，“中国康复研究与发展杂志，卷。37，不。5，pp。591-598,2000。查看在：谷歌学术搜索
8. http://www.rehab.go.jp/ri/event/html/english.html.．
9. K. Nagata，Y.Wakita，N. Yamanobe和N. Ando，“具有机器人技术中间件（RTM）的辅助机器人臂系统的发展”第十九届IEEE机器人与人类互动交流国际研讨会论文集，pp.737-742，2010。查看在：出版商网站|谷歌学术搜索
10. Y.Wakita，N. Yamanobe，K.Nagata，N. Ando和M.Clerc，“开发用户界面，单个开关扫描为机器人臂，帮助残疾人使用RT-Middentware，”第10届国际控制，自动化，机器人和愿景会议的诉讼程序（ICARCV '08），PP。1515-1520，河内，越南，2008年12月。查看在：出版商网站|谷歌学术搜索
11. N. Yamanobe，Y.Wakita，K.Nagata，M.Clerc，T. Kinose和E. ONO，“机器人臂操作培训系统，有残疾人肢体的人”第十九届IEEE机器人与人类互动交流国际研讨会论文集，pp.749-754，2010。查看在：出版商网站|谷歌学术搜索
12. AIST 2005/2006年报。
13. N. ando，T. Suehiro，K.Kitagaki，T. Kotoku和W. -K。YOON，“RT-中间件：RT（机器人技术）的分布式组件中间件，”IEEE/RSJ智能机器人与系统国际会议论文集(IROS '05)，PP。3555-3560，埃德蒙顿，加拿大，2005。查看在：出版商网站|谷歌学术搜索
14. http://www.openrtm.org/openrtm/en．
15. K. ozawa，“无障碍和信息处理设备的可访问性”，电子，信息和通信工程研究所学习，卷。81，没有。2，PP。166-169,1998（日语）。查看在：谷歌学术搜索
16. H. a . Yanco和J. Gips，“使用动力轮椅的单开关扫描的驾驶员性能:机器人辅助控制与传统控制的对比”北美康复工程与辅助技术协会年会核查综述，PP。298-300，Resna Press，Minneapolis，Minnesota，1998年6月。查看在：谷歌学术搜索
17. Y. Wakita, N. Yamanobe, K. Nagata, M. Clerc，“为机器人手臂定制单开关用户界面的功能，以帮助日常生活，”在第10届IEEE机器人和生物体会议的诉讼程序（Robio '08），pp.945-950，曼谷，泰国，2009年。查看在：谷歌学术搜索

版权

版权所有©2011 Yujin Wakita等。这是分布下的开放式访问文章创意公共归因许可证如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。