文摘

为了使玩具机器人更有趣,有趣,和语音识别传感器和智能语音控制系统在智能玩具机器人系统提出。系统构建一个整体的系统架构,包括客户端和服务器。通过摄像机标定和数据传输模块的客户端,它收集图像和计算相机的内部和外部参数和传输图像和外部参数数据到服务器。的图像数据传输终端和外部参数,构造背景图像和摄像机的位置和角度,实时更新完成虚拟和真实场景的融合。通过运动控制用户交互模块的一部分,听力受损的孩子们可以控制的旋转和移动智能玩具。实验结果表明,该系统具有较高的通信同步和稳定,可以实现高精度控制的智能玩具,和平均帧速率可以达到30.97 f / s。系统的有益效果是,它具有各种功能,语音识别的效果,非常有趣。

1。介绍

与人民的物质和文化生活水平的提高,人们的消费水平越来越高1]。目前,儿童玩具,尤其是智能玩具,有很大的市场。智能玩具不仅可以满足儿童的好奇心和加强孩子和玩具之间的交互也刺激孩子的好奇心2]。智能玩具集成先进技术领域的计算机,电子,通信,突破传统玩具的局限性,给玩具的功能“听”和“说,“与用户交互,并结合知识和快乐,可以让孩子们学习和体验生活的乐趣,真正达到娱乐的目的和教学3]。

玩具行业正在经历一场技术革命,未来玩具行业将在互动的方向发展,智能,教育和高科技含量(4]。传统玩具有一个函数,通常只满足娱乐的需求。为了培养创造性和销售玩具,有必要强调的多功能性的玩具,以便满足各种功能的需求,如娱乐、科学、智慧,和思想教育5]。结合计算机技术,微电子技术,本技术和机械技术使玩具更具活力和神奇6]。智能玩具机器人收集声音信号并进行语音识别;机器人的运动控制是实现根据公认的演讲(7]。系统采用模块化的设计方案,不仅实现智能控制,而且增加互动,达到娱乐的效果玩具机器人。

现在大多数玩具发展的方向智能,智能玩具的浪潮不可阻挡,智能玩具机器人已经成为众所周知的儿童玩伴(8]。然而,目前市场上的产品有一个函数,如果它是一个全功能的机器人,价格非常昂贵。孩子的机器人玩具主要产生在社会早期教育和陪伴有强大的交互功能,可以满足孩子的各种需求,并让孩子与机器人互动更好,增加他们的兴趣(9]。儿童智能玩具、小扩张,可以代替人执行任务在各种各样的场合不适合人类工作,所以这种聪明的儿童玩具有重要的学术研究价值。

2。文献综述

听力受损的孩子缺乏自我意识不同程度由于生理缺陷;因此,人格和心理缺陷如抑郁症和隔绝容易发生,这将会导致听力受损的儿童长期形成的人际沟通障碍(10]。语言和听力缺陷使他们更习惯于经历外部生活和通过视觉认知的世界;因此,听障儿童智能玩具设计应该更加注重视觉冲击和互动体验11]。在此基础上设计、听障儿童智能玩具可以引起听力受损的孩子的情绪,让他们的注意力集中在交互与智能玩具,这样他们有深深的感觉反应;它可以有效地刺激他们的学习兴趣和潜能,消除心理障碍,如隔绝的听力受损的儿童,并提高他们的人际交往能力12]。为了达到这个目的,有必要设计一个系统,可以实现听力受损的儿童之间的互动和智能玩具。

基于头脑风暴的控制系统完成控制机器人和电脑之间的通信通过UDP协议和使用PD实现控制,该系统控制精度高,但屏幕交流同步和流利的演讲很穷。控制系统基于畏缩与控制器通过远程调试模式下,机器人的控制下操作系统内置的畏缩的示教器完成,系统流畅的屏幕演示和沟通同步的稳定性更好,但控制精度稍差(13]。增强现实(AR)技术是一种实时计算相机的位置和角度利用计算机视觉技术,与此同时,叠加生成的3 d虚拟对象的技术或2 d图像真实图像。它不仅继承了虚拟现实技术的优势,也弥补了虚拟现实技术的缺点;与虚拟现实技术相比,其显示效果是更现实的14,15]。

基于上述分析,作者设计了一个听障儿童智能玩具系统基于AR技术,属于一个虚拟智能玩具互动系统,可以实现运动状态的准确的示范和各种功能的智能玩具和同时提供交互功能(16]。系统可以提供更出色的演讲影响听障儿童通过虚拟智能玩具;与此同时,它可以取代真正的智能玩具的功能,真正的玩具不能提供带来乐趣,提高聋儿的交互能力和自我认知能力。

3所示。方法

3.1。听障儿童智能玩具系统基于“增大化现实”技术

3.1.1。系统整体架构

通过分析需求的听障儿童智能玩具系统基于“增大化现实”技术的技术,使用C / S体系结构创建一个整体的系统架构,保护客户端和服务器(17]。其中,客户端的主要任务是收集图片,相机标定,计算场景信息。服务器端是建筑的主要职责和呈现虚拟场景,智能玩具运动控制、虚拟现实场景的集成,用户界面显示。系统的整体架构如图1。

根据实际应用需求的听障儿童智能玩具系统基于“增大化现实”技术的技术、系统的功能需求分为基本功能需求和先进的功能需求(18]。其中,基本功能需求属于系统的正常运行的基础,和相机的姿势是准确的校准相机,虚拟和真实的目的,实现集成的智能玩具的场景。先进的功能需求的重点是手动控制交互式虚拟漫游智能玩具等功能和指定的听障儿童漫游路线(19]。

3.1.2。部门和系统功能模块的设计

(1)相机标定和数据传输模块。相机校准通过收集一定数量的图像与一个完整的识别地图,和相机的内部参数计算和计算的内部参数存储在XML格式文件(20.]。通过阅读计算内部参数,基于每一帧的图像采集,计算摄像机的外部参数,计算出摄像机的外部参数,收集到的当前帧图像数据发送到服务器。继续输入下一帧;重复上面的过程来实现帧循环。通过套接字实现数据传输,在建立TCP连接与服务器,每个数据包的发送的数据帧,操作会一直重复,直到过程完成或终止。相机标定和数据传输模块的流程如图2。

(2)虚拟现实场景融合模块。这个模块主要包括两个部分:虚拟场景构造和虚拟现实场景的集成。系统完成虚拟环境的建设基于真实场景;构建虚拟场景主要包括智能玩具3 d模型,虚拟摄像机,模型材料,现场光源和虚拟地面。此外,自动漫游功能添加到虚拟智能玩具,这样就可以实现一个漫游显示在虚拟环境中。

摄像机外部参数数据和图像数据通过客户端收到服务器上的数据接收模块。通过接收到的图像数据格式转换被视为当前帧的背景图。使用了摄像机的外部参数计算相机的姿势和角度,并设置相机造成的当前帧根据计算结果。进入下一个框架在一个循环中执行上述过程,并展示的感官效果,结合了真实场景和虚拟场景的听力受损的孩子。

(3)用户交互模块。基于上述两个模块,用户交互模块包括两部分指定的智能玩具运动控制和运动路径设计,提供更好的沉浸和现实主义听力受损的孩子。

通过运动控制部分的用户交互模块,听力受损的孩子可以控制旋转和运动智能玩具的键盘,鼠标,或其他输入设备。屏幕小函数可以通过指定的运动路径参与这个模块实现;例如,一个听障儿童可以指定一个特定的点用鼠标在虚拟环境中,系统可以检测指定点的位置,使智能玩具根据检测到指定点的位置移动。

3.2。计算相机的内部和外部参数

假设一个点在三维空间中预计将一个平面的中心,三维空间中的点表示 ,和投影中心用作欧几里得空间的坐标原点,原点的坐标是相机的光学中心,所代表的焦平面图像平面或飞机 ,和代表了相机焦距。系统中使用的针孔照相机,图像平面和直线的交点连接和投影中心,点的投影吗在图像平面上,基于三角形的相似性关系,协调交点的p,和投影平面上的投影点的坐标是协调。当焦距在x和y方向不均匀,坐标可以表示为 ,当投影平面的坐标转换成图像坐标,光学中心光学中心相对于原点应该添加图像的坐标,和光学中心偏移量和方向由和 ,分别。如果上面的投影过程从三维点到图像平面上表示为一个矩阵,与此同时,它被定义为一个投影函数 ;然后,有公式:

的公式,代表了相机内部参数矩阵; 代表一个点在三维空间中。如果深度值图像中像素的p是已知的,可以通过相对三维空间坐标投影函数 ,可以表示为哪一个

相机的姿势是由一个表示 矩阵,即摄像机的外部参数矩阵,可以表示为

的公式, 和 代表了旋转矩阵和翻译向量。

3.3。虚拟和真实场景的融合

通过设置背景图和实时更新相机的位置和角度,虚拟场景与真实场景可以接近相同,可以合并和虚拟和真实的场景。

3.3.1。背景纹理结构

融合的虚拟场景与真实场景是基于“增大化现实”技术的关键技术,从而达到的效果叠加虚拟物体或图像到实际的环境中,所以收集的图片相机应该用作虚拟场景的背景纹理。通过使用辅助摄像机的深度呈现层次结构,构造背景地图内的场景。呈现的对象是基于深度值从高到低,这是整个虚拟场景渲染顺序。背景纹理的深度值设置为1,其他场景元素的深度值是1,相机的主要场景的采集时间间隔设置为深度值≥1,和辅助相机的采集时间间隔设置为深度值≤1,通过这种方式,所有其他场景元素在整个虚拟场景除了背景纹理由主相机成像,和辅助摄像头只有图像背景纹理。呈现每一帧的图像时,一部分高深度值在整个虚拟场景应该呈现的第一,然后是较低的背景纹理深度值应该呈现;得到最终结果与背景纹理放在整个虚拟场景。

3.3.2。数据接收和更新

背景纹理的建设完成后,每一帧中呈现的场景,背景纹理更新通过监听端口,接收到的图像数据和虚拟摄像机的位置和角度的实时调整。这个场景更新过程如图3。使用新线程来构建子线程,打开子线程来实现监控监听的端口。当subthread监听端口接收到的图像数据,它实现了相应的坐标变换。的三通道值像素相对位置设置由GPU运算,这避免了运行效率低的问题单独设置每个像素值。每个图像的所有像素值存储在颜色数组,然后设置背景纹理当前帧的像素值。

3.4。运动控制的智能玩具

为了实现运动控制的智能玩具,有必要设计一个反馈增量控制方法基于客户机/服务器模式和基于TCP / IP协议;其中,客户端和服务器端是低的电脑和上电脑,分别。具体的控制流程如图4。

具体控制措施如下:(1)较低的计算机发送连接请求(2)上电脑显示器发送的连接请求降低计算机(3)当上电脑显示器的连接请求下电脑,如果它不给一个响应,它返回到步骤(1)。如果降低电脑被回应的连接上电脑,它将继续下去(4)降低电脑读取当前位置数据 智能玩具;其中, 代表了五个旋转自由度的智能玩具,和代表的整体平移自由度智能玩具,打包在一个数据包格式,发送到上位机(5)当上层计算机接收到数据包从较低的计算机,基于一组运动轨迹,位移增量执行操作 下一帧的运动自由度的智能玩具、打包和发送到较低的计算机指令格式(6)较低的计算机接收到命令后的数据上电脑,它提取每个自由度的位移增量数据的智能玩具和驱动智能玩具根据集增量移动(7)较低的电脑检查通讯是否断开连接,如果没有,去步骤(4),否则转到步骤(1)

3.5。仿真实验

以一个公司生产的智能玩具为实验对象来测试系统的综合性能。选择智能机器人控制系统基于头脑风暴和开放6 r工业机器人控制系统基于畏缩比较系统,比较这两个系统是头脑风暴的智能机器人控制系统和畏缩的开放6 r工业机器人控制系统,和实验智能玩具中使用的三个系统比较和分析每个系统的综合性能。系统测试环境如表所示1。

4所示。结果与讨论

在实现运动控制实验的智能玩具在互动过程中,上层计算机之间的通信同步和下电脑尤其重要;同步,越高越敏感的智能玩具是运动控制的交互过程,可有效提高聋儿的真实体验交互时。在这里,三个系统的通信同步检测和分析的沟通频率,和获得的检测结果如图5。从图5,可以得出结论,与通信系统和畏缩系统增加周期;沟通频率不大幅波动,而头脑风暴系统的通信频率波动更明显。整个通信系统的频率明显高于其他两个系统;可以看出,通信系统之间的同步和畏缩系统更稳定,通信系统的同步是更高。

摄像头三个系统被安装在实验中使用的智能玩具,和运动控制错误控制实验智能玩具在每个系统之间的相互作用进行了比较。每个系统的运动控制过程中,实际轨迹与设计轨迹之间的误差的实验计算智能玩具,相比之下每个系统的运动控制错误。两个翻译方向的错误和分别进行比较,比较结果如图6(一)和(b)。它可以从数据6(一)和6 (b)系统的控制下,平均位移中的错误 , ,和两个方向的实验智能玩具1.96毫米和0.69毫米,最大误差在两个方向依次是2.41毫米和0.98毫米。头脑风暴系统的控制下,平均位移误差 , ,和两个方向的实验智能玩具3.08毫米,1.76毫米,分别;两个方向的最大错误是3.86毫米和2.12毫米。畏缩的控制制度下,平均位移中的错误 , ,和两个方向的实验智能玩具是5.47毫米和2.78毫米,分别和两个方向的最大错误是6.23毫米和3.66毫米。这表明运动控制实验的系统误差智能玩具较低;它可以更好地意识到的实际运动轨迹智能玩具设计伴随着运动轨迹和具有良好的控制效果,精度高,控制性能优越。

为了进一步测试系统的平滑性能呈现动态图片,现在的测试数据进行帧率的地位背景纹理在30年代三个系统的更新;具体测试数据得到如图7。

通过分析测试结果的系统图7,可以得出结论,在实施的过程中背景地图更新;系统的平均帧速率和畏缩系统30.97 f / s和25.55 f / s,分别是明显高于头脑风暴系统的平均帧速率15.33 f / s;可以看出,系统和畏缩系统可以提供更有效的保证平滑显示的动态图片,在头脑风暴系统略弱流畅的动态图片。

基于上述三组实验测试结果,可以看出系统的综合性能的通信同步运动控制性能和平滑性能更好,而且有很好的实时交互性能,可有效提高听力受损的儿童之间的互动体验和互动和智能玩具。

5。结论

作者提出了一种运动控制系统设计和研究基于语音识别的智能玩具机器人和传感器,针对听力受损的儿童互动和人际沟通的缺陷,并提供了一个系统,可以实现实时互动听力受损的儿童和智能玩具。通过基于“增大化现实”技术的虚拟和现实融合技术,虚拟物体叠加的目的或图像在现实环境中实现,听障儿童提供一个现实的虚拟交互场景,结合运动控制方法来实现运动控制的听力受损的儿童智能玩具,和提高交互效果;它使听力受损的儿童智能玩具刺激他们的兴趣在交互过程中,消除他们的自成一体的和压抑的情绪,逐步改善听力受损的儿童互动和人际关系技巧。通过实验测试,可以看出,该系统具有较高的通信同步性能和稳定性良好的沟通,可以实现智能玩具的有效控制,控制精度高;与此同时,它可以有效地保证了动态图像的流畅性和提高聋儿的真实体验。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。