在煤矿安全培训虚拟现实平台与人工智能和云计算

文摘

煤矿,被认为是一个高风险的行业,有很强的虚拟现实(VR)来满足安全需求和应急救援培训。在过去的十年里,虚拟现实技术已经显著改善矿工培训在硬件和软件方面。然而,它仍然有一些缺陷,如昂贵和不合适的硬件,缺乏令人满意的用户体验,没有直接浏览器访问,缺乏人性化和智能化设计。要解决这些问题,基于云计算的虚拟现实系统是专为煤矿工人的培训。系统,浏览器/客户端架构,包括八个模块展示地下煤矿的全部过程。采用在线cloud-rendered视频流提供足够的计算和渲染能力,从而更好的基于浏览器的用户体验。此外,游戏人工智能(AI)也引入系统增加系统和用户之间的情感交流。与传统虚拟现实训练软件,该系统设计两个虚拟矿工来提高学员的经验。第一个虚拟矿工是一个面向任务的non-player-character(人大),传达关于我的一般知识和引导用户访问地下工作网站。第二个虚拟矿工disaster-oriented字符为典型灾害准备用户。 The system has been successfully implemented in a laboratory environment, and its performance has been validated. Yet, further practices are needed to stimulate more innovative applications of VR-based miner training and disaster drilling.

1。介绍

煤矿、危险的工作环境和复杂的生产系统,虚拟现实(VR)的强劲需求。虚拟现实技术有其独特的优势在多个领域与煤矿有关,如矿工安全培训和应急救援钻井,除了drifting-producing过程模拟,模拟灾难场景,和机械操作培训(1]。第五代细胞(5克),人工智能(AI)、数据分析、物联网(物联网),和云计算将提供所需的信息基础设施智能矿山建设在未来三至五年。这些新兴技术,下一代地下煤矿虚拟现实系统将实现,这将提高职业适应过程和职业健康和安全的情况下,特别是对于年轻的矿工(2]。

美国、澳大利亚和英国使用VR作为采矿模拟训练环境,重建和事故调查、教育和安全培训在过去的二十年。特别是英国,历史悠久的开发和利用虚拟现实技术在煤矿安全培训。虚拟现实产品,如SafeVR发呜呜声,是非常著名的露天卡车操作员培训3]。的研究人员国家职业安全与健康研究所”(NIOSH)探索采矿业如何有效地使用“严肃游戏”太平梯培训。斯波坎市研究实验室(SRL)太平梯培训软件开发矿山安全培训课程。该软件允许四个学员一起工作通过计算机网络在虚拟的环境中。学员积极回应,显示有明显改善,定位正确的疏散路线在后续试验(4]。新南威尔士大学发达iCinema(一个先进的可视化和交互环境),其中包括一个360°沉浸式影院环境18模块为提高教学和学习活动在采矿工程5]。昆士兰大学的实验我(UQEM)实验室自1956年以来已经被学生实验。这个机构开发了几个虚拟现实应用程序,包括虚拟教学模块,钻机,Instron UCS岩石测试模拟和虚拟通风模拟(6]。

在中国,大学,大型矿业公司,地方政府利用虚拟现实硬件和软件安全与应急救援培训(7]。这些虚拟现实系统提供的桌面版本字符“问答”会议。虚拟现实硬件由projection-based全景显示系统、红外跟踪立体眼镜,虚拟现实头盔显示器,垫,其他设备。此外,三维可视化系统是非常受欢迎的在煤矿三维地质模型的功能,通风仿真,实时数据监控和应急响应。

在最近的十年里,许多煤矿企业建立地下工业网络和试图运用云计算、大数据,物联网,甚至是人工智能技术引入采矿、通风、安全、和教育项目。已经有了转变,从传统矿业智能挖掘。一个三层框架与自动控制系统、生产执行系统、企业管理系统的建立。基于云计算技术,大数据相关的地下煤矿可以快速分析和关键数据与用户需求可以准确提取。建立了平台,danger-spotting和随后的决策能力的用户可以大大改进,以确保地下采矿的安全(8]。

尽管虚拟智能矿山建设的重要组成部分,与这些应用程序仍存在一些问题需要解决。首先,大多数现有的虚拟训练系统缺乏一个良好的学习经验。虽然这些系统采用教学和学习功能通过一个单人模式和一种ask-answer模式,没有复杂的人工智能人机交互。虚拟现实训练系统总是关注专业3 d仿真计算或灾难或文本和声音。学习的过程需要改善。此外,浸入式教学的优势,互动,和想象力的虚拟现实技术尚未充分利用(9]。其次,传统的虚拟训练系统是独立或客户机/服务器版本,没有直接浏览器访问。云渲染将成为主流支持各种终端,如电脑,手机,平板电脑,耳机。这些技术将使实时传输和增强cyber-physical完全展现出环境和社会经验(10]。因此,虚拟现实训练软件应采用游戏化和在线学习,教育已成为一种趋势。

2。方法

解决上述问题和培训矿工,虚拟系统使用虚幻引擎的设计和开发。与传统的独立或客户机/服务器虚拟现实软件,本系统采用浏览器/客户端架构和使用云渲染和游戏AI技术。它的目标是提高用户的学习经验,加强他们的记忆,和提高安全意识。系统使用虚幻引擎从史诗般的游戏,其中包括一个渲染引擎(渲染器),蓝图脚本语言,动画,人工智能(AI)、网络、地形、流媒体和场景图。图1说明了系统接口,有八个模块如下:(我)地质环境,如煤形成的过程、地质条件、煤层,地质结构(2)地理环境和表面的植物(3)地下巷道布置(iv)采区和工作面设计(v)煤矿生产系统,包括通风、运输、腰带、起重、供电、供水和排水(vi)采矿过程中,包括煤矿爆破和长壁开采过程(七)煤矿灾害(气体泄漏,屋顶和触发事件)模拟(八)地下安全监测系统(甲烷、风速、温度和一氧化碳)、自救和应急响应

在本文中,我们使用三种技术,即云渲染架构,3 d建模和AI行为设计实现多用户在线操作,提高交互和浸入式虚拟现实设备。

云渲染的浏览器/客户端架构意味着每个用户连接到服务器并访问云3 d流。云服务器处理所有事件和虚拟世界的状态和转移虚拟现实呈现流到客户端。这些服务器可以虚拟服务器或服务器集群。他们充分利用几乎无限的计算能力来创建、获取、和高分辨率呈现压缩流,这是发送到客户端性能和较低的有限计算能力(11]。

与其他流行的Web3D技术相比,如HTML5和WebGL,云渲染有无与伦比的优势主要是因为它没有特殊的或昂贵的需求在客户端。它允许用户选择不同的平台,包括个人电脑、笔记本电脑、平板电脑和智能手机。此外,由于wi - fi 6和5克将提供足够的网络带宽,网络云渲染将提供足够的计算和渲染能力。随着互联网基础设施的发展,用户可以通过网络与虚拟现实交互程序在客户端与高质量的视频和低响应延迟12]。

在这个云渲染系统的B / S体系结构,该系统分为三个部分:门户服务器,使服务器和客户端,如图2。

门户服务器负责用户登录,找到合适的服务器根据用户的选择,和控制服务器启动虚拟机,即。,渲染服务器。渲染客户端和服务器端建立连接当门户服务器通知客户虚拟机的地址。用户可以运行并与3 d交互程序的远程服务器通过网络。

渲染服务器负责处理客户端的输入事件源自鼠标或键盘,以及翻译和发送他们的3 d程序交互模块进一步解析。3 d场景捕获图像,编码,视频发送到客户机。渲染服务器程序包括三个模块,即基本功能,游戏AI,和先进的功能。虚拟现实的基本功能模块提供3 d场景管理、声音、粒子效果,物理模拟等基本功能。游戏AI模块使用一个脚本语言设计一个虚拟矿工行为树。VR先进模块构建复杂的计算模型和模拟灾害,如火灾数值模拟和逃跑路线计算。

客户端负责显示接收到的流的3 d场景和发送用户输入,如键盘和鼠标事件,到服务器。

我们使用3 ds Max建立地下和地表的3 d场景。然后,我们将三维模型导入到虚幻引擎编辑器。我们采用一系列的材料工具应用3 d模型,如法线贴图,扩散地图,金属地图,和纹理映射。这些材料就像“油漆”应用到模型中。然后,我们设置灯光照亮场景。从计算机辅助设计(CAD)或地理信息系统(GIS)的文件,我们自动构建三维地质和地下巷道模型。我们使用蓝图脚本语言编程角色的动画、AI行为树和用户界面(UI)。

人工智能在游戏或“游戏AI”是一个3 d引擎的模块。传统AI通常演示了一些与人类智慧有关的下列行为:规划、学习、推理、解决问题、知识表示、知觉、运动、和操纵。新兴的游戏AI是分化成为一个狭窄的分支从传统的人工智能。游戏AI指的是虚拟的人,也称为非玩家角色(npc),由计算机控制,模拟人类的智能行为或其他生物,为用户提供一个合理的挑战,克服(13]。

图3显示了两个npc我们设计的行为。这些npc可以模拟矿商的行为和指导年轻矿工和/或学生理解整个矿业生产、地下现场经验,并提高用户和计算机程序之间的关系在训练期间,谈话,或其他任务。除此之外,这些AI人物设计自动找到当地的导航网格路径。

第一个人大是一个面向任务的角色。当用户遇到它在地面上的某个地方,他将提供关于煤矿的一般知识和指导用户下一个从笼子里并参观地下工作网站,如长壁或标题的面孔。一旦用户完成相应的任务,并提供反馈,全国人大发布下一个任务。这些任务执行之前进入矿井,准备矿工寻找入口,进入笼,并参观地下工作面。第二个人大是disaster-oriented性格中,引导用户体验典型的灾害,如气体爆炸、屋顶落,火灾事故。

全国人大的行为,实现蓝图是用于构建行为树图,增加和连接的一系列节点。一个行为树,主要由一个叶节点和复合节点,本质上是一个非循环图(14,15]。我们使用复合任务和设计节点的选择器,序列,相似之处和修饰符。图4显示了一个示例的第二个人大的行为树,选择器,顺序和并行用于触发事故。选择器是一个分支任务,每个孩子的行为。它将立即返回一个状态码成功当一个孩子成功运行。一旦成功的子节点,则返回到选择器,和其余的节点不执行。一个序列顺序执行节点任务。序列节点试图执行每个孩子反过来,直到所有的孩子都有报道说,他们已经成功执行。一次任务失败,将返回到上层节点序列。在这种情况下,剩下的任务不执行。并行是一个复合的任务处理并发行为。它是一个特殊的分支任务,运行所有儿童在执行时间。 The behavior tree allows parallel node tasks, which might be state machines. Multiple state machines can be executed in parallel. For example, when the second NPC’s behavior tree is triggered, it first judges whether it is dangerous or not and then runs the user and sends alerts. Following these, it gives the on-site emergency solution by a series of animation actions. The sequence executes the disaster animation in turn and tests whether the user’s reaction is correct.

3所示。结果与讨论

3.1。系统实现

云渲染集群是由两个虚拟呈现服务器配置的基于8 g M60 CPU, 32 GB RAM和40 Mbps边界网关协议的带宽。实验表明,硬件可以支持多达七个玩家在同一时间。客户端PC应该至少英特尔i7 CPU和16 GB的RAM。系统测试了本科生的虚拟现实实验室教学和实验,中国矿业大学科技,北京。实验室还有一个120度2声道VR投影仪和一个红外激光跟踪系统如图5和6,分别。系统可以运行在沉浸式虚拟现实硬件或电脑耳机。

3.2。人工智能指导

全国人大的虚拟漫游功能将帮助用户走动建筑,进入我的通过一个笼子,参观长壁开采面或爆破的地方。它还将介绍通风系统,交通系统,供水、排水系统和供电系统。这个函数允许新矿工或学生有一个整体的理解我的。

当用户在巷道,事故指导全国人大将开始一个对话的函数来检测他们的行为和提供信息非法操作。系统将引发灾难动画根据位置,全国人大将演示和自救逃生路线。

3.3。灾难模拟

在我们的系统中,矿难仅限于气体爆炸、屋顶下跌,触发事件。灾难仿真模块集成了各种3 d动画、音频、粒子效果,及物理模型的3 d引擎。模型的三维模型是建立矿山、地形、隧道和npc。音频功能是创建声音尽可能真实的考虑源的尺寸,如脚步走在草地上,巷道时,运行时喘息,打开笼子的机械声。通过分析灾难/事故原因、特性和发生条件,一场灾难模拟图书馆是构建知识。这个库包含一个简短描述的预防和控制措施,应急计划,现场处置程序,减灾和灾后评估。它是结合系统指导灾害的潜在后果。

3.3.1。气体和煤尘爆炸

这个模拟的边界条件是指气体和煤尘爆炸如图7。帮助用户感知灾难从视觉上,听觉和其他方面和理解运动和破坏的风夹杂着灰尘。此外,一些应急措施,如合作天然气开采,完全显示出来。

3.3.2。塌顶和墙壁倒塌

通过仿真,用户能理解的主要因素塌顶和墙倒塌,如图8。它可以模拟各种岩爆和地压灾害,灾害的形式,介绍他们的原因,和潜在的灾难预防和控制的方法。

3.3.3。火灾事件

用户将看到火灾的主要形式,如外部火灾大多是由开放的火焰,爆破,以及短路,内部的燃烧造成的煤或其它易燃物质由于其氧化或燃烧。虚拟现实系统可以模拟各种火灾的条件,说明他们的严重性,因此对于防灾通知决策。该系统还显示了治疗的方法,包括封闭灌浆和注氮的方法。

4所示。讨论

虚拟现实系统使用云渲染和AI行为树增强训练的性能。它可以逼真地模拟复杂的地下煤矿环境并提供登录的功能,漫游,操作虚拟仿真和评估。然而,由于知识产权,只有一小部分的功能是由公众通过网站访问。日期(2020年8月1日),系统已经访问了20,853次,培训体系吸引了完美的用户评论(5.0/5.0)在国家虚拟仿真实验教学项目共享平台(16]。根据实验得分的数据,有1355人完成了实验和出色的进球率为46.0%。学生们评论说,系统可以给他们一个更直观的了解地下环境和灾害没有访问真正的地下煤矿。尽管有令人满意的性能和显著的反馈,当前云渲染硬件需要升级到一个更大的云渲染集群提供更快的响应,因此一个更好的体验。此外,一个性能测试需要估计的并发性和运行效率。系统功能还需要更多的研究,更详细的行为树设计可以改善用户体验。结合数值计算,系统可以转化为支持通风设计的试验台,紧急钻井,和其他系统和字段。我们期待更多的创新应用虚拟矿工培训和灾难钻井在不久的将来。

5。结论

虚拟现实,作为一个智能的一部分,提供了工作过程管理的新工具,职业健康和灾难模拟和可视化。虚拟现实系统提供了宏观和微观的地下煤矿3 d场景和显示信息,如人员定位、安全监测、设备管理。结合云渲染,它可以实现更现实和更详细的三维可视化效果。考虑云渲染和人工智能的优点,本文设计了一种基于云计算的虚拟现实系统,矿山安全培训。采用人工智能指导地下游荡和模拟事故,如气体爆炸、屋顶下跌,触发事件。我们相信,这项研究的结果将为煤矿安全培训提供一个有用的工具,避免极端地下环境的潜在危险。

数据可用性

没有数据被用来支持本研究的发现。该系统将认为是公开访问。

的利益冲突

作者宣称没有利益冲突。

确认

本研究在经济上支持中国国家重点研发项目(批准号2016 yfc0803108)。也支持内蒙古的主要研究和开发项目题为“技术和应用数字矿山资源管理和生态环境监测,2015 - 2019。”

引用

1. j . Tichon和r . Burgess-Limerick回顾虚拟现实作为一个媒介安全相关培训在矿产行业,“健康&安全研究期刊》的研究和实践,1卷,不。3,33-40,2011页。视图:谷歌学术搜索
2. 格拉博夫斯基与j .养家糊口,“虚拟以现实为基础的地下煤矿工人,飞行员培训”安全科学,卷72,不。72年,第314 - 310页,2015年。视图:出版商的网站|谷歌学术搜索
3. Denby b·d·斯科菲尔德和r .荷兰制杜松子酒,“煤矿安全在二十一世纪:计算机图形学和虚拟现实的应用,”我的健康和安全管理,m·卡米艾德,页153 - 174,社会的采矿、冶金、和探索,Inc .,恩格尔伍德,有限公司,2001年美国。视图:谷歌学术搜索
4. t·j·奥尔l . g .锤和k·a·马戈利斯,“增强太平梯培训矿工使用虚拟现实仿真,”采矿工程,卷61,不。11日,41-44,2009页。视图:谷歌学术搜索
5. t·巴克”图片和eventfulness:扩大影院和新南威尔士大学的实验研究”研究在澳大拉西亚的电影》第六卷,没有。2、111 - 123年,2012页。视图:出版商的网站|谷歌学术搜索
6. m . s .克孜尔,a·p·凯里吉和m·g·汉考克“矿业教育和培训中使用虚拟现实”学报2004年CRC矿业研究和有效的技术转移会议,页1 - 7,努沙头,澳大利亚,2004年6月。视图:谷歌学术搜索
7. z . m . m . Li太阳,p . y .律,j . Chen和s .毛”关键技术研究综放工作面上多人虚拟现实训练平台,“煤炭科学技术,46卷,不。1,第161 - 156页,2018。视图:谷歌学术搜索
8. m . y . Wu陈,k . Wang和g .傅“动态信息平台地下基于物联网的煤矿安全,”安全科学卷。113年,9到18,2019页。视图:出版商的网站|谷歌学术搜索
9. r . Mitra和s . Saydam”人工智能和模糊逻辑可以集成到虚拟现实应用挖掘?”《南部非洲矿业和冶金学院,卷114,不。12日,第1016 - 1009页,2014年。视图:谷歌学术搜索
10. e . Bastug m·班尼斯、m . Medard和m . Debbah“互联虚拟现实:机遇、挑战和推动者,”IEEE通讯杂志,55卷,不。6,110 - 117年,2017页。视图:出版商的网站|谷歌学术搜索
11. e·r·谢伊j .江川Liu学术界。崔Ngai, y,“云游戏:体系结构和性能,IEEE网络,27卷,不。4月16,2013页。视图:出版商的网站|谷歌学术搜索
12. c . y .黄c·h·许y . c . Chang和K.-T。陈,“GamingAnywhere:一个开放的云游戏系统,”第四届ACM多媒体系统会议学报》上,页36-47,纽约,纽约,美国,2013年2月。视图:出版商的网站|谷歌学术搜索
13. g . n . Yannakakis和j . Togelius”全景人工和计算智能的游戏,“IEEE计算智能和人工智能在游戏中,7卷,不。4、317 - 335年,2015页。视图:出版商的网站|谷歌学术搜索
14. 即米林顿和j . Funge人工智能在游戏美国佛罗里达州波卡拉顿,CRC新闻,2009年。
15. w . j .他设计和实现基于行为的游戏AI的树、成都理工大学、成都,中国,2018。
16. 国家虚拟仿真实验教学项目共享平台,2020年9月,http://www.ilab-x.com/details/v5?id=5022&isView=true。

版权

版权©2020美李等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。