文摘

在过去,传统的小规模的3 d重建技术发展成熟,主要依靠人工手持设备进行数据采集。由于多种因素,准确等问题,数据将被忽略,有时直接员工将面临风险。如今,随着计算机科学技术的发展,三维重建技术不断创新,也突破了危险区域的大规模重建中的应用。摘要过去昂贵的传感器是放弃了,转而使用更便宜、更高效的激光雷达。激光点云与影像相结合来描述矿业遗产场景深度,和学术成果转化为生产力。结果表明,(1)算法的性能比较,该方法的总体误差为5.86,和消费的平均时间是10.23毫秒。这种滤波算法可以恢复矿业遗产的景观在很大程度上和优化噪声和离群值的问题。(2)我们的设计模式有一个非常低损耗值,和点云精度高达92.9%。与其他模型方法相比,该模型具有良好的性能。(3)模型的完成后,整体满意度效果在70%以上,可以恢复矿业遗产风格。 Finally, the experimental effect of 3D reconstruction is good, which is more conducive to the research of reconstruction protection. There are still some work details and performance problems that need to be optimized and solved.

1。介绍

由于时代潮流的不断发展和工业中心的转移,许多中小煤矿行业在中国已逐渐停止生产和关闭,留下许多废弃矿业浪费土地。大部分的这些浪费土地不符合“绿色施工”的要求,不及时治疗。一方面,他们的存在也造成自然资源的浪费和自然环境造成极大的污染和生态循环。另一方面,一些矿山或隧道左过去没有及时关闭很容易给周围的居民带来生命安全的威胁。上述问题的存在是一个重要的原因,促进矿业的重建和保护遗产。如何“把废物变成财富”使最初的闲置和废弃土地资源焕发出新的活力,带来了新的可用的价值,值得思考和考虑。先前的研究很少充分考虑矿产旅游开发地理特征的使用方法。因此,为了更好地维护煤炭开采造成的生态环境脆弱和恢复的生态景观矿业荒地,在本文中,我们决定适应当地条件,基于深度学习理论,使用无人机(UAV)配备激光雷达远程测量的位置废弃矿山急需维修和重建,点云的特征和图像融合,提取地下矿山的特点和重建三维模型,以促进保护项目的设计。

针对先前的研究在三维重建或矿业遗产保护相关的参考资料,我们已经进行了一个详细的阅读和参考,为本研究希望得到有价值的方法。以下相关文献将提供一个坚实的理论基础和数据支持。引入深度学习模式提高分割的准确性和鲁棒性激光雷达遥感图像分割方法(1云在黄土高原的垂直结构,研究了激光雷达遥感(2]。一个基于红外图像序列的三维重建仿真方法和深度学习网络提出了(3]。三维植被被无人机获得激光雷达遥感的特点,和亚热带常绿阔叶林群落的垂直结构分析(4]。机载激光雷达的应用遥感技术在测绘领域讨论了(5]。从当地理论的角度来看,我们关注的区域和地方关系矿业遗产,吴川水星我贵州为例,制定保护和旅游发展战略6]。针对不满意当压缩图像重建的问题,激光雷达遥感影像方法提出了基于正交基压缩传感(7]。结合无人机序列图像重建方法和计算机视觉技术,三维重建的复杂地形区域进行(8]。偏振激光雷达远程观察和感觉地面物体的三维结构信息(9]。为了有效地映射地面建筑物和地形,遥感图像收集的无人机地面激光雷达用于重建(10]。设计和实现资源与环境遥感监测系统的基于激光雷达技术(11:一个新的分类方法提出了遥感监测数据利用机载激光雷达和高光谱技术(12]。论述了三维点云修复技术基于深度学习从五个方面13]。根据世贸组织的情况,实际情况分析了矿业遗产促进双向矿业遗产保护和旅游开发的双赢[14]。从“岛保护”到“网络发展矿业遗产路线从区域合作的角度研究[15]。

2。理论基础的概述

2.1。矿业遗产

矿业遗产(16):这是矿产资源逐渐枯竭的产品后不受控制的被人类利用。换句话说,矿业遗产属于工业遗产的一部分,主要指的是废弃的矿区的土地留下的挖掘。矿业遗产是生态脆弱地区,已被摧毁,被人占领多年,和很难纠正,导致剧烈的变化在原始的自然地形。人类采矿活动逐渐形成奇怪而复杂的景观,如露天废弃的房屋,采矿坑,采空区沉陷地区,山体滑坡和矿山。中国是一个人口大国,土地往往是供不应求。回收是非常重要的每一块土地的合理,促进重用和矿区废弃土地的发展。至于如何重建和利用这种类型的合理用地和长期发展,国内的研究起步较晚,和保护的想法是单身,需要更多的专家和学者讨论充分调动资源。矿区生态修复好的可以恢复农业和林业复垦的土地。矿区具有很高的经济和文化价值和独特的精神可以开发矿山公园或旅游帮助原始工业化城镇土地变换。地区适合建设用地可以包括在城乡规划领域,和运输的优势和空间可以用来促进公共和商业设施。 The area where the mining heritage is located determines its value. The first type is inclusive, the mining heritage area is within the town, the resources are concentrated, and the town depends on the mining area for development. The second kind of mining heritage is outside the town, with some intersecting areas, scattered resources around, and the field situation is more complex and changeable with the erosion and compression of nature as shown in Figure1。

2.2。激光雷达技术

激光雷达(17)被称为“光探测和测距”用英语,也可以称为“激光雷达。“这是一种机械设备主要用于探测距离,方位,和身高。作为一种活跃的遥感设备,该技术主要采用光电检测手段。它的结构很简单,包括一个接收系统和激光,它还配备全球定位系统和惯性导航系统。其工作原理如下:激光发射探测信号,然后,接收到的目标回波恢复正常;也就是说,各种参数可以获得相关的目标。相比与普通微波雷达、激光雷达是规模较小,重量轻,高分辨率,和良好的隐蔽和抵制干扰,真的能在“零工作高度。“因此,由于广泛应用范围的激光雷达,雷达适合各种情况已经制造如TLS (18),美国劳工统计局,MLS (19),肌萎缩性侧索硬化症(20.],SLS [21]。本文中使用的机载激光雷达装备ALS激光扫描系统。这种新型的有源航空雷达,安装在无人机,同步,并迅速获得指定目标的三维坐标和图像数据在地面上,实现实时目标的动态变化和繁殖的特点。机载雷达由中央控制单元和飞机的载体,它记录了真实数据如图2。

2.3。激光点云过滤

机载激光雷达遥感技术获得的数据是收集生成的点云三维激光扫描仪在一个大区域。然后,收集到的点云数据进行分类目标分不属预定目标的分离点,成为“过滤。“点云滤波算法与结果的精度,算法的鲁棒性也突破的一个难点。通过该算法的实际应用,民主党可以生成相应的目标和具体的功能可以提取地面目标。到目前为止,常用的滤波方法可以分为六类:斜坡,数学形态学,表面,分割,深度学习和混合。经过综合考虑,本文选择基于深度学习的激光点云进行实验研究。(1)点云的生成 见公式(1后),我们使用数学符号来表示它,因为每个变量的激光点云是一个六维向量,我们可以描述每个三维激光空间的点坐标。也就是说, (2)点云滤波(22]由于激光雷达自身的结构问题,收集到的点云数据掺杂许多噪声点和点远离的收集点。去噪后,用另一种方式,它是点云滤波改善数据并做好初步为随后的登记工作。首先,我们应该考虑点的位置信息来指导点云过滤。确定一个点云社区基于最初的三维激光点云的公式(3),然后构造k d树结构,每个点的邻居表示公式所示(4)。的平均数值公式(5)从多元化的角度计算云的邻居集,是指的基数 。 通过线性变换解决输出点: 计算功能: 解决方案如下: 最后,过滤输出点的计算方法是: (3)点云注册(23]点云注册过程:基于点云,旋转和翻译转换的点和激光点云之间的关系是解决。通过这种方式,我们可以得到激光点云在不同的位置和姿势,可以表达目标的环境特征。源点云之间的关系和目标点云所示公式(10),R代表旋转矩阵,T代表了翻译向量。公式(11)代表点云精确的注册过程的ICP算法和优化目标函数,在那里米意味着有米对应点。 (4)k - means聚类算法(24]。表示的欧几里得距离 计算误差的平方和: (5)中央迭代算法。

设定点收集

计算初始中心点坐标:

计算距离的总和:

更新后的点聚集

满足条件:

2.4。相机处理原则

以四驱无人机为移动平台,它填补了传统人工手持的缺点,可以收集大量的数据场景。快速部署机械和设备,具有较强的可操作性和灵活性。从无人机的角度来看,多个视觉设备混合航空摄影收集高分辨率数据。

在三维空间刚体的运动,旋转矩阵的定义:

旋转矢量:

变换矩阵(25]:

3所示。三维重建系统的基于深度学习矿业遗产

3.1。目标检测和特征提取

“DL”意味着深度学习。作为一个杰出的人工智能领域的研究方向、深度学习解决了很多复杂的模式识别问题。同时,它有大量的成熟和适用的深层网络架构和相关技术手段。正式的3 d重建前矿业遗产由无人机在空中,我们必须准确检测目标。因此,我们引入网络框架设计。三维点云,没有正则表达式形式,点云数据的特殊性决定了我们不能直接使用典型的卷积神经网络模型。根据投射激光点云的概念在不同的视图,然后减少维度得到图像,最后,本文选择融合点云数据和图像数据处理注意机制部分融合点云,然后提取点云特征基于PointNet + +提高红外系统的方法。最后,我们不仅可以保留原始数据的三维信息,而且识别目标的精确的3 d边界框,如图3。

3.2。多重方法融合处理

它是发现,为了达到目标,需要集成多种方法。将激光雷达与摄像机相结合。相机所拍下的照片可以清楚地看到矿业遗产的详细的结构信息,这是激光雷达的技术。的优点补充传统的三维空间位置信息可以完全实现三维场景的重建。上面的方法是一个想法。如果你想同时使用,您需要指定RB值点云的图像和融合图像的点云。计算像素颜色的位置参数,然后进行坐标变换和像素之间的相机:

深度相机提供了z设在坐标和安排公式(22)获得

获得的每个像素点的集合构成点云坐标系统的变换。然而,应该指出的是,在图像融合之前,需要对图像数据预处理。因为图像的质量将直接关系到最后的点云的结果的准确性。运动镜头使用超广角拍摄,图像容易失真,需要纠正。引入鱼眼镜头的畸变校正原理,让P3 d点的参考坐标系统:

解决极坐标的注视下半球模型:

变形的数学模型:

失真校正后,

3.3。三维重建模型

在上述基于深度学习的目标检测方法,目标范围,地区,地貌特征建立了。我们建立一个良好的矿业遗产可以达到的整体风格和特征模型的框架显示。处理软件实现基于分布式结构,分成两部分,也就是说,无人机和地面,节点连接到5 g无线局域网。在收购无人机,目标识别和检测后,获得的彩色图像和像素深度RGB-D相机,和点云数据是通过机载激光雷达技术。滤波算法和坐标变换后,根据嵌入式ARM,收集点云数据和图像融合。然后,数据被传输到PC的地面控制结束最后的3 d点云重建,可有效减少无人机的计算工作。在个人电脑,它可以监控整个三维重建系统的运行状态并记录整个实验数据。此外,无人机仍然需要手动通过遥控器控制其飞行,因此,无人机将配备能够接收遥控信号接收器和飞行控制装置,存在作为底层处理器如图4。

4所示。仿真实验分析

4.1。比较不同的滤波算法

在本节中,过滤精度测试不同的滤波算法来展示该方法的实际效果。SBF SegBF, CSF选择进行实验10组实验样品。模型处理后,我们得到了不同的误差结果不同的算法。其中,错误分为三类:类我错误,二类错误,和总错误。总的来说,类我错误的四个过滤算法取得了最好的结果,和错误的程度小于10。二类错误是最大的,SegBF算法的误差可高达32.38,这是鲜明的对比与本文算法13.6的结果。总误差值低,可反映目标的更现实的大局。本文的方法最好的过滤效果,尽可能保留原地形,误差值约为5.86,如图5。

比较算法的误差效应后,这部分比较了算法时间消耗。耗时比较是一个索引,最好能反映算法的效率和性能。152三维点云图像被用于实验,和GTX1650 4 GB GPU和英特尔i5 - 9300 h 4核8线程CPU选择Ubuntu 18.04系统上操作。根据曲线趋势图中,可以发现,使用这个算法的平均时间是10.23毫秒,曲线趋势是平的,远远低于其他三种算法。与SBF算法相比,效率比SegBF算法高13.2倍,6.4倍SegBF算法,算法CSF和8.3倍。综上所述,本文的方法具有良好的效果处理噪声和离群值中包含的3 d点云,如图6。

4.2。模型模拟试验

测试三维重建模型,分析该检测网络的训练结果,并验证该模型的可行性和正确性。为了进行更好的比较测试中,我们引入三个基准,PointNet, PointNet + +网络模型参与实验。损失曲线收敛和下降很快通过分析培训期间损失函数。该方法收敛迅速,至0.36,然后在100年达到0.178迭代。其他方法的收敛速度是缓慢的,和最终收敛值约为0.2,略低于这个方法如图7。

测试目标点云分割的准确性。融合后的图像特性,该方法有更强的能力来表达数据和了解更多信息。准确率高达84.2% 20迭代的迭代和100年的92.9%。曲线趋势远远高于其他三种方法,和设置是合理的,如图8。

4.3。模型检测效果

以在某个地方的一个废弃矿井为实验网站,三维重建的矿业遗产保护工作进行测试模型的实际应用效果。我们可以调查9个不同类型的地形和不同的开采情况,包括40矿区调查网站。在这个模型中为每一个不同类型的挖掘现场,激光点云可以分为地面点和nonground点,测试结果是好的。最后,完成了三维重建模型和实际的现场数据进行测试,以获得满意的巧合,和整体效果好,都在70%以上,最高可以达到95%,如图9和10。

5。总结与展望

一些闲置的矿业遗迹资源丰富,在科学研究上有很高的价值和观光。合理的重建可以更好地保护地质和矿产资源,对城市发展带来新的的好处,避免环境污染,,同时,减轻废弃矿物的隐患。摘要目标探测技术是用来探测的位置我的研究,和无人机配备深度相机配备了激光雷达观察我的局面,改善传统的点云滤波算法,提高算法的处理速度。基于深度学习框架,创建3 d重建系统通过集成点云图像,它提供了一个有效的参考评估和矿业遗产保护。本文的研究结果表明,深入学习网络下的目标检测方法具有良好的检测精度。点云与影像特征不仅可以收集距离和强度信息,而且还描述了颜色和纹理丰富的矿物质。此外,该算法与其他传统方法相比,在综合性能方面。优化算法具有良好的过滤效果对不同地形复杂的地区,可以有效地保护地形细节同时减少错误。虽然本文在研究课题进行了理论和实验研究,取得了一定的成功。然而,由于人力资源的局限性,实验条件,重建工作的复杂性,和其他客观因素,这项研究是不全面和完善,仍存在一些不足,需要合理的改善在一系列的后续工作。 For example, the filtering algorithm proposed in this paper has obvious advantages for mining scenes, but its effect is different for different scenes, and its universality is poor. The parameters used in the experiment are too complex, which increases unnecessary calculation and lacks certain robustness, so it is necessary to optimize the parameters. In the process of data fusion in experiments, it is necessary to meet a certain number of connections between images and point clouds, and it lacks training of massive experimental samples. The three-dimensional model of mining heritage created in this paper should also quantitatively evaluate mining heritage based on AHP and construct systematic indicators for value evaluation, so that the protection work is more in line with the local actual situation.

数据可用性

使用的实验数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称,关于这项工作他们没有利益冲突。

确认

这项研究是由2020年陕西省哲学社会科学规划项目,研究山西矿业遗产的保护和发展从生态文明建设的角度(2020 yj210)。