文摘

洪水的主要自然灾害之一,造成巨大的财产损失,每年基础设施和经济损失。有必要开发一种方法,可以即时检测水淹程度。卫星遥感是有用的在紧急响应;然而,随着重大弱点由于长期重温和不可用在下雨的/多云的天气条件。近年来,无人机(UAV)系统已经广泛使用,尤其是在灾害监测和复杂的环境。本研究采用深度学习模型来开发一个自动检测淹没了建筑与无人机航拍图像。一个案例研究的方法探讨了鄱阳湖的Kangshan堤。实验结果表明,焦建筑的泛滥和植被可以从图像检测准确率达到了88%和85%,分别。进一步,我们可以估算出建筑物的淹没面积根据无人机图像和飞行参数。本研究的结果显示了承诺的价值的准确性和及时的空间分布的可视化对象级的泛滥洪水应急部门的最终用户。

1。介绍

洪水是最世界上经常发生和破坏性的自然灾害。平均每年洪水造成的死亡和经济损失是1354.9人,在中国328.47亿美元,排名世界第四和第二,分别1]。传统的洪水监测使用水文过程模拟与降水地表水文站点的数据,卫星观测,根据数值模型,再分析数据和同化。这些数据有一定的局限性的时间分辨率、空间分辨率和精度(2]。这意味着需要快速检测受灾地区的先进技术,以便有效的救援活动可以尽快启动。

卫星遥感技术已经广泛应用在自然灾害发生。卫星数据的主要优点是它的时间和成本效益,因为大面积的卫星数据,可以快速聚集和经济(3,4]。空间在洪水遥感探测的应用在多种不同的时空尺度,以及多传感器操作在几个平台(5]。许多研究已经进行了洪水监测、洪水映射,和损失评估。然而,卫星图像的质量很大程度上受天气条件影响云的覆盖和阴影等效果。另一个重要的考虑是大多数卫星的长时间重新审视长期和大规模的洪水监测(可能有用6]。

近年来,无人机遥感系统已经用于灾难检测由于实时数据采集和全职观测的优势(7]。这使得无人机是一种有效的方式来调查期间被人遥不可及的高危地区灾难事件。洪水救援机构可以使用无人机快速收集数据和可视化淹没区域和掌握国家的灾难。一些研究调查了应用无人机系统的洪水风险建模(8- - - - - -10]。Lei使用无人机遥感调查和监控严寒雨,雪,2008年在中国南方冰冻灾害(11]。舒曼等人评估的准确性UAV-derived数字高程模型(DEM)和评估其可靠性洪水映射操作(12]。安妮等人证明了无人机的性能数据模拟洪水扩展和深度(13]。Hashemi-Beni等人采用了无人机系统空间映射和评估洪水评估洪水事件的程度(14]。最相关的作品集中在大规模洪水与民主党和GIS数据集成模型。然而,当洪水发生,将被困的人时间是救援工作的重点。检测水下建筑将为救援工作提供及时的信息。据我们所知,无人机的应用在对象级别检索洪水信息通常更少的调查。

淹没了对象识别等建筑,作物,从航空影像和基础设施可以救灾决策分析。无人机可以获得大量的洪水发生时图像数据。Remondino、汉族和其他学者研究洪水进行数据采集和灾害评估使用无人机遥感技术(15- - - - - -19]。相关文献表明,边缘检测等图像处理,分割,和机器学习已经广泛用于洪水检测,但深度学习技术是罕见的和不调查对于这个目的(20.]。

与无人机图像获得的图片格式和图像失真小的特点,在图像处理和信息提取增加了困难(21]。近年来,已经有了较大的突破,在计算机视觉领域的基于深度学习技术。2012年,辛顿提出了一个深刻的卷积神经网络算法和赢得了ImageNet竞争冠军在计算机视觉领域(22]。自那时以来,公司如微软、Facebook、谷歌和百度已经成功地应用深度学习在图像识别和语音识别。在洪水的研究中,常利用人工神经网络(ANN)创建一个洪水泛滥预测模型(23]。方丈优化降雨预测使用人工神经网络(24]。洪水造成的损失评估[Jimenez-Jimenez提出了一个基于对象的方法25]。

本研究提出了一种方法来检测淹没了建筑和植物通过集成深度学习和无人机图像处理。我们使用YOLOv3算法作为航拍图像和深度学习模型估计淹没的区域建筑通过无人机飞行参数之间的关系。案例研究是鄱阳湖Kangshan堤的洪水区域。本研究旨在评估受灾地区和潜在的被困的人们通过检测淹没建筑,分析了灾害强度,并为洪水救援部门提供实时数据做出决定。

研究组织如下。部分2介绍了研究区域,鄱阳湖的Kangshan堤。部分3小说的研究方法,还阐述了图像采集的过程。部分4说明了数据处理和实验结果。最后,该方法的总体成就和局限。本研究的主要贡献是将无人机图像数据和深度学习算法用于洪水检测对象级文档,提供及时的洪水泛滥的空间分布的可视化应急响应部门。

2。研究区域

鄱阳湖位于江西省北部,中国。它是中国最大的淡水湖之一,长江中下游的主要支流。湖面约3150平方公里,由赣江,Xiuhe河,新疆河流,Raohe河,和其他水源。它流入长江九江城市从南到北。鄱阳湖的地理位置如图1。

在2020年6月底,江西省继续下大雨。受强降雨和上游的水,总降雨量在江西北部是正常年份的三倍多。鄱阳湖的主体的面积扩大了352平方公里7月8日与7月2日。7月14日,面积扩大到4403平方公里,比历史平均水平2.5%(3510平方公里)在同一时期。洪水灾害影响了江西36个县的499000人。当地政府的防洪压力是随着鄱阳湖洪水面积增加。

从7月2日到7月8日,2020年,高分辨率卫星图像的空间分辨率10米被用于遥感监测由国家卫星气象中心。洪灾地区的鄱阳湖图所示2。图中蓝色表示不变水体,红色表示水体扩张,和绿色的盒子是研究区位于Kangshan堤鄱阳湖。

3所示。数据和方法

3.1。数据采集

为了应对紧急鄱阳湖地区的洪水,空中图像被Feima F200无人机系统。总共有10架次飞行,占地面积50多平方公里,和3000多个图像被无人机平台。航拍图像的重叠是70%,和横向重叠是65%。

F200无人机平台是一种轻型固定翼无人机翼展1.9米,最高飞行时间1.5小时。该系统具有较高的稳定性和可以重复高精度飞行操作。它可以扔下,乘降落伞降落,容易控制,可以由一个人操作。由于无人机的负荷有限,传感器的尺寸和重量是有限的。无人机携带微型索尼ilce - 5100相机。2430万有效像素,焦距是20毫米。图3显示了轨迹规划的一部分F200无人机配备了索尼ilce - 5100摄像机获取图像数据。表1显示了索尼相机的参数。

3.2。方法

本研究使用了无人机图像数据和深度学习方法进行洪水自动检测和估计。拟议的方法显示在图4。的方法包括三个主要步骤。

3.2.1之上。洪水图像数据集建设

目的是提取建筑物和植被被洪水淹没。因此,洪水无人机系统获得的图像需要过滤掉包含建筑和植物水下场景。自向前和侧向重叠获得图像的无人机高达65%到75%的一个形象和大量的图像是完全淹没的地区,大约600图像被筛选为洪水图像样本训练和测试。我们选择500个图像作为训练数据和100年图像作为测试数据。数据集样本如图5(部分4)。

训练数据集的建设包括洪水的收集图像和对象标识。目前,仍然没有公共数据集包括空中洪水的图片,和图片搜索引擎,如谷歌和百度是用于收集空中洪水图像。洪水完全,约有500空中图片通过互联网收集,无人机系统获得的图像,它形成一个训练数据集。之后,训练样本标签和输入功能的深度学习模型的学习。

3.2.2。深度学习模型

研究对象进行检测与Tensorflow基于YOLOv3算法框架。模型学习建筑的特点和植被被洪水淹没通过数据标签和培训。然后,淹没对象可以提取使用训练模型。

深度学习框架Tensorflow已经非常强大的多功能性。本研究选择Tensorflow操作环境。实验平台选择YOLOv3算法进行目标检测。YOLOv3在目标识别是一种新的峰值的出现R-CNN系列模型。对象检测方法与YOLOv3 [26)如图6。

YOLOv3算法将输入图像划分为∗年代网格;对于每个对象和网格,它的概率计算的对象属于网格的中心。如果概率超过一个阈值,确定网格中的一个对象。网格的边界框是建立与对象,并同时计算每个盒子的置信水平。每个边界框包含五个参数:中心的边界框的范围相对于瓷砖(x, y),宽度和高度相关的整个图像(w h),和信心的水平。

每个网格的输出包括位置信息,边界框的置信水平和类概率。因此,损失函数由三部分组成:坐标错误(错误_coord),intersection-over-union错误(错误_借据),分类错误(错误_类)[27]。损失函数定义如下: 在哪里错误_coord代表的平方误差的总和的位置信息,错误_借据误差平方和的总和的信心水平,然后呢错误_类代表类的平方误差的总和。损失函数的公式如下: 在哪里年代网格的数量输入图像分为,B是边界框的数量预测对于每个瓷砖,我_我^obj表示如果目标出现在瓷砖我和我_ij^obj表示,j在瓷砖th边界框预测我负责预测,λ_coord和λ_noobjhyperparameters,分离损失损失从边界框坐标的预测,预测盒,不包含目标的信心。深度学习培训过程中,寻找最优参数的模型,它是找到使损失函数的值的参数尽可能小(28]。

3.2.3。淹没了建筑物的评估

深度学习模型检测淹没对象;在那之后,我们可以估计淹没了对象的面积。无人机的飞行高度主要是相关的焦距(f)的相机,像素大小,图像地面采样距离(德牧)。无人机飞行参数的关系如图7和以下方程:

的公式计算对应于一个单一的像素面积如下: 在哪里德牧是地面样品距离,H是无人机飞行高度相对于地面,f是数码相机的焦距,照片是一个像素的大小的CCD数码相机。因此,淹没了建筑的面积是产品的像素区域和像素的数量。

4所示。洪水的自动检测方法

4.1。数据准备

目前,没有受洪灾地区的图像数据在公共数据集。本研究中的研究使用互联网搜索的航拍图片,淹没房屋和植被,一起获得的数据通过无人机在鄱阳湖洪水地区。软件Labelimg用于标签创建训练样本数据集。当无人机执行未来更多的洪水监测任务,获得的图像可以不断填补sample数据库来提高模型的精度和可靠性。图7显示了洪水样本数据的一部分。

4.2。训练数据标签

深入学习方法需要训练模型通过大量数据。一个重要的一步是标签中的数据训练数据集。在这项研究中,使用软件Labelimg标签的训练数据。

图8显示了软件Labelimg操作接口。选择create-RectBox按钮,淹没房屋和植被在右边。绿色的边界标记后的图片效果。如果一个图像有多个目标,重复以上步骤。一个图像标记后,它将被保存为xml文件。

本研究中所选择的训练数据包含大约1000房屋的图片和植被被洪水淹没。总的来说,标识符标记为建筑和植物。表2显示了训练数据统计。

4.3。模型训练和优化

基于深度学习的对象检测与传统的方法不同。它不再需要耗时的步骤如特征选择和提取;有效的特性发现可以通过深入学习网络。影响模型的准确性的主要因素是丰富和内涵的训练数据集。图9显示了培训过程。

模型使用YOLOv3训练算法,它花了60小时的参数优化。如果学习速率是合适的,它应保证每一轮完成培训后损失减少,维持在一个小级别的经过一段时间的培训。在培训过程中,损失将继续开始下降,下降速度很快;一段时间后,它将开始收敛,最后,它将逐渐稳定。图10显示模型的损失曲线,当迭代次数达到5000次,它开始收敛,逐步稳定和围绕一个固定值波动。

5。实验结果和讨论

5.1。实验结果

模型训练完成后,该模型可以对测试执行目标识别的图像。我们选择洪水不同场景的图像验证水下建筑和植被的识别效果。图11显示不同的场景包括图像的检测效果与质量好,照明条件下,图像在光线不足,图像被遮挡,只有建筑屋顶暴露。蓝色的盒子代表建筑识别,红色框代表植被识别。

大约100洪水图像被用于测试。对图像质量和照明条件,识别结果令人满意。捕获的图像是在光线不足时,识别精度为远程对象不满意。在图像被遮挡的情况下,只要可以捕捉识别对象的主要特征,它可以被认可。如果对象是严重堵塞,难以识别目标。图片只有建筑屋顶暴露,很少有测试数据,不能承认由于不完整的功能。然而,在一般情况下,检测和满意的识别率。

5.2。识别结果评价

模型评估与测试结果。有120个建筑在100年和230年植被测试图像,如表所示3。结果显示该模型能有效地识别淹没图像中的对象从不同的场景。整体识别率可以达到85%以上。的识别速度,每个图像的检测时间只需要2 - 4。实验表明,无人机系统可以及时获取大量数据,并且该方法能有效地识别水下建筑和植物。

5.3。淹没建筑面积估算

我们选择一个洪水图像为例,估计淹没建筑面积。示例图像的像素数量1080∗810的像素数量泛滥建筑面积包括三个天蓝色标签框,如图12计算为3159像素。

公式计算区域对应一个像素所示公式(4)。在这个例子中,参数如表所示1:

统一度量单位后,我们可以得到像素的结果是0.025平方米,和淹没面积建筑形象的例子是11078.98平方米,方程(所示5):

根据建筑物的地区被洪水淹没,受灾群众和经济损失估计,和科学决策可以疏散和救援工作。

6。结论

洪水的基础设施和财产造成很大伤害,导致巨大的经济损失。由于缺少技术,可以自动检测对象级别的洪水影响,恢复服务有时不能按时提供。传统的遥感卫星已经证明了由于轨道周期延迟反应。目前,无人机系统已广泛应用于自然灾害领域的由于适合在短时间内获得高分辨率图像。相关文献表明,无人机和深度学习技术已经用于洪水模拟模型,但是很少见,不尝试淹没了目标检测。

在这项研究中,我们将介绍部署无人机遥感系统,洪水深度学习方法,程序检测。采用案例研究鄱阳湖洪涝的面积。我们使用YOLOv3算法作为空中图像检测淹没深度学习模型建筑和植物。实验结果表明,大量建筑物和植物可以从图像检测准确率达到了88%和85%,分别。然后,我们可以估计淹没建筑面积通过无人机飞行参数之间的关系。实验结果证明了应用无人机系统的可行性和有效性检测淹没区域。这样及时洪水泛滥检测可以提供视觉灾难信息及时有效的救援活动是至关重要的。严重的洪水的地区,救援部门将根据淹没了建筑物分配资源,确保人民生命和财产的安全。

然而,仍然有一些需要改进的项目。例如,我们无法获得更多的信息,如洪水的深度和建筑物的破坏程度。对于未来的工作,我们可以使用无人机斜摄影或光探测和测距设备(激光雷达)可以生成三维(3 d)模型。更多的努力应进行深入分析通过扩大三维图像数据集使用无人机系统。考虑到灾难现场,我们将使用轻量级算法如YOLOv3_tiny和MobileNet开展未来的工作。此外,我们试图将轻量级算法集成到无人机飞行控制实时目标检测,而不是数据后处理。这可能提高淹没对象检测的效率,为灾害应急响应和救援提供及时的信息。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是支持的科研项目天津市教育委员会(批准号2019 kj143)。