文摘
个人树皇冠检测和形态学参数估计可以用来量化的社会、生态、景观价值的城市树木,在人口建造城市扮演越来越重要的角色。在这项研究中,一种新的体系结构基于深度学习开发自动检测树冠和估计皇冠大小和树高的红绿蓝(RGB)图像。架构的可行性验证了基于高分辨率无人机(UAV)使用神经网络图像称为FPN-Faster R-CNN,这是一个统一的网络结合特征金字塔网络(红外系统)和更快的提出卷积神经网络(R-CNN更快)。树在超过400克朗,包括213克朗银杏叶174年7复杂的测试场景,银杏树冠被正确识别,产生召回级别的0.82。的精度和 - - - - - -分别得分分别为0.96和0.88。平均绝对误差(MAE)和平均绝对百分比误差(日军)冠宽度估计0.37和8.71%,分别。美和日军树高估计0.68和7.33%,分别。结果表明,体系结构是可行的,可以应用于许多复杂城市场景来满足城市绿地库存管理的需求。
1。介绍
城市树木扮演重要角色在人口建造城市,包括减少大气二氧化碳的活动,缓解城市热岛效应(1,2),隔离噪声(3),减轻城市洪水风险(4),和为野生动物提供住所5,6]。城市树木的详细数据,如种类、位置、数量、胸径(胸径)、树高、冠大小,对于量化这些利益至关重要。传统上,树现场测量获得的属性,这是劳动,cost-intensive [7]。个人树皇冠检测(ITCD)基于遥感技术,提供空间明确的数据的优势,可能与好的时间分辨率和低成本6),可以促进城市绿色空间库存开发和监控。
ITCD技术一直被用于森林监测和由2阶段:(1)定位和描述个人树冠和(2)树种分类和估计形态学参数如皇冠大小,树高,胸径([8])。
在位置和描述阶段,数据来源和计算方法是两个主要因素的结果。不管数据源,一棵树冠等方法应该首先被自动检测到的局部极大值(9),模板匹配(10),和图像二值化(11];然后,冠边缘应划定通过各种方法,如地区发展(12],分水岭分割[13],和山谷流动[14]。数据分为三类,即。(即,被动的来源。,visible light, multispectral, and hyperspectral), active sources (i.e., LIDAR and radar), and both passive and active sources; data type has a great impact on the results [15]。近几十年来,越来越多的LIDAR-based ITCD研究已经开展,因为激光雷达提供了精确的三维表面信息。此外,皇冠描述进行了基于多光谱图像包括波长带植被特征的识别的关键(16]。
在阶段2中,树顶的位置和形状描述在第一阶段申请物种分类和参数估计。例如,树冠从高光谱和多光谱图像中提取可分为精确的基于支持向量机等方法和随机森林6,17,18]。皇冠大小可以直接测量得到的树顶的形状。如果物种树的王冠是已知的,我们可以推断出一些参数,如胸径和树高,基于线性回归模型确定冠大小之间的关系和其他参数(7]。如果3 d表面信息也可以,树高可直接提取(19- - - - - -21),我们在下面讨论。激光雷达数据的最早和最准确的估算树高的数据类型。Morsdorf et al。22)派生树高从单个树分割基于激光雷达点云,和准确性评估显示强烈的估计和活动区实测树高之间的关系。的后续发展structure-from-motion (SFM)技术,三维点云可以从遥感图像生成,和它成为一种流行方式估计树高由于其低成本和容易获取过程比激光雷达技术。根据不同的研究中,树高据估计基于SFM技术(7,19,23- - - - - -25)、高协议可以实现遥感估算和实地测量。
与森林、城市的焦点是单独的树木,而不是森林站(26]。研究城市树木通过遥感面临以下挑战:(1)城市树木分布在复杂环境中干扰背景,例如,建筑,草坪,和低植被;(2)城市树木不均,大小不同,常常与沉重的树冠重叠组(27];(3)可能有很多树种在一个小区域(26]。近年来,许多方法已经被提议使用遥感数据来应对这些挑战。林等。28)开发了一个三步法适用于个别树木的探测无人机(UAV)斜图像。戈麦斯et al。29日)意识到个人城市树顶检测分表卫星图像使用标记点过程和几何光学模型。刘等人。6)和Mozgeris et al。26)确定树种在高分辨率光谱图像检测和分割个人树冠基于激光雷达技术。这些研究表明,城市树冠的检测和分类是重要的但仍然困难。一些专业方法设计根据城市的特点,提出了估算城市树木的形态参数。吴et al。30.)使用移动激光扫描提取街道树高、冠大小和胸径。娇和邓31日]估计树高基于树的影子的大小使用太阳角度和图像拍摄的时候。
先前的研究在森林和城市ITCD都证明了检测树种和估计的巨大价值重要的树形态参数准确、自动。然而,这些研究都是基于不同类型的数据源和多种方法。缺乏标准化的管道数据采集和处理和集成计算架构限制电流的实际应用方法。因此,迫切需要建立一个实用的集成架构,设计中应重点解决的挑战ITCD城市树木通过以下功能:(1)在城市环境中准确地检测特定树种;(2)推断关键树形态参数;(3)全自动的方式进行计算;和(4)进行数据采集和处理支持计算的方式不仅方便、经济,也容易标准化。
近年来,深度学习方法,尤其是深卷积神经网络,在目标检测都取得了极大的性能,基于深ITCD研究卷积神经网络取得了良好的效果。莫拉莱斯et al。32分段王冠的Mauritia flexuosa在亚马逊雨林基于DeepLab v3 +架构的准确性达96.60%。Ampatzidis和Partel检测柑橘树的精度和召回99.9%和99.7%,分别基于深度学习网络(33]。
考虑到缺乏一个完整的架构ITCD与实用功能,本研究提出了一种自动城市树冠检测体系结构基于深度学习,可以获得数量,位置,皇冠大小和树高的树种的RGB图像。具体来说,神经网络,FPN-Faster R-CNN,适应在这项研究中,和丰富的评估进行的实验是基于高分辨率无人机图像。结果表明,城市树木的ITCD研究架构是有前途的,虽然还有许多工作需要进一步改善其性能在不同的实际应用。
2。材料和方法
2.1。研究地点
在这个研究中,三个研究地点选择在临安:浙江农业和林业大学校园之一(ZAFU) Qingshanhu湖西海岸线之一,居住区(图一分之一1)。临安,一个典型的森林城市,位于杭州,浙江,中国,集中在纬度/经度119.72°/ 30.25°。它有亚热带季风性气候,植被是亚热带常绿阔叶林。
银杏叶,落叶树主要分布在路边,被选为检测目标。所有训练数据和测试数据收集的三个研究网站,有很多的地方银杏叶树。
2.2。体系结构
图2演示了一个建议的体系结构的一般流程图自动检测冠和估计形态学参数。给出一个详细的解释如下。
数据对于架构至关重要,必须满足以下先决条件:正色摄影和树冠高度模型(CHM)。正色摄影,即。,an image with a perfectly straight-down view of all objects, is needed to estimate crown size, whereas the CHM, which is a surface height distribution map, is essential for extracting tree height. Fortunately, we found that both an orthophoto and a CHM can be synthesized from a set of RGB images with a high overlap rate.
深度学习,一般家庭使用多层神经网络的方法,已被证明有效的分类、检测或分割对象的图像。对象检测神经网络和实例分类神经网络可以应用于该体系结构(见部分4.2)。图中概述的深入学习系统2集成所需的所有功能,包括数据输入、预处理、神经网络建设、培训、验证、分析和输出。在检测之前,应该基于训练数据训练神经网络;所有训练参数存储在一个模型文件。在检测过程中,系统完成以下操作顺序:预处理输入正色摄影,建立深层神经网络模型文件,检测神经网络树冠,并输出检测结果。FPN-Faster-RCNN对象检测神经网络,用于验证本研究的架构。
边界框(bbox,图3(一个))是通用对象检测网络的输出形式。(输出形式的对象段网络bbox,面具;参见4.2)。我们可以获得bbox统计的数量和位置,这也可以用来估计皇冠大小和树高。
(一)
(b)
传统上,皇冠大小是由冠宽度,皇冠直径,或皇冠区域,可以计算bbox或面具。例如,冠宽度(两个测量的意思是沿着南北与东西方向;林w . et al。34];Minckler和金里奇(35];Vaz蒙泰罗et al。36)简单地等于双方的平均长度的bbox(见方程(1))。(所有图片的顶部在这项研究中对应于北)。
相应区域的最大像素值的bbox(也就是说,最亮的点的值在每个bbox) CHM,一种名为树冠高度模型映射,可以大致估计为一个树(图的高度3 (b))。很容易找到的位置CHM因为CHM bbox,正色摄影源自相同的RGB图像。
如果数据和模型都准备好了,三个任务检测树冠,估算冠宽度,估计树高度可进行连续在一个程序没有额外的干预。
2.3。数据收集
本研究中使用的无人机收激发2(收科技有限公司,有限公司,深圳,中国),包括四部分:飞机,遥控,相机,和电源。所有任务都飞的高度30 - 100 m以上发射场。纵向重叠,重叠都设置为90%。相机设置为东方垂直表面。每个航班的总飞行时间不到15分钟。所有航班在微风或无风条件下进行。
表1提供一个汇总的数据收集。共有七个典型场景,T1-T7,被选为测试场景(图4与T1),从研究站点(图1从研究site B), T2, T3-T7来自站点C .训练数据也从网站收集B和C,其中不包括测试场景。正确计算冠大小,图像用于测试正色摄影,从重叠的无人机合成图像。然而,图像用于创建训练数据不仅包括正色摄影还原来的无人机图像。这两种类型的图像被使用,因为一般神经网络的性能改善质量,多样性,增加训练数据量(37]。虽然大部分的树冠在最初的无人机图像可能来自一个斜角,图像被用来增加数据的多样性和体积。几乎没有可用正色摄影培训以来,大部分的图像原始无人机图像用于训练的人。
总结在表7的测试场景2。树高的参考数据是来源于实地测量使用激光测距仪用三角测量的方法获得的。冠宽度得到的地面实况正色摄影手动测量的领域而不是因为正色摄影非常高的分辨率;因此,从正色摄影获得的数据将比实地测量更准确。
2.4。数据处理
如图5生成的点云从重叠的图像,包括三维点数据,可以直接用于创建正色摄影和dsm。数字地形模型(DTM),它代表了地形表面,可以生成从点云提取最低分,并用逆距离加权插值(IDW)方法。然后,CHM,记录树高和其他特性,等于DSM和DTM的区别(见方程(2))(7]。如果一个点是树的顶端,我们可以获得它的海拔从DSM,地面高程的DTM, CHM树高。
收集到的照片被处理3 d建模软件Agisoft光扫描图专业版1.5.1 (Agisoft LLC、俄罗斯)。这个软件被选中,因为它已被证明有效的生产扫描线orthorectified图像(38]。数据处理连续操作,包括照片对齐,对齐方式优化、建筑密集的点云,正色摄影,DSM, DTM建设。最后,ArcGIS的CHM创建操作。
2.5。FPN-Faster R-CNN
快提出卷积神经网络(快R-CNN)是一个对象检测网络基于卷积神经网络由任et al。39]。如图6R-CNN更快,输入是一个图像,和周围的输出是bboxes对象被R-CNN程序越快。第一个模块的速度R-CNN事先,输出是一组特征图。第二个模块是该地区建议网络(RPN),生成一个bboxes列表的可能目标的位置。更有可能bboxes存储在感兴趣的区域(ROI) bboxes池作为候选人。最后一个模块,分类器,由确定的完全连接层和输出最优对象类别和bboxes基于损失函数。快R-CNN已被证明非常有效的检测,它的细节可以在文献中找到(39- - - - - -41]。
在快R-CNN,只有小规模事先功能层用于目标检测。层是更好地识别简单的对象比不均匀分布,不同的大小,重叠的树的花冠。
许多研究发现,小型功能层更有利于提取低分辨率、语义功能强,而大规模的功能层是有效的在高分辨率的区别,语义上疲软的特征。特征金字塔网络(红外系统)是一种新型结构,结合了一个小规模的大规模功能层和功能层通过自上而下的路径和横向连接(42)(图7)。自上而下的路径创建大规模的功能层由小规模upsampling功能层更高的金字塔。新创建的层然后用功能增强层的自下而上的路径通过横向连接。每一个自上而下的功能层可以被视为一个对象集合中提取的横向网。这种架构可以提高高分辨率的语义对象,而且它非常适合检测不均匀分布,不同的大小,重叠的树的花冠。
红外系统可以合并到其他网络来改善自己的表现。图7说明了网络FPN-Faster R-CNN在本研究采用检测树。
培训是基于pretrained模型文件。一些硬件和软件参数模型的训练表所示3。
2.6。精度验证
树识别和描述的整体性能是评价使用精度,召回和f值。精密意味着所有检测到的对象的正确的比例,和回忆是指正确的比例应该发现的所有对象。的F1-score调和平均数的精度和召回,是指整体精度29日,43]。
总体精度f值被定义为
精度和召回的定义如下:
TP, FP、FN和借据定义如下:
冠宽度和树高的错误估计进行评估的平均绝对误差(MAE)、平均绝对百分误差(日军)和均方根误差(RMSE),由方程(6),(7)和(8)如下(在哪里是真正的价值和是估计):
3所示。结果
3.1。树顶检测
在这项研究中,典型小场景(图74)被选为测试因为使用只有一个大型测试区域,在先前的研究,代表城市景观可能不足。测试场景T1代表一个典型的道路,T2代表一个典型的居住区,T3和T4代表地区包含树大小不一的王冠,T5和T6代表地区有许多重叠的树冠,和T7代表一个地区草坪的颜色背景相似的花冠。测试场景T3-T7,浙江大学实习和校园的植物园,是具有挑战性的检测。如图4,结果是可以接受的。
表4介绍了检测结果为每个图像。树有超过400克朗的图像。比较实际检测对象与213年银杏树木,我们发现,174年被正确识别,39个假阴性;召回是0.82,精度为0.96, - - - - - -分数是0.88分。
皇冠等自然因素的影响大小,树冠重叠,检测精度和背景的复杂性,一直在先前的研究中提到的第一个问题要考虑,这里讨论。为了方便起见,银杏的两排树衬里的道路和树木在T1和T2分为简单目标,和所有其他树冠被归类为努力的目标。表5显示了简单评价结果目标和努力的目标。
大多数委员会和遗漏错误是小冠T3和T4和重叠冠在T3、T4, T5, T6。然而,遗漏错误T7是由草背景和阳光。一般来说,结果是可以接受的,因为重叠太严重了,我们只能通过现场测量确定一些冠冕。
尽管上面提到的问题,我们的方法表现出很好的性能:(1)无论现场,简单的目标探测的精度很高,表明我们的方法的稳定性。(2)虽然有许多其他树种(超过200)在幕后,我们的方法不正确分类的其他树种银杏树木只有3次,展示良好的分类性能。(3)大多数人工特性,比如建筑和道路,不干扰识别银杏树木。只有一个遗漏错误由于人工特性,在左下角T2和路灯阻塞有关。(4)树的不均匀分布冠不包括重叠对测试结果的影响最小。
3.2。冠宽度
只有正确地检测到银杏树木在这一节中讨论。活动区实测冠宽度,如前所述,代替手工测量的正色摄影被用作参考数据的高分辨率正色摄影。冠宽度估计,美是0.37米,日军为8.71%,和RMSE是0.495米。最大的皇冠宽度估计误差百分率为37.2%。
图8(一个)显示手动测量冠宽度之间的关系,并自动估计冠宽度。图8 (b)显示错误(百分比 )分布。结果显示良好的地面真理和估计之间的协议。一些点线 对应于重叠的花冠。
(一)
(b)
(c)
(d)
3.3。树高
在前一节中,只有正确地检测到银杏树木在这一节中讨论。树高的最大绝对误差百分比获得的自动检测是67.8%,美为0.68 m,日军为7.33%,和RMSE是0.987米。
图8 (c)介绍了现场测量树高之间的关系,并自动估计树高。图8 (d)显示错误(百分比 )分布。结果显示良好的地面真理和估计之间的协议。点远 可能是由于不可预测的干扰因素。
3.4。借据
在这项研究中,借据作为评估标准确定检测冠冕。这一标准被用于一些最近的研究(44,45]。借据阈值最终选择使用本文为0.5,深度学习研究的普遍标准。在更高的阈值,检测精度下降,较低的阈值,检测精度提高(表6)。然而,检测精度提高最低限度,当我们降低了阈值为0,这意味着很少(只有4)bbox借据在[0,0.5],说明的性能FPN-Faster R-CNN。
借据阈值也强烈影响冠宽度的误差统计,因为从bbox冠宽度计算。在更高的门槛,美和日军冠宽度减少。
我们相信,树高估计的准确性的影响主要是通过以下几个方面:(1)从现场测量和误差CHM地图,(2)树的最高点是在bbox,和(3)人工干扰对象。如果一个bbox有大的偏差( ),树的最高点可能不是里面,导致一个不正确的树高的估计。当 ,寻找的最高点树冠通常产生了正确的结果,错误主要是来源于实地测量和CHM地图。此外,还有无数复杂的场景和不可预测的干扰因素在城市。例如,如图9在树高,一个大的偏差估计发生由于路灯。
4所示。讨论
本文提出一种新颖的方法来方便高效地地图个体数量,位置,皇冠大小和树的高度银杏叶树。
4.1。数据源
对我们的研究有一些常见的数据源;例如,正色摄影可以从RGB,合成多光谱、高光谱图像,激光雷达数据或高重叠的RGB图像通常被用来创建一个化学加工。考虑深度学习的强大的检测功能,在本研究中,我们选择一个方便的、低成本的数据解决方案正色摄影和化学加工都由高度重叠的RGB图像。这种方法并没有经常被采用之前的研究由于穷人光谱信息的图像。
然而,几个正色摄影的质量并不理想,因为有一些扭曲的王冠,特别是在密集的地区,由于正色摄影合成过程。此外,一些错误在测试是由合成质量(例如,遗漏错误T6的右下角)。
此外,我们的项目还不能处理大型图像。因此,如果正色摄影的空间范围非常大,之前它应该分成小图像检测。
4.2。体系结构的灵活性
任何新对象检测网络或实例分割网络可以应用于此体系结构中,如FPN-Faster R-CNN,因为对象检测神经网络(如快R-CNN和YOLO)意思输出每个目标周围bbox,和实例分割网络(如面具R-CNN和BlendMask)所有输出的树冠的面具以及bboxes(图10)。在这个案例研究中我们选择FPN-Faster R-CNN因为其易于讨论,尽管我们会有可能获得另一个皇冠规模指标(冠区)从一个实例Mask-RCNN等分割网络。
因此,体系结构性能改进潜力巨大,因为这种灵活性。近年来,越来越多的研究关注深度学习,和新的高性能的神经网络正在不断发展。更准确的结果将是实现高性能网络采用这种架构。
4.3。比较
有一些计划侧重于建立架构实现单个城市树同时检测和参数估计。一些代表性的方法和传感器研究表中列出7。在一项研究(研究1表7),提出了一种移动解决方案与许多传感器;设计使它昂贵的和有限的可观测范围。然而,其检测的街头树(如简单的目标表5)超过98%,RMSE值估计的树高、胸径,和皇冠直径0.15米,0.01米,0.13米,显示了其良好的参数估计性能。虽然研究2的可观测范围比较大,所以它的成本。此外,没有足够的精度估计适合与我们的研究进行比较。鉴于其巨大的覆盖面和全球视界2号,带来的低图像分辨率的方法研究3实现可接受的评估结果,检测和描述精度为0.87和0.63,分别。与这些计划相比,我们的方法有几个不容忽视的好处,比如方便,成本低,功能的物种识别,并根据数据增长潜力巨大的性能改进和方法论演变。尽管如此,如何估算胸径从空气中仍然是一个尚未解决的问题。
除了上面的方案,另一个方案是可以实现个人树自动检测和参数估计。在这个方案中,树高估计和树顶检测都是进行基于CHM利用局部极大值的方法。Guerra-Hernandez et al。46)验证方案在伞松树造林,所有情节的树木被正确地检测到。的RMSE值预测的高度和冠宽度是0.45米和0.63米,分别。尽管如此,成功的验证与个别城市树木一直缺席,可能由于城市基础设施的存在,从而导致歧义当高度范围提取估计树高(6]。
此外,一些研究只专注于开发一种新的方法来检测单个城市的树。林等。28)开发了一个基于无人机斜图像,具有学习方法和欧盟委员会和遗漏错误小于32%和26%。谢et al。27)提出了一个两阶段深度学习的方法来检测城市树木基于正常高度模型(NHM)图像,它实现了F-scores在85%和90%之间。托雷斯et al。47)评估五个深完全卷积网络(FCNs)的语义分割一个树种:SegNet, U-Net FC-DenseNet,两个DeepLabv3 +变体。实验分析显示每个设计的有效性,F-scores从87.0%降至96.1%。尽管所有这些结果是基于不同的条件,我们相信的准确性FPN-Faster RCNN本研究采用高于上述具有学习方法和其他大致在同一水平深度学习网络。
4.4。应用场景
一般来说,我们的架构适用于城市环境原因2:(1)复杂的城市功能没有影响深上优于树树冠检测和(2)平坦地形在城市地区有利于获得准确的树高值。然而,小片茂密的林地的城市是一个挑战对于我们的框架,这可以归因于其使用RGB图像,它只提供颜色和纹理信息。重叠冠之间的纹理和颜色差异不明显在许多情况下,这是一个困难的问题进行深度学习。
我们相信,我们的方法可以很容易地扩展到种植园或稀疏的自然森林,草原,牧场,和其他地区树冠重叠并不广泛。然而,如果地形很复杂,高度会稍微影响的估计;Guerra-Hernandez et al。48基于CHM)估计树高获得的数据在一个地区复杂的地形和RMSE 2.84米,这是不理想。
我们相信在密集的自然森林,皇冠重叠严重会影响不仅皇冠检测的准确性,而且树高和冠大小的估计精度。不仅一个可行的解决方案是使用化学加工数据树高估计还将RGB图像训练深度学习网络。这种方法被认为是有效的,尽管一些实验用这种方法表明,仍有改进的余地(49]。
5。结论
在本文中,一种新的方法自动树皇冠检测和参数估计使用深度学习技术,提出了和FPN-Faster R-CNN用于深度学习的例子来验证架构。方法实现自动树皇冠检测和形态学参数估计在某些复杂城市场景和方便和低成本。正色摄影影响树冠的质量检测结果。一般来说,深度学习是一种非常有前途的方法,需要进一步研究,并收集的信息的准确性架构随着神经网络的发展将会增加。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究得到了国家自然科学基金(批准号U1809208);浙江省自然科学基金联合基金,中国(批准号LQY18C160002);浙江省自然科学基金(批准号LQ20F020005);和浙江科技主要研发计划资助项目(批准号2018 c02013)。