文摘
关注队伍,多向对象数据集在车辆鸟瞰图,CMDTD已提上日程。的原因很难在多向对象检测应用通用对象检测算法进行了分析。在此基础上,CMDTD包括其骨干网的检测原理和多向multi-information检测模块进行了研究。此外,针对面临的场景的复杂性的俯瞰车辆,提出了一个独特的数据扩展方法。最后,三个数据集已经尝试使用CMDTD算法,证明有效性高的级联多方向的物体检测算法优于其他方法。
1。介绍
与深度学习的发展,遥感的快速进展或航拍图像处理和分析1- - - - - -5]。然而,这些方法不能处理多向对象检测。有别于传统的目标检测,检测帧通常是水平或垂直巨头的检测帧多向对象检测可以矩形在任何方向。最近,多数流行的通用对象检测算法已经无效的车辆目标检测的数据集的结果仅达到52.93%。相比之下,队伍数据集上的实验结果(6),旋转检测对象的边界框,大量的小型车辆对象的俯瞰图片,和充分利用数据信息是表现不佳的主要原因。
改善的效果多向鸟瞰图车辆目标检测的数据集,该CMDTD(级联多向对象检测算法)算法利用了FasterRCNN作为基准的方法通过使用级联级联RCNN供参考。此外,车辆对象分类边界拟合预测而且的方式通过multi-information级联输出端。增加训练数据上执行一些样本的类统计数据为了解决样本不平衡的问题。通过使用方法,多向可以有效提高目标检测的影响。因此,它具有一定的研究价值实现多方向的车辆目标检测在复杂的场景。
2。研究模型
2.1。ResNeXt骨干网
与陆地车辆相比,虽然有几类飞行器的对象,类可以目睹之间的巨大差异。为了提取优越的对象特性,ResNeXt [7比ResNet),这是更强大的,被选中的骨干网CMDTD采用红外系统的特征融合方法8]。的子模块结构ResNet ResNeXt如图1。ResNet由三个子模块的卷积层。关于地图的输入特性X,X将提取的新特性,例如,F(X)在三个卷积操作。然后,剩余块输出新老的叠加特性。这个过程可以表示为
根据方程(1),获得的特性F(X)之间的区别Y和X,也称残留特点,和子模块叫做残块。基于ResNet,剩余使用ResNeXt扩大。
如图1,三个卷积层分为32组的卷积组合参数大小一致,大小的总和等于原始卷积三层。特征映射X叠加,或 ,后32组卷积特性。在此基础上,新功能与旧的叠加特性获取输出特性,如所示
尽管参数并不增加新组合,功能转换的复杂性增加,加强网络对特征的表达能力。
2.2。Multi-Information输出级联
的输出端一般探测器和multidirection multi-information检测输出图中演示了本文提出结束2。基于图2(一个),输出的通用探测器应该进行一个类决心和边界预测该地区收购提议后的RPN(区域建议网络)。被一致的输出端一般上半年探测器部分multi-information级联输出最终提出了回归的水平外边界对象。然而,它只确定对象是否前景或背景类的第二阶段的决心。此外,长度和宽度信息(长度、宽度、长宽比)的对象可以在获取对象的横向框架计算。接下来,RoI池执行一个新对象特征提取的基础上,获得了水平框架。最后,一个好的分类对象的执行在第二FCN(完全连接网络)基于对象的长度和宽度信息并提取特征。同时,第三FCN预测对象的四个顶点的位置根据提取的特征,获取物体的四边形边界框。
(一)
(b)
与陆地车辆的检测相比,大小的俯瞰车辆对象的多样化,导致它变得更加难以回归的位置。做精对象边界可以获得在第二阶段相比,对象建议地区,导致边界定位在未来。关于类的决心,对象的不同的类可能具有相同的纹理和颜色特征在不同的大小。例如,小型车辆和大型车辆与类似的颜色特征可以区分为每个对象的大小和长宽比。因此,引入的长宽比信息对象的细分类对象可以提高分类的准确性。在实现过程中,长度、宽度、长宽比计算的横向框架可以获得在检测端,可以引入FCN一起特性减少1000倍。
在训练,最终由四个损失,损失和两个类损失包括两个位置。横向边界的位置损失预测损失和顶点,而类损失是前台分类损失和细分类损失。其中,L1平滑损失和交叉熵应用于位置损失和损失分类损失,分别。
2.3。顶点信息的预测
定位对象边界检测端呈现在图3。摘要对象框已经退化三次检测。它是按时间顺序执行的,即对象候选人盒子,对象水平边界框,和旋转的矩形,虚线框对应的淡蓝色,蓝色虚线框,用绿色矩形框。
浅蓝色的虚线框是远离现实对象的边界。这是因为该地区建议网络根据锚就退化到对象边界。如果锚点的位置偏离对象边界,一个贫穷的回归效应将会实现。在实验中,锚的纵横比(1:1,1:2,2:1,1:3,3:1]基地6像素的大小,以适应密集的小对象和对象。蓝色虚线框的水平边界框是回归在第二阶段。这种回归接近真正的边界对象的对象作为该位置是外部连接到水平矩形回归对象。绿色的矩形框是通过回归得到的四个顶点水平边界框,和预测方程如下所示: 在哪里x,y, ,和h中心坐标、长度和宽度的横向预测框架,分别。和全连接网络可以获得通过回归的第一个顶点对象tx1和ty1。在培训过程中,点最接近水平边界框的左上角的对象是作为第一个顶点,顶点,第二,第三,第四顺时针顺序。真正的预测数量可以计算 在哪里和是真正的顶点的坐标;和是真正的预测。期间与平滑L1损失和计算进行培训。其他坐标点在类似的方式计算。
2.4。不平衡数据分布和数据增大
可以看到从图4,可以发现由于密集的车辆和船舶的质量场景等港口和停车场车辆图像的鸟瞰图。切割后的训练集、船舶和车辆有很高的比例。相比之下,其他类有相当比例。
图片的5类(包括足球场、运动场、橄榄球场,棒球场,和迂回的)之间的比例最少的数据扩展,以便应对训练数据不平衡的问题。根据扩展过程呈现在图5同时,水平翻转、垂直翻转,水平和垂直翻转图像上执行。在这一点上,数据类的很少有比例增长了3倍。因为其他类可以在增强图像,这些类将适当扩充。和所有类的增强率在图所示6。
3所示。实验结果
3.1。实验数据集和评价指标
验证场基于车辆发动的数据集上执行:队伍(6]和HRSC2016 [9摘要]。此外,CMDTD也对多向场景执行验证和ICDAR2015 [10]。作为一个大规模的俯瞰车辆图像数据集,队伍数据集包含1411个训练图像,937测试图像和458验证图像。这些图像大小范围从800 800×4000×4000,包括15类和188、282实例对象。数据集提供了水平矩形标记和顶点打开标签和两个检测任务。第一个任务是一个多向对象检测任务,第二个任务是水平目标检测的任务。
HRSC2016是一个数据集的俯瞰海事车辆图像起源于6个主要港口。具体而言,数字的训练集,验证集和测试集是436年,181年和444年,分别和图像大小范围从300×300到500×900。ICDAR2015数据集是起源于ICDAR 2015健壮的检测任务阅读比赛。这是一个任务,收集在现实中拍摄的图像。特别,1000 1500图像训练图像,而剩下的500张图片是测试图像大小为720×1280。
与其他方法比较,CMDTD采用映射的计算标准评价方法在队伍和HRSC2016和评估ICDAR2015 F-measure。计算的指数是召回率和精度,显示如下: 在哪里一般设置为0.5。
3.2。实验装置
实验环境为CMDTD配置如表所示1。
关于ICDAR2015数据集,CMDTD处理通过把图片切成1088×1088数据集在某种程度上类似于队伍。除此之外,网络输入大小设置为1088×1088在训练,通过训练频率和参数细节与HRSC2016一致。网络的输入大小设置为720×1280进行测试,这样可以输入图像在其原始大小进行测试。
3.3。结果比较
五种方法的比较结果,如CMDTD和RRPN [11],ICN [12],SCRDet [13在队伍数据集任务1(多向检测)显示在表中2。地图索引CMDTD高于其他方法,达到72.81%。此外,关于小目标检测,第一和第二位置的检测精度CMDTD属于船舶和汽车为85.5%和69.51%,分别。
在CMDTD 5方法的比较结果,RFCN [6],ICN [12],SCRDet [13]在队伍数据集任务2(水平检测)如表所示3。的检测结果CMDTD在水平方向上以获得最小的外部矩形矩形旋转的结果。其中,本文提出的方法与地图达到73.7%,排名第二的超过大多数的其他方法。
CMDTD 6方法的比较结果,包括ICDAR2015数据集,CTPN [18],RRPN [11)如表所示4。这些方法检测方法基于一个阶段两个阶段。综合评分的方法在本文中排名第二,达到了83.88%。一个优秀的可以观察到的性能。
CMDTD 7方法的比较结果,包括HRSC2016数据集,RRD [22],R2CNN [20.显示在表5。地图索引的方法提出了排名最高,达到了89.68%。
3.4。不同的模块对模型结果的影响
不同的设置对模型结果的影响,包括级联的影响,位置信息对分类的影响(23,数据增加的影响调查CMDTD队伍任务1。结果如表所示6。实验结果展示如下:
为数据增加的影响,模型的映射由CMDTD训练数据集没有数据增加实现仅为72.48%。此外,足球场上的检测效果,橄榄球场,和棒球场下降了5.8%,3.33%,和3.29%,分别。
检测结果CMDTD的两个天线视图的图像数据集可以在数据中找到7和8。从图可以观察到,队伍中有大量的对象数据集大小和比例方面的显著差异。HRSC2016数据集长矩形的对象。CMDTD可以有效地捕获对象在不同方向24),这也提出了一个令人满意的检测效果小物体(25]。
4所示。结论
首先,基于空中鸟瞰视图的车辆图像对象数据集提出了克服的缺点鸟瞰图的通用对象检测算法。在此基础上,提出了CMDTD。的原因很难在多向对象检测应用通用对象检测算法进行了分析。在此基础上,检测CMDTD原理,包括其骨干网,多向multi-information检测模块,和鸟瞰图的车辆数据增强方法进行了研究。最后,三个数据集已经尝试使用CMDTD算法,证明有效性高的级联多方向的物体检测算法优于其他方法。
数据可用性
的利益冲突
作者宣称没有利益冲突。