文摘

船舶检测助理智能船舶导航的应用有严格的模型的检测速度和精度的要求。针对这个问题,本研究采用一种改进的YOLO-V4检测模型(ShipYOLO)检测的船只。YOLO-V4相比,该模型有三个主要的改进。首先,骨干网络(CSPDarknet) YOLO-V4优化。在培训过程中,33卷积,11卷积,身份并行模式是用来替换原来的特征提取组件(ResUnit)和更多的功能被提取。在推理过程中,分支参数组合起来形成一个新的骨干网络RCSPDarknet命名,使模型的推理速度,同时提高了精度。其次,为了解决漏检的小型船只的问题,我们设计了一个新的接受域放大模块命名DSPP扩张卷积和Max-Pooling,提高了模型的收购小型船船舶目标空间信息和鲁棒性的空间位移。最后,我们使用注意机制和Resnet捷径的想法提高特征金字塔结构(PAFPN) YOLO-V4和得到一个新功能叫做AtFPN金字塔结构。结构有效提高船舶模型的特征提取效果的不同尺度,减少模型参数的数量,进一步提高模型的推理速度和检测精度。此外,我们已经创建了一个数据集船共有2238张图片,这是一个数据集募捐。实验结果表明,ShipYOLO有更快的速度和更高精度的优势,即使在不同的输入大小。考虑到输入大小为320320年1080年电脑配备了NVIDIA GPU, FPS和mAP@5: 5:95 (mAP90) ShipYOLO(10.6%)增长了23.7%和13.6%,分别输入大小为320320年,ShipYOLO YOLO-V4相比。

1。介绍

与深度学习近年来的快速发展,越来越多的深度学习技术已经应用于智能船(1,2]。2020年,锅等人提出了一种细粒度的分类模型基于深度学习的RMA (3],它实现了导航的识别标志,并提供准确的导航标志信息为聪明的船只。2021年,杜等人开发了一个智能导航标志识别系统使用深度学习技术(4),这为智能船舶提供了一个有效的解决方案。使用计算机视觉技术的视觉系统识别船舶、导航标志和障碍在导航环境已成为一个重要组成部分的智能船感知系统(5]。因此,一个有效的船舶检测模型是提高智能船舶的安全具有重要意义。

有很多研究人员提出的传统的目标检测模型。传统的目标检测模型主要依靠区域选择(6,特征提取7),和分类器分类8]。2006年,中间人和组织提出了猪算法(9),组成特性,通过计算和计算直方图的本地区域的梯度方向。随后,Felzenszwalb等人提出了DPM算法(10),产生相应的励磁模板的图像特性和确定目标的位置根据励磁的分布。然而,目标检测将预测许多冗余的边界。为了应对这个问题,Neubeck和Van干傻事提出了NMS算法(11),消除冗余的边界。这个想法也广泛用于深度学习目标检测模型。传统的目标检测模型在许多方面的限制,他们不能执行图像特征。深度学习的崛起,2012年已在许多领域产生了巨大的影响,和对象检测也不例外。大量的深层神经网络参数鲁棒性较强的可以提取特征和语义相关性、分类器的性能也优越。因此,基于深度学习的对象检测模型可以更好地学习图像的特征。基于深度学习的对象检测模型主要以两种形式存在,两级和单程。主要区别在于预测对象的位置信息的边界和边界的类别信息在一个步骤。2014年,Girshick等人使用结合地区候选人和CNN的想法提出一个两阶段检测模型R-CNN [12),打开了章目标探测的深度学习。提出基于R-CNN Girshick快速R-CNN [13)实现端到端检测和卷积分享功能。2015年,任正非等人提出了加快R-CNN [14)目标检测模型。锚框架理念和该地区建议网络设计,大大提高了R-CNN系列模型的检测准确性和LSVRV和可可比赛赢得了许多“第一次”。2018年,Redmon和哈蒂提出YOLO-V3 [15],许多优秀的想法添加到网络,如残余思想(16),多层特征图(17),没有池层。同时确保有人知道由罗系列的检测速度,提高模型的检测精度。深度学习的持续改进技术,越来越多的方法从不同的角度提出提高目标检测精度。2020年,为了提高检测效果的模拟仪器、黄等人提出了一个改进YOLO-V3算法在机器人检测过程(18],它可以有效地定位仪器,具有良好的检测效果。2020年,基于原始YOLO-V3 Bochkovskiy等人综合的优化策略在CNN领域近年来,包括数据处理、骨干网络,网络训练,激活函数,和损失函数,提出了一个更好的单程对象检测模型YOLO-V4 [19]。与YOLO-V3相比,YOLO-V4模型使用更丰富的数据增强方法,包括镶嵌数据增强,坐在self-antagonism培训。的基础上YOLO-V3的骨干网,米什激活函数和的想法CSPNet介绍了提高骨干网络的特征提取效果。背后的SPP模块添加骨干网络,进一步提高模型的接受域和进一步提高检测效果。

同样,许多船舶检测模型提出了基于深度学习研究人员。像通用对象检测模型,船舶检测模型也有两级和单程形式。李等人提出了一种SAR图像舰船检测模型基于改进更快R-CNN [20.]。两级探测器,尽管最初的检测精度提高,建议过滤和ROI池操作限制的速度模型,,很难实现实时检测。王等人研究了应用SSD船舶检测复杂背景下目标检测模型(21)和使用转移学习技术,提高检测精度和整体性能。然而,单一特征提取网络和红外系统结构没有充分考虑小型船舶检测。陈等人使用注意力机制提出一种改进的YOLO-V3 (ImYOLO-V3) [22],将关注模块嵌入到YOLO-V3有效地提高检测的准确性,但没有进一步优化的速度模型。杰等人介绍了k - means聚类算法和软nonmaximum抑制算法优化YOLO-V3使它更适合船舶现场(23),但它属于工程提出的改进方法优化技术,并且没有解决精度问题船舶检测从模型的角度建设。山等人结合相机和惯性传感器数据,提出了一种新的基于相机运动的海洋目标探测算法的姿势(24]。该算法使用面积候选人的想法和边缘检测优化检测算法和改进船舶检测的准确性。然而,仍然使用传统的图像增强方法,其检测率不符合实际的现场智能船。2020年,李等人提出了一种改进的船舶检测算法基于YOLO-V3 LSDM和Densnet [25),减少了模型参数原始YOLO-V3的1/3,但其骨干网络使用大量的紧密连接结构。这种设计仍然会影响模型的推理速度。

总之,当前船舶检测模型仍有贫穷的问题检测速度和错过检测小型船只。首先,为了提高检测速度,使船舶检测模型实现实时的效果,和本文优化YOLO-V4的骨干网。同时确保准确性,减少模型的参数,推理速度模型的有效改善。其次,为了解决错过了小型船只检测的问题,本文设计一个新的接受域放大模块和结合了注意力机制优化YOLO-V4的原始特性的金字塔,这有效地提高小型舰船的检测效果。最后,我们得到ShipYOLO,更快和更准确的模型船检测。

2。方法

YOLO-V4模型由一个骨干网(CSPDarknet53),接受域放大模块(SPP),一个特征金字塔(PAFPN),和一个检测头(YOLOhead)(见图1)。骨干网络(CSPDarknet53)使用CSP ResUnit组成的模块组件作为特征提取部分的总体结构。接受域放大模块(SPP)使用池层不同大小不同尺度的融合特征放大接受域。金字塔功能模块(PAFPN)指PANet和获得一个两层的金字塔结构。尽管YOLO-V4具有良好的检测结果总体来说,它并没有被有效地用于船舶检测,所以YOLO-V4进行了有针对性的改进。

2.1。基于结构化Reparameterization骨干网(RCSPDarknet)

的原始ResUnit组件YOLO-V4 [16)是一个典型的multibranch结构(见图2(一个)),CBM_N由NN卷积,批正常化,和激活函数(米什)系列。显示了ResUnit组件的计算公式

虽然multibranch拓扑特征提取效果好,每个分支的结果需要被保留,直到叠加或连接,大大增加内存使用和严重影响模型的推理速度。这样的结构非常不友好的推理速度高的船检测领域的需求。因此,消除分支结构模型可以有效地提高模型的推理速度。例如,典型的单行的模型VGG [26),由多个33卷积,尽管它具有明显的速度优势,精度远不如ResNet结构。因此,本研究是指RepVgg[的想法27),并使用结构reparameterization技术来构造特征提取组件循环整数(见图2 (b)和2 (c))。虽然multibranch结构推理速度差,这种结构更有利于模型训练和特征提取。因此,为了实现速度和精度的改进,本文首先使用multibranch结构训练计算公式如下:

然后,使用reparameterization技术融合结构模型参数和训练块转换成一个33卷积层进行推理。最后计算公式的推理阶段显示为

在保证模型的准确性,有效地提高了模型的推理速度。

结构reparameterization卷积内核的过程和计算过程如图所示3。首先,卷积层和批处理标准化层残块的融合(此操作执行许多深度学习框架的推理阶段),和计算公式 在哪里W_我之前是卷积层参数计算,β_我是卷积层偏压卷积之前,μ_我是批处理的平均值标准化层,然后呢σ_我是批量的方差归一化层。

分支(a)直接执行的融合33卷积层和批处理标准化层,分支(b)执行1的融合1卷积层和批处理标准化层,(c)第一集3分支3卷积层重量的1,然后执行3的融合3卷积层和批处理标准化层(因为这个分支的值不会改变地图的输入特性,它被设置为33卷积层的重量值1,然后,它会保持原始值相乘后输入特征地图)。然后,卷积转换层后分支(b)融合成一个33卷积层(1中的值1使用卷积核为中心的33卷积核,其他地方充满了1)。最后,3在每个分支合并3褶积层,所有分支机构的重量和偏见是叠加获得33在融合网络层。

最后,我们使用了改进特征提取组件(循环整数)形成一个新的模块(RCSP)和有一个新的骨干网络(RCSPDarknet),有效地提高了模型的推理速度和有一个更好的检测效果。

2.2。基于空间金字塔池模块扩张卷积(DSPP)

YOLO-V4灵感来源于SPPNet [28),添加了SPP模块(见图4 (b)),CBL_N由NN卷积,批正常化,和激活函数(漏)系列(从CBM_N的区别是,他们使用不同的激活函数。CBM_N,激活函数使用米什CBL_N使用漏),和MaxPool_N Max-Pooling层的内核大小等于n池操作的固定块是用于整合不同特性映射到实现不同大小的融合特性,这有效地提高了检测的影响具有显著差异的图像在目标的大小和增加了接受域。然而,船船检测尺寸不同,错过了小型船只的问题很严重。最初的SPP结构和传统的卷积结构很难增加接受域捕获小型目标在空间。罗等人研究的问题接受领域深卷积网络(29日),并指出像素中心的接受字段是更大的。传球前进过程中,中心像素多路径传输像素信息的神经节点,和边缘像素较少路径传输它的像素信息到神经节点。同样,在向后传递的过程,感受野中心像素获得多个梯度从相应的神经节点。扩张的设计卷积(30.)可以减少空间特性没有减少接受域相比普通的卷积和可以有效地考虑不同尺度的特征提取的目标。因此,本文指的是扩张卷积和SPPNet,设计一个新特性增强模块(DSPP)。同时增加模型的接受域,它提高了小型空间目标特征提取的效果,有效地解决了失踪的小型船只的问题和改善船舶检测精度。DSPP结构如图4(一)。卷积DBL_N由扩张的空间间隔跨度N,批归一化层和激活函数(漏)系列。

首先,地图的特性是通过11卷积层减少渠道的数量,然后分成三个分支。的三个分支是由Max-Pooling层,卷积层和扩张卷积层串联(每个分支的卷积核的数量,数量的扩张卷积利率,和内核Max-Pooling如图的大小4使用两个3),最后一个分支3旋转而不是55旋转,减少了非线性参数和深化层。其次,联系特征图的三个分支在一起然后连接到11层用于卷积尺度转换功能。最后,指ResNet的残余结构,我们得到了DSPP特性增强模块。

2.3。特征金字塔基于注意机制(AtFPN)

在深度学习,融合不同尺度的特性,是一个重要的手段来提高性能和卷积层学习不同级别的不同深度的语义特征。红外系统(31日]提出的结构Anthimopoulos同时使用低级特征的高分辨率和高的语义信息的高级功能和达到预测的效果通过融合这些不同层次的特性。YOLO-V4有效地提到这个观点,结合PANet [32金字塔)添加一个自底向上的特征红外系统层后获得PAFPN(见图1)。这种结构利用强大的语义特征从上到下和强大的定位特性从底部到顶部和骨料从不同的骨干层不同检测层参数。然而,在PAFPN YOLO-V4结构,相同的卷积模块为骨干网络仍在使用。尽管它有一个好的特征提取效果,它带来了过多的体积参数的问题。因此,本文指CBAM结构,合并PAFPN,并添加一个残余结构设计语义层。我们是获取一个新特性(AtFPN)金字塔结构,从而有效地提高模型的精度和减少模型参数的数量。

CBAM [33)提出了吸引et al。(见图5(一个))。这种结构提供了注意力地图的通道和空间维度,分别用于地图中间特性,可以有效地帮助网络的信息。频道关注模块旨在关注哪些特性是有意义的。首先,渠道关注模块压缩输入的空间维度特征映射,使用Avg-Pooling层和Max-Pooling层,获得全局上下文信息特征映射,同时减少地图中的干扰信息功能,然后将它转发到一个共享的网络(单层感知器),最后生成频道注意力地图通过乙状结肠(见图5 (b))。显示了计算公式

空间注意补充渠道关注和目标权重分配给特性映射到空间获得有趣的地区(见图5 (c))。首先,Avg-Pooling沿着通道轴和Max-Pooling操作应用,并连接到生成有效的特征描述符,然后,空间注意力地图是通过乙状结肠。计算公式如下:

因此,我们取代了原始YOLO-V4自下而上的语义层CBL CBAM组件组件,有效地降低了模型参数,并增加了目标区域中确定参数的重量是在不同尺度特征映射。同时,我们再次提到的残余结构ResNet在每个语义层和融合的相应像素地图输出的浅特性骨干网络和多层卷积后的深功能映射来提高地图的各种特性。摘要AtFPN设计如图6。

2.4。ShipYOLO

总之,本文设计ShipYOLO,检测模型更适合于船舶领域,和模型结构如图7。首先,一个高效的骨干网RCSPDarknet使用reparameterization结构设计技术,它有效地解决了目前船舶检测实时性能较低的问题。其次,功能增强模块DSPP设计使用扩张卷积和Max-Pooling并结合特征金字塔结构AtFPN基于注意机制,同时确保模型推理速度,进一步提高了模型精度,有效地解决了小型船错过检查现有的问题在当前船舶检测模型。

3所示。实验和结果

3.1。评价指标

本文使用地图作为模型的精度评价指标,mAP@5: 5:95代表平均地图在不同借据阈值(从0.05到0.95和步长是0.05)。mAP50和mAP90得分表代表图0.5和0.9的借据阈值。地图(小)代表平均小对象的映射。FPS表示每秒传输的帧数。^#参数表示模型的参数数量。卷积层,显示了计算公式 在哪里C_o是输出通道的数量,C_我输入通道的数量,卷积内核的宽度,k_h的长度是回旋的内核,1是卷积内核的偏见。

完全连接层,显示了计算公式 在哪里米的输出向量维数是完全连接层,n是完全连接的输入向量维数层,和1的偏见是完全连接层。

3.2。数据集

3.2.1之上。公共船舶数据集

2018年,邵等人创建了一个公共数据集(SeaShips)[船34),目前由31455张照片,覆盖6常见的船舶类型(矿砂船、散装货船、杂货船、集装箱船、渔船和客船)。数据显示在图的一部分8。对于这个数据集,我们分裂的比率根据8:2和产生训练集和验证集。

3.2.2。自建船舶数据集

为了满足更丰富的场景,我们已经有了一船的数据集在自然场景,总共2238张,其中类别是一个单独的类别(船),和一些数据集在图所示9。同样的,我们把它的比例根据8:2和产生训练集和验证集。

3.3。实验和结果

我们在1080 ti环境中进行了实验。首先,我们使用三个优化策略的基础上进行实验YOLO-V4。使用我们的自建数据集和一个输入大小为512512年,实验结果如表所示1:

从表1,我们可以看到RCSPDarknet可以显著提高模型的推理速度,同时保持准确性和减少参数。将DSPP模块嵌入到YOLO-V4可以有效地提高检测精度的模型,但模型的推理速度慢于YOLO-V4。最后,模型参数的基于AtFPN YOLO-V4已经减少,和检测准确性和推理速度没有受到影响。

最后,我们ShipYOLO的性能相比,YOLO-V4, YOLO-V3在两个数据集和测试三个模型对小目标的检测精度。实验结果如表所示2- - - - - -4:

从表2和3,我们可以看到YOLO-V4具有更好的检测精度比YOLO-V3输入大小416416年和512年512年,尽管YOLO-V3检测精度优于YOLO-V4输入大小的320320年,但YOLO-V4推理速度快。通过比较和验证,船舶检测模型ShipYOLO提出比YOLO-V4 YOLO-V3准确性,FPS^#参数个数。输入大小为320320年,YOLO-V4相比,ShipYOLO mAP@5增长13.6%:5:95 mAP90 (10.6%), FPS增加23.7%,模型^#参数减少到188米。从表4,我们也可以发现我们ShipYOLO具有更好的检测效果检测的小型船只。

我们也为验证筛选一些典型的图片。如数据所示10和11,可以看出ShipYOLO解决了小型船错过检查YOLO-V4 YOLO-V3和问题有更好的边界框回归效应。数据的比较10和11和实验数据表1和2证明的有效性ShipYOLO船领域的检测。这是一艘更快和更准确的检测模型。

4所示。结论

本文提出了一个基于YOLO-V4增强模型船检测。首先,本文运用结构化reparameterization技术优化骨干网络。新骨干网络增加了模型的推理速度,有效地解决了贫困问题船速度检测模型。其次,本文重新设计YOLO-V4接受域放大模块和优化功能金字塔结构基于注意机制。这些结构完善小型船舶模型的检测效果,解决小规模的问题错过了检查船只。大量的实验结果表明,我们的检测模型ShipYOLO相比,速度和准确性有显著改善当前先进的检测模型,可以有效地应用于船舶领域的检测。通过实验,我们也发现,极端天气条件如雾蒙蒙的天气,雨天在船舶导航严重影响船舶模型的识别。因此,我们还将做更多的研究在这一节中,船只可以有效地识别在更复杂的环境。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这部分工作是支持由中央大学的基础研究基金拨款3132019400。