文摘

目标检测和分割算法一直是一个主要的研究方向在计算机视觉领域,尤其是在研究海面图像的理解,这两个任务常常需要考虑合作同时,为计算处理器性能要求非常高。本文旨在研究深度学习海上目标检测和分割算法。本文使用小波transform-based过滤的散斑噪声抑制的方法,基于深度学习土地掩蔽的方法,和目标使用一种改进的CFAR检测部分级联算法。最后,选择最优的分离特性消除假警报。为了进一步说明该方案的可行性,本文使用实测数据和仿真数据验证方案,并讨论了不同信噪比的影响,海上目标类型,对该算法性能和态度。研究数据表明,深度学习海上目标检测和分割算法具有良好的检测性能和一般适用于船舶目标检测的不同类型和不同的态度。结果表明,深度学习海上目标检测和分割算法充分考虑了不规则形状和纹理干扰目标检测的光学遥感图像,准确率高32.7%,效率是增加了约1.3倍。深度学习海上目标检测与分割算法相比,它具有较强的目标描述能力,可以应用于船舶不同尺度的目标。

1。介绍

尽管中国海航集团产业的快速发展,当前严重的海上搜救条件和环境使现有的搜救系统的应急救援能力面临着严峻的考验。总的来说,中国现有的紧急搜索技术设备仍难以有效地满足海上运输的快速发展的需要,以及应对重大灾害和事故的能力在海上很弱,还有与国际先进水平相比有很大的差距。中国海上搜救技术和设备不能满足快速搜索遇险目标要求下的深海恶劣的海洋条件。因此,为了确保人民生命和财产的安全,护送新兴海洋产业,我们有一组可靠和高效的海上。搜索是非常必要的设备进行相应的海上搜寻工作。

海面目标检测是根据特定的目的和需求,通过增强图像对比度的方法增强图像中特定的信息,同时减少或删除不重要的或不必要的信息,从而提高整体图像质量。不同方法获得的图像,通过适当的灰度增强处理,可以减少的原始图像对比,甚至看不到任何轮廓信息是方便加工成一个清晰的图像视觉观察,使它适合随后的目标探测和识别(1]。目前,海面目标检测方法不同,可以分为两大类:第一类是基于空间域的图像增强方法;第二类是基于变换域的图像增强方法。在实际应用中,根据具体应用对象、场合,和用途,用于海上目标检测处理的方法也会不同,有时几种方法的组合将取得更好的增强效果2]。

卫星海洋目标监测平台是一个不可或缺的平台。多源信息融合可以提高检测精度,识别可靠性和时空覆盖率和降低推理的模糊。为了提高广域搜索的能力,准确识别、连续监测,和操作响应海洋目标,有必要进一步研究天基海洋目标监视系统和多卫星信息融合技术。他和姚明研究的特点和发展趋势的信息感知和海洋环境和海洋目标的融合。他们回顾了数据的特点和缺点天基海上监视系统,讨论了关键技术和未来发展方向等领域的卫星网络、时空融合,信息融合(3),但他们没有前瞻性的方法。政府的美国、加拿大和欧盟建立大西洋映射国际工作组(asmiwg)根据“戈尔韦声明大西洋合作,”和计划整个大西洋地图。这项工作的第一步是建立一个400×400公里的目标区域试点项目的映射。这里,学者如Wolfl等人介绍了选择算法用于定义这些实验领域。他们研究的算法是基于仔细选择各种利益相关者和公开的海洋环境参数。Wolfl等的研究方法涉及到一个基于地理信息系统的覆盖技术,以海洋环境的参数作为一个单独的层和结合了他们获取信息是否适用于目标区域的位置。他们的研究结果揭示了整个北大西洋地区的适用性和突出三个潜在实验映射点(4]。该方法的实现过程相对复杂,精度不高。

我国目前的主要问题海面红外图像目标探测技术的基础上,分析研究项目可用的时间和空间特征如下:(1)不足研究图像预处理方法:目前,国内学者还没有足够关注图像预处理时研究海面红外图像目标检测算法。然而,海上特殊环境确定红外图像不能显示高质量。例如,当检测弱小目标高风能和波浪条件下,强大的海浪干扰抑制或模糊目标的空间特征;在逆光条件下,海面回波影响光强反射和折射将严重降低图像质量,这不仅会导致图像亮度分布不平衡,但也破坏了原始目标的轮廓和对比信息,这将带来巨大的困难,后续检测(5,6]。因此,一个优秀的图像预处理算法是非常重要的改善图像质量,提高功能目标和背景之间的差异,提高目标探测率,提高算法的鲁棒性。(2)目标单帧检测算法具有环境适应性差。海上目标的红外单帧检测算法目前在中国的销售人员经常有一个相对单一应用程序场景或应用程序的目标。虽然应用场景的限制或应用程序目标有利于提取先验信息,从而提高算法的检测率,然而,在实际的海上目标红外搜索过程,现场信息和目标信息无法预测或有限。因此,应用程序的算法条件列表是很难被应用在实际工程;否则,它将导致高漏警率和误警率(7,8]。此外,在一些恶劣的海洋环境(如浓雾、背光和大风),现有的单帧检测算法也很难准确地检测到目标,所以它不能保证算法的鲁棒性在不同的海洋环境。(3)多帧决策算法严重受到图像序列的帧间抖动的影响。在实际的海上目标红外搜索过程中,成像平台将随机震动由于海风和海浪的影响,这将导致图像序列帧之间出现“偏差”。这将摧毁目标帧之间的运动的连续性和轨迹的一致性,从而影响最终的目标探测率。(4)该算法缺乏系统的实验验证。在现有文献中或发表研究结果,实验验证阶段经常使用少量的海视频图像捕获在特定场景中验证算法和缺乏验证数据在复杂和多样的环境条件,因此很难反映或担保。算法的环境适应性和鲁棒性是极其不利的实际工程应用[9,10]。

由于坏天气的影响,如多雾多雨的天气在海面,长途传输,和大气衰减,图像对比度拉伸后仍有细节模糊的问题。摘要小波transform-based过滤方法是用于散斑噪声抑制,更深的学习。方法用于土地掩蔽,目标检测部分采用改进的CFAR级联算法,最后选择最好的假警报排斥分离特性。为了进一步说明该方案的可行性,本文使用实测数据和仿真数据验证方案,并讨论了不同信噪比的影响,海上目标类型,对该算法性能和态度。研究数据显示,深度学习海上目标检测和分割算法具有良好的检测性能和一般适用于船舶目标检测的不同类型和不同的态度。

2。该方法

2.1。传统Grabcut图像目标分割算法的原理和步骤

2.1.1。Grabcut图像分割

Grabcut图像分割方法是一种基于图分割方法,将图映射到一个网络图。通过设计的能量函数,图像分割的能量最低,图像分割,找到最小能量函数。彩色图像由像素的RGB颜色空间(11,12]。因为很难创建一个足够的颜色空间直方图,GMM模型(高斯混合模型)是用来建立一个彩色图像数据模型。的基本步骤如图所示1。

当前Grabcut算法使用一个交互式方法手工马克前景目标图像,然后完成最后的分割操作根据前景和背景之间的差异。然而,当处理大量图像、手动标记前景目标是乏味的和大量的工作效率较低13,14]。

2.1.2。SSD模型训练

SSD卷积神经网络模型训练使用开源TensorFlow深度学习框架由谷歌提供的。有20种PASCALVOC2007数据库中的图像,包括人、汽车、飞机、和各种各样的动物。SSD的培训过程中,您需要输入图像和真实的标签框。卷积运算后,默认的盒子与不同纵横比评估在每个位置与不同尺度特征映射。对于每个默认的盒子,它预计为所有对象类别、形状的偏移,和信心。在培训期间,第一场比赛这些默认的标签盒。如图2,Jaccard相似系数之间的真正目标框,默认目标框计算。默认目标框相似系数最大的是搭配的真正目标框,确保每个真正的目标框架有一个默认的目标帧对应于(7,15]。

2.2。海洋目标探测的特征

深入研究海面的红外图像目标检测方法和海面目标检测的发展机制复杂的海洋条件下将帮助中国海上搜救能力大大提高,缩短中国与发达国家之间的技术差距,从而提供大部分的海洋生命和财产的安全人员。护送为中国的发展提供了强有力的支持,世界主要海洋经济(16]。目标检测算法基于时空特征的分析是最早和最经典的红外目标检测算法(17,18]。这种算法通常使用一个单帧检测和多帧决定连接解决方案,首先提取可疑目标区域根据空间特征(如灰色对比、纹理和梯度)的单帧图像,然后利用目标运动的连续性和轨迹的一致性的图像序列判断每个疑似目标,从而消除虚假目标。目前,与目标检测算法相比,基于时空特征的分析,目标检测算法基于随机信号处理可以实现更出色的海面红外图像的目标检测性能。然而,由于极其高昂计算需求的目标检测算法基于骨髓机信号处理,甚至使用程序加速技术(GPU和FPGA等)不能实现实时检测目标(19,20.]。

2.3。分割算法的特点

图像分割是遥感图像处理的一个重要研究内容。可见光遥感图像的处理已广泛应用在军用和民用应用程序中,以及可见光遥感图像的分割是一个重要的研究内容21]。大多数现有的遥感目标提取方法是基于一个特定类型的目标在红外图像或SAR图像和可见光遥感图像分割方法大多是针对地形分类中低分辨率的图像。

功能分类被认为是一种分割。现有分割方法等区域的目标通常是低效率的实时和穷人。中期和高分辨率的对象目标明确边界,目前的提取方法基本上是人类经验的半自动加工阶段的解释或人机交互,需要解决智能和自动化的对象提取(21,22]。

在红外弱目标检测算法设计,目标的特征提取采用的方法提取目标的最小外接矩形在当地社区的目标,这是一个非常耗时的方法。针对系统可用于其它场合的实时要求高或目标附近规模较大,外切矩形的方法可能无法满足实时要求,这就需要提高目标特征提取方法。由于贫穷的问题基于卷积神经网络实时目标检测方法,在下一步中,牛奶的源代码需要优化和实现,尤其是对CNN前馈计算模型,算法等价的优化和近似优化需要考虑,和性能保证的前提下完成原型算法的硬件实现和通过实验室注入仿真平台进行测试和验证23]。

2.4。Grabcut分割

2.4.1。颜色数据模型

Grabcut算法使用通用汽车建立数据模型为彩色图像目标切片。它使用的协方差GMMK高斯组件(通常K= 5)模型图像的前景和背景像素获得高斯向量 ,在哪里k_n是形象。的nth像素在图像属于高斯组件,k_n, 。因此,图像中每个像素对应于一个高斯组件从目标GMM或背景GMM,所以整个图像的吉布斯能量

的公式,不透明, ,0代表图像背景和1表示前景目标;它是基于灰度直方图的统计图像的背景和前景像素之间, ,z像素值是一个数组,计算梯度统计数据。主要的GMM组件的影响k介绍了GMM模型:

的公式,U区域能量项,代表消极的概率的对数像素属于背景或目标,表明图像中的一个像素分类为背景或目标惩罚。混合高斯概率密度模型定义如下:

的负对数方程(3)可以写成:

的公式,GMM的参数R三个项目:每个高斯组件的重量,一个=B(数量的像素属于高斯组件)/(像素)的总数);平均每个高斯组件的价值μrgb的三个渠道。有三个元素向量协方差矩阵 ,这是一个3×3矩阵,表示如下:

一旦三个参数 ,和描述背景GMM和确定目标图像的GMM,输入的彩色图像RGB颜色值,并将其纳入背景GMM和目标GMM,然后获得的像素可以分为背景和目标的概率U吉布斯能量可以确定。

词的边界能量的计算公式V如下:

边界术语反映了相邻像素之间的不连续的点球o和p。相邻像素之间的差异越大,能量越小;的参数是由像素的对比;欧氏距离是用来测量像素之间的相似度。对于低对比度的图像,像素之间的区别和相对较低,需要用更大的吗价值放大的区别,否则用小值,这样的能量V术语可以正常工作;是一个常数,并采取 。

2.4.2。迭代的最小化能源和分裂

(1)初始化:(一)帧图像中的目标这盒子外的像素区域背景像素结核病,盒子内部的像素区域潜在目标像素你。(b)为像素 ,让标签 ,为像素 ,我们的标签 。(c)GMM的背景和目标可以通过上述步骤,估计和集群为背景和目标像素K分类使用k——方法,KGMM的高斯模型,每一种都对应于某些像素样本。(2)迭代的最小化(一)分配高斯组件K_nGMM每个像素: (b)上述步骤之后,每个高斯模型有一些像素样本。输入图像,参数学习 优化GMM的优化公式: (c)分割评估:通过最小化吉布斯能量,获得初始分割算法的优化公式: (d)重复的公式(1)- (3)迭代使能源逐渐减少。每一次迭代后,GMM和优化的交互式分割结果,直到能量是收敛的。(e)执行后处理,如平滑后的边界图像分割完成图像分割的过程。

2.4.3。算法流程描述

流的算法描述如下。对于一个输入图像,具体步骤的海面目标检测和分割算法使用这个算法的深度学习数据所示3和4。

2.4.4。CFAR算法原理和算法模型

自动检测的检测阈值的形成方法大致是:(一)由固定阈值;的平均振幅(b)由外部干扰;(c)形成的基础上获得干扰统计分布的先验信息;(d)形成前无干扰的统计分布信息自由分布的统计假设下测试。(a)是固定阈值检测,(b)和(c)是自适应阈值CFAR检测,(d)和非参数CFAR检测。CFAR检测的杂波背景,它属于的类别自动检测广义上说,也可以概括为三种典型情况:均匀杂波背景;杂波边缘;多目标的背景。一般的瑞利分布适用于描述混乱。平均CFAR检测技术可以达到一个恒定的误警率。 The mean class CFAR is suitable for a statistically stable background. It has a sliding window covering several distance units before and after the detection unit. The average of the reference samples in the sliding window is used to form a local estimate of the front and back edges. Local estimation average, large selection, small selection, or weighted average are to determine the average power estimation of the background clutter of the detection unit. In view of the fact that the signal may cross into the front and back neighboring units, the detection unit and its neighboring front and back distance units are generally not included in the average window. If the signal amplitude in the detection unit is greater thanK次滑动窗口的平均值,它被认为是一个信号。该算法模型如图5。回波序列发送到传输延迟线。中央单位延迟线是当前检测单位。有一个保护单位每两个相邻的边。前后窗分别总结和发送到检测逻辑。如果检测逻辑输出的平均值之和前后窗户,CA-CFAR;所选小价值的前后窗是SO-CFAR总和;前后窗口的输出。最大的价值是GO-CFAR求和。

3所示。实验

3.1。数据集

的抑制SAR斑点噪声可以通过非相干多视图处理,也可以通过使用空间域滤波。不连贯的多视图处理将减少图像的地面分辨率。我们可以用空间域滤波方法,如平均滤波、中值滤波、李过滤,Kuan过滤,弗罗斯特过滤、σ过滤和GammaMap过滤。然而,这种算法有其自身不可克服的矛盾:一方面,需要一个更大的过滤窗口选择加强现场去噪效果,另一方面,窗口选择必须小为了维护的实际分辨率图像。小波变换滤波方法可以解决这些问题,所以在本文中,海面图像的小波变换滤波方法用于散斑噪声抑制,和基于深度学习方法用于土地掩蔽。使用一种改进的CFAR目标探测部分级联算法,最后选择最佳的可分性的特征是消除假警报。为了进一步说明该方案的可行性,本文利用实测数据和模拟数据验证方案,并讨论了不同信噪比的影响,海上目标类型,和态度对该算法的性能。

3.2。实验的基本设置

摘要海面图像的小波变换滤波方法用于散斑噪声抑制,和基于深度学习方法用于土地掩蔽。使用一种改进的CFAR目标探测部分级联算法,最后选择最好的假警报消除分离特性。为了进一步说明该方案的可行性,本文使用实测数据和仿真数据验证方案,并讨论了不同信噪比的影响,海上目标类型,对该算法性能和态度。

3.3。算法描述和分析

这个算法有三个主要模块,具体内容如下所示:(1)目标探测操作:使用深度学习网络模型自动检测目标矩形帧图像中。(2)Superpixel细分:计算目标函数值通过颜色信息和位置信息。更新聚类中心根据目标函数的值。通过比较新旧集群中心,如果集群中心的变化,更新集群信息根据新的聚类中心,然后应用可见光除雾算法去除红外图像模糊,最后得到超像素分割的结果。(3)自动目标帧标记为Grabcut算法初始化样本信息的前景和背景根据目标检测结果和过程通过superpixelization海面除雾图像,减少图中节点的数量,建立一个简单的图形结构,减少Grabcut迭代的图像分割算法。

3.4。实验的程序

使用深度学习目标探测模型智能提取图像中目标框架代替手工标记的前景目标Grabcut算法,并选择聚类中心的规范,和边界更新策略改善SLIC superpixel分割算法在两个方面,将相似的像素作为一个超级像素,构造一个简化网络图,减少算法的迭代的数量,提高Grabcut分割算法的效率。最后,描述和分析改进的步骤Grabcut分割算法,迭代选择最低的目标削减并最终完成自动分割。

4所示。讨论

4.1。海面目标检测和分析

(1)如表所示1和图6中,过滤方法是用于散斑噪声抑制,和基于深度学习方法用于土地掩蔽。使用一种改进的CFAR目标探测部分级联算法,最后选择最佳的可分性。假警报被删除。研究发现,红外成像系统和海洋气候有着悠久的探测距离是复杂多变的。由于大气散射衰减的双重影响和坏天气在海面,减毒透射光引起探测器接收到的反射光的反映现场变化的基本信息。对比增强后,大海的红外图像目标场景仍然是模糊的;目标轮,细节和其他信息尚不清楚。已经采取了上述措施后的沟通后,原始图像的强度对比价值3倍高于筛查的价值。这个比例会影响后续的目标探测和识别。信号杂波必须解模糊后对比增强。 The blurred image after degraded seems to be covered with a layer of fog, which is similar to the effect of the fog compared to the visible light image. Inspired by this, we can use the visible light defogging algorithm to remove the infrared image blur.(2)如表所示2和图7,这是大海除雾图像的清晰度与原始的若干措施。可以看出从大海的几个算法图像除雾收集过滤数据,数据的基本变化后多级过滤,使用侧抑制滤波改变图像的外观,和中科院过滤后外观,最后应用原始图像除雾技术来收集相关数据,解决图像退化问题引起的雾通过这些方法,并使用深度学习目标探测模型智能提取图像中目标的框架,而不是手动标记的前景目标Grabcut算法,并分别从规格,选择聚类中心和使用相似的像素作为superpixel构造一个简化的网络图,减少算法的迭代的数量,提高Grabcut分割算法的效率。从图像分割,特征系数,和标志的数量,质量图像后安装。可以看出,多级过滤的质量百分比的分布系数和气体过滤在处理模糊图像分割几乎相等,和过滤图像清晰度的百分比低于原始图片约50%。然而,功能可见性并不明显的结果。这表明海面图像除雾过程可以提高海面目标的清晰和监控能力,为海洋探测和分析具有指导意义。

4.2。分析海上目标的算法

(1)大海的小波变换图像二维离散小波变换的基础上发展起来的。每一次,通过二维小波变换,我们可以得到一个低频子图象和三个高频子图象在不同的方向。低频子图给出了主体原始图像的轮廓信息,而高频子图给出了原始图像边缘细节向四面八方扩散。小波变换后,获得一级低频子图可以wavelet-transformed再次获得一个二级子图,和第二级低频子图仍然可以继续进行小波变换,获得第三级子图,等等,如图8。在这个原理图,BB代表低频子图和黑洞,HB, HH分布代表了三个不同方向的高频子图。图像的小波变换是一个金字塔结构,底层是原始图像,然后向上每一层分解获得一层子图象,和图像的分辨率从下到上逐渐减少。原始图像的最终表达为一个组合顶级低通图像和一系列的预测剩余每一层图像的图像。散斑噪声抑制方法的基本思想是基于小波变换进行低通滤波对小波变换后的低频子图得到过滤掉散斑噪声,然后添加边缘细节信息中包含三个高频子图。它可以实现的双重目的不仅消除散斑噪声,还保留图像的边缘细节。(2)图像序列是一个不间断的输入当寻找海上目标。这个时候,目标多帧决定深度学习海洋目标探测算法和本文提出的分割算法可以实现删除pseudotargets和背景干扰。如表所示3和图9,选择图像在不同时期采集某海域进行分析。首先,暗原色先验理论是用来估计传输图像,图像的清晰度是由专业测量仪器进行测试。传播图反映了图像的雾的影响程度。根据天气的空气的湿度和温度,大气光的百分比值估计,和两人带回大气散射模型获得的图像清晰后除雾百分比。因为目标单帧检测方法可以有效地抑制背景杂波干扰在传统的海洋环境中,只有少量的背景杂波,它可以实现精确检测不同的海上目标的局部对比度不小于0.07。从图可以看出,整体清晰23点至凌晨1点是高,清晰度是其他时间段的比例的两倍。清晰的程度高于其他时候,所以当使用大气散射模型,一个清晰的对比。

4.3。分割的效果比较

为了解决这个问题,之前信息的计算特点地图融合到能量函数来提高分割的准确性。改进的计算能量函数如下所示:

其中,是归一化后的重要价值,是区域的能量方程,然后呢 是边界约束的能量项。为了解决分割的完整性的问题,每一次迭代后,从之前的分割对象扩大和腐蚀得到一个新的三元图像为下一次迭代。图10一步效应图分割,结合视觉意义的图吗10 (b)是自适应分割的结果和图吗10 (c)Grabcut分割。

5。结论

目前,Grabcut算法需要人工干预,并使用手动标记矩形框的方法获得的近似区域的目标。处理复杂图像时,用户不能有效标签矩形框架。基于现有的网络模型,提出了一种深度学习海面目标检测和分割算法,这种方法主要使用深度学习海洋目标探测和目标探测模型由谷歌和结合superpixel分割算法优化Grabcut算法,实现深度学习的海上目标检测和分割算法,可以准确的目标轮廓和语义信息。

在搜索和救援陷入困境的目标在深海中,能够快速、准确地找到问题的目标是成功的行列式搜索和救援。因此,红外目标的检测和跟踪技术一直是国内外学者的热点。深度学习海洋目标探测和研究分割算法发现位置预测和分类预测目标探测任务为特征映射特性有不同的要求。位置预测需要特性映射到包含丰富的细节和定位信息,在分类预测要求特征图抽象语义特征和翻译不变性。然而,现有的算法都使用相同的特性预测地图位置预测和分类预测。为了解决这个问题,本文重新设计网络结构基于分离的概念对应的特征的地图位置预测和分类预测和深度学习海上目标检测和分割算法模型。两个渠道被添加到深度学习海上目标检测和分割算法模型来预测位置和类别,分别实现一定程度的分离的两个任务。特征映射用于位置预测是通过将采样与低级特征地图合并,这增加了丰富的细节和定位信息。

通过以上研究工作,大海的红外图像目标的对比场景显著改善,和细节清晰。摘要小波transform-based过滤方法是用于散斑噪声抑制,和基于深度学习方法用于土地掩蔽。使用一种改进的CFAR目标探测部分级联算法,最后选择最好的假警报消除分离特性。为了进一步说明该方案的可行性,本文使用实测数据和仿真数据验证方案,并讨论了不同信噪比的影响,海上目标类型,对该算法性能和态度。研究数据显示,深度学习海上目标检测和分割算法具有良好的检测性能和一般适用于船舶目标检测的不同类型和不同的态度。结果表明,深度学习海上目标检测和分割算法充分考虑了不规则形状和纹理干扰目标检测的光学遥感图像,准确率高32.7%,效率是增加了约1.3倍。深度学习海上目标检测与分割算法相比,具有较强的目标描述能力,可以应用于船舶不同尺度的目标。

数据可用性

文章中所有的数据是真实的,要求提供相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由海南省自然科学基金(519 qn180),海南省关键研发计划(ZDYF2019014),中国国家自然科学基金和澳门科学技术发展基金联合(0066/2019 / AFJ),程序和海南大学的科学研究基金会(KYQD (ZR) 1859)。