文摘

尽管合成孔径雷达(SAR)自动目标识别(ATR)通过卷积神经网络(cnn)的深度学习取得了巨大的进展,一些关键问题仍没有解决由于缺少足够的样本和健壮的模型。在本文中,我们提出了一个有效的转移Max-Slice CNN (MS-CNN)和L2正规化的SAR ATR,丰富的特性和识别性能优越的目标。首先,给出了数据扩增方法减少计算时间和丰富的原始特征的SAR目标。其次,提出MS-CNN框架与L2正规化是训练有素的提取健壮的特性,在L2正规化是合并,以避免过度拟合现象,进一步优化我们的模型。第三,介绍了学习转移到增强特征表示和歧视,这将提高该模型的性能和鲁棒性在小样本。最后,各种激活函数和辍学策略评估为进一步提高识别性能。广泛的实验表明,我们提出的方法不仅可以表现在公众和其他先进的方法扩展MSTAR数据集也获得良好的性能在随机小数据集。

1。介绍

SAR ATR广泛应用于各领域,如城市监控、自然环境调查,和军事目标侦察1,2),可获得地球观测图像严重不利天气条件和有效挖掘隐藏和伪装的目标(3,4]。与其他微波检测工具相比,独特的特性来自SAR图像可以比其他传感器、光学和红外相干成像系统的方法和电磁散射机制。如今,SAR ATR是遥感应用的重要技术。

限制了SAR ATR成像质量和促进图像分类。SAR目标分类可以分为传统方法和深度学习方法。一般来说,传统的方法旨在从训练样本中提取歧视和代表特性。传统的特征提取方法,如直方图的面向梯度(猪)5],局部二值模式(LBP) [6),主成分分析(PCA) (7),和尺度不变特征变换(SIFT) (8),是应用于SAR目标分类的任务。歌等。9)设计了一种新的梯度HOG-like基于SAR ATR方法解决一个复杂的应用程序环境。李等人。10)提出了一个猪descriptor-based方法SAR图像与光学图像之间匹配特性。Ghannadi和Saadatseresht6)提出了一种改良的枸杞多糖描述符来获得SAR ATR健壮的特性。王等人。11)提出了一种改进的基于PCA的SAR干涉图去噪方法来提高相位解的准确性。香等。12与SAR-SIFT)相结合的一种自适应采样方法,消除明显的规模差异图像。然而,散斑噪声的存在和缺乏强劲的功能严重退化的SAR图像的特征的鲁棒性。

近年来,提出了深刻的学习方法来提取更健壮的特性。Rumelhart et al。13]提出了反向传播(传播)多层感知(多层感知,MLP)算法能够有效地解决非线性分类问题。勒存et al。14]介绍了LeNet结构来提高分类的性能。2006年,辛顿et al。15)提出了一种自学习方法,克服了梯度消失在深网络培训。Zhang et al。16]提出一批SAR-CNN模型规范化估计斑点图像和改善其性能。甄et al。17)综合有效的图像预处理和CNN对SAR目标分类。沙赫扎德et al。18CNN)用来生成可见从SAR图像高质量图像和产生良好的效果。休斯等。19在SAR)确定相应的补丁和光学图像pseudosiamese CNN,在高分辨率光学识别相应的补丁和SAR遥感图像。上述方法虽然可以获得相对较好的性能,在SAR ATR(两个关键问题仍未得到解决17,20.]。

第一个具有挑战性的问题是有效的模型设计,主要影响目标函数和成本函数设计,超高空间参数优化,等等。第二个具有挑战性的问题是模型的概括,如过度拟合不足造成的对未知目标样本和泛化能力。

在这篇文章中,与L MS-CNN转移2正则化提出了应对上述挑战的问题。首先,联合ROI特征提取和数据扩增方法采用先有好感兴趣SAR区域和提高原始训练样本的丰富性,分别,寻求准确的图像感兴趣区域,有效地扩大了数据集。其次,小说转移MS-CNN框架与L2正则化提出了提取健壮的特性和解决过度拟合的挑战。第三,转移学习是用来提高特征歧视和评估模型的鲁棒性。然后,辍学的策略是利用地址从网络中提取特征的冗余。最后,原始的和扩展的MSTAR数据集进行了实验表明,该方法可以实现一个优秀的性能。本文的贡献可以概括如下:(1)联合ROI和数据放大:ROI提取和数据扩增方法提出了抑制噪声和丰富的原始训练样本数量(2)Max-Slice CNN模型:MS-CNN提出模型不仅可以提取健壮的特性也认识到正确的目标对MSTAR数据库和产量小样品令人满意的性能(3)l2正则化:L2正则化算法合并,以避免过度拟合和优化训练模型,从而提高8.53%没有L1正则化(4)转移学习策略:转移学习是用于改善小样本下的鲁棒性,优于其它的方法,因此极大地提高了泛化表示和歧视的性能特性

剩下的纸主要是有组织的如下:部分2介绍了SAR ATR的相关工作。部分3描述了该方法在SAR ATR。部分4提出了将学习的内容。部分5细节进行了实验。部分6结论。

2.1。卷积神经网络

卷积神经网络是一种远期神经网络(21通过卷积运算实现网络层之间的联系(22),它包含了卷积层(conv),纠正线性单元(修正线性单元,ReLU)层,池层(池),完全连接层(FC),等等。conv应用线性过滤器随后激活功能,如随机参数化ReLU,指数线性单元(ELU),比例指数线性单元(SELU) TanHyperbolic(双曲正切),等等。过滤器的重量在玲珑跨接受共享领域。采用活化层增加非线性网络的在不影响接受Conv领域层。池层是应用于非线性激活地图,和无用的信息或冗余特征图谱被丢弃。完全连接层提取视觉特征映射到期望的输出和生成一个值代表掌握成功的概率。因此,CNN可以从早期从图像中提取底层特征层,后面发展的其他改进CNN提供理由。

GoogleNet取得了一个重要的识别影响大规模的视觉识别(23)通过使用最大和平均池、随机失活,softmax分类器。剩余模块(24)提出了增强功能学习跳连接,防止梯度耗散。《盗梦空间》模块(22)多尺度信息提取图像卷积运算的不同分支扩大网络。此外,inception-v4 [25)结构形成的《盗梦空间》引进跳连接将大大加快训练速度和提高网络性能。金字塔模型(26),这是由自下而上、自上而下的重复处理和中间监督,还提出了提高性能通过加工和集成特性的多尺度结构。刘等人。27]GoogleNet在SAR ATR的性能分析,取得了良好的效果。王等人。28]用很深的卷积网络(VGG)构建船舶在SAR图像分类解决培训瓶颈引起的小的数据集。傅et al。29日]在ResNet学习优化用于SAR ATR解决特征提取的挑战。cnn依赖于训练样本,训练数据不足导致过度拟合现象。

2.2。正则化

由于过度拟合不足造成的样品和大规模的参数,正则化方法已经成为一个重要的战略深度学习来提高模型的泛化。正则化技术,这让模型的复杂性,可分为L1和L2正则化。他们的区别在于参数限制。l1正规化,也称为L1规范或套索,有助于缩小为零的参数,完成特征选择通过分配无关紧要的输入特性与零重量和有用的特性与非零的体重。l2正规化是平方的总和所有功能权重修正错误的惩罚权重。正则化是一个很好的方法不容易过度拟合,并广泛用于深度学习模型。

Bi et al。30.)使用L1-regularization-based SAR成像和CFAR检测方法有效地提高SAR成像性能,包括抑制旁瓣和杂乱。Rambour et al。31日]介绍了空间正规化SAR层析重建切断地分析。瓦格纳et al。32)提出了一种深度学习SAR ATR系统使用正则化和优先类改善收敛性质。孟et al。33)采用基于自适应pseudo-p-norm正规化的去除杂点SAR图像方法提供一个高质量的SAR数据的解释。倪et al。34]介绍了L1/ L2正规化SAR成像通过复杂的图像数据来更好的重建图像目标检测的任务。康和金35)使用改进的L2正规化的压缩传感来提高性能。尽管正则化是一个不错的选择,以避免过度拟合模型在SAR ATR和识别机器,特征提取和特征歧视方法仍然具有挑战性的问题准确区分目标。

2.3。转移学习

转移学习(36机器学习中是一个重要的研究课题。迁移学习的目标是将知识从一个域不同但相关的和重用目标领域的知识通过使用共享信息从源域。转移学习法可以有效地使用现有的标记数据来帮助分类任务相似的数据集和提高SAR图像的目标识别率。因此,它可以有效地减轻内在因素的干预和缺少标记训练样本,并提供一个有效的路径来提高目标识别性能。

王等人。37)采用转移学习基于SSD的SAR目标检测与数据增加,取得了比其他方法更好的性能。钟等。38)提出了一个简单可行的方法通过使用转移学习,取得了良好的性能。徐et al。39)提出了差异化的自适应正则化学习框架SAR船分类转移到克服的限制下标记训练样本不足。艾尔穆夫提et Al。40)采用pretrained AlexNet训练多类支持向量机分类器。因此,学习是成为一个流行的方式转移到解决小样本问题。

3所示。该方法

在我们的工作中,转移MS-CNN方法提出了开发一个功能细化从最初的SAR图像最终分类地图。结构包含了训练阶段和测试阶段。在训练阶段,转移MS-CNN是丰富的输入样本的ROI和数据放大并输出相应的预测标签;softmax分类器与L2正则化被认为是损失函数来优化网络。在测试阶段,图片和标签输入网络,其目的是提取功能通过使用学习模型和预测识别类。框架如图1。


图1
结构转移MS-CNN SAR目标识别。首先,原始SAR图像和改变了SAR图像中利用MS-CNN提取信息,和提取的特征的归一化预处理该学到的操作特性。然后,学习特性转化为Max-Slice块;和获得的特征图比例不同的大小和经营功能聚合;与此同时,相关的加工特征图合并和每一个指定大小。第三,各种过滤器是用来获得特征信息和max-pooling是执行功能的可靠性。完全连接高层功能层和softmax层预测识别类。最后,从外部参数数据集传输到目标分类。

在MS-CNN显示为卷积的操作 在哪里 和 表明提取的特征图谱k -th输入和年代分别th特征图。W被描述为卷积过滤器连接k地图和th输入功能年代th输出地图。 表示卷积的操作。 的偏见jth输出地图。学习不同的区域特性,重量在每一层局部共享。此外,max-pooling说明 每个值在哪里年代th输出地图 池的 n重叠的区域年代th输入地图 。

在训练阶段,图像输入到网络层明智的处理获得代表特性,进一步直观的数据。如表所示1使用这种方法,数据可视化。

表1
数据可视化的提议MS-CNN。
3.1。数据预处理和放大

患有背景噪音,尤其是散斑噪声分类任务执行消极。ROI提取SAR的目标,通过调整输入样本,有助于减少无关的背景噪音的影响和优化培训时间和覆盖的速度。在SAR图像ROI站在中部地区在整个图片,然后下面的ROI算法采用获取感兴趣区域。图像的粒子被认为是为中心来定位目标。这个公式所示以下方程: (在哪里我c,jc)是粒子的主教任命的SAR图像目标。的米10和米01一阶原点的时刻。 在哪里米ij表示(我+j)顺序起源的时刻,(x,y)表示图像的像素坐标,p(x,y)表示像素的值。

我们所知,特征提取和分类器训练样本的歧视也受到限制。特征信息的充分性和信心确定分类的性能。这方面,数据扩增方法,它可以在360度旋转目标图像,提出了应对挑战足够的训练样本。这种方法可以产生优越的SAR目标图像,不仅可以更好的去除背景噪声图像和定位地区感兴趣的过程也可以抵消样本不足造成的弊端,避免过度拟合以及梯度爆炸。数据处理和放大过程中描述图2。


图2
数据处理和放大的过程。
3.2。女士块功能细化

MS-block用于精炼提取的特征从卷积层。片层的作用是分解成多个顶部底部。考虑到输入特性的尺寸 ,设置轴值1,即维度的分解特性图。在切片的基础操作,输出特性的尺寸图 和 ,分别。设计eltwise层的目的是获得精致的特征维数相同的地图卷积的输出层的元素的操作。三个基本操作和、刺激和马克斯可以使其实现。本文最大操作服务比较大小的输出特性映射的目标获得精制特征图。

图中描述的MS-block的成就3。首先,MS-block的尺度空间表示是通过与不同的高斯卷积平滑内核和股票一样在所有尺度分辨率。其次,由于产生的冗余信息块,马克斯池提供了减少冗余,提高效率。第三,当地特性的特征表示的优点是不同尺度的图像可以描述一个简单的表单有丰富的理论基础来分析图像的地方特色。


图3
MS-block的结构。
3.3。l2-Regularization-Based分类器

MS-CNN充分训练后,L2-regularization-based分类器被用来识别SAR图像。考虑到N输入变量表示为向量V。预测可以说明如下: 在哪里W上面层的重量和吗T是换位操作。b是输出的偏见地图。

假设该指数,基于一类的子一个二进制向量中的元素损失,d公式可以描述如下:

综合预测的定义是所有成员的几何平均预测restandardized如下: 在哪里

公式(10)简化如下:

是归一化的公式通过简化操作和忽略的乘法计算常数有关y,如下所示:

为了减少错误分类,网络参数正则化过程中训练阶段。正规化的选择是增加体重延迟改正的训练标准线性回归。正规化的影响如图4。

(一)
(一)
(b)
(b)
(c)
(c)
图4
调整的趋势。(一)Underfitting(大 );(b)正常(适当的 );和(c)过度拟合(小 )。

l2网络中正则化是一个很好的选择。l2正则化也被称为岭回归或Tikhonov正则化,可以被定义为目标函数 在哪里 正则化项和吗 的值是体重衰变。 是目标函数。我们假设没有偏差参数与相应参数梯度。

采取一个梯度一步更新权重,我们执行此更新:

这个正则化策略驱动的权重接近原点通过添加正则化项 目标函数。增加的体重衰减项已修改了学习规则用乘法缩小常数因子的权向量在每一步,之前执行通常的梯度更新。

3.4。辍学

过度拟合是一个常见的问题在机器学习问题。为了进一步解决过度拟合的问题,我们通常采用集成一起火车多个模型,结合他们的优点。问题是,模型是耗时的训练和测试。辍学的策略可以有效地缓解过度拟合,实现正则化的发生。一般来说,辍学可以用作技巧培训网络。本文采用辍学后最后MS-block网络培训。辍学激活的贡献如下:首先是平均效应。策略可以有效地防止过度拟合的问题,和随机删除一半的隐藏的神经元会导致一个不同的网络结构,和整个辍学过程相当于平均主机不同的神经网络。第二个是减少网络中神经元之间的复杂的相互适应关系。权重的更新不再是依赖与固定隐节点的相互作用关系,可以防止一些功能被有效只有在其他特定功能,迫使网络学习热心地健壮的特性,也存在于其他神经元的随机子集。

4所示。转移学习

转移学习是系统识别的能力和应用知识和技能在以前的域/任务新任务/领域,分享一些共性。给定一个源域和源学习任务,目标域和目标学习任务,转移学习旨在帮助提高学习目标预测的功能f(T(·))使用源知识,D年代≠DT或T年代≠TT。域包含两个组件:一个功能空间X= {x1,x2、…xn}和边缘分布P(X)。给定一个特定的域和标签空间Y= {y1、…yn},为每一个x我域,任务是预测其相应的标签y我在哪里y我∈Y。一般来说,如果两个任务不同,那么它们可能有不同的标签空间或不同的条件分布P(Y|X)。具体地说,对于SAR ATR任务,任务域特征空间是一样的F= {f1、…fn},n维度,而边际概率分布是由于不同分类的任务。在这篇文章中,转移学习实现配置图5。


图5
MS-CNN转移模型。

转移学习的算法如下所示:对于输入,给定的源数据集D年代和目标数据集DT,设置初始化MS-CNN模型米精准医疗=f(x,θ精准医疗)。首先,调整MS-CNN模型米0基于米精准医疗使用D年代得到一个well-pretrained MS-CNN模型。然后,将浅一层一层的参数通过冻结学习,和hyperparameters MS-CNN重新训练DT直到模型收敛于最优解。具体地说,例如,作为conv4的传输参数,参数更新层的conv4将pretrained参数之前,和其他层的参数将会从头开始训练。最后,小学习速率略有被认为进一步优化模型,使模型更适合SAR ATR的任务。

5。实验

这里所有的实验都进行深度学习加速度计算服务与英特尔酷睿i3 - 7350 k的CPU, Ubuntu 16.04 LTS操作系统。显卡是NVIDIA GTX 1080 ti, 8 g RAM。所有提议的卷积神经网络模型使用公开可用的咖啡框架实现。

5.1。数据集

本文实验进行的MSTAR数据集来自MSTAR项目。训练和测试样本组成的T72(主战坦克),BMP2(载人装甲车)和BTR70(载人装甲车)是利用。样品的总数是698图片。光学图像和SAR图像如图6。数据集配置表中列出2和3。


图6
SAR图像实例。
表2
MSTAR 3个目标数据库的配置。
表3
配置扩展MSTAR数据库3个目标。
5.2。培训/验证方法

在培训过程中,50时代将调整提出模型和信息损失值和输出分类结果记录。如图7,训练和验证的准确性为100%,并预期损失值收敛于零快速在早些时候量子。评估该模型,我们可视化网络层的层,如图所示8。观察的特征映射Conv1,模型学习从输入一些基本特性,从四面八方,如边缘和角落。更深层次、更复杂和更丰富的学习功能,包括概述、背景、和高层次的语义信息。特性包含相应的后层更有识别力的标签信息;因此,学习地图功能特性更有针对性的基于归属类。

(一)
(一)
(b)
(b)
图7
火车/验证预测损失价值。(一)火车/验证损失;(b)火车/验证精度。

图8
可视化的网络。
5.3。绩效评估
5.3.1。评价各种块女士

表现在不同的块MS-CNN设计探索了模型。不同的网络模型重建对SAR图像数据库验证,和网络特征提取的准确性测试变量。测试数据集的混淆矩阵图所示9。很明显,网络没有工作效率Max-slice号码是6,造成过度拟合的特征选择不足。从八MS-blocks十二MS-blocks,性能相对优越MS-blocks十点逐渐获得优异成绩。


图9
混乱matrix-test数据集。(一)六个街区;(b)八个街区;(c)十个街区;和(d)十二块。
5.3.2。评估数据的放大

选择十MS-blocks进一步提出了网络性能评估。我们执行数据上的操作过程和没有池选择网络,发现该算法采用了相当出色的服务模型。如表所示4,结果没有ROI提取和数据放大74.51%和80.66%,分别。

表4
模型性能ROI提取和数据放大变异。
5.3.3。评价不同的激活函数

与此同时,出于优势,激活函数的理解有助于推进特性和提高分类的性能,获得消融研究MS-CNN也处理。传统的激活函数,如ReLU,双曲正切,乙状结肠,并不如预期收益率最高精度。幂函数是负由于物流操作,破坏了大量的输出特性。ELU是一种常见的想法,与ReLU的负面价值相比,细胞激活的平均值ELU可以接近于零,类似于批处理标准化的影响但较低的计算复杂度和软饱和,和ELU的准确性为95.93%。乙状结肠激活的模型精度可以达到96.70。结果如图10。


图10
模型性能评价各种激活功能。
5.3.4。评价辍学和正规化

洞察的策略,同类研究如下表5。辍学策略的准确性为98.93%,同比提高1.64%没有辍学。显示在表6,我2正则化的优势提高性能通过调整加权延迟通过减少冗余。L1正则化方法已经达到了90.40%的准确率,减少使用L提高8.53%2正则化。它已经证明了L2正则化取得了出色的精度比其他选项,特别是没有任何正则化方法,造成过度拟合训练阶段。

表5
造型辍学策略的性能。
表6
各种合法化的造型表现。
5.4。模型的泛化和健壮性
5.4.1之前。泛化在各种类

鉴于pretrained MS-CNN模型优化,它应该在训练样本获得良好的适应性能,但还预期,我们提供pretrained模型股价在一个未知的数据集良好的泛化能力。的直观体现指标测量未知数据集上的拟合性能和预测性能。这方面,我们选择了优化MS-CNN pretrained模型学习一些信息从各种类SAR图像分类。具体来说,我们调整模型通过保持所有层之前最后一个fc层固定和修改3类6、8、10达到更通用的特性。

表7显示了泛化性能评价。相关类是随机选择的十类SAR图像。从类3类十,精度是令人满意的,他们是98.97%,97.57%,97.26%,和94.19%,而使用pretrained模型性能超过一个没有它,和改进是0.97%,1.35%,2.59%十类六类。主动,性能通过使用pretrained MS-CNN模型优于一个从头开始训练。

表7
泛化在不同的类。
5.4.2。鲁棒性评价

(1)比较先进的基于小样本。灵感来自于优越的性能在三个目标分类任务,我们在不同的网络进行了实验。我们随机选择1/2、1/3、1/4和1/8图像从原始训练样本和丰富的数据集的方法3。目的是验证MS-CNN减少原始图像的鲁棒性。观察图11该方法的性能优于LeNet, AlexNet, ResNet当应用到SAR ATR。通常,深层结构是不令人满意的处理简单的图像具有灰度和体积小,而我们提出的方法可以实现相应的结果GoogleNet (VGG16)。


图11
结果最先进的模型在小样本。

(2)转移学习vs。作为显示在图11,从LeNet MS-CNN,我们注意到我们的模型可以超越部分网络,虽然一些结果不令人满意。墙上的另一块砖是学习方法引入转移。我们训练的MS-CNN十类SAR图像和转移重量到三个SAR图像分类。从MS-CNN MS-CNN(学习)转移图11我们注意传输所使用的模型学习,可能大大超过从头训练的性能模型。具体地说,它已经达到改善当前MS-CNN 6.22%, 2.93%, 3.34%,和1.61%的1/8,1/4、1/3、1/2的数据集。这个观察验证迁移学习的有效性。模型从头训练比模型使用pretrained模型不能令人满意。

5.5。与最先进的算法性能比较

的性能比较见表8。传统的方法,如支持向量机(41),达到90.00%的SAR ATR的准确性。AE&LSVM[的性能42]DNPP-L1是一样的43),约为94.14%。AF-CNN [44)是一个额外的基于CNN架构不需要额外预处理过程或构成信息,与支持向量机相比提高4.38%改善。传统的美国有线电视新闻网(46应用于SAR ATR)能达到95.90%,低于0.77%的无监督k - means &数据放大(47)方法。SARNet [48)是一种轻量级CNN模型,获得了98.30%的结果。表现JLSND&SRC1 (24是我们的方法比低劣,约98.89%。如表所示8与其他的方法相比,该方法获得更好的识别性能。

表8
与其他方法性能比较。

6。结论

摘要小说转移MS-CNN结构L2正则化提出了解决过度拟合问题造成的样品和模型设计计算消费不足。工艺管线的数据是用来解决数据采集的限制和降低了SAR目标识别的计算和冗余。作证,结合ROI提取和数据放大算法具有潜在优势解决样品的问题。转移MS-CNN结构可以优化提取的特征和导致SAR ATR。此外,辍学策略的方法和正则化项在这个模型反映了despeciation避免过度拟合现象。总的来说,性能上进行扩展MSTAR数据表明,我们的方法是有效的和歧视,也证明了我们的方法是良好的正规化和鲁棒性。由于计算复杂度和样本不足,更有效的方法,如转移倾向,一些学习将在我们未来的探索工作。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由中国国家自然科学基金(没有。61771347);广东省创新项目(没有特征。2017 ktscx181);广东省青年创新人才项目(2017 kqncx206);江门科技项目((2017)没有。268);2017年广东省科技计划项目(2017号a010101019);五邑大学青年基金会(没有。2015 zk11); the Opening Project of GuangDong Province Key Laboratory of Information Security Technology (Grant no. 2017B030314131); and the 2018 Opening Project of GuangDong Province Key Laboratory of Digital Signal and Image Processing.