文摘

终端导引跟踪一直高速旋转和尺度变化。它使一个大误差在当前的跟踪算法,可以在无线传感器网络传输错误的位置的物联网。在本文中,我们提出一个基于Fourier-Mellin变压器选择器,它可以准确地跟踪目标与高速旋转。首先我们使用现有的探测器获得所有提案目标每帧。然后,我们使用Fourier-Mellin匹配选择最好的目标的新框架。我们的数据集是这艘船视频由HRSC2016在旋转。实验结果表明,该方法的准确性高达89.8%。与其他传统的跟踪算法相比,它有一个飞跃。FMT选择器可以应用于探测器的后端,它可以实现一个可行的效果跟踪终端领域的指导。

1。介绍

最近,对象跟踪总是应用于终端指导。的内壁结构终端指导不是光滑的内圈但膛线的螺旋形状。这种结构确保终端指导可以在高速旋转。使用这种结构,因为它可以减少空气阻力,增加范围,提高了精度,并避免终端指导漂移。由于terminal-guided弹丸旋转在高速飞行,弹头上的摄像头的图像应该同时旋转。这使得目标跟踪困难。在旋转的目标探测技术、单程探测器(1,2和二级探测器3,4)都取得了良好的精度和速度。然而,这些主流目标探测器只能探测到所有对象与相应的功能。他们不能进行长期检测指定的目标。在这种情况下,跟踪技术是必要的。

目前的跟踪技术(5- - - - - -8在日常工作中取得了满意的效果。然而,数据,如位置和角度检测到物联网具有异质性和质量9,10]。与此同时,网络也将受到他们的变化11,12]。终端导引跟踪总是伴随着高速旋转和尺度变化。有时还可旋转45°每帧。这种戏剧性的变化必须是破坏性的日常追踪。

针对这一问题,许多研究人员通常使用外部角度传感器获取的角度旋转在实际工程应用中。他们可以使图像旋转通过矩阵变换的计算机,从而达到antiangle旋转的目的。但是我们的方法可以完成跟踪在高速旋转角度传感器,实现准确的跟踪每一帧的目标。我们从前面选择的建议目标探测器由Fourier-Mellin变压器(FMT)选择我们。具体地说,我们的工作做以下贡献:(1)我们建议选择器跟踪基于FMT高速旋转的物体。它可以克服对象的旋转和缩放。正如我们所知,我们的第一个方法FMT模块应用于旋转物体的跟踪(2)我们选择一个数据集的多个目标HRSC2016来测试我们的FMT选择器。我们得到他们的单一图像旋转三个不同的角度(18°30°、45°)每帧。最后,我们使用一系列的公式来计算每一帧的目标的位置和旋转。过去我们的地面实况测试结果的精度

2。相关工作

2.1。旋转对象探测器

传统的目标检测器使用水平边界框轮廓目标的轮廓。但船目标大纵横比可能有很多背景冗余的盒子,这是不利于融合在训练。因此,提出了一种旋转目标检测器与角信息准确独立旋转目标周围的背景。的基础上旋转目标探测,两阶段方法,单程方法,anchor-free方法(13,14)出现,分别。他们非常类似于水平目标检测器。两阶段方法首先生成一系列的地区建议RPN像R-CNN15),然后过滤、分类和微调旋转检测头。该方法可以达到良好的精度,但略慢一期探测器。相反,第一阶段检测器将牺牲一点检测精度直接提取特征预测对象分类和位置在骨干网络。他们有更多的实时检测性能。这种探测器仍然是改善基于一系列YOLO[意思16],SSD [17],Retina-Net [18]。单程旋转探测器等,在1,2取得了良好的性能。最后一个类型是anchor-free方法,不需要特定的锚箱。它可以直接执行旋转盒子回归通过关键点如角点和中心点。例如,探测器的14也非常快速和高效。

2.2。Fourier-Mellin变换匹配

数字图像实际上是由二维离散信号,所以它也有能力从空间域二维离散信号转换到频域,在频域也有一些相关的特征。(19)关于FMT的详细报表。首先,模板图像和图像匹配都转化为空间域和频率域。然后,正确的模板图像旋转和缩放依靠相位相关技术。最后,调整模板图像与阶段获得的翻译量。终端指导图像场景伴随着越来越多的抖动,旋转,和规模的目标。匹配的像疯了一样在空间域,NCC无法应付这样的场面。在频域,图像旋转对频域的振幅没有影响,但相角会相应改变。因此,我们需要进行极坐标变换和对数变换的振幅谱频域将旋转因子和尺度变换因子转化为极坐标系统的翻译关系。因此,我们可以计算角度差异和规模扩展与匹配模板图像与图像之间的比例使其恢复。这种方法可以应用于许多图像处理。 Earlier, O’Ruanaidh and Pun [20.)用它来抵抗旋转和缩放图像水印;易et al。21],Sellami和Ghorbel [22],西山贵子et al。23FMT用于三维重建,全景建设,分别和指纹匹配。据我们所知,还没有人申请这个模块在旋转对象检测、角度和规模是如此的敏感信息。因此,我们将这个模块添加到旋转目标探测网络基于深度学习。它可以将空间域的信息转换为频域进行分析。它不仅得到了良好的完整的解决方案在理论上也有良好的性能精度。

2.3。由检测跟踪

事实上,它是跟踪和检测之间密切相关。他们总是结合在工程和学术研究。早些时候,最具代表性的算法TLD (5),它使用路追踪器,介绍了探测器以避免目标遮挡的影响;埋头算法(24)将检测与跟踪相关过滤。基于深度学习,如暹罗系列,匹配的目标图像深度网络特性来获得目标位置;最近,黄等。25]试图跟踪模块添加到通用检测器和得到好结果的检测精度。其实在我们的工作中,我们使用频域特性来完成匹配工作的边界框。我们要完成一个特殊任务从多个候选人中选择一个特定的目标。

3所示。方法

图1展示了我们的方法的总体框架。在FMT选择器中,我们得到一个匹配器和位置角匹配器的最终目标。我们将详细描述FMT的特征提取和匹配模块。

3.1。角匹配

为了探测目标的比例和角度区别和范例,我们需要变换后的图像傅里叶变换到极坐标FMT选择域,因为极坐标的转换可以解决旋转和缩放问题,不包括翻译的关系。当然,我们需要使用傅里叶特性消除翻译因素如下:

在方程(1),的傅里叶变换 ,和的傅里叶变换 。 和他们的角差和规模比例。由于傅里叶的属性,我们可以消除部分指数和取绝对值方程(1)。我们可以得到和如下,位置没有影响的转变。

让 和 在方程(3),我们可以得到两个极坐标幅频域图的关系2如下:

在上面的方程中,有一个翻译范例图像之间的关系和在频域匹配的区域。翻译因素的规模比(纵坐标代表的区别)和旋转(横坐标代表的区别)。

3.2。职位匹配

(26)此前曾与相位相关的图像匹配。相位相关匹配主要计算翻译区别信号 范例面积和信号 在该地区被发现。假设 通过翻译 通过 ,也就是说,

进行傅里叶变换公式,得到:

因此,翻译的和相角域之间的差异,可以通过获得相角域之间的差异然后指数化:

在正确的方程,方程(7),一个脉冲函数可以通过傅里叶反变换,如图3。的翻译和可以通过寻找高峰值的坐标。

回到方程(4);它的角系数和比例因子也有翻译的关系。减去的阶段 和 ,可以找到最优角度因素和规模因素在峰值的位置。可能有两个相距180°旋转角度,因此都应该相匹配的相关位置与范例。通过比较,我们可以得到最合适的图像匹配。

同样的原则,如果匹配图像和范例图片不是同一个对象,最后的结果将是穷人,和角的峰值两者之间的区别将会非常低。我们需要匹配所有领域的检测与范例图像帧的图像,所以他们的最高峰概率是我们感兴趣的目标框。

3.3。实现细节

Fourier-Mellin转换为高分辨率图像匹配是可怜的。图像的频率是一个指标的灰色图像的变化,它是灰色的渐变平面上的空间。然而,并没有一一对应的频谱图和图像之间的点。因此,高分辨率图像在Fourier-Mellin变换匹配浪费时间,和许多无关紧要的细节可能会影响判断。因此,对于高分辨率遥感目标,我们提取ROI的最低外围广场,并调整图像分辨率 。此外,我们有两个目标,彼此非常接近,所以当一个目标被选中时,另一个目标将是补充道。它会影响匹配的速度。因此,我们面具周围的背景目标排除的可能性将会匹配背景的目标。

4所示。实验

4.1。数据集

该方法主要用于船舶检测和跟踪,所以HRSC2016数据集是最适合测试我们的方法的影响。这是一个数据集广泛用于船舶检测。尺寸范围从 ,共有2976艘船目标。我们使用436训练集图像和181验证设置图像训练所需的检测模块,然后,453测试集被用来检测检测模块和后续跟踪。

当前目标跟踪的数据集,如嗓音起始时间,OTB,旋转的锅,更新了表示框架。但是很少有旋转对象。和他们所有的人都稍微旋转。因此,测试不能反映我们的优势目标框架在一个特定的高速旋转。由于没有数据集与高速旋转,模拟终端指导我们的测试集HRSC2016跟踪视频序列的第一帧,然后旋转一个角度,每一帧(我们做了视频序列的旋转18°30°、45°对于每一帧,分别),直到回到第一帧的角位置。为了确保图像目标边缘的完整性,我们将输出所有内容的旋转图像(如图4(一)),而不是固定的显示图像的实际相机(如图4 (b))。

在数据集后,我们的工作主要是为了纪念旋转框架的注释。因为它是非常耗时的马克逐帧,我们利用旋转的特点和直角坐标系和极坐标系之间的联系。目标位置( ),宽度( ),高度( ),和角( )由HRSC2016给出数据集本身可以用来转换每一帧的相关信息,例如, 在哪里 初始帧的位置吗 ,分别是他们的宽度、高度和角度。和图片的宽度和高度。相应的参数后的旋转th框架,分别 , , , , , ,和 。 代表之间的差异旋转初始帧和当前帧。

我们纪念每个对象固定数量的初步框架。如图5,该算法可以准确地计算旋转目标的位置,并生成新的目标框可以包括所有标记目标100%,没有错误。

4.2。参数设置

我们使用单个RTX 2080 ti GPU培训的设置下批大小2,这是一样的测试和推理。在检测阶段,我们使用MMRotate平台生成初始帧的结果。我们的骨干ResNet50将pretrained ImageNet。我们使用SGD收敛算法拟合的势头0.9,和体重衰变是0.0001。HRSC2016数据集,我们保留了原始图像的纵横比。他们的长边是控制在1400在图像输入阶段,而短边是相等的比例缩放。培训期间我们执行36时代。最初的学习速率是设置为0.005。为了不漏掉任何局部最小值在附近收敛,避免梯度爆炸,24日的学习速率除以10,33th时代。

在跟踪阶段,我们使用MATLAB 2016 b测试和评估后续的实验。提取的目标检测阶段相匹配的模范形象。得分最高的目标是获得作为跟踪目标的框架。为了提高匹配精度和运行速度,我们调整目标图像 。

4.3。评价

现在,我们把我们的算法与KCF [6],TLD [5],SiamRPN [7],SiamMask [8),获得的结果如表所示1。根据结果,很明显,在这种暴力的场景旋转,传统和深度学习跟踪方法都达到了可怕的性能。具体的演示图所示6。可以看出,基于机器学习的传统KCF和TLD算法没有解决旋转功能,如此激烈的角度和位置的变化。暹罗网络,基于深度学习,很难跟踪几帧也失去目标之后。然而,我们的方法检测目标在整个图像和选择最好的结果分数作为当前帧的目标。FMT选择器避免了信息误差在相邻帧由于暴力的位置变化。即使一个框架无法选择一个目标,跟踪框架不会漂移。

公关是OTB2013的精度(28]。它使用欧氏距离中心点之间的预测 和地面的中心点真理盒子 如下。我们用20像素的阈值。如果他们的距离小于阈值,这个框架将跟踪成功。公关意味着这条规则的成功率。

Succ从OTB2013成功率。计算交点的比例和工会之间边界框(借据)和地面真理盒子。我们使用阈值为0.5。如果他们的借据大于阈值,这个框架将跟踪成功。公关意味着这条规则的成功率。

在当前旋转物体的检测框架,完整的图像目标检测将不可避免地失去了目标或检测错误。及其精度检测框架是不够的。因此,我们使用FMT选择不同性能的旋转对象检测框架。成功率,我们评估了跟踪精度和速度不同的模块结合FMT,如表所示2。可以看出,这些检测框架的性能是相似的,主要影响的检测。我们选择器进行正确的任务选择得分最高的检测框架。

在角的表示,由于每360°是一段时间内,我们的实验想旋转它许多帧后原来的位置。18°30°、45°将做到这一点。此外,这三个角度可以达到不同的位置在每个时期的旋转。例如,大约30°旋转,角是60°、90°、120°、150°、180°、210°、240°、270°、300°、330°和360°;约45°旋转角为90°、135°、180°、225°、270°、315°、360°。尽管30°、45°公约数,仍然会有几种不同的旋转后的位置。

5。结论

在本文中,我们提出一个FMT选择器来跟踪船舶目标基于物联网,无线传感器网络。它可以选择最合适的目标在高速旋转的视频,这是一个常见的场景在终端指导。先前所有的目标跟踪方法在这种情况下做了一个好工作。首先,我们把图像探测器探测到所有对象。其次,我们使用FMT选择器选择最佳目标帧的结果。Fourier-Mellin变压器已经使用许多图像领域,取得了良好的效果,因此我们认为它仍然可以执行在目标跟踪。实验表明,我们的方法具有绝对优势基于机器学习和基于深度学习跟踪方法为我们特制的旋转在物联网与传感器网络数据集。然而,现场我们面临主要航拍视频中,跟踪目标的唯一可能的旋转和尺度变化的(很少有目标变形)。所以这个框架不能推广到一般的场景。和处理速度还是相对较低。 In a future work, we will carry out further research on these issues.

数据可用性

和/或使用的数据集分析在当前研究可从相应的作者以合理的要求。

的利益冲突

作者声明没有潜在的利益冲突的研究,本文的作者,和/或出版。