文摘

最近,暹罗追踪器吸引了广泛关注,因为他们的简单性和较低的计算成本。然而,对于大多数暹罗追踪者,只有一帧的视频序列作为模板,模板并不是更新在推理过程中,这使得跟踪成功率低的追踪者可以在线更新模板。在目前的研究中,我们引入一个增强的视觉注意力暹罗网络(ESA-Siam)。方法是基于卷积神经网络,集通道空间self-attention改善注意力和歧视的积极的和消极的样品的追踪能力。频道的关注反映了不同的目标根据不同渠道取得更好的目标的响应值表示。空间self-attention捕获两个任意位置之间的相关性来帮助定位目标。同时,模板搜索关注模块的目的是隐式在线更新模板功能,可以有效改善跟踪目标时的成功率由背景干扰。拟议中的ESA-Siam追踪显示性能优越而18现有最先进的五个基准数据集包括OTB50追踪器,OTB100, VOT2016 VOT2018, LaSOT。

1。介绍

视觉物体跟踪的过程识别视频中感兴趣的区域,可以跟踪目标在一个给定的视频。目前,视觉物体跟踪广泛应用于视频监控(1),自动驾驶(2],无人机跟踪[3),和其他领域。尽管不同的研究人员做了很多工作跟踪器来改善其性能,目标跟踪等实际问题仍然面临快速运动,类似的背景干扰,目标尺度变换,图像分辨率低,等等(4,5]。

天真的相关滤波器跟踪器使用手工制作的特性,如KCF [6],SRDCF [7],论坛[8],DSST [9],SAMF [10]。相比之下,端到端学习的方法使用深卷积神经网络(cnn),差得多。

最近,深度学习已广泛应用于视觉跟踪。跟踪器使用cnn来提取目标特征,跟踪成功率和鲁棒性明显提高。SiamFC [11通过AlexNet[]提取模板功能和搜索功能12),使用相似性度量方法进行互相关运算提取的功能获得最终响应图,然后根据分数预测目标位置的响应图。因为网络模型简单、使用离线pretraining网络模型,没有在线更新,没有复杂的计算。相比与传统的在线更新方法相关滤波器,SiamFC更快,能满足实时的要求。在暹罗网络系统的基础上,大量的追踪与最先进的性能,提出了诸如SiamRPN [13],SiamMask [14),SiamRPN + + (15],DaSiamRPN [16]。也有一些额外的方法来建立跟踪器根据不同的角度,如热红外(17],self-supervised [18),聚焦目标回归模型(19]。

暹罗架构一直是人工智能的应用在各个领域,如一次性图像识别(20.],人类reidentification [21),句子相似度(22),和视觉物体跟踪(23]。视觉对象跟踪、Siamese-based追踪列车离线基于大量数据但不在线更新目标模板。因此,面对严重的目标变形、缩放,闭塞,和其他场景,目标将丢失,导致跟踪器的性能和鲁棒性退化。此外,特征提取的CNN不区分重量的通道和空间,我们知道不同的信道特性对应于不同的目标信息。响应渠道代表跟踪目标时应该更加关注,而不是他们应该得到同样的重量。视觉注意力机制(24- - - - - -26)可以关注感兴趣的频道和位置和屏幕可以代表跟踪目标的特征信息更好。在此基础上,我们设计一种新颖的视觉跟踪方法可以在线更新目标提高混合视觉注意力。

灵感来自应用程序的视觉注意力机制RASNet [27]和EFCTA [28),我们建议一个增强的视觉注意力网络称为ESA-Siam暹罗。考虑到信息的搜索分支和模板分支是相互补偿,上下文信息的搜索分支也很重要。结合目标信息的搜索分支可以帮助追踪识别正负样本更好。因此,我们设计一个模板搜索合作关注模块,叫做T-SCAttn,可以在线更新模板的功能。它可以提高鲁棒性和跟踪的正面和负面的样品歧视和更好的处理图像分辨率低和目标遮挡的问题。我们工作的主要贡献如下:(1)我们引入一个新的双网络视觉跟踪算法的基础上,提高视觉注意力机制(包括渠道的关注、空间self-attention,模板搜索合作的关注)。频道注意区分背景和目标响应值根据不同的目标,和空间self-attention骨料外地上下文信息来帮助目标位置更好。(2)我们设计一个模板搜索合作关注模块可以在线更新模板功能的重新计算模板图像和搜索图像。(3)我们改变传统的池层。在此基础上,我们建议金阈值随机池激活目标有更高的概率特性,忽略其他背景特征。(4)我们的方法在基准数据集OTB50 [29日],OTB100 [30.],VOT2016 [31日],VOT2018 [32],LaSOT [33)具有良好的跟踪性能,跟踪速度可以达到60 fps。

2。相关工作

自从MOSSE [34],基于相关滤波跟踪器已经广泛使用的方便和简单的手工制作的功能。这些方法可以在线更新目标,精度高。然而,由于其简单的特性,鲁棒性很差,当目标被阻塞和外观是畸形的。基于cnn的深度特性可以更充分地表达目标特性。结果,大量的跟踪方法,结合相关的过滤和深度特征已经出现,如C-COT [35],CFNet [36],MDNet [37],DeepSRDCF [38),和生态39),达到更好的跟踪性能。CFNet结合了相关滤波和SiamFC赢得VOT2017实时的挑战,介绍了循环位移矩阵SiamFC来提高性能。MDNet提出了一个基于CNN的多畴的学习模型来区分不同的独立的目标。

近年来,当前分支的追踪器是基于暹罗网络系统。自从SiamFC提出,更多的跟踪方法提出了基于这个暹罗网络。李等人介绍了目标检测,提出候选区域SiamRPN治疗跟踪任务作为一个两阶段的任务:一是目标分类,另一种是目标回归。王等人结合目标跟踪和图像分割;SiamMask分段目标通过一个面具,完成了图像分割而完成目标提取。朱等人提出DaSiamRPN有效控制采样策略的基础上SiamRPN,平衡正负样本的分布,提高了跟踪性能。SA-Siam [40)使用两个暹罗网络:一个是提取的语义分支目标的高级特性,另一个是提取目标的相貌的低级特征;网络分支分别训练和执行功能融合来提高跟踪的鲁棒性。最近,李等人提出SiamRPN + +,使用深层网络ResNet50 [41)为骨干网络,分析了原因,暹罗网络系统不能使用深层网络,并进一步提高了跟踪性能。然而,由于没有在线更新,Siamese-based追踪器很容易被目标遮挡和干扰复杂的背景。

最近,广泛应用的视觉注意力机制在计算机视觉领域,胡等人提出SENet [42),赋予不同的权重由紧缩和激发渠道和渠道统计图像的全局信息在信道特征层面,有针对性地选择特性。肖等人提出了小说self-attention,更多关注内部特性元素之间的相关性,获得全球依赖的特性中的任何两个位置的地图。王等人提出了一个广义和简单的非局部块(43),可以直接嵌入到网络,它可以捕获时间和空间信息集成。特别是,王等人提出RASNet视觉注意力机制相结合,学习和分离特性判别分析和利用互相关来更新目标增强的能力区分目标和背景。然而,只有使用目标的特征信息,区分目标和背景是不够的,它是不可能面对复杂的场景。

3所示。该方法

增强的视觉注意力的整体框架暹罗网络如图1。与其他Siamese-based追踪器相比,ESA-Siam使用一个模板和搜索区域协调注意块更新目标在线隐式地适应目标的外观的变化。第二,我们的网络使用一个金色的阈值随机池层激活目标特性有更大的概率。最后,我们使用通道的注意机制和空间self-attention过滤特征图,结合全局上下文信息之间的相关性和地方特性来帮助定位目标和评估目标轮廓。以下部分描述详细的各种组件提出了跟踪器。

3.1。Siamese-Based追踪器

SiamFC跟踪算法的关键是使用离线训练和在线调整网络,可有效提高算法的速度。其网络结构是由一个模板搜索分支,分支和和两个分支提取特征通过相同的共享网络(AlexNet)。我们执行提取的两个分支的互相关特性来计算特征相似性和定位目标根据相似度值。相似度高的部位是目标位置。当使用一个完整的卷积网络,搜索图片的大小不需要符合模板映像,可以提供一个更大的搜索区域网络和计算相似度更多的好子窗口。互相关函数如下公式所示: 在哪里x是输入搜索图像,z是输入模板图像,特征提取是网络,∗代表卷积操作,b代表每个位置的偏移量得分地图,和f(z,x)代表之间的相似性得分图模板功能和搜索功能。得分最高的位置是目标位置。

3.2。金色的阈值随机池

Zeiler和费格斯最大的优点和缺点池和平均池提出随机池(44]。Zeiler认为最大池总是从池中选择最大的激活区域,完全排除其他激活除了最大值。随机池应用多项分布,并计算每个响应的得分概率随机选择激活。这样,nonmaximum激活也可以选择。我们计算每个位置的概率通过正常化区域激活,如以下公式所示: 在哪里激活位置的价值吗和代表该地区在功能映射。多项分布选择一个位置在地区: 在哪里代表的最后激活区域 ,随机选择的概率计算在每个区域的位置吗 。更大的激活概率更有可能被选中。虽然这可以确保信息不会丢失在某种程度上,是因为它的随机性,可以选择一个值和一个小的激活概率和失去重要的信息。在目标跟踪任务,我们应该尽量避免这种不确定性。因此,我们提高随机池的基础上,计算概率,过滤掉一些太小的激活概率值通过设置一个阈值(例如,= 0.002)。

的选择根据设置的比例最大激活部分(例如, )。的同时,合理利用优势的最大池层来突出重要信息,我们更加关注排名的激活值,以便随机选择可以落在这个范围内具有高概率,并抑制较弱的激活。一个金色的阈值随机池如图2。反向传播过程类似于最大池反向传播,只有选中的位置节点的值,记录保留向前传播,如以下公式所示: 在哪里 输入节点和输出节点和吗 是决定函数,代表是否输入节点我选择输出节点的最大输出的吗j。

3.3。频道关注模块

根据目标跟踪任务的特点,我们设计了一个增强的注意机制,如图3,包括一个空间self-attention模块、频道关注模块和模板搜索合作关注模块。空间关注模块是基于像素的相关性依赖结构特性映射到同一位置的描述功能。空间self-attention机制可以捕获内部数据之间的关系和特点建立任意两个地点之间的相关性。特定位置的特点可以通过所有位置特征加权和总结信息。频道的关注可以分辨目标的反应不同的渠道以不同的目标。响应值高的通道可能代表相同的目标,和更高的响应重量,而较低的响应重量,以便调整响应自适应特征。模板搜索全球协作关注模块捕获外地语义特征信息和更新模板功能通过沙漏网络(45]。

传统渠道的关注机制使用多层感知器(MLP)方法来计算每个通道的重量。这种方法增加了大量的参数由于使用大量的完全连接层,降低了计算速度,并影响算法的实时性能。我们设计并介绍了ECA模块ECA-Net [46),以避免的负面影响降维使用完全连接层,同时,适当的横渡英吉利海峡的交互作用可以显著降低模型参数。该策略采用一维卷积实现并使用卷积操作重量共享的特点。卷积核的大小k在一维卷积是通过自适应计算获得的。具体计算公式如下:

一般来说,渠道的数量总是2的力量。我们设置r= 2,b= 1。通过自适应卷积核大小k completethe横跨海峡的信息交互,这层的largernumber渠道之间可以交流更多的渠道。

相比之下,使用多层感知器连接,参数数量明显减少,确保算法的实时特性。如图3频道关注模块(C-Attn)挤压地图输入功能F后,全球平均池、一个特征向量 得到了一维卷积的输入层,在哪里 。然后,我们得到权重向量 从乙状结肠函数, 。输入功能F是elementwise乘以权重向量P。最后,我们得到的特性 过滤通道的注意。

3.4。空间Self-Attention模块

self-attention空间模块是一个补充渠道关注,如图3。通道和空间注意self-attention系列工作。信道的输出是输入空间self-attention模块的关注。 是一个独立的输入1×1卷积和经过三个转换函数来获取三个特征向量 , 。我们的转置向量问然后执行与向量矩阵乘法 。我们可以生成一个空间self-attention特性映射通过columnwise softmax操作如下: 在哪里代表之间的重量我地区和th位置jth位置区域。结果是elementwise乘以向量 。然后,我们执行一个7×7卷积操作。乙状结肠激活执行生成一个特征向量权重 ,在哪里 。在那之后,输入特性是elementwise乘以 。最后,我们得到最终的输出特性 相似度高的目标由以下公式: 在哪里是一个hyperparameter。我们初始化到0.0001,然后逐渐增加它给更多的重量,能适应简单的任务开始,以后面临更多复杂的任务。

3.5。模板搜索合作关注模块(T-SCAttn)

。我们设计一个模板搜索合作的关注(T-SCAttn)模块来隐式更新模板功能。我们把目标的上下文信息在搜索图像与模板特征和使用上下文信息来提高目标定位的准确性。搜索分支和模板分支是互补的。T-SCAttn由两部分组成,一个是用于执行提取多尺度模板之间信息交互功能和搜索功能的骨干网络。我们使用堆叠沙漏网络(如图4)生成多尺度模板信息和多尺度搜索信息 。沙漏网络不会改变的大小特征映射。另一个组件是用于执行注意过滤功能。受CBAM的启发,我们只使用全球平均池和一维卷积特性图的上下文信息。我们第一次执行1×1卷积减少通道,通道的数量。然后,我们应用ReLU激活函数和一维卷积过滤器上下文信息特征映射和应用将softmax层。的结果T-SCAttn elementwise添加频道关注模块的输出和输入功能。我们可以根据以下公式: 在哪里T-SCAttn模块的输出。

3.6。网络结构和算法

该网络是基于暹罗网络和一个增强的注意机制。该网络可以被描述为框架 在哪里Z是一个模板映像,X是搜索补丁,代表了骨干网络,表示该频道关注模块,表示空间self-attention模块,代表了模板搜索合作关注模块。的输出美联储频道关注模块吗 。然后,输出转发空间self-attention模块的输入 。

骨干网络使用ResNet50,每一层的网络结构和相应的操作如表所示1。网络分为五块,剩余的数量从第二块街区第五块(3、4、6、3)。为了避免特征提取的网络地图的分辨率太小,最后三块不是downsampled但取代扩张卷积,这就增加了接受域而不是在功能映射分辨率太小了。我们训练对积极和消极的样本构造一个损失函数。我们得到了最优模型参数通过最小化损失函数。积极的样本表示为不超过某个像素点的距离中心。如果一个样本点超出范围的距离,它被当作一个负样本。所示的单点损失函数被定义为下面的公式: 在哪里 表示真实样本的标签代表的实际得分模板图像和搜索图像。我们使用所有位置点代表的平均损失价值损失在训练如以下公式所示: 在哪里代表了地图,搜索位置,代表每个位置的得分。我们使用随机梯度下降法(SGD)培训期间发现的全球最低损失函数如下公式所示: 在哪里是指网络参数和E代表了数学期望。

我们还描述提出了网络的训练算法和测试算法框架,如算法所示1和2。

4所示。实验和结果

我们评估提出的跟踪算法ESA-Siam五基准数据集,包括OTB50 OTB100, VOT2016 VOT2018, LaSOT。我们18岁最先进的跟踪方法相比,包括SiamDW [47,DSiam HCF [48],CSR-DCF [49],GradNet [50),主食(51],fDSST [52],UpdateNet [53],RASNet、SAMF SiamRPN、DeepSRDCF SRDCF, CFNet, MDNet, C-COT,生态,SiamFC。

4.1。实现细节

我们使用GOT10K ResNet50离线训练54)为骨干网络。GOT10K数据集包含了超过10000个视频剪辑的移动对象和超过150万手动标记边界框,覆盖560多个类别。根据SiamFC,我们设置了搜索图像大小在训练和测试127×127×3和模板图像大小为255×255×3。我们使用随机梯度下降法(SGD)优化器动力将减少方程(0.913)。在培训过程中,最初的学习速率设置为0.01,L2惩罚项(weight_decay)设置为5e−4,学习速率指数衰变,直到 。batch_size是8,训练时期是50。我们设置阈值 在方程(4)和使用三个规模比(0.9638、1、1.0375)扩展搜索补丁。我们设置的初始值hyperparameter在方程(8然后增加到0.0001 指数增长。我们的方法实现基于Python3.8 Cuda10.2, Pytorch1.6。实验进行一个机器与英特尔(R)的CPU模型核心(TM) i5 - 9400 f CPU @2.90 GHz, NVIDIA GeForce 2070年代RTX的图形卡,和32 GB内存DDR4 RAM。该跟踪器的跟踪速度平均每秒60帧(FPS)。培训期间损失变化如图5。的Y设在失去价值,X设在培训批次的数量。

4.2。实验OTB50 OTB100

该方法评估OTB50和OTB100基准数据集。OTB50有50个视频序列和OTB100有100个视频序列。外围投注数据集评估工具评估跟踪算法通过两个指标:精密策划和成功的阴谋。跟踪精度的评价标准的帧数的百分比与中心位置误差在T1(实验设置为20)像素的数量在整个视频帧序列。跟踪成功率指的是整个视频序列的帧数的百分比的交叉比率借据(十字路口在联盟)大于阈值T2(实验设置为0.5)之间的目标帧的预测算法和真正的目标框架,见以下方程: 在哪里代表的面积区域目标预测边界框和封闭的表示目标的边界框包围的面积。

如图6的跟踪精度和跟踪成功率ESA-Siam OTB50数据集是0.85和63.30,分别是4%和4.77%高于SiamRPN最先进的算法。与可靠的基于通道的方法相比,CSR-DCF增加了11%和10.04%。

从图可以看出7的跟踪精度和跟踪成功率ESA-Siam OTB100数据集是0.863和65.04,分别。与基本算法SiamFC相比,跟踪成功率增加了6.72%。9%和6.65%高于CFNet算法相结合相关过滤和SiamFC,分别高于SiamRPN 1.8%和2.13%。同时,跟踪成功率ESA-Siam OTB100数据集是2.7%高于SiamDW也介绍了ResNet50网络。此外,ESA-Siam的性能也优于CSR-DCF,一个可靠的基于通道的方法,和RASNet相结合的方法的关注。ESA-Siam集成混合注意力机制而提高ResNet50将采样方法和使用T-SCAttn模块隐式更新模板功能,可以选择更有识别力的目标特性,所以它可以提高算法的鲁棒性。

验证ESA-Siam算法的鲁棒性,我们进一步进行实验跟踪11日挑战OTB100数据集,包括背景杂波(BC),变形(DEF),快速运动(FM)、平面旋转(知识产权)、光照变化(IV),低分辨率(LR),运动模糊(MB),闭塞(OCC)、出平面旋转(超载比),看不见了的时候(OV)和规模变化(SV)。如图8我们主要评估OTB100开放的成功。我们发现,ESA-Siam算法在第四赢得冠军,知识产权,LR, OCC等等。等其他挑战SV,公元前,等等,ESA-Siam也得到了很好的跟踪性能。

定量分析的算法做了如前一节所述,为了进一步验证ESA-Siam的有效性。与此同时,一个具有挑战性的序列从外围投注选择数据集的定性检测算法。同时,它是与CFNet和相关滤波算法相比DeepSRDCF结合深度学习特性,SiamFC CSR-DCF。在对比实验中,6视频序列的Bird2, Human9, KiteSurf,矩阵,Singer2, Dancer2被选中。这六个视频序列包括知识产权、超载比,LR, OCC,第四,DEF,调频,公元前和其他挑战。图9显示了五个算法包括ESA-Siam跟踪效果比较。在这些具有挑战性的序列,ESA-Siam算法取得了更好的跟踪结果。

4.3。实验VOT2016、VOT2018 LaSOT

VOT2016我们也测试方法,VOT2018, LaSOT数据集根据三个指标预计平均重叠(EAO),精度(一个)和鲁棒性(R)。其中,EAO可以用作索引算法的综合性能评价。EAO是相关的计算精度和鲁棒性。首先,每帧重叠的平均值的长度视频序列被定义为 在哪里之间的准确率预测目标框架和真正的目标框架。EAO被定义为

表2显示了每个方法的比较测试结果VOT2016。我们比较9算法包括ESA-Siam、HCF SAMF, SiamFC, SRDCF, MDNet, DeepSRDCF,主食,C-COT。ESA-Siam取得好的结果指标的准确性和鲁棒性。

表3显示了每个方法的跟踪结果的比较VOT2018测试集。我们建议的方法达到精度0.618,0.223的鲁棒性,EAO 0.411。OVT2018,我们的方法实现最高的三个评价指标的成绩。与最先进的SiamRPN相比,我们的方法有一个显著的改善EAO和准确性的7.5%和5.6%,分别。

表4显示了每个算法的测试结果的比较LaSOT数据集。我们的方法取得最高的分数成功率和标准化的准确性。标准化与MDNet相比,准确度增加了从0.461到0.515 (0.413⟶0.450)。

此外,我们选择三个复杂的挑战场景(包括变形、运动模糊和部分遮挡)LaSOT数据集来评估该方法与现有最先进的算法如图910。实验结果表明,该方法取得了冠军的结果在跟踪精度和成功率。在成功率方面,该方法提高了将近6高出第二名。该方法能更好地处理具有挑战性的场景在现实生活中,如完全阻塞或部分阻塞,目标变形、等等。

4.4。烧蚀研究

我们进行了广泛的消融研究与ESA-Siam OTB100来验证它的各种组件的有效性。两个指标是用来评估每个组件的工作:一是跟踪精度,另一个是跟踪的成功率。我们使用不同的组件名称的方法。使用命名空间self-attention S-Attn组件,该组件使用通道叫C-Attn注意,使用模板搜索功能和组件是T-S-Attn命名。此外,我们比较每个组件的评价结果与基准算法SiamFC CSR-DCF,如图11。实验结果验证的有效性ESA-Siam的各种组件。与SiamFC相比,渠道关注模块的性能C-Attn精度增加了7.6%(58.32⟶63.95成功)。另一方面,引入template-searchcollaboration关注模块T-S-Attn高出5.83%的成功率比CSR-DCF and5.9%更高精度,也是基于通道的权重。

此外,我们还进行了黄金随机实验池OVT2016方法和其他组件。表5展示了跟踪器的性能变化与不同组件的集成。如表所示5,只需添加单通道和空间注意关注基准SiamFC不能有效改善其跟踪性能。整合渠道注意和空间注意可以用EAO增加7.8%。如果结合模板搜索模块,注意EAO可以增加11.8%。此外,黄金随机池组件也可以有效地应用于双网络改善跟踪性能。如表所示6,我们进行了一系列的实验,讨论不同的黄金随机池的影响跟踪性能阈值。当T= 0,这意味着黄金随机池退化正常随机池。时的值t最大的概率更大,选择激活更高。我们观察到ESA-Siam可以达到最好的性能 。由于0.618的数学特性随机池,我们叫它金随机池。

5。结论

我们提出一个增强的视觉注意力暹罗网络,可以为视觉跟踪更新模板特性在线。我们引入一个模板搜索合作关注模块,可以隐式地更新目标特性在线并结合渠道关注在计算效率和空间self-attention模块ECA模块。暹罗网络的基础上,结合视觉注意力机制可以确保该算法简单、高效。ESA-Siam可以保持实时的跟踪速度,使算法更加健壮。我们提出的算法可以应用于场景被背景,如视频监控、车辆跟踪、和无人机跟踪。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

信息披露

资助者没有作用的设计研究;在收集、分析或解释数据;写的手稿;或决定发布结果。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

ZWQ和ZG负责概念化,草稿准备,审查和编辑。ZWQ、ZG ZZG, LQ验证研究。ZWQ和ZZG负责形式分析和融资收购。ZZG可视化研究。ZWQ方法,负责项目管理和资源。LQ策划和监督研究的数据。ZG负责调查。所有作者已阅读及同意发布版本的手稿。

确认

本研究部分由中国国家重点研究和发展计划(批准号2018 aaa0100400和2019 qy1604),中国国家自然科学基金(批准号U1836217),开放平台创新基金会湖南省级教育部门(批准号20 k046),湖南省教育部科研项目(批准号17 c0479)和专项资金支持项目的建设创新型省份湖南(2019 gk4009)。