文摘

利用神经网络,深距离度量学习计算机视觉应用中取得了令人印象深刻的成果。然而,现有方法主要关注一个深距离度量基于成对或三胞胎的样本。他们很难处理异构数据,避免过度拟合。本研究提出了一种增强型学习多个深距离度量方法,生成最终的距离度量通过迭代训练多个弱距离度量。首先,样本的距离对被一个卷积神经网络(CNN)映射和评估一个分段线性函数。其次,添加评价函数是作为一个弱学习者提高算法产生一个强大的学习者。每个弱学习者目标困难样本不同于以前的学习者的样本。接下来,一个交替优化方法来训练网络,损失函数。最后,我们的方法的有效性,证明与国家的艺术从幼崽检索图像- 200 - 2011,- 196汽车,和斯坦福大学在线产品(SOP)数据集。

1。介绍

在过去的几十年里,距离度量学习已经被有效地应用于图像检索,人脸识别,人鉴定,集群等等。现在在计算机视觉领域的一个热门话题。由于最近成功的卷积神经网络(cnn),深距离度量学习方法有吸引了大量关注1]。

每个深度距离度量的目标是训练样本映射到功能通过cnn。之间的映射应该缩小距离不同样本之间的相似的样本对,增加对。学习深度距离度量,许多方法已经开发基于样本对(2,3],三胞胎[2,4),或四胞胎5]。本研究试图了解样本的简单的相似函数对。距离度量定义为样本之间的欧氏距离对,可以快速计算与其他指标。

大部分深距离度量学习的现有方法试图改善单损失函数基于一个距离度量。然而,一个距离度量是不足以处理所有给定的样本数据分布。事实上,特征数据一般不分布式一致:密度不同地区的数据分布(6,7]。为了解决这个问题,一些学者采取整体技术和采用一些学习者将每个样本映射到多个子空间(8- - - - - -10]。然而,这些策略并不支持端到端网络的训练和损失函数弱的学习者。缺乏这种培训模式抑制了歧视的能力和增加了敏度规的噪音。深距离度量学习的精度可以通过联合训练网络的进一步提高和损失函数。

本研究旨在改善传统深之间的距离度量的适应性对样本。主要的思想是,CNN的最后完全连接层划分为多个不重叠的组(图1),每一个都是一个单独的功能映射网络。距离度量样本对映射的一个组织是由一个分段线性函数评估。每组有一个相应的评价函数,它被添加作为一个弱学习者提高算法产生一个强大的学习者。这最终形成multidistance度量合奏。此外,相同的底层特征表示,这是pretrained通过实验,应用于所有组的完全连接层。这样,CNN的高计算成本的培训提高框架明显减少。在这个框架中,每个学习者调整连续学习者的训练样本,根据损失函数的梯度。结果,连续学习者关注困难样本特性,生产更适合特性表征。最后整体输出是一个线性组合多个弱的学习者。此外,传统的距离度量的性能被引入一种改进的分段线性函数,计算相似度的距离度量学习样本对。 This facilitates the joint training of the network and loss function. Through the evaluation of various deep distance metric learning methods in the image retrieval task， it can be seen that Recall@1 of the proposed method is 4.2, 2.8, and 0.4 higher than that of the previous best score on CUB-200-2011， Cars-196, and SOP datasets, respectively. Experimental results show that the proposed method outperforms the comparison methods, while avoiding overfitting to a certain extent.

我们工作的贡献如下:(1)CNN的最后完全连接层被用来形成多个组的特性,设计形成距离度量合奏和制定一个提高的问题。然后,采用交替优化方法共同培训网络和损失函数。(2)采用分段线性函数作为评价函数的距离度量样本对由CNN和添加映射的弱学习者提高算法来生成一个强的学习者。

2。文献综述

本节回顾了最密切相关的作品大量的出版物的距离度量学习的热门话题。

2.1。深距离度量学习

许多方法使用一个区别的距离度量损失函数增加组内的距离,减少同类距离(2,4,11- - - - - -14]。例如,对比损失是一个流行的深距离度量学习的工具,最大限度地减少积极样本的特征向量之间的距离对和扩大负样本之间的距离对(2,3]。基于对比损失,三联体损失创建一个包含一对正样本和负样本,根据组内距离之间的相对关系和阶级之间的距离2,4),并确保积极的样本对映射的数据在特征空间的距离比负样本对。许多其他损失函数扩展从上面的两个损失,即直方图损失(15),成套的损失(5],N-pair损失[11),角损失(12),等级三连音的损失(16]。

将一个元组的样本作为训练样本产生大量的训练数据。深距离度量学习将极大地增强了获得更有效的样本。最近,几个学者设计抽样策略来解决困难和半硬的负面矿业(16- - - - - -18]。例如,宣et al。7)观察到简单的正样本有助于维持组内差异,从而提高泛化能力的三联体的损失。然而,使用简单的正样本不断underchallenges度规,使嵌入空间更少的歧视。

2.2。整体学习

最重要的是努力提高损失函数的方法基于一个距离度量。然而,他们很难适应所有可用的数据。最近,整体学习,反复训练一个从几个弱学习者最后预测,已注册的促进深度量学习的泛化性能。

Negrel et al。8)解释了如何使用他们的增强型度量学习算法来计算分层组织的数据库。金等。9]介绍了多个引起学习者的合奏。宣et al。10)随机分组标签创建一个大家庭的相关嵌入模型,这可以作为一个整体。Sanakoyeu et al。6)采用各个击破的策略将嵌入空间多个集群,每个集群使用火车一个学习者。

2.3。其他相关度量学习

此外,最近有其他类型的距离度量方法,如样本选择、本地度量和分级指标。吴et al。19)提出了一个distance-weighted抽样程序,选择比传统方法更丰富和稳定的例子,在这个过程中取得优秀的成绩。王等人。13广义tuple-based损失和新配方他们不同的权重策略的积极和消极对minibatch内。罗斯et al。20.]提出学习分布抽样-而不是使用一个预定义的一个例子。本地度量学习方法(21,22)学习Mahalanobis距离指标的集合,每个操作在不同的子集的数据通过k - means或高斯混合集群。从[23,24),我们学习两级使用粗和细分类类别层次结构。通用电气等。16)提出了一种分层的三联体损失特性嵌入的抽样一起学习。

不同于上面的方法,我们的方法实现端到端培训网络和损失函数的每个薄弱的学习者,从而提高深距离度量的准确性和减少过度拟合的概率。

3所示。方法

3.1。增强型深距离度量模型

让 是N训练样本对,每一个都属于其中一个类标签 。如果两个样本属于同一类,对标签y_n= + 1,一双正样本;如果两个样本属于不同的类,对标签y_n= 1,称为负样本。

我们的最后完全连接层CNN划分为多个不重叠的组。训练样本对 美联储到CNN来生成一个特征向量对吗 ,提取是哪一个米组最后一个完全连接层。所以,训练样本对可以映射到生成多个组的特性,设计形成距离度量合奏和制定一个提高的问题。

利用提高算法的概念,采用多个弱学习者产生强大的学习者之间的距离度量映射训练样本对的值。弱学习者训练再加权样本,根据损失函数的梯度。一般来说,我们想要一组弱学习者及其相应的提高模型: 在哪里米是学习者和疲软的数量φ_米之间的距离度量评价函数是训练样本的特征向量对映射的吗米群完全连接层。

在上面的公式中,被用来量化两个训练样本之间的相似度的,它响应这种相似性的基础上是否应该考虑两个样品来表示同一个类。因此,定义一个阈值处理两个训练样本之间的距离度量,并采用分段线性函数作为评价函数。这个函数可以减少类似的训练样本之间的距离,增加不同的映射空间。可以被定义为评价函数 在哪里 是一个通用的距离度量(简单的欧几里得距离),α_米和β_米是评估两个样本之间的相似和不同,分别和t_米是一个距离度量阈值。如果两个映射训练样本之间的欧氏距离小于阈值t_米,然后评估值α_米;否则,它是β_米(图2)。

在每一轮的提高,新的弱学习者训练再加权minibatch训练集,根据损失函数的梯度,然后添加到形成一个强有力的学习者。证明了弗里德曼(25),训练一个学习者可以写成一个损失函数最小化问题: 在哪里是一个损失函数。在这里,指数损失函数 是利用。灵感来自Schapire和歌手26)、公式(3)可以写成 在哪里训练样本的重量吗x_我在迭代米。弱学习者选择最小化损失函数在每次迭代更新强有力的学习者。这两个α_米,β_米,t_米距离的评价函数的米th群完全连接层需要优化。

该方法很容易集成到一些深度量学习方法,比如三联体损失,N-pair损失,和层次三联体的损失。然而,对于一些损失函数,如直方图和角损失损失,不适用,需要改善。

3.2。联合训练

如公式(3),我们需要共同努力学习网络和损失函数。我们注意到它是凸函数,一般很难解决。指Zhang et al。27),本研究应用一个交替优化方法,共同培养网络和损失函数。

因为学习者在每一轮的提高需要优化,优化问题(4)研究,修正参数的米群完全连接层。公式(4)可以分解成

偏导数的公式(5)对α_米和β_米优化每个参数和设置都为零,

每一次迭代后,训练样本的权重对更新使用指数损失函数:

然后,所有训练样本的权重对规范化。见公式(6)和(7),影响评价函数的参数只是有关t_米,即,the optimal value obtained by the traversal method. If the training sample pairs are classified correctly, the weight of successive learners tends to be small; otherwise, the weight tends to be large. Hence, successive learners focus on different training sample pairs than previous learners, increasing the diversity among learners (Figure3)。

下一步是更新参数的米th群完全连接层,而固定α_米,β_米,t_米的评价函数。这些参数都是经过训练的对比损失函数,使用标准的反向传播算法。在前进过程中,相似性距离度量计算为每个输入训练样本对。在落后的过程中,损失函数的梯度是每组(图迭代地传播4)。

对比损失函数,距离度量阈值t_米通过弱学习培训作为一对消极训练样本的距离优势。然后,可以建立对比损失函数

培训过程如算法1所示。

4所示。实验和结果分析

来验证其有效性,我们深距离度量学习方法是三种标准测试数据集:幼崽- 200 - 2011,- 196汽车,和斯坦福大学在线产品(SOP)。后提出的标准协议哦歌曲等。2),每个数据集分为训练集和测试集,为幼崽- 200 - 2011数据集,5864年第一批100个类图像分配给训练集过去100类和5924图像分配给测试集。汽车- 196数据集,8054年第一批98个类图像分配给训练集和98年剩下的8131张图片类被分配给测试集。SOP数据集,59551 11318类被分配到的图像训练集在11316年和60502年图片类被分配给测试集。

我们的方法在图像检索的性能从上面数据集被Recall@K评估。对于每一个检索任务,作者计算的测试图像的百分比top-K检索图像包含至少一个图像相同的类标签。K值设置为K∈{1、2、4、8、16、32}幼崽- 200 - 2011和- 196汽车,和K∈{1、10、100、1000} SOP。我们的方法是TensorFlow的框架下实现的。后哦,歌的方法(2),GoogLeNet采用特征提取器。批处理大小是固定在128年的实验。

自深距离度量可以影响弱学习者的数量,这个数字对我们的方法是通过实验观察到的三个数据集。如图5,越来越多的学习者疲软,Recall@1分数先增加,然后下降。Recall@1最高得分达到了8点,6和7弱学习者,幼崽- 200 - 2011,- 196汽车,分别和SOP。一个可能的原因是,汽车- 196的图像相对较小的变化,那些在SOP脸大视点的变化,与幼崽- 200 - 2011功能构成变化和强大的背景杂波。在接下来的实验中,弱学习者的数量设置为8,6和7,幼崽- 200 - 2011,汽车- 196和SOP,分别。

特征向量的大小也施加重大影响深的距离度量。因此,实验进行了汽车- 196 6薄弱的学习者和不同的特征向量大小。借鉴王等人的作品。13),特征向量的大小从64增加到1024。图6比较了检索性能的方法与多尺度(MS)方法(13]。如图6,这两种方法的检索性能与特征向量的大小逐渐增加。我们的方法表现稳定,大小等于或大于256时,总是抢风头,因此,特征向量的大小是固定的256在后续实验。

接下来,训练结果和测试结果对比汽车- 196。如图7,培训R@1从测试R@1只有一个小缺口。汽车- 196 R@1训练集的分数在93%左右,比在测试集只有7%。这清楚地表明,我们的方法可以避免过度拟合。

图8展示了我们的方法的收敛曲线和几个先进的汽车- 196的方法。在第一个40时代,我们的方法达到艺术和聚集状态的性能比其他方法更快。然而,根据曲线的趋势图8,数量的时代从0到50岁,我们的模型的收敛速度并不是最大的。然而,总的来说,我们的方法的收敛速度是令人满意的。除了女士,对比方法收敛花了成百上千的时代。因此,我们的方法的训练时间与女士在单一的NVIDIA Tesla V100 GPU,我们的方法的平均运行时间是24.36秒/时代幼崽- 200 - 2011和40.29 s /时代汽车- 196,而女士为28.45和43.58,分别。

最后,我们的方法的图像检索效率与最先进的方法相比在幼崽- 200 - 2011和汽车- 196,分别。比较结果(表1和2)表明,我们的方法优于这些方法,包括高阶元组LiftedStruct和N-Pairs等,以及角损失和合奏方法如基于注解的扩张(ABE)度量学习和深度随机集合体(DREML)。特别是在具有挑战性的幼崽——200 - 2011年的数据集,我们的方法领导表现最好的最先进的方法以很大的优势:R@1的4.2%。SOP,我们的方法也获得最佳性能(表3)。在所有的数据集,我们的方法维度较低的特性,表现好于现有的方法,具有高功能维度。

5。结论

本研究提出了一种深距离度量基于提高合奏方法,生成最终的距离度量通过迭代训练多个弱距离度量。具体地说,CNN的最后完全连接层被用来形成多个组的功能。样本对被CNN,映射和绘制样本之间的距离对评估的分段线性函数。添加功能是作为一个弱学习者提高算法来生成一个强的学习者。然后,利用一个交替的优化方法来优化网络和损失函数的参数。我们的方法的有效性,证明在三个数据集广泛应用于图像检索任务。未来的研究将进一步提高我们的方法级联模型,把我们的方法与其他损失函数。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由徐州科技大学的科研项目(批准号XKY2019107),建设系统的科技项目,江苏,中国(批准号2018 zd077),江苏省高校自然科学研究项目,中国(批准号20 kjb170023),徐州科技计划项目(批准号KC21303)。