三联体深哈希联合基于深层神经网络监督的损失

文摘

近年来,随着多媒体数据的爆炸从搜索引擎、社交媒体,电子商务平台,是一个迫切需要大规模的大数据快速检索方法。哈希是广泛应用于大规模、高维数据搜索因为它的存储成本低,查询速度快。由于深度学习在许多领域的巨大成功,深度学习方法被引入散列检索,它使用一个深神经网络同时学习图像特征和哈希码。与传统的散列方法相比,它具有更好的性能。然而,现有深哈希方法有一定的局限性;例如,大多数方法只考虑一种监督的损失,从而导致利用监督信息不足。为了解决这个问题,我们提出了一个三联体深哈希方法与基于卷积神经网络联合监督损失(JLTDH)这项工作。该方法JLTDH结合三联体可能性损失和线性分类损失;此外,采用三联体监管标签,其中包含丰富的监督信息的点态和成对的标签。同时,为了克服三胞胎的立方数增加,使三联体的培训更有效,我们采用一种新颖的三联体的选择方法。 The whole process is divided into two stages: In the first stage, taking the triplets generated by the triplet selection method as the input of the CNN, the three CNNs with shared weights are used for image feature learning, and the last layer of the network outputs a preliminary hash code. In the second stage, relying on the hash code of the first stage and the joint loss function, the neural network model is further optimized so that the generated hash code has higher query precision. We perform extensive experiments on the three public benchmark datasets CIFAR-10, NUS-WIDE, and MS-COCO. Experimental results demonstrate that the proposed method outperforms the compared methods, and the method is also superior to all previous deep hashing methods based on the triplet label.

1。介绍

近年来,由于互联网大数据的爆炸性增长,互联网上充斥着大量的多媒体资源,包括图片、视频、和文本,迫切需要快速搜索方法大规模大数据。近似最近邻(安)1]搜索已广泛应用于许多领域,如图像检索、计算机视觉、数据挖掘。因为速度和内存成本低,哈希安搜索已经成为一个重要的分支,它是一个广泛使用的技术在图像检索2- - - - - -9]。散列技术编码图像、文档、视频,或者其他类型的数据在短的一组二进制代码,同时保持原始数据相似。散列方法产生的二进制编码,使大型数据集的最近邻搜索容易。

提出了一系列不同的哈希方法来实现高效的搜索使用汉明距离[安3,5,8,9]。最近,深哈希方法(10,11,12,13,14]表明,图像表示和哈希编码可以学会更有效地使用深层神经网络,导致许多基准数据集的结果。

最近,三联体损失已经研究了计算机视觉问题。三联体标签比成对的标签包含更丰富的信息。每个三联体标签可以自然分解成两个成对标签。特别是,三个一组标签确保查询图像接近正面形象和远离学习中的负面形象散列码空间。然而,成对的标签只保证一个约束。三联体的检索性能损失比点态和成对的损失。因此,介绍了三联体的可能性损失。

与此同时,现有的深哈希方法仍然有一些缺点在分类信息的利用率。分类信息只扮演一个角色在深层神经网络图像表示但没有直接影响的优化哈希函数。因此,本文提出一种线性分类损失处理这种情况。

因此,结合三联体可能性损失和线性分类损失,我们提出一个三联体深哈希方法与基于卷积神经网络联合监督损失(JLTDH)。监督信息用于该方法的三联体标签。为了充分利用三重态信息和分类信息,我们提出了一个联合损失函数,它由两部分组成:三联体负对数似损失和线性分类损失。根据这个关节损失函数,哈希码可以进一步优化的线性分类器。线性分类器显示标签信息和哈希码之间的关系。我们选择的卷积神经网络(CNN)作为我们的深度学习模型,例如,AlexNet, ResNet, VGG,可以学习图像表示和哈希函数在同一时间。整个过程分为两个阶段:在第一阶段,将生成的三胞胎三重选择方法作为输入的CNN,这三个CNN与共享权值用于图像特性学习,最后一层网络的输出一个初步的散列码。在第二阶段,依靠第一阶段的散列码和联合损失函数,神经网络模型进一步优化,这样生成的哈希代码查询精度高。

这项工作总结如下:(1)本文三联体深提出了负对数似散列方法,和方法执行这两个图像特征表示和散列码卷积神经网络学习。为了克服三胞胎的立方数增加,使三联体的培训更有效,我们采用一种新颖的三联体的选择方法。(2)要充分利用监督三个一组的信息,JLTDH提议联合损失函数结合三联体负对数似损失和线性分类损失。依靠第一阶段的散列码和联合损失函数,神经网络模型进一步优化,这样生成的哈希代码查询精度高。(3)我们执行广泛的实验三个公共基准数据集CIFAR-10 NUS-WIDE, MS-COCO。实验结果表明,该方法优于方法相比,方法也比以前所有深哈希方法基于三联体的标签。

2。相关的工作

散列方法分为data-independent方法和数据相关方法。Locality-sensitive散列(激光冲徊化)1)是一个典型的代表data-independent散列方法在各种散列技术;这种方法是由一个哈希函数的随机地图,地图和随机投影数据点从原始空间的汉明空间;在这个过程中,学习的训练数据不习惯哈希函数。激光冲徊化的一个缺点是激光冲徊化通常需要很长的长度,从而导致巨大的存储开销。视的方法(15)学习训练数据的数据特征,学习哈希函数,也称为学习哈希(L2H)方法。data-independent方法相比,L2H方法可以得到更好的精度和更短的哈希代码。因此,L2H方法比data-independent广泛应用方法的实际应用。

L2H方法包括两种类型:非监督哈希和监督哈希(4,16]。无监督学习哈希散列函数不使用监督信息,和无监督哈希的目的是保持训练数据的指标结构。典型的无监督方法包括迭代量化(ITQ) [3),各向同性的散列(IsoHash) [4),离散图哈希(DGH) [15),和可伸缩的图哈希(功能减退)17]。无人监督的哈希经常达不到满意的检索性能的实际应用。

相反,监督哈希试图学习哈希函数利用监督信息。监督哈希的目的是将原始空间中的数据点映射到汉明空间与监督信息,和监督信息优化的学习哈希函数,散列码会学得更好。近年来,利用监督信息的学习,监督哈希的精度高于无监督散列,所以越来越多的研究人员研究了深(5,12,18]。典型的监督包括监督哈希散列方法与内核(KSH) [5)、快速监督哈希(FastH) [8),监督离散哈希(SDH) [9),潜在因素哈希(LFH) [19),自适应二进制量化(ABQ) [20.[],哈希位选择21],structure-sensitive散列(SSH) (10]。ABQ [20.]共同追求一套原型在原始空间和汉明空间二进制编码的一个子集。原型和相应相关的代码和定义小哈希码的哈希函数。哈希位选择(21)提出了两个相关的选择方法通过动态规划和二次规划,将可靠性和互补性。SSH (10)同时捕获两种类型的结构中数据以另一种方式。它学会了歧视,哈希函数量化数据到集群原型与独特的二进制代码。

然而,大多数传统的监督哈希方法并不能很好的提取特征。近年来,研究者提出深度学习散列方法,可以有效地提取图像特征识别相似的图片,和他们的性能优于传统的散列方法。代表深哈希方法包括卷积神经网络散列(CNNH) [18采用两阶段策略:学习二进制哈希码在第一阶段和学习deep-network-based哈希函数以适应代码在第二阶段。DNNH [12)与同步特性改善CNNH学习和哈希编码管道这样深表示,哈希码优化的三联体的损失。深散列网(DHN) (14),从而提高DNNH共同保护成对语义相似度和控制的量化误差,同时优化两两叉损失和量化损失通过多任务的方法。其他典型的散列方法包括深深成对监督哈希(DPSH) [13)和深监督哈希(近年来)22]。

最近,一些新的深哈希方法出现了,如跨通道散列和hashing-based生成对抗的网络。代表方法包括渐进生成散列(PGH) [23)学习区别的哈希网络以一种无监督的方式,它利用hash-conditioned甘斯学习和进步的力量。Triplet-based深哈希(TDH) [24用于跨通道检索,三个一组标签利用监督信息捕捉不同形式相对语义异构数据之间的相关性。排序(25)是一个跨通道检索方法,outer-cycle网络是用来学习强大的常见的表示和inner-cycle网络解释生成可靠的哈希码。深度学习可以显著优于具有监督哈希散列方法在许多应用程序中,我们专注于散列。

3所示。JLTDH框架

3.1。问题定义

在我们提出的方法JLTDH卷积神经网络的输入是三胞胎。我们三个一组设置为表示图像 ;在每一个三联体的形象 , 分别显示锚点,积极点,和消极的点;积极的形象被定义为(和是相似的和属于同一类别),和负面形象被定义为(和是不同的和属于不同类别)。之间的距离和之间的距离小于和 。

我们的目标是学习哈希码为图像 ;两者之间的相似性计算哈希码使用汉明距离。散列码应该满足所有三联体标签尽可能在汉明空间;三个一组的标签, 应该尽可能小吗 ,在哪里代表之间的汉明距离两个哈希码。

3.2。框架

我们介绍JLTDH的拟议的框架;这是一个端到端的散列学习框架基于卷积神经网络。

如图1,我们提出了一个三联体深哈希共同监督损失,这是一个深度学习框架能够自动特征学习和哈希编码,它连接三联体深度学习和线性分类量化。这是一个端到端的方法和监督三联体标签,它包含三个主要部分:图像特征学习一部分,散列码学习部分,和关节功能损失的部分。它将这三个组件集成到相同的端到端框架。

我们通常生成三胞胎基于样本的类别信息,选择锚形象和正面形象来自同一类别,并选择不同类别的负面形象。然而,随着数据的增加,所有可能的三胞胎的数量是非常大的;使用所有三胞胎是计算困难的而不是最优的,同时,它不是有利于训练和训练会导致收敛速度慢。现有的三联体散列方法不能很好地解决三重态选择的问题。因此,三胞胎的采矿和选择是一个迫切需要解决的问题。我们采用一种新颖的三联体的选择方法,该方法将在节中详细讨论4。

3.2.1之上。图像特征学习的一部分

在这一部分中,我们使用三个cnn共享权值提取适当的特性表示为二进制哈希代码学习。我们使用AlexNet [26)网络体系结构这一部分,VGG [27]和ResNet [28)也适用于本部分。每个CNN包含五个卷积层和三个完全连接层。最后一层AlexNet被替换为FC(完全连接)层,和最后的输出层预计作为散列码。AlexNet的配置如表所示1。

3.2.2。散列码学习部分

这部分生成图像的散列码根据前一部分的图像特征。FC层使用符号函数作为激活函数。二进制代码是通过使用符号函数。散列码的长度是由FC-layer神经元的数量在过去的层。

3.2.3。联合损失函数部分

联合损失函数结合了两种监督损失函数:三联体负对数似损失和线性分类损失,,旨在进一步优化散列码,散列码和分类信息可以保持点之间的语义关系。三个一组的共同损失函数是加权组合标签和线性分类损失可能性的损失。

4所示。三重选择方法

在大型数据集,比如NUS-WIDE和MS-COCO,所有可能的三胞胎的数量是非常大的。因此,使用所有三胞胎计算困难,不是最优的。具体地说,它不是有利于训练和训练会导致收敛速度慢。例如,使用数据集MS-COCO本文的训练数据集包含10000张图片,和所有可能的三胞胎大约的数量 。这是一个非常大的数量很难计算。

灵感来自于研究[29日),我们采用一种新颖的三联体选择方法来减少计算成本。随机把训练数据分成几组 ,三胞胎只在选择组 ,在哪里 ,分别代表了锚点,积极点,和消极的点组。 是积极的组织样本组成的样品类似于锚点吗在组。我们随机选择负样本组的负样本 ,我们发现负点远离锚点不是有用的培训,所以我们排除这些消极的点。

使用提出了三重选择方法,我们发现三胞胎的数量远小于可能的三胞胎的数量在我们的数据集。具体结果如表所示2。三联体的CPU运行代码选择方法是Intel Xeon处理器e5与12 - 2687 w @ 3.0 GHz核,和32 GB RAM。三个一组的时间成本选择方法在三个数据集较低和可接受的。

5。联合损失函数

联合损失函数结合了两种监督损失函数:三联体负对数似损失和线性分类损失。我们在以下介绍他们。

5.1。三联体负对数似损失

之间的汉明距离是两个字符串相等长度的数量的职位,相应的符号是不同的。它常被用来计算两个哈希码之间的相似性。换句话说,两个哈希码之间的汉明距离越小,越相似,反之亦然。 表明之间的汉明距离和 ,可以通过内积计算 : ,在哪里通常是散列码的长度。从上面的方程,可以得出结论,这两个哈希码的内积越大,汉明距离越小,越相似。让代表两个二进制代码之间的内积的一半 : 。DPSH [13)是一种方法,同时学习特征表示和哈希码使用成对的标签似然函数作为损失函数,似然函数是作为制定 在哪里 是所有哈希码的集合和是乙状结肠函数: 。两个哈希码大的内积应该有很高的相似性。

DPSH[使用的监督信息13成对的标签。受DPSH的启发,本文提出一种散列方法使用三联体标签似然函数,这是一个散列方法使用神经网络。一组三联体的标签是给定的。相互独立的假设条件,根据朴素贝叶斯定理,一些之前 ,的后验概率B可以计算如下:

我们可以定义三联体标签似然函数如下:

我们可以学习最优通过最大后验估计。

为了解决 ,根据 ,我们可以得到

从方程(4),我们可以得出结论,锚点之间的距离越小,积极点,和更大的锚点之间的距离和消极一点,更大的价值 。

根据方程(4),我们可以做以下定义: 在哪里superparameter的作用是调整之间的差距 和 。当 我们可以得出结论,和 。锚点之间的距离越小,积极点,和更大的锚点之间的距离和消极一点,三合似然函数值越大,反之亦然。这是符合我们的目标函数的意图。

通过最大化三联体的可能性 ,我们可以实施锚之间的汉明距离图像和正面形象是小于锚之间的图像和负面形象。以三个一组的负对数似标签,可以得到如下的优化问题:

上述优化问题可以最小化之间的汉明距离锚点,积极点,同时最大化之间的汉明距离锚点和消极的观点。这完全匹配的目标监督与三联体散列标签。

用公式(5)到公式(6),可以得到以下公式:

与深哈希方法一个常见的问题是如何训练神经网络输出的二进制代码(11,20.,25,26]。减少的损失方程(7)是一个非常困难的离散优化问题(30.]。通常的方法是放松从离散连续的。在神经网络的最后一层,我们使用符号函数作为激活函数获得二进制代码。然而,符号函数nondifferentiable因为符号函数的梯度总是等于零,和反向传播损失函数很难进行。放松的好方法是二进制代码和添加一个量化误差目标函数在训练。这种方法也用于(30日,25]。

我们使用这种方法描述如下:表示连续的输出前的最后一层的符号函数图像。可以获得的 。我们放松连续向量 ,我们重新定义如下:

然后,我们近似方程(7), 在哪里代表了量化误差项和superparameter,用于平衡原目标函数和量化误差。

将上述图像特征表示和损失函数为深层神经网络框架,我们集 在哪里代表所有的参数神经网络除了最后层, 表示神经网络的输出,代表一个权重矩阵,是一种偏见。

5.2。联合学习线性分类量化损失

三联体标签信息是用于学习哈希码由方程(9),但是标签信息没有充分利用。我们希望充分利用标签信息,这样我们使用联合学习线性分类器,进一步优化散列码,使学到的哈希代码优化。灵感来自于研究[31日),我们使用下面的分类器,它可以代表学习了散列码之间的关系和标签信息 : 在哪里分类器的重量和吗是真实的标签向量,在数据集分类的数量。我们通常选择损失的线性分类器,我们定义了损失函数如下: 在哪里线性分类器的损失函数,正则化参数,是规范的矩阵。方程(9)和(12)结合重量参数,可以得到以下公式: 在哪里是规范的矢量和是权衡参数用于平衡三联体项和线性分类损失可能性。

5.3。优化

方程(13)是一种联合优化问题损失,仍非凸,很难解决。在这里,我们采用离散循环坐标下降(DCC)优化方法。方程(13)可以分解成两个次优化问题,可以通过交替迭代求解线性分类损失最小化。对方程(12),线性分类损失可以写成

通过修复 ,使用矩阵跟踪功能 ,得到下面的公式:

的导数和设置 ,我们得到的最小值 :

所以一旦我们解决 ,我们假设作为一个常数矩阵。通过修复 ,方程(14)成为

我们可以得到封闭解一行B通过修复其他行。我们使用离散迭代循环坐标下降法来解决B行,行。让是行 , (K散列码的长度),的矩阵B不包括 。让是行W和的矩阵不包括 。第三项在方程(17)可以解决如下:

同样,让 ,,让是行问和的矩阵不包括 。第二项的方程(17)可以解决如下:

将方程(17),(18)和(19),有一个最优解的问题:

根据方程(21),每一位哈希代码z根据计算位已经学到的东西。我们可以迭代更新每一位直到程序收敛于一套更好的哈希码 。

综述了国内外近年来该方法JLTDH算法1。

6。实验和分析

在本节中,我们将描述我们的实验和结果。三个常用的数据集是用于验证算法的有效性。我们计算精度和均值的平均精度(MAP)检索结果显示我们的方法的性能在CIFAR-10, NUS-WIDE, MS-COCO。具体来说,锚 ,我们可以计算其平均精度(美联社)使用以下方程: 在哪里有关样品的数量,是截止的精度k返回示例列表,是一个指标函数等于1如果kth返回示例是一个真实的邻居 。否则,是0。鉴于问查询,地图是美联社的所有查询结果排序;我们可以计算出地图如下:

6.1。实验设置

我们的服务器配置如下:CPU是Intel Xeon处理器e5与12 - 2687 w @ 3.0 GHz核,GPU NVIDIA GTX 1080 8 GB, 32 GB RAM。Linux操作系统是Ubuntu 16.04,深度学习框架PyTorch [32]。

我们使用三个不同尺度的广泛使用的基准数据集;他们是CIFAR-10 [33],NUS-WIDE [34],MS-COCO [35]。CIFAR-10数据集包含60000张图片和10000个测试图像,属于10类。每个图像的大小像素。我们随机选择5000图片为每个类(500)作为训练集,1000张图片为每个类(100)作为测试查询集。

81年NUS-WIDE数据集包含269648个图像类别。我们使用了21个最常用的类别。我们随机选择2100图像(100图像类)与查询点和随机选择的10500张图片(500图像类)作为训练集。

MS-COCO图像数据集被广泛用于图像识别、分割、字幕。它包含82783训练图像和40504验证图片,每张图片的标签的一些80年的语义概念。我们随机选择5000图像作为查询点,其余图像数据库,从数据库中随机抽样10000个图像进行训练。表3显示了一些示例分从三个数据集。表4显示了数据集设置用于我们的实验。

我们比较我们的方法与几个代表哈希映射方法;我们选择的比较方法分为两类:传统的散列方法和深度散列方法。传统的非监督哈希方法包括SH (36]和ITQ [3]。传统的监督哈希方法包括KSH (5],FastH [8],SDH [9],SPLH [37],LFH [19]。深哈希方法包括DSRH [30.],DSCH [38],DRCSH [38],CNNH [18,全国通12],DPSH [13],DHN [14],DQN [39],DTSH [40],VDSH [41],DSDH [42]。也在这篇文章中,我们强调的比较深的哈希方法三联体标签,包括DSRH [37],DSCH [38],DRSCH [38),和全国通12]。公平地说,一些测试结果直接在先前发表的论文进行评估。后(41),CNN特性CIFAR-10提取使用pretrained CNN-F模型。该方法的hyperparameters设置根据标准的交叉验证程序。在方程(12),设置为0.1,是1,是55,是散列码的长度的一半。

6.2。实证分析

6.2.1。相比其他深方法和具有的方法

如表所示5和图2计算,地图基于邻居返回的前5000名。全国通、CNNH KSH, ITQ研究的结果(11,18]。其他方法得到的研究结果(42]。我们的方法执行更好的在这三个数据集比现有的散列方法;具有学习方法相比,我们的方法明显提高。我们的方法进一步改进性能2 - 6%相比,当前的最佳深度学习的方法。与此同时,我们发现,我们的方法表现更好更短的哈希码( )。最深处散列方法有显著的性能优势。

映射结果的不同数量的比特MS-COCO数据集如表所示6;除了我们的方法,其他研究的结果(29日]。为了符合设置(29日),我们设置了散列码长度为8位,16位、24位和32位。图像像素MS-COCO更为复杂,这将导致更多的困难的分类,这可能会导致不准确的结果特征提取和分类不准确的结果。从表可以看出5,MS-COCO数据集的性能在一定程度上减少而NUS-WIDE地图数据集的结果。尽管如此,我们的方法仍然是比的比较方法。

我们的方法可以实现良好的性能在更短的哈希码。与此同时,我们也讨论了散列码长下的性能变化。自从比较法不提供长哈希码的结果,我们在这里只讨论我们自己的方法。从图可以看出3,CIFAR-10好的地图在32位的值,而NUS-WIDE得到好的地图价值48和64位之间。散列码长度的增长,地图CIFAR-10减少,虽然NUS-WIDE地图不是减少,但没有明显的增加。

6.2.2。相比,具有散列方法使用深特性

有人可能会说,性能改进来自神经网络,不是我们的方法。为了进一步验证我们的方法,我们将我们的方法与传统的散列方法使用CNN-F网络(43)提取深度特性。如图4,我们可以看到,我们的方法明显优于传统方法。应该注意的是,大部分的传统方法不是基于MS-COCO测试,我们无法得到相应的数据,所以我们没有做的比较测试MS-COCO在这部分。

6.2.3。散列方法相比三联体标签

本文采用三联体标签的方法;因此,我们关注的比较深散列方法三联体的标签,我们将进一步进行比较与其他深哈希方法使用三联体的标签。这些方法包括DSRH [37],DSCH [38],DRSCH [38),和全国通12]。结果DSRH、DSCH DRSCH采用的研究(38]。如图5与以前相比,深哈希方法基于三联体的标签,我们的方法显然是更好的,领导比较方法。

6.3。Hyperparameters敏感性

最重要的hyperparameters JLTDH和 。 是权衡参数用于平衡三联体项和线性分类损失可能性。是用来平衡可能术语和量化误差。我们探索的影响这两个hyperparameters。

我们报告的映射值不同的范围(0.1,200)在两个数据集的代码长度是12位和32位。我们可以发现JLTDH并不敏感在一个大范围的时候 。根据图6(一),我们发现,当 ,CIFAR-10可以获得最佳的映射性能。如图6 (b),当 ,NUS-WIDE可以取得更好的性能地图。

此外,我们的影响在数据7(一)和6 (b)。可以看到,有一个广泛的在我们的方法执行。当散列码= 12位,地图精度是更好的在两个数据集 ,当散列码= 32位,地图精度是更好的在两个数据集 。其他superparameter设置是通过交叉验证:设置为0.1,是散列码的长度的一半。

6.4。分析三种损失功能

通过观察损失函数的收敛性,我们可以判断是否选中的损失函数是合理的。图8显示了三种损失的变化对不同长度的哈希码在训练。我们只以CIFAR-10为例;其他两个数据集的结果是相似的。有理由得出这样的结论:联合损失结合三联体可能性损失和线性分类培训期间成功地优化损失量化的损失。数据8(一个)和8 (b)是相似的:他们表明,联合损失和损失可能性三联体收敛迅速,为不同的位,控制在一个较低水平,我们的方法是合理的和有效的,只需要几个迭代优化过程。

为了进一步揭示了各自的影响两部分的共同损失函数,我们展示了三联体损失可能性的损失曲线,线性分类损失,分别在数字8 (b)和8 (c)。损失的大小值在图8 (c)是关于在图的7 (b),这是因为三联体损失可能性是用来优化第一阶段和在训练中起着重要作用,而线性分类损失是用来优化第二阶段,这是基于第一阶段进一步优化和调整优化。

6.4.1。烧蚀研究损失函数

为了证实不同损失最终性能的贡献,我们选择一个变种的JLTDH比较:JLTDH-T JLTDH的变种,其损失函数和线性分类损失仅包含三联体的损失。从图可以看出9CIFAR和NUS-WIDE数据集,JLTDH-T可以实现良好的映射性能只有三联体的损失。基于线性分类损失的进一步优化,JLTDH达到更好的地图性能通过使用共同的损失。JLTDH JLTDH-T前平均2%左右。

6.5。可视化的查询结果

我们显示最高的插图12返回图像更好地理解的令人印象深刻的该方法的性能改进。图10说明了该方法的前12返回图像三个查询图像的三个数据集CIFAR-10 NUS-WIDE, MS-COCO和散列码的长度是32。结果表明,我们提出的方法可以真正保护图像的特点和拯救他们的散列码。关于查询在CIFAR-10形象,只有一个返回的结果是错误的,错误的图像只有底部的图像分类。相比之下,在NUS-WIDE查询图像,只有1的前12个图片是不正确的,和前12张图片类似的查询图像形状或类似的颜色。查询图像MS-COCO, 10的12个图片是正确的;与前两个数据集相比,查询精度略有减少。可能的原因是,MS-COCO是一个多目标数据集。这表明,我们的方法可以提供所需的搜索结果。

7所示。结论

在这项工作中,我们提出一个三联体深哈希方法和基于卷积神经网络联合监督损失(JLTDH)。要充分利用监督三个一组的信息,提出了一种联合损失函数结合两种监督损失函数:三联体负对数似损失函数和线性分类损失函数。同时,为了克服三胞胎的立方数增加,使三联体的培训更有效,我们设计了一个三重选择方法。整个过程分为两个阶段:首先,网络输出的最后一层初步的散列码。其次,依靠联合损失函数和反向传播算法,神经网络的参数进一步更新,这样生成的哈希代码查询精度高。我们执行广泛的实验三个公共基准数据集CIFAR-10 NUS-WIDE, MS-COCO。实验结果表明,该方法优于方法相比,也比以前所有深哈希方法基于三联体的标签。

数据可用性

数据属于第三方:本文的实验部分使用三个广泛使用的公共数据集(CIFAR-10、MS-COCO NUS-WIDE),可以公开访问。CIFAR-10可以访问http://www.cs.toronto.edu/kriz/cifar.html,MS-COCOhttp://mscoco.org,NUS-WIDEhttp://lms.comp.nus.edu.sg/research/NUS-WIDE.htm本文算法的实现代码是由PyTorch写的。代码可以从李明永要求获得limingyong@cqnu.edu.cn。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的中国重庆市教育委员会科技项目(没有。KJ1600332),教育部人文社会科学项目(18 yja880061),重庆市教委人文社会科学项目(排名19 skgh035),重庆教育科学规划项目(编号2017 - gx - 116)和重庆研究生教育改革项目(没有。yjg193093)。

引用

1. 郭y, g .丁l . Liu j .汉和l .邵”学习与优化锚嵌入可扩展检索,哈希”IEEE图像处理,26卷,不。3、1344 - 1354年,2017页。视图:出版商的网站|谷歌学术搜索
2. b . Kulisand k .好莱坞,“Ker-nelized locality-sensitive散列可伸缩的图片搜索,”学报2009年IEEE 12计算机视觉国际会议《京都议定书》,页2130 - 2137年,日本,2009年9 ~ 10月。视图:出版商的网站|谷歌学术搜索
3. y锣和美国Lazebnik迭代量化:普罗克汝斯忒斯之学习方法的二进制代码,”《CVPR科罗拉多斯普林斯,页817 - 824年,有限公司,2011年8月美国。视图:出版商的网站|谷歌学术搜索
4. w .香港和W.-J。在李”,各向同性的哈希。诉讼进展的神经信息处理系统2012年12月,页1646 - 1654。视图:谷歌学术搜索
5. r·w·刘,j . Wang, Y.-G。江,S.-F。常,“监督与内核哈希,”学报2012年IEEE计算机视觉与模式识别会议普罗维登斯,页2074 - 2081年,RI,美国,2012年6月。视图:出版商的网站|谷歌学术搜索
6. 崔m . Rastegari j . s . Fakhraei d·哈尔和l·s·戴维斯,“可预测的dual-view哈希,”《ICML,页1328 - 1336年,亚特兰大,乔治亚州,美国,2013年6月。视图:谷歌学术搜索
7. k·f·温,他和j .太阳,“k - means散列:一个affinity-preserving量子化方法学习二进制代码紧凑,”《CVPR波特兰,页2938 - 2945,或者美国,2013年6月。视图:出版商的网站|谷歌学术搜索
8. 问:“沈g .林c, h·安东·范·d·苏特,“快监督高维数据的哈希与决策树”《CVPR哥伦布,页1971 - 1978年,哦,美国,2014年6月。视图:谷歌学术搜索
9. 沈,x, y, j .歌曲,h·t·沈和d .道,“通用二进制代码学习,快速优化方法”IEEE图像处理,25卷,不。12日,第5621 - 5610页,2016年。视图:出版商的网站|谷歌学术搜索
10. b . x Liu Du, c·邓m . Liu和b . Lang”与自适应量化产品结构敏感的哈希,”IEEE控制论,46卷,不。10日,2252 - 2264年,2016页。视图:出版商的网站|谷歌学术搜索
11. 林k, H.-F。杨,黄永发。萧,c。陈,“深度学习二进制哈希码的快速图像检索,”《CVPR研讨会美国,页27-35,波士顿,MA, 2015年6月。视图:出版商的网站|谷歌学术搜索
12. 刘h·赖,y, y, s .严”同步特性与深层神经网络学习和哈希编码,”学报2015年IEEE计算机视觉与模式识别会议(CVPR),页3270 - 3278,波士顿,MA,美国,2015年6月。视图:出版商的网站|谷歌学术搜索
13. W.-J。李,王,和观测。Kang”功能为基础的学习深度监督与成对散列标签,”《IJCAI,页1711 - 1717,纽约,纽约,美国,2016年7月。视图:谷歌学术搜索
14. h·朱,m .长,j . Wang和y曹,“深哈希网络高效的相似性检索,”《AAAI美国凤凰城,阿兹,2016年2月。视图:谷歌学术搜索
15. c . w . Liuμ,s·库马尔,S.-F。常,“离散图哈希”诉讼进展的神经信息处理系统加拿大蒙特利尔,页3419 - 3427,,2014年12月。视图:谷歌学术搜索
16. y郑,j .朱w .方,L.-H。气,“深度学习无线多媒体图像内容安全散列,“安全性和通信网络ID 8172725条,卷。2018年,13页,2018。视图:出版商的网站|谷歌学术搜索
17. 徐瑞秋江和W.-J。李”,与功能转换、可伸缩的图哈希”《IJCAI,页2248 - 2254,布宜诺斯艾利斯,阿根廷,2015年7月。视图:谷歌学术搜索
18. c·r·夏y, h . Lai Liu和严,“监督哈希通过图像表示为图像检索学习,”《AAAI魁北克市,页2156 - 2162年,加拿大,2014年7月。视图:谷歌学术搜索
19. 张平,W.-J w . Zhang。李、郭m .“监督散列与潜在因素模型,”市立学报,页173 - 182,黄金海岸,澳大利亚,2014年7月。视图:谷歌学术搜索
20. x, z,邓c, d .道,“分布式自适应二进制量化快速最近邻搜索,“IEEE图像处理,26卷,不。11日,第5336 - 5324页,2017年。视图:出版商的网站|谷歌学术搜索
21. 刘x, j .他和S.-F。常,“散列选择最近邻搜索,”IEEE图像处理,26卷,不。11日,第5380 - 5367页,2017年。视图:出版商的网站|谷歌学术搜索
22. h·刘,s, r . Wang和x陈,“深监督快速图像检索的哈希”学报2016年IEEE计算机视觉与模式识别会议(CVPR)美国拉斯维加斯,NV, 2016年6月。视图:出版商的网站|谷歌学术搜索
23. y, h .悦,f .叮,胡,j . Li和刘x,“进步为图像检索生成哈希,”二十七学报》国际联合会议上人工智能斯德哥尔摩,瑞典,2018年7月。视图:谷歌学术搜索
24. 刘邓,z, x, x高,d .道,“Triplet-based深散列跨通道网络检索”IEEE图像处理,27卷,不。8,3893 - 3903年,2018页。视图:出版商的网站|谷歌学术搜索
25. c, c·邓•德•谢l . Wang和x Liu”耦合CycleGAN:无人监督的散列跨通道网络检索”人工智能学报AAAI会议火奴鲁鲁,嗨,美国,2019年2月。视图:谷歌学术搜索
26. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”诉讼进展的神经信息处理系统太浩湖,页1097 - 1105年,NV,美国,2012年12月。视图:谷歌学术搜索
27. c . Szegedy w·刘,y贾et al .,“要更深的曲线玲珑,”学报2015年IEEE计算机视觉与模式识别会议(CVPR)美国,页1 - 9,波士顿,MA, 2015年6月。视图:出版商的网站|谷歌学术搜索
28. k . x张,他任美国,j .太阳,“深残余学习图像识别,”学报2016年IEEE计算机视觉与模式识别会议(CVPR)美国拉斯维加斯,NV, 2016年6月。视图:出版商的网站|谷歌学术搜索
29. b .刘曹y、m长,j . Wang和j·王,“深三联体量子化,”《ACMMM2018年10月,首尔,韩国,。视图:谷歌学术搜索
30. f .赵黄y l . Wang和t . Tan“深层语义基于排名的散列多标记图像检索”学报2015年IEEE计算机视觉与模式识别会议(CVPR),页1556 - 1564,波士顿,MA,美国,2015年6月。视图:出版商的网站|谷歌学术搜索
31. f .沈c .沈w·刘,h·t·沈,“监督离散哈希,”学报2015年IEEE计算机视觉与模式识别会议(CVPR)美国,波士顿,MA, 2015年6月。视图:出版商的网站|谷歌学术搜索
32. p·亚当,总值,s . Chintala Gregory Chanan和大肠,“PyTorch自动分化,”诉讼进展的神经信息处理系统美国长滩,CA, 2017年12月。视图:谷歌学术搜索
33. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”程序的年度会议在神经信息处理系统太浩湖,页1106 - 1114年,NV,美国,2012年12月。视图:谷歌学术搜索
34. t·s·艾。蔡,j . Tang r .香港h . Li z罗,和y郑”NUS-WIDE:一个真实的网络图像数据库从新加坡国立大学”诉讼ACM国际会议上的图像和视频检索2009年7月,圣托里尼岛岛,希腊,。视图:出版商的网站|谷歌学术搜索
35. T.-Y。林,m . Maire s Belongie et al .,“微软可可:常见的上下文中的对象,”大会施普林格,页740 - 755年,柏林,德国,2014年。视图:谷歌学术搜索
36. y . Weiss, a . Torralba和r·费格斯“谱哈希,”《22日年会在神经信息处理系统中,少量的20081760年,页1753 - 2008年12月,加拿大,温哥华。视图:谷歌学术搜索
37. s . j . Wang库马尔,s . f . Chang”顺序投影学习与紧凑的哈希码学报》第27届国际会议上机器学习(ICML-10)以色列海法,页1127 - 1134,,2010年6月。视图:谷歌学术搜索
38. r, l .林w·左r . Zhang和l .张“Bit-scalable深散列正规化相似性学习图像检索和人地,“IEEE图像处理,24卷,不。12日,第4779 - 4766页,2015年。视图:出版商的网站|谷歌学术搜索
39. 曹y、m长,j . Wang h·朱问:温,“深度量化网络有效的图像检索,”《AAAI,页3457 - 3463年,凤凰城,亚利桑那州,2016年2月。视图:谷歌学术搜索
40. 施x, y, k . m . Kitani“深监督哈希,三个一组标签,”ACCV施普林格,页70 - 84年,柏林,德国,2016年。视图:谷歌学术搜索
41. 陈z, y,诉Saligrama”高效培训监督哈希的很深的神经网络,”学报2016年IEEE计算机视觉与模式识别会议(CVPR)拉斯维加斯,页1487 - 1495年,NV,美国,2016年6月。视图:出版商的网站|谷歌学术搜索
42. l .气z太阳,r .他和t . Tan“深监督离散哈希,”诉讼进展的神经信息处理系统美国长滩,CA, 2017年12月。视图:谷歌学术搜索
43. k .地方k . Simonyan a Vedaldi, a . Zisserman“魔鬼在细节的回归:深入深入回旋的网,“2014年,http://arxiv.org/abs/1405.3531。视图:谷歌学术搜索

版权

版权©2019明永李等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。