文摘

跨通道散列方法可以异构多通道数据映射到一个紧凑的二进制代码,保存语义相似度,可以显著提高跨通道的方便检索。然而,当前可用监督跨通道散列方法通常只因式分解矩阵的标签和不充分利用监督信息。此外,这些方法通常只使用单向映射,在一个不稳定的哈希结果学习过程。为了解决这些问题,我们提出一种新的监督跨通道散列学习方法称为离散两步跨通道散列(DTCH)通过成对的剥削关系。具体来说,这种方法充分利用了成对相似性关系包含在监督信息:标签的矩阵,哈希学习过程是稳定结合矩阵分解和标签回归;成对相似性矩阵,采用semirelaxed和semidiscrete策略可能减少累积的量化误差而提高检索效率和准确性。细粒度特征的方法进一步结合了一个探索与小说样本外扩展战略目标函数使隐式保护的一致性不同模态分布的样本和两两之间的相似关系。通过大量的实验验证了我们的方法的优势是使用两个广泛使用的数据集。

1。介绍

近年来随着互联网技术的发展,大量的多通道数据获得视频,音频,图像,文字,和其他来源在社交网络正在迅速传播。真实情景中一个常见需求是跨通道检索,例如,检索相应的图像或视频通过文字描述。由于多通道数据的异构性,必须跨通道检索任务,与传统的检索任务,弥补语义鸿沟并获得共同的和统一的表达式。同时,快速增长的大量数据增加了检索的时间和空间成本为用户普遍预计能够快速获得相关信息检索目标。

由于其检索效率高和低空间成本,跨通道哈希已经成为主要方法领域的跨通道检索(1]。跨通道散列学习尝试多通道数据转换成一组短在汉明空间二进制编码(称为哈希码),同时保留原样品关系,然后学习一组映射函数的具体形态样本散列码。常见的二进制代码空间和具体形态共同空间的映射可用于实现跨通道检索。哈希码之间的相似性计算汉明距离、XOR操作可以实现硬件上显著提高检索效率。此外,存储成本降低,因为散列码长度相对较短。

现有的跨通道散列方法大致可以分为无监督和监督方法。无监督学习方法哈希函数利用样本之间的关系模式,通常精度较低。监督方法试图利用监督信息包含在标签和使用这些标签中的常见的语义信息来指导学习的哈希码,从而提高其质量。然而,大多数现有的监督方法没有充分利用监督信息(2,3]。例如,徐et al。4独自]标签使用矩阵回归,忽略了样本之间的相似关系。此外,监督使用的单向的回归方法不利于充分利用监督信息,还将导致散列学习过程不稳定。因此,在本文中,我们提出一种新的监督跨通道散列标签矩阵分解和散列码回归”相结合的方法来实现双向映射。此外,双重监督的方法是采用将标签和成对相似性矩阵嵌入到哈希学习过程,进一步利用两两之间的关系模式。

哈希学习的另一个重要的问题是二元约束造成的整数规划问题。成对相似性矩阵的引入使得目标函数的优化更加复杂。目前通常采用一种放松方法策略的二元约束是废弃的;相反,真正的价值是优化和阈值方法用于获得一个解决方案。然而,这种方法会导致累积量子化错误。在这项工作中,我们提出了一个semirelaxed, semidiscrete策略减小量化误差,提高检索精度同时确保顺利的优化目标函数。此外,灵感来自异构模态特性的概念融合下的双线性模型(5),我们提出一个简单的映射学习多通道数据融合获得更细粒度的高阶特性,提出应用结合样本外扩展策略来含蓄地保存样本之间的相似关系。

总之,本研究的贡献如下:(我)一个新的跨通道监督散列框架使用双重监督信息的目的是利用成对样本之间的关系。此外,采用semirelaxed和semidiscrete策略利用成对相似性矩阵,以减少累积量子化错误。(2)一个新的样本外扩展策略两种新颖的优化策略。通过结合这一战略和细粒度特性,不同的样品模态分布之间的一致性和成对相似性关系可以有效地保存了下来。(3)实验在两个广泛使用的检索数据验证了该方法的有效性和优越性。

本文的其余部分组织如下。部分2简要回顾一些相关的工作。部分3给DTCH的细节。部分4给出了实验结果和讨论,紧随其后的是结论部分5。

2。相关工作

当前可用的跨通道散列方法主要可以分为线性模型(6- - - - - -8)和深度模型(9- - - - - -12)方法。尽管一些最近提议的方法基于深度模型提高了检索性能,这类方法通常表现出高的时间和空间复杂性和可解释性差。相比之下,线性模型更适用于真实场景由于其高的检索效率和很强的可解释性。

现有的线性跨通道检索方法可以进一步分为两大类:非监督跨通道散列(13- - - - - -15和监督跨通道哈希16- - - - - -19]。无监督跨通道散列方法主要由采矿学哈希函数样本特征信息获取之间的关系,在样本模式。例如,太阳et al。13]扩展传统的多通道光谱散列方法领域通过最小化之间的汉明距离样本对。媒介物散列(14)学习哈希码通过维护之间的语义一致性和模式。周et al。15)提出了一个潜在语义稀疏哈希方法,矩阵分解和稀疏编码相结合,发现了一个共同汉明空间。

与无监督学习方法,监督跨通道散列方法使用标签信息和成对相似性信息来提高哈希代码质量。Zhang et al。16)使用成对相似性矩阵生成的标签学习哈希码,然后尝试使用这些哈希码重构矩阵最大化的目标的语义相关性的哈希码。徐et al。4离散哈希(SDH)[]扩展监督20.]跨通道字段和标签使用矩阵回归方法直接学习哈希码。然而,SDH采用逐位学习策略生成二进制代码,使其耗时。陈等人。17)提出了一个可伸缩的跨通道散列的矩阵分解方法应用于跨通道。一般来说,监督学习方法的检索精度明显高于无监督方法由于利用标签信息。一般来说,这些方法限制了他们软弱的表现能力。获得满意的精度,长的代码长度通常是必需的,导致更大的存储和查询开销。

3所示。该方法

在本节中,我们详细地介绍我们的方法的使用符号,二进制代码学习,优化样本外扩展,时间复杂度。框架如图1。

3.1。符号

对于一个数据集 与样本对,我们使用 代表图像的特征向量i样本对和形态 代表的文本形态的特征向量我th样本对,d和f相应的特征维度。相应地, 和 代表视觉模态特性和文本模态矩阵,分别。此外,Y用于表示标签样本矩阵,在哪里 代表向量对应的标签样品,代表类的数量。如果当前样本属于类,然后 ,在哪里 ;否则, 。与此同时,矩阵的标签Y是用于构造成对相似性矩阵 。如果样品两我和j是相似的,那么 ;否则, 。

3.2。二进制代码学习

跨通道散列的目标是将异构多通道数据映射到紧凑的二进制代码,同时保留原文的语义相似度空间。直观地,多通道数据描述相同的实体,因此,他们的高层语义应该是一致的。提出了一种新的跨通道散列成对关系框架,充分利用了样本中包含标签和成对相似性矩阵学习统一的二进制代码。

灵感来自于多通道有识别力的二进制嵌入(MDBE) [21],我们试图利用矩阵分解探讨标签的语义信息隐式矩阵。这个过程可以形式化如下: 在哪里 从标签是二元语义表示矩阵,即。、散列码是辅助矩阵。为了避免单一的解决方案,我们添加的 - - - - - -标准正则化项 。此外,通过回归散列码矩阵的标签,标签矩阵可以嵌入到学习的二进制代码如下: 在哪里是线性映射矩阵。除了进一步探索标签的语义信息矩阵,方程(2)可用于稳定散列的学习过程。标签矩阵的充分利用可以减少造成的语义鸿沟模态异质性最大限度,从而更容易的哈希代码表达高层语义超出了特定的模态。换句话说,是不受限制的标签信息的具体形态和散列码从标签信息应该是一个更高级的表示可以跨越语义鸿沟。

额外的重要监督信息的监督学习方法得到的哈希成对相似性矩阵。一个共同的方法来构建跨通道的成对相似性矩阵监督散列方法是重建标签样本矩阵。如果两个样本对共享一个或多个标签,他们被认为是相似的,反之亦然。内积的两个样本之间的散列码对应样本之间的距离,它可以用作衡量样本之间的相似关系。因此,内积的散列码是用来适应成对相似性矩阵,以确保学习散列码保持原始空间的相似性关系尽可能的初衷是一致的跨通道散列学习。这个过程可以建模如下: 在哪里 从标签是二元语义表示矩阵,即。、散列码表示散列码的长度。显然,方程(3)是一个非凸优化问题,很难解决。许多现有的方法采用完全放松战略涉及的离散约束的散列码。然而,这种方法会产生累积量子化错误严重影响散列检索的准确性。为了解决这个问题,我们采用一个semidiscrete, semirelaxed战略真正价值的信息在方程(2)是用于替换的散列矩阵在方程(3)。在这种方式,富人可以充分利用语义信息在真实值不破坏离散约束的散列码。这个过程可以形式化如下:

根据双线性模型(5),高阶特性通过异构特性的融合能更好地描述一个原始样本。灵感来自这个想法,该方法融合获得不同形式的数据。值得注意的是,因为不同的模态数据存在于不同的功能空间,会有它们之间的语义鸿沟。因此,一个简单的功能映射之前必须学会融合在特征空间变换,援助, 。进一步的,通过这个公式结合方程(4),这个细粒度特性可以嵌入到散列学习如下: 在哪里和功能不同的模式和吗是线性投影。这个方程强化了学习的哈希码使用细粒度特性并提高了哈希码的质量。与此同时,它可以应用于与样本外扩展策略产生学习哈希码不同模态样品,尽可能保留成对相似性关系,将在3.4节详细介绍。

总之,通过结合方程(1),(2),(4)和(5),最终得到目标函数如下: 在哪里 , , ,和是权衡参数。

3.3。优化

方程(6)是显然仍然很难解决变量的非凸优化问题 , , ,和 。然而,解决单个变量而修复其他变量仍然是一个相对简单的过程。因此,我们提出一个交替迭代策略优化的目的,通过局部优化实现全局优化。介绍了每个优化步骤如下:第一步:首先,优化映射的过程介绍了。通过解决剩下的三个变量,方程(6)可以简化 通过方程的导数(7)对和设置它等于零,我们获得 通过求解上述方程,封闭(分析)的解决方案可以得到如下: 第二步:修复三个变量 , ,和 ,和优化的映射 。在这种情况下,目标函数可以简化 通过方程的导数(10)对和设置它等于零,我们获得 的封闭解是 第三步:优化变量 。通过解决剩下的变量,我们获得 作为包含二进制约束方程(13)仍然是一个整数规划问题。在这里,我们介绍两种方法来优化 。第一个优化方案使用离散近端线性化最小化(DPLM) [22]。重建和简化后,可以解决通过一个简单的符号功能: 在哪里的解决方案是后迭代,是一个hyperparameter,表示如下: 第二个优化方案采用离散循环坐标下降(DCC)方法(20.]。尽管方程(13)是一个整数规划问题,DCC算法仍然可以用来解决离散解的迭代和一点点。作为 ,方程(13)可以写成 在哪里 。根据DCC算法,我们定义随着 - - - - - -th列的矩阵 , ,和为矩阵不包括 。类似地,我们定义随着 - - - - - -th列的矩阵 。然后我们定义随着 - - - - - -th列的矩阵和为矩阵不包括 。最后,我们定义 , 随着 - - - - - -th列的矩阵 ,和为矩阵不包括 。方程(16)可以写成 通过导数的解析解可以得到如下: 在哪里代表符号函数。第四步:修复其余变量和优化映射 。在这种情况下,目标函数

通过求导和设置它等于零,我们获得

的封闭解是

3.4。样本外扩展

在本节中,我们介绍了样本外扩展策略。如方程所示(6),DTCH是一个两步散列方法。离线训练完成后,从特征映射到哈希码也必须学会查询样本。如上所述,我们提出一个新的样本外扩展策略,当目标函数相结合,可以帮助确保了modality-specific样本外的映射和保留原始空间的相似性。具体地说,这种策略可以形式化如下: 解决方案的视觉形态的样本外扩展映射可以表示为

通过导数 ,我们获得

解决方案样本外扩展映射的文本形态可以表示为

通过导数 ,我们获得

3.5。时间复杂度

在培训过程中,我们需要更新的投影 , , , ,和和统一的二进制编码矩阵 。学习的时间复杂度 , ,和 , ,和是 , , ,和 ,分别。在这项研究中,我们采用两种方法来优化 。具体来说,解决方程(15)和(18)需要 和 ,分别。作为通常是大于多少和 ,该方法的训练时间复杂性与DCC和DPLM可以简化为 和 ,在哪里是迭代的数量。

4所示。实验

来验证该方法的有效性,我们进行了广泛的实验使用两个广泛使用的数据集。在下一节中,每个数据集的三个方面(他们的模式和类信息)实验设置,并详细介绍了结果和实验分析。

4.1。数据集

验证了该方法的有效性和优越性,我们进行了广泛的实验使用两个广泛使用的大型跨通道检索数据集:MIR-Flickr [23]和NUS-WIDE [24]。

MIR-Flickr数据集包含25000张图片在24班,每个形象形成一个图像文字搭配相应的文本描述。在这项研究中,15902个样本对被选作为训练集,836个样本对被选为测试设置,这些设置和工会作为检索集。具体来说,图像形态是由150维边缘直方图,文本形态是由500维向量,表示类信息是由24-dimensional表示语义标签。

NUS-WIDE数据集包含269648个从互联网上图像和相应的文字描述,包括81类。在这项研究中,17000年十大最频繁的类及其相应的样本选择培训,994年被选为测试样品,和50000年样本选择检索。具体来说,图像形态是由500维过滤袋的视觉词向量(25),文本形态是由1000 -维bag-of-words向量,表示类信息是由十维表示语义标签。

4.2。实验设置

使用上面描述的两个数据集,我们与八跨通道DTCH散列方法相比,近年来提出了:cross-view散列(CVH) [13),综合媒介的散列(IMH) [14),潜在语义稀疏哈希(LSSH) [15)、语义相关性最大化(SCM) (16),离散跨通道散列(DCH) [4)、快速离散跨通道散列(FDCH) [26),可伸缩的离散矩阵分解哈希(划痕)17),两步跨通道散列(科技)18]。其中,CVH IMH, LSSH无监督方法和其他的监督方法。

对于一个公平的比较,所有基线的hyperparameters方法初始化根据原始文件中使用的方法;对所有方法,包括DTCH,平均性能五分用于比较。以下参数设置用于本文的方法: , , , , ,和 。该方法是基于线性模型,深模型并不是作为它的基本方法。此外,所有的考试都是在电脑上用一个英特尔酷睿i7 - 6700 3.40 GHz处理器和32 GB RAM的编程环境下MATLAB R2019b。

比较方法的性能,我们测试了每一个两跨通道检索任务:(1)Img2Text,涉及文本使用图像的检索;(2)Text2Img,涉及使用文本图像的检索。精密(美联社)和平均值平均精度(mAP)被用作度量。美联社表示检索样本的平均精度如下: 在哪里相关样品的数量在K样品和检索指示是否例子是与检索样本。地图是通过排序的AP值样本,然后采取一般如下: 在哪里代表样本的数量被检索。

4.3。实验结果和分析

在本节中,我们提供一个简要的分析实验结果。表1列出了地图的跨通道检索结果运用DTCH和八个比较这两个数据集的方法,MIR-Flickr NUS-WIDE。表的上半部分列表结果表现在应用Img2Text获得;下半部分列出了Text2Img结果表演。Ours-1 Ours-2采用DCC和DPLM分别为解决方案优化。从表1Ours-2达到最佳的性能在不同的代码长度在两个数据集,表明该方法能够减少语义差距在一定程度上,提高跨通道检索性能。Ours-1也得到令人信服的结果;尤其是在执行Text2Img任务,其性能显著提高相对于以前的方法。然而,NUS-WIDE数据集上的性能Ours-1略比SCARTCH,特别是在相对较短的代码长度。一个可能的原因结果是Ours-1使用DCC优化时被困在当地的最适条件。此外,它的不足表现Img2Text任务仅表明其在图像形态表征能力略有不足。因此,在后续的工作将有助于提高该方法的图像模态的表达能力。

图2显示了一个折线图绘制Precision@K平均指标的函数代码长度为每个方法执行每一项任务。不失一般性,的价值K被选定为50。从结果看,Ours-1和Ours-2实现最优性能几乎所有代码长度。此外,DTCH能够取得令人信服的结果,即使代码长度相对较短。图3显示了一个折线图绘制的平均Precision@K指标的函数K为每个方法执行每一项任务。在这种情况下,代码长度是固定在32。看到,该方法优于所有的比较方法,特别是在相对较小K值,平均精度值显著高于其他方法。

5。结论

在本文中,我们提出了一个监督跨通道称为DTCH散列方法。这种方法同时矩阵嵌入一个标签和一个成对相似性矩阵散列学习和充分利用成对样本之间的关系为每个标签使用双重监督方法。具体来说,利用标签样本矩阵,该方法结合了矩阵分解和标签回归。双向映射方法不仅充分利用了语义信息,而且稳定的散列学习过程。利用成对相似性矩阵,我们采用semirelaxed semidiscrete方法避免原来的非凸优化问题;这也缓解可能出现的重大累计量化误差直接消除二元约束。我们另外设计一个新的样本外扩展战略,结合目标函数的细粒度特征融合方法进行目标函数。通过这种方式,不同模态分布的样本之间的一致性和成对相似性关系是有效地保存了下来。广泛使用两个数据集进行的实验验证DTCH的优良的性能和效率。此外,嵌入深度学习在DTCH框架非线性嵌入技术降低原始方法。 In future, we plan to investigate how to effectively and efficiently combine them.

数据可用性

研究数据用于支持本研究的结果中包括这篇文章。

的利益冲突

作者宣称没有利益冲突。

确认

这部分工作是支持由中国国家自然科学基金(61876098,61876098,61573219),中国国家重点研发项目(2018 yfc0830100和2018 yfc0830102)和专项资金山东建筑大学的著名教授。