文摘

大量增长的数字图像需要有效地检索,但精度和速度之间的平衡是一个棘手的问题。这个文件提出了一个轻量级的和有效的图像检索方法结合地区和取向相关性描述符(CROCD)。该地区相关模式和取向颜色相关性模式由区域描述符提取和定位描述符,分别。提取图像的特征向量的两种关联模式。该算法的优点是数据和纹理描述方法,它可以代表颜色和纹理的空间相关性。特征向量只有80维全彩色图像。因此,它是非常有效的图像检索。该算法广泛测试三个数据集的精度和召回。实验结果表明,该算法优于其它先进的算法。

1。介绍

数字图像的快速和大量增长需要有效的检索方法,激励人们去研究和开发有效的图像存储、索引和检索技术(1- - - - - -4]。图像检索和索引已经应用于许多领域,如互联网、媒体、广告、艺术、建筑、教育、医疗、生物等行业。基于文本的图像检索过程首先手动标签图像与文本,然后使用关键词来检索图像。该方法检索图像的基于字符匹配的程度在图像描述是耗时的,主观的。基于内容的图像检索方法克服了缺点的基于文本的方法,从图像的视觉特征(颜色、纹理、形状等)和寻找相似的图像在图像库(搜索范围)。根据通用图像检索的工作原理,对基于内容的图像检索有三个键:选择合适的图像特征,采用有效的特征提取方法,和准确的特征匹配策略。

纹理是图像的一个重要和静止特性。航空遥感图片,布料模式、复杂的自然景观,动物和植物都含有纹理。一般来说,本地图像中不规则和宏观规律被称为纹理,和重复的地区,简单的形状,和一致的强度被视为结构元素。局部二值模式(LBP)后(5),有许多类似的方法提出了近年来,即。,当地tridirectional模式(6),当地的能源化模式(7(当地),3 d变换模式8),局部结构同现模式(9),当地社区不同模式(10)等。

颜色直方图是最常用的和最基本的方法在颜色特征;然而,它就失去了像素点之间的相关性。为了解决这个问题,许多研究人员已经提出了他们自己的可视化模型。颜色相关图(11)和颜色一致性向量(闭路)[12像素的颜色分布特征和一双颜色之间的空间相关性。灰色的同现矩阵(13,14)描述了两个像素的值之间的共存关系。Mehmood等人提出一种基于三角形的加权平均直方图图像表示()是不是想找人的视觉单词(15]。这种方法增加了图像空间内容的反向索引bag-of-visual的话(BoVW)模式。

1.1。相关的工作

颜色、纹理和形状是突出图像的特征,但是一个功能通常有一些限制。为了克服这些问题,一些研究人员提出multifeature融合方法,同时利用两个或更多的特性。在[16),Pavithra等人提出了一种有效的图像检索框架使用的颜色,质地,和边缘特征。Fadaei等人提出了一种新的基于内容的图像检索(CBIR)计划基于颜色和纹理特征的优化组合来提高图像检索精度(17]。Reta等人提出的颜色一致性描述符(反刍)在实验室中颜色空间(18]。色差直方图(CDH)计算感知统一颜色区别两个点在不同背景下关于颜色和边缘方向在实验室中颜色空间(19]。利用multiregion-based对角纹理描述符结构提出了图像检索在HSV空间(20.]。在[21),风等人提出多因素相关性(MFC)来描述图像,其中包括结构元素相关性(SEC),梯度值相关性(GVC),梯度方向相关性(环球数码创意)。王先生和王提出SED (22),集两者优点的统计和结构纹理描述方法,它可以代表颜色和纹理的空间相关性。辛格等人提出BDIP + BVLC + CH (BBC) [23),它是由结合纹理特征块的不同逆概率(BDIP)和阻止当地相关系数的变化(BVLC)和颜色直方图。在[24),图像的视觉内容提取使用块离散余弦变换(DCT)和灰度水平同现矩阵应用灰度共生矩阵建立()RGB通道,分别。它可以表示为应用灰度共生矩阵建立DCT +。此外,局部极值同现模式提出了颜色和纹理图像检索(25]。

根据texton理论提出的Julesz [26),许多学者提出了texton-based算法。Texton同现矩阵(中医)27),结合“多孔小波变换(AWT)和Julesz texton元素,用于生成texton形象。此外,texton同现矩阵获得texton图像用于特征提取和检索图像的自然图像数据库。Multitexton直方图(m)集成的优势同现矩阵和直方图,它有一个良好的歧视的颜色,纹理和形状特性(28]。相关的初级视觉texton直方图特性(CPV-THF)提出了图像检索(29日]。平方Texton直方图(某事)推导出基于纹理方向和颜色之间的相关性信息(30.]。

1.2。主要贡献

考虑到颜色、纹理和一致性特性相关的视觉模式识别的重要性(17- - - - - -21),一个算法提出了结合地区和取向相关性描述符(CROCD)。这个方法需要两个紧凑的描述图像内容的描述符通过分析类似的颜色区域和四个方向颜色边缘图像。它是基于HSV颜色空间,因为它是在与视觉评估更好的协议20.]。与其他方法对比,CROCD特性有平衡的优势操作速度和准确度。

剩下的纸是组织如下。节2,并给出了算法的总体介绍和工作流。部分3详细解释了该算法。实验结果得到了在部分(3)。最后,整个工作是总结部分4。

2。区域相关性和方向相关描述符

有不同的对象在一个图像。相同的对象通常是一个特定区域的相同或近似的颜色,构成物体的内部区域的纹理。物体的边缘有明显的颜色差异从周围的人,和每一个物体的边缘是相同或相似的颜色。基于上述分析,本文提出一种方法相结合的区域相关描述符和取向颜色相关描述符。这个方法也是一个有效的方法相结合的颜色、纹理、边缘来检索图像。首先,彩色图像量化和编码,然后,该区域颜色相关性模式计算的区域描述符;之后,该地区相关向量计算。其次,取向颜色相关性模式是通过定向描述符,和相关颜色直方图统计数据获得的四个方向的相关模式。方向向量计算图像的颜色相关性。图像的特征向量是通过连接的双色相关向量区域和方向。 Finally, use similarity distance measure for comparing the query feature vector and feature vectors of database and sort the distance measure, then produce the corresponding images of the best match vectors as final results. The workflow of the proposed algorithm is shown in Figure1。

3所示。算法流程

3.1。图像的颜色量化

常见的图像RGB颜色空间、HSV和实验室。其中,HSV空间统一量化的空间,可以模仿人类色彩感知;因此,许多研究人员用它来图像处理(17,20.- - - - - -22,25]。HSV颜色空间中定义的三个组件:色调(H),饱和(S)和价值(V)。H分量描述范围从0到360的颜色类型。年代组件是指相对纯度或多少的颜色是白色污染范围从0到1。V组件是用于混合的黑色色调或代表颜色的亮度。它还范围0 - 1。

图像的颜色量化是一种常见的方法在图像处理中,特别是在图像检索。假设相同的对象被检测到,颜色会略有不同,由于光线的影响,环境,和背景。这些影响可以被量化与适当的垃圾箱。另一方面,量化在图像处理也可以使操作简单,减少操作时间。

因此,我给彩色图像( ),提出了量化如下(22]:(1)非均匀量化的 , ,和渠道进8、3和3箱,分别为方程(1),(2)和(3): (2)计算每个点的值根据公式(4)。 在哪里 颜色的量化垃圾箱吗和 ,分别。正如上面提到的,和分别量化成3箱,所以这两个值是3。把它们代入方程(4)得到下面的公式: (3)获得量化的彩色图像。用量化的图像 ,和 如下:

这个点集将用于颜色统计区域和方向的描述符,分别的尺寸量子化的形象用垃圾桶中。

3.2。地区相关描述符

texton元素的概念提出Julesz [26]。Texton纹理分析中是一个重要的概念。一般来说,textons被定义为一组blob或紧急模式共享一个公共财产的形象。

一个图像的特点textons的分布有密切关系。不同textons形成不同的图像。如果图像中的textons很小和相邻textons色调差异很大,图像可能有一个光滑的质地。如果texton很大,由多个点,图像可能有一个粗糙的纹理。同时,平滑的或粗糙的纹理也由textons比例决定。如果图像中的textons大,只有几个类型,不同的形状可能形成。事实上,可以简单地表达textons地区相关描述符的方式(19]。这里给出五个地区的相关模板,如图2。的阴影部分 网格显示这些值是相同的。

提取该区域颜色相关的过程模式如图3。图3(一)是一个原理图的描述符。模板从上到下,从左到右,在整个图像的两个步骤 。当灰度值的帧图像和模板一致是相同的,这些像素的颜色相关地区。使用其他模板先后获得结果的模式模板。中相应的五个模板的阴影部分量化模式保留,其余的则留空获得区域颜色相关性模式吗 ,如图3(c),计算它的直方图,构成量化向量,得到区域颜色相关向量 。

3.3。取向相关性描述符

定位模板如图4,可以用来检测相同颜色的线方向的水平的,垂直的,对角线和antidiagonal分别。换句话说,可以检测出图像的边缘信息。图5显示操作图的水平、垂直、对角线,antidiagonal描述符从上到下。这些模板穿过整个图像从上到下,从左到右,两个步骤。当灰度值的帧图像和模板一致都是一样的,两个像素的颜色相关像素取向。相应的影子量化模式中的四个方向模板的一部分保留,其余部分是留空获得量化模式吗 ,如图5(d),然后计算每个方向的量化直方图,颜色相关性计算矢量的取向。为了说明,只有三个量化元素作为示例图5。在实践中,它是图像的量化值(0,bin-1)。具体步骤如下:(1)构造一个统计矩阵4 x垃圾箱。矩阵的每一行代表的方向水平、垂直、对角线,antidiagonal,分别列数是量子化的垃圾箱(2)在定位颜色相关的模式 ,如果它满足的定位描述符条件之一,加1中相应的量化值矩阵。

( 代表一个方向的描述符 代表的价值量化)(3)每个方向的平均值和标准偏差计算描述符根据方程(7)和(8),然后得到一个八维向量代表图像的取向相关向量, 。 根据上述步骤,取向相关向量图5(3,2.65,3.33,2.52,2、1、3.67、2.52)。

3.4。组成特征向量

对象可能具有相同的结构,但边缘特征的对象可能是不同的。这两个因素可以互补提高检索精度。该地区相关描述符代表一个对象的纹理特征和主要代表对象,内某些区域的纹理特征和72维的特性。方向相关描述符表示物体的边缘特征。通常不同的对象有不同的边缘分布。通过各自的平均值和标准差的颜色的四个方向水平、垂直、对角线,和对角线边缘,平均颜色值和颜色偏移量的四个边缘方向可以表示和对象边缘特征只由八维特征向量,从而提高检索效率。因此,该地区相关描述符在这两个运营商更好的工作,和后来的实验也证明了一部分。

节4.4,实验证明量化HSV颜色空间分成72彩色箱子不均匀很适合我们的算法。因此,能代表该地区相关图像的直方图得到该地区相关描述符,导致72维向量。可以表示方向相关图像方向获得的相关描述符,导致八维向量。最后,两个向量连接成一个向量获得80维向量代表的形象。图6显示了两个图片和自己的CROCD特征向量。

4所示。实验结果

4.1。实验数据集

为目的的实验和验证,实验进行了基准Corel-1K Corel-5K, Corel-10K数据集。(1)(如图1 k数据集7(一))的大小 (或 ),包含10个类别的原始居民,海滩,建筑,公共汽车,恐龙,大象、鲜花、马、山谷、和食品,为每个类别有100图片,总共1000张图片。(2)(如图5 k数据集7 (b))的大小 (或 ),包含50个类别的图像,包括狮子,熊,蔬菜,女,城堡,和烟花,为每个类别100张图片,总共5000张图片。(3)(如图10 k数据集7 (c))的大小 (或 ),包含100个类别的图像国旗、邮票、船舶、摩托车、帆船、飞机,和家具和100每个类别的图片,总共10000张图片。在本节中,我们评估我们的方法的性能由这些Corel数据集。

4.2。绩效评价指标

图像检索系统的性能通常是使用精密测量和回忆获取最高图片由公式(9)和(10),分别为,是相关图像检索的数量位置和图像数据集的总数,类似于查询图像。精确查询用于描述算法的准确性。回忆是用来描述算法的综合查询。更高的精度和召回,更好的算法的功能。精度和召回是最广泛的评估标准来评估查询算法。

在这些实验中,我们随机选择10每个类别的图像。换句话说,100年,500年和1000年的图像选择随机从三个数据集,分别作为查询图像比较各种结果。

4.3。相似性度量

基于内容的图像检索系统的检索精度和召回不仅提取相关特征的图像相似度度量方法也有关。所以,选择一个适当的测量算法的关键一步。在这个实验中,我们比较几种常见相似性标准,比如欧几里得,L1,加权L1,堪培拉, 。

有两个特征向量 和 从图像中提取;他们的相似性措施可以表示为

根据上面的公式计算值和从最小到最大。值越小,越相似的两个图像。表1显示不同的测距方法的比较结果。测试数据集Corel-1K,统计精度和召回,分别从10到30总回来时图像。可以看出,常用的欧几里得距离不好,而加权L1是最好的。

4.4。检索性能

都是使用不同的颜色空间和量化方法对该算法的性能进行评估。实验结果揭示了为什么选择HSV空间和非均匀量化。

HSV的平均精度和召回,RGB,实验室如表所示2。返回的图像实验范围从10到30。当颜色量化增加在实验室从45到225维颜色空间,该方法的精度和召回都增加了。其他两个颜色有相同的空间。另一方面,更多的量化将会增加噪音;因此,该方法的精度和召回都减少量化时225实验室的颜色空间。十大最高精度的图像检索结果在RGB和实验室空间79.2%和71.5%,分别。最好的结果是在HSV空间,从78.7%到83.2%不等。均匀量化的精度不超过81%;因此,我们选择72 -维量化的HSV空间非均匀。

为了测试我们的算法,我们提出的算法相比鼎晖(19],SED [22),英国广播公司(23],应用灰度共生矩阵建立DCT + [24,中医27],和m [28Corel-1K],相比10个类别的检索精度和召回15前检索图像时,如表所示3。五个十类的方法是最好的,和它的平均精度和召回明显高于其他算法。

此外,平均算法和其他算法的精度和召回曲线如图Corel-1K数据集8。结果显示,该算法的平均精度显著提高了DCT应用灰度共生矩阵建立+,鼎晖,中医,BBC, SED,和m高达11.6%,9.74%,7%,5.54%,5.27%,和4.27%,高级检索图像时,分别是15。此外,P-R曲线包围的面积算法是最大的。因此,该算法的精度和召回是高于其他六个算法。基于这些分析,该方法具有更好的鲁棒性。

为了说明算法的通用性,算法和其他算法的精度和召回Corel-5K和Corel-10K数据如表所示4和5,分别。当测试Corel-5K Corel-10K数据集,建议的方法是分别为60.2%和50.02%,优于其他六个算法。给一个直观的视图,图9显示七P-R曲线的算法。从图也可以看出,本文提出的算法有最好的效果。

该地区相关描述符(RCD)和取向相关描述符(强迫症)CROCD算法检索结果作出不同的贡献。检索结果的地区相关向量,取向相关向量,和他们的组合(CROCD)如表所示6在数据集Corel-1K Corel-5K, Corel-10K当返回的图像是15。在数据集Corel-1K RCD和强迫症的精度是71.42%和38.54%,分别。两者的结合,即CROCD是78.07%,精度提高了6.65%。在数据集Corel-5K Corel-10K, CROCD的精度提高5.49%和5.43%,分别比大的RCD和强迫症。所以,在这两个地区相关向量和取向相关向量,该地区相关向量最终检索结果作出了重大贡献。取向相关的结果向量本身就不是很好,但在结合区域相关向量,该算法比其他先进的检索方法。对于一个直观的显示,表的内容6如图10。

图11显示了四个图像检索数据集的CROCD Corel-10K和列表返回的前30图像根据其相似性查询图像。第一个返回的树枝(图30图像(11日)恐龙(图)11 (b))图像分别查询相关的图片。,当然,并不是所有的查询图像的两类有这样的效果,但它可以表明,该算法有明显的优势,这些对象相似的背景颜色和质地。雪山30返回图像的类别(图11 (c)),27日返回正确的。这些不正确的图片(包围矩形),三浪的图片,也有类似的颜色和纹理的雪山。机械类(图11 (d))也有27个返回正确的。在返回的三张图片错误(封闭的矩形框),他们有相似的纹理和颜色来查询图像。

4.5。计算复杂度

算法的复杂性包括完成检索所需的计算分为三部分:查询图像和数据库图像特征提取、相似性度量、排名检索。

对于特征提取,提取的计算量的相关性特征区域 ,和提取的计算量的相关性特性取向相关性 ,和总 ,这是 ,在哪里和是图片的长度和宽度。图像的颜色量化空间的维度。的变量表示图像数据集的总数。

至于相似性度量,采用加权1标准,计算金额 ,的顺序 。特征向量的维数 。

至于排序和搜索,快速排序法。计算量进行排序和搜索相关的数据集的照片 (24]。

计算的总金额

提取类似的图像查询图像的速度取决于图像的特征向量长度。冗长的特征向量花更多的时间在计算查询图像和数据库图像之间的区别。特征向量的比较该方法与其他方法已在表中7对速度的评价。同样,一个图像特征提取时间已在表7所有方法包括该方法。这些实验数据集上进行与Matlab R2016b Corel-10K Windows 10机配备了英特尔i7 - 9700 CPU 3.0 GHz和16 Gb的RAM。

表中显示,该方法是略低于SED但速度比其他特征提取方法。该方法的特征向量长度略长于应用灰度共生矩阵建立DCT +但短于其他方法。此外,该方法优于其他方法的精度所不同的数据集。

5。结论

在这篇文章中,该方法是一种有效的方法的颜色,纹理和边缘图像检索。首先,彩色图像量化为72箱,然后,计算该地区的颜色相关性模式使用区域描述符。取向的颜色相关性模式反映在图像物体的边缘是获得使用方向描述符。此外,相关颜色直方图统计数据获得的四个方向的相关模式,然后,取向颜色相关向量计算。获得图像的特征向量通过结合两个向量的地区和取向。最后,查询图像的相似度排名是通过相似性比较。实验表明,该方法具有平衡高速和高精度的优点与类似的算法。通常很难提取单一封闭的形状在自然图像,但是有很多部分对象在自然图像的轮廓。如果一个有效的局部轮廓描述方法可以提取特征信息和集成方法,它应该能够提高检索效果。下一步是把颜色的特点,质地,和形状检索,以进一步提高检索效果。 Besides, voting-based scoring, ranking on manifold [31日)或其他排名的方法(32)基于图像检索将代替距离仅仅为衡量标准。

数据可用性

数据请求。请联系Guangyi谢来请求数据。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

所有作者贡献的研究。G.X.进行概念化,初稿的写作和编辑;Z.H.做了调查和设计网络和实验;Y.Z.分析数据和调查;伞齿轮和Y.Y.导致资金收购,项目管理和指导。

确认

这项研究是由中国国家自然科学基金资助(批准号61571346和61571346)。