基于背景特征群集的突出对象检测

摘要

没有任何先前知识的突出对象的自动估计往往大大提高了许多计算机视觉任务。本文提出了一种基于自下而上的基于自下而上的基于突出对象检测的框架，然后是从背景中分离出突出的对象。基于特征聚类算法模拟背景分布，允许完全利用背景的统计和结构信息。然后根据背景分布生成粗糙显着图。为了更辨别，通过两步细化来增强粗糙显着性图，其由边缘保留元素级滤波和基于测地距的上采样构成。我们提供了广泛的评估，并表明我们的提出方法对两个最常用的数据集上的其他优秀方法有利地执行。最重要的是，所提出的方法被证明在突出均匀突出的突出物体和稳健的背景噪声方面更有效。

1.介绍

显著性预处理作为计算机视觉中降低计算复杂度的一种重要预处理技术，近年来备受关注。显著性检测促进了计算机视觉任务的广泛应用，如图像检索[1那2]，图像压缩[3.]，内容感知图像编辑[4.那5.]和对象检测和识别[6.］．

根据前人的工作，显著性模型可以分为自底向上的方法[7.-9.]和自上而下的方法[10那11］．大多数自上而下的方法利用先前的知识，并基于受监督学习。虽然这些监督方法可以有效地检测突出区域并优于自下而上的方法，但执行训练过程仍然是昂贵的，尤其是数据收集。与自上而下的方法相比，基于自下而上的方法不需要数据收集和培训过程，同时需要很少先验知识。这些优点使自下而上的方法更有效且易于在各种真实计算机视觉应用中实现。在本文中，我们专注于自下而上的方法。

近年来，大多数作品部署颜色对比[7.那8.]作为显着性的测量。和其他一些作品利用颜色稀有[12]生产显着的图。基于这些提示的算法通常在前景对象在对比度或稀有性方面似乎具有独特的情况下工作。但他们可能在处理包含各种背景模式的图像时失败。在[工作13]倾向于关注显着性检测的模式明显。如果对应于该像素对应于该像素的补丁对PCA系统中的整个图像的贡献较少，则定义一个像素。因此，在突出物体在图像中大小压倒的情况下，它将表现得很糟糕。通过假设图像的大部分窄边界作为背景区域，可以在计算显着图中利用背景前沿的信息，如[14那15］．虽然背景先验似乎在定位显著目标时起着一定的作用，但将边缘上的斑块直接作为背景斑块处理会带来严重的问题，尤其是当显著目标接触到图像边界或与图像边界的某一部分呈现相似特征时。因此，寻找一种有效的方法来构造背景分布，从中可以分离出突出的目标，似乎是必要的。

在这项工作中，我们建议pseudobackground区域（图像的边界区域）内的群集功能将使背景分布的合适的代表性。因此，我们首先以这种方式构建的背景分布和每个位置从背景分布的距离然后计算显着性值。在下文中，我们采用了一系列的改进方法，提升显着区域，并显着对象中脱颖而出均匀。

我们提出的方法有两种主要贡献:(），我们提出以构建基于聚类方法的图像的背景分布的新方法。以这种方式，背景的统计和结构信息可被充分利用以构建背景分布，这将允许一个随后更准确的显着性的测量，和（)提出了一种新的细化框架，该框架由边缘保持元素级滤波和基于测地线距离的上采样组成。新的细化框架具有良好的能力，统一突出突出的目标和去除背景噪声。

2.建议的方法

我们提出的方法采用了从粗到细的策略，每一步都充分利用了前一步的信息。提出的方法有三个主要步骤。首先，利用图像边界上的小块构造背景分布，得到粗显著性图;其次，采用保持边缘的元素级滤波增强粗显著性图。第三，通过基于测地线距离的细化得到最终的显著性图。图中描述了主要框架1．每个步骤将在下面的每一节中详细说明。

2.1。背景分布

鉴于背景先验在显著目标检测中的重要性，本文旨在寻找一种有效的方法来建立背景分布，并由此计算显著图。与在[11]，我们将伪波形区域定义为图像的边界区域。一些改进方法[15-17]边界区域分隔成几个特定的​​部位，如顶部，底部，左侧和右侧，分别对付他们。为了我们的考虑，这可能无法利用尽可能多的关于backgroundness先验的统计信息。在我们的方法，我们构造与聚类算法的帮助下，背景分布。为了实现聚类上pseudobackground区域之内的所有补丁的特征，提供一种方式来构建背景分布，其允许自动地和基本上利用现有的backgroundness的统计信息。在[工作18还使用聚类算法来建立背景分布，从而基于分布产生粗糙的显着图。与我们的方法不同，它仅考虑Superpixel级别中的颜色信息。相比之下，我们的方法中使用的补丁功能不仅代表着色信息，而且代表了位置的邻域的结构信息。补丁功能的有效性已经在[13那19］．

对于每个补丁的特征表示，我们选择使用CIE Lab色彩空间中的功能，该功能具有感知均匀性的属性，并且还在许多显着性算法中证明了其有效性[20.那21］．例如，如果我们取a从图像中提取一个Patch，这个Patch的特征将用a表示列向量(pixelNumberChannelNumber）。这种表示可以代表颜色和模式信息。在这里，我们表示图像修补程序的此矢量化功能是．

在图像的边境区域绘制修补程序特征后，我们将它们视为背景功能样本和使用的集合-表示聚类算法[22]来聚类样本。相比于分离边界区域分成某些部件和处理它们，聚类特征边界区域内为不同的组将提供给事先利用该backgroundness的统计和结构信息的新方法。因此，这会发现，最能代表背景特征分布集群。更大的集群有背景分布做出更多的贡献和更小的簇较少的贡献。通过与不同的数字集群的锻炼，我们发现，聚类样本分成四组可以保持相对良好的表现;因此，我们选择在功能聚类分成四组。从上面的过程中，我们可以得到四个特征集群，每个集群的样本数目被表示为，每个群集的质心位置值表示，,．

在之前的大部分工作中，都使用了各种测量方法来测量图像的显著性。最常用的测量方法是稀缺性和对比度。但是，如章节所述1，这种测量可能不适用于更多的普通情况。可以将更直观的显着性测量定义为与背景上的背景分布的差异。在我们的方法中，我们认为如果与该位置相对应的补丁功能，则认为位置是突出的。对于距离测量，我们采用欧几里德距离作为距离度量。

当我们得到四个背景特征簇时，我们计算每个簇的距离图。在每个距离图中，每个位置的值定义为该位置的patch feature与该特征聚类的质心值之间的欧氏距离。计算每个簇的距离图 在哪里表示在图像补丁位置，．

以这种方式，派生了四张距离图。并且四张地图被标准化为．在下文中，我们创建通过四个距离图的组合的粗略显着图。组合过程的定义如下： 在哪里 ””表示逐元素乘法和表示每个距离图的重量。定义如下： 在哪里．显然，权重可以看作是每个类的样本数与整个样本数的比值。这样，粗显著性图更类似于从较大的集群生成的距离图。较大的集群具有更强的代表真实背景的能力。因此，从这些更大的星系团生成的距离图与背景更不同，同时更有可能突出突出的区域。生成粗显著性图的整个过程如图所示2（贴片以用于观察目的）。

2.2。边缘保留元素级过滤

在前一节中，生成了一个粗糙的显著性映射。在本节中，我们的目的是进一步从背景中区分突出目标，并统一突出突出目标。在开始实质性的操作之前，我们将图像分解为同质的基本元素，并在元素级定义显著性。这是基于观察图像可以分解成基本的、结构上具有代表性的元素，抽象掉不必要的细节，同时允许一个清晰和直观的显著性定义。每个元素都应该将图像局部抽象成感知同质区域。为了详细实现，我们使用线性谱聚类方法[23]将图像摘要进入同质元素。

在本节中，我们采用一个叫做边缘保持元件级筛选，提升显着区域的方法。这个步骤是通过以下观察动机（）突出的物体始终倾向于将边缘与背景和（如果它被突出区域包围，则一个区域可能是突出的。边缘保留元素级过滤的操作涉及上述基本元素。它的数学公式描述于（4.)，我们将在下一段进行解释。该操作具有多个属性，如保留尖锐的边缘，通过合并周围元素的显著值来细化元素的显著值。

将图像分解为均匀的元素后，对每个元素(超像素)的粗显著性值进行平均，计算其粗显著性值里面所有的像素。然后,对于如果它的粗加价值标记为，显着价值Superpixel是通过的 在哪里是哪个超像素的集合Superpixel是一定距离内的邻居，是基于欧几里得距离的权重吗表明是否Th Superpixel正在触摸图像中的锋利边缘。公式 （4.)可以解释为:如果Superpixel正在触摸图像中的尖锐边缘，然后是显着的值中超像素保持不变为粗显着值，但如果超像素不直接连接到尖锐的边缘，然后的显着值Th Superpixel由其周围超像素的显着性值决定。

给予超级缀姿势和， 重量在(4.的位置之间的欧氏距离他和th superpixel:

指标在(4.）根据以下过程确定：所有超像素均匀首先搜索SuperPixel，然后计算这些超像像素的显着性值之间的最大方差，最后如果方差大于某个阈值，则Superpixel被视为触摸锋利的边缘，从而设置，否则设置．

边缘保留元件级过滤的结果显示在图中示出3.．显而易见的是，在此过程之后强烈提高粗糙显着性图。突出物体的锋利边缘得到了很好的保存，并且在很大程度上被拆除了背景噪声。在[工作14]采用称为“基于上下文错误传播”的操作，该操作类似于本节中的边缘保留元素级滤波。它通过考虑到相同特征集群中的所有其他区域元素来平滑区域显着性，而我们的方法使用其空间相邻的区域对区域显着性进行了精制。显然，我们的方法更直观，简单，最重要的是，井保持锋利的边缘。

2.3。测地距离细化

我们提出的方法的最后一步是用测地线距离进行精化[24］．该步骤的潜在的动机基于考虑，即确定元素的显着性作为其周围元件的加权之和，其中重量对应于欧几里德距离，在均匀突出的突出物体中具有有限的性能。我们倾向于找到其他一些解决方案，可以更统一地增强突出物体区域。来自最近的作品[25那26，我们发现权重可能对测地线距离敏感。因此，基于测地线距离的显著性值定义如下: 在哪里超像素和的总数是多少是基于之间的测量距离的重量他和superpixels。

所产生的权重值类似于[25］．首先，通过连接所有相邻的超像素来构造无向重量图分配权重作为上一节推导的显著值之间的欧氏距离2.2．然后，2个超像素之间测地距离可以定义为图上沿其最短路径的边权值的累积:

通过这种方式，我们可以得到图像中的任意两个超级像素之间的测量距离。然后，权重被定义为 在哪里是所有人的偏差价值观。从公式（8.），我们可以很容易得出这样的结论时和处于平坦区域，显着性值对显着价值有更高的贡献， 什么时候和在不同的区域之间存在陡峭的斜率，显着性值往往对显著性价值的贡献较小．

为了证明用测地线距离进行精算的有效性，我们比较了用测地线距离和欧几里得距离作为组合权重时的效果。数字4.显示实验结果。基于测地距的改进比基于欧几里德距离的细化更好地执行，因为显着性对象是明显的，并且均匀地突出显示。

3.实验

我们提供了我们对两个最常用的数据集的几种最先进方法的方法进行了广泛的比较。两个基准数据集包含ASD [7.]及MSRA10K [8.］．ASD数据集包含1000张图像，而MSRA10K包含10000张图像，既有像素级地面真理。

3．1.定性评价

数字5.呈现了我们对其他六种优秀方法的定性比较。其他方法包括ITTI [27GBVS [28]，ft [7.]，CAS [19]，PCA [13]，wctr [25]和DRFI [11］．可以看出，ITTI和GBV的结果仅成功地检测了突出物体的一些模糊位置，这使得它远离真实应用。CAS在对象边缘上突出显示。虽然PCA更好地表现出这些方法刚刚提到的这些方法，但仍然存在失败的场合，当突出对象大小压倒时。FT具有简单富有高效的实现，但是当全球性提示在显着性检测中发挥作用时出现问题，因为FT专注于本地线索。WCTR的方法具有辨别力的功率来突出显示突出物体，但是，当某些非概率区域也被聚集为突出对象时，当某些不合形区域也会被聚集并且几乎没有连接到图像边界时，这将是不稳定的。与所有基于自下而上的方法的方法不同，DRFI纳入了高级前锋和监督学习，使其在其他方法中脱颖而出。我们的方法基于自下而上的处理;我们很容易从实验结果中得出结论，因为我们的方法提供了与他人相比更有利的结果，甚至比DRFI等监督方法更好地表现更好。一个重要的提示是，我们的方法是在输入图像的原始分辨率上实现，而没有任何重新扫描预处理。

３．２．指标评价

类似于(7.那8.，我们将精确度和召回率作为评估指标。Precision对应于正确分配的显著像素的百分比，而recall对应于分配的显著像素相对于显著像素的ground truth数的比例。通过在范围内改变阈值，将检测结果与地面真实值进行比较，得到精确查全曲线．PR曲线是性能评估的重要公制。关于每个数据集的PR曲线在图中给出6.．

除了精确和召回之外，我们还计算了-measure，其定义如下: 这里我们设．在图7.，我们展示了精确，回忆和-度量值自适应阈值，定义为图像平均显著性的两倍。数据6.和7.结果表明，该方法在两个数据集上取得了较好的效果。

3.3。表现

为了彻底评估算法，我们还将我们对基准图像上的其他方法的平均运行时间进行比较。在2.6 GHz CPU中采用了8 GB RAM的时间。环境是Matlab 2016A安装在Windows上。算法的运行时间列于表中1．

CAS方法由于其穷举的最近邻搜索而速度较慢。我们的运行时间与PCA方法相似。两种方法都涉及到位置特征提取和比较。该方法在特征聚类的第一步(21%)和随后的粗显著性图计算(25%)上花费了大部分的运行时间。在这些方法中，我们方法的时间是适中的。考虑到我们的方法是在输入图像的原始分辨率上实现的，与其他方法相比，我们的方法的计算代价仍然是有利的。

4.结论

本文介绍了一种有效的自下升性物体检测方法。为了利用背景前沿的统计和结构信息，构建了基于特征群集的背景分布。该分布允许计算粗糙的显着图。然后，已经应用了两个改进步骤，包括基于测地距的边缘保留元素级滤波和上采样，以获得最终显着图。在最终地图中，突出突出显示的突出物体均匀突出，背景噪声被彻底拆除。与最先进的方法相比，实验评估表现出所提出的方法的有效性。

相互竞争的利益

作者声明本论文的发表不存在利益冲突。

致谢

这项工作得到了中国高科技研发计划的支持（863计划，计划编号。2011AA7031002G）。

参考文献

1. t·陈,m m。陈平。胡，“速写:网络图片蒙太奇，”ACM图形交易，卷。28，不。5，pp。124-124,2009。查看在：出版商的网站|谷歌学术
2. S.-M.胡，陈，K.徐，M.-M。Cheng和R. R. Martin，“互联网视觉媒体处理：具有图形和视觉应用的调查，”可视化计算机，第29卷，第2期5，pp。393-405，2013。查看在：出版商的网站|谷歌学术
3. C. Christopoulos，A.Skodras和T. Ebrahimi，“JPEG2000静态图像编码系统：概述”消费电子产品的IEEE交易，卷。46，没有。4，pp。1103-1127，2002。查看在：出版商的网站|谷歌学术
4. G.-x.张，M.-M。程，S.-M。胡，和R. R. Martin，“一种形状调整的形状典型的方法，”计算机图形学论坛，卷。28，不。7，第1897年至1906年，2009年。查看在：出版商的网站|谷歌学术
5. 毫米。程，F.-L.张，N. J.米特拉，X.黄和S.-M.胡，“Repfinder：找到约重复的场景元素进行图像编辑，”ACM图形交易，第29卷，第2期4, pp. 83:1-83:8, 2010。查看在：出版商的网站|谷歌学术
6. Z.任，S. Gao，L.-t.Chia，和I. W.-h.Tsang，“基于地区的显着性检测及其在物体识别中的应用”，视频技术电路和系统的IEEE交易，第24卷，第2期5，pp。769-779，2014。查看在：出版商的网站|谷歌学术
7. R. Achanta，S. Hemami，F. Estrada和S. Susstrunk，“频率调节突出区域检测”计算机愿景和模式识别上的IEEE会议的诉讼程序（CVPR '09），PP。2009年6月，美国迈阿密1597-1604 1597-1604。查看在：出版商的网站|谷歌学术
8. 毫米。程，N.J.Mitra，X. Huang，P. H. S. Torr，以及S.-M。胡，“全球对比的突出区域检测”，图案分析和机器智能的IEEE交易，第37卷，第2期3, pp. 569-582, 2015。查看在：出版商的网站|谷歌学术
9. Wang Z.， Li B.，“图像显著性检测的两阶段方法”，inIEEE声学，言语和信号处理国际会议的诉讼程序（ICASSP '08），第965-968页，美国内华达州拉斯维加斯，2008年4月。查看在：出版商的网站|谷歌学术
10. T. Judd, K. Ehinger, F. Durand和A. Torralba，“学习预测人类看向何处”第十二届计算机视觉国际会议论文集(ICCV’09)，第2106至2113年，日本京都，2009年10月。查看在：出版商的网站|谷歌学术
11. H. Jiang，J. Wang，Z.元，Y.Wu，N. Zheng和S. Li，“突出的物体检测：歧视区域特征一体化方法”第26届IEEE会议上的计算机愿景和模式识别会议（CVPR '13），第二○八三年至2090年，波特兰，俄勒冈州，美国，2013年6月。查看在：出版商的网站|谷歌学术
12. F. Perazzi, P. Krahenhuhl, Y. Pritch，和A. Hornung，“显著性过滤器:基于对比的显著区域检测过滤”，刊于IEEE计算机视觉与模式识别会议论文集(CVPR’12)，第733-740页，2012年6月。查看在：谷歌学术
13. R. Margolin，A. Tal和L. Zelnik-Manor，“是什么让补丁变得截然不同？”在第26届IEEE会议上的计算机愿景和模式识别会议（CVPR '13），pp.1139-1146，波特兰，奥勒，美国，2013年6月。查看在：出版商的网站|谷歌学术
14. 李旭东，卢海华，张磊，阮旭东，m - h。杨，“通过密集和稀疏重建的显著性检测”第14届IEEE计算机愿景会议的载体（ICCV '13），第2976-2983页，澳大利亚悉尼，2013年12月。查看在：出版商的网站|谷歌学术
15. C.杨，L.张，H.Lu，X. Ruan和M.-h。杨，“通过基于图形的歧管排名的显着性检测”第26届IEEE会议上的计算机愿景和模式识别会议（CVPR '13），第3166-3173页，美国俄亥俄州哥伦布市，2013年6月。查看在：出版商的网站|谷歌学术
16. T.赵，李属，X. H.丁，黄Y.和D L.曾，“显着性检测与基于背景分布的空间，”IEEE信号处理信，卷。23，不。5，pp。683-687,2016。查看在：出版商的网站|谷歌学术
17. J. Han，D. Zhang，X. Hu，L. Guo，J.Ren和F.Wu，“背景技术通过深度重建残余的基于事先的突出物体检测”视频技术电路和系统的IEEE交易，卷。25，不。8，pp。1309-1321,2015。查看在：出版商的网站|谷歌学术
18. Y.秦，H. C.卢，Y. Q.徐和H.王“通过胞自动机的显着性检测，”在计算机视觉和模式识别的IEEE会议论文集（CVPR” 15），pp.110-119，波士顿，大众，美国，2015年6月。查看在：出版商的网站|谷歌学术
19. S.Goferman，L. Zelnik-Manor和A. tal，“环境感知效率检测”图案分析和机器智能的IEEE交易，卷。34，不。10，第1915至1926年，2012。查看在：出版商的网站|谷歌学术
20. Y.Xie和H. Lu，“基于贝叶斯模型的视力效力检测”第十八届IEEE图像处理国际会议论文集，第645-648页，比利时布鲁塞尔，2011年9月。查看在：出版商的网站|谷歌学术
21. S. Li，H. C. Lu，Z.Lin，X. Shen和B.价格，“适应度量学习效力检测”IEEE图像处理汇刊，第24卷，第2期11, pp. 3321-3331, 2015。查看在：出版商的网站|谷歌学术|Mathscinet.
22. T. Kanungo, D. M. Mount, N. S. Netanyahu, C. D. Piatko, R. Silverman, A. Y. Wu，“一种有效的k-means聚类算法:分析和实现”，图案分析和机器智能的IEEE交易，第24卷，第2期7，第881-892，2002。查看在：出版商的网站|谷歌学术
23. Z. Li和J. Chen，“使用线性谱聚类的Superpixel分割”计算机视觉和模式识别的IEEE会议论文集（CVPR” 15），第1356至1363年，马萨诸塞州波士顿，美国，2015年6月。查看在：出版商的网站|谷歌学术
24. J. B. Tenenbaum, V. De Silva, J. C. Langford，“非线性降维的整体几何框架”，科学第290期2000年。查看在：出版商的网站|谷歌学术
25. W.朱，梁S.，Y.伟和J.太阳“从稳健的背景检测的显着性的优化，”在计算机视觉和模式识别IEEE第27届学术会议论文集（CVPR '14），pp.2814-2821，IEEE，哥伦布，俄亥俄州，2014年6月。查看在：出版商的网站|谷歌学术
26. 傅锴，龚超，顾爱华，杨建军，“基于测地显著性传播的图像显著性区域检测”第20届IEEE图像处理国际会议论文集，第3278-3282页，澳大利亚墨尔本，2013年9月。查看在：出版商的网站|谷歌学术
27. L. ITTI，C.科赫和E. Niebur“的快速场景分析基于显着，视觉注意的模型，”图案分析和机器智能的IEEE交易，卷。20，没有。11，PP。1254-1259,1998。查看在：出版商的网站|谷歌学术
28. J. Harel, C. Koch，和P. Perona，“基于图形的视觉显著性”，在第20届神经信息处理系统年会会议的会议记录（NIPS'06），第545-552页，加拿大温哥华，2006年12月。查看在：谷歌学术

版权

版权所有©2017 Kan Huang等。这是分布下的开放式访问文章创意公共归因许可证如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。