基于时空模型的动态背景场景运动目标检测

抽象的

视频流中的移动对象检测是许多计算机视觉应用程序的第一步。移动检测的背景建模和减法是检测的最常见技术，而如何正确检测移动物体仍然是一个挑战。有些方法在第一个方法中初始化每个像素的后台模型N框架。但是，它不能在动态背景的场景，因为背景模型只包含时间特征表现良好。在此，一种新型的按像素和非参数的移动物体的检测方法，提出了一种同时包含空间和时间的特征。所提出的方法可以精确地检测动态背景。此外，一些新的机制也提出了维护和更新背景模型。基于图像序列中的公共数据集上的实验结果表明，所提出的方法提供了在与现有的方法相比，动态背景场景的稳健性和有效性。

1.介绍

近年来，背景建模与减法成为计算机视觉中运动目标检测最流行的技术，如目标识别、交通监控等[1-9.]。

与光流相比[10那11]和帧间差分算法[12，背景减法算法计算量少，性能好，灵活有效。背景减法的思想是将当前图像与参考背景模型区分开来。这些算法首先初始化背景模型来表示没有运动物体的场景，然后通过计算当前帧与背景模型的差值来检测运动物体。动态背景是背景减法的难点，如树叶飘动、河流涟漪等。在过去的几年中，人们提出了许多背景减法算法，其中大多数算法都侧重于构建更有效的背景模型来处理动态背景，具体如下:（1）特点：纹理和颜色[13-15]（2）结合方法：将两个或更多的背景模型作为新模型[16]（3）更新后台模型[17]

在本文中，一个新的按像素和非参数的移动物体的检测方法，提出了背景模型是由初建框架和抽样次随机3×3邻域。在一方面，时空模型代表动态背景场景很好。在另一方面，一个新的更新策略，使背景模型适应动态背景。此外，该方法可以对付鬼好。实验结果表明，所提出的方法能够有效和正确地从动态背景检测移动物体。

本文组织如下。在下一节中，提出了现有的背景减法方法的概述。部分3.详细描述了所提出的方法，然后部分4.提供实验结果并与其他方法进行比较。部分5.包括结论和进一步的研究方向。

2.相关工作

在本节中，将引入一些背景减法方法，其分为参数和非参数模型。

对于参数模型，最常用的方法是高斯混合模型（GMM）[18]。在GMM之前，提出了每像素高斯模型[19]，先计算每个像素的均值和标准差，然后将概率与每个像素的某一阈值进行比较，将当前像素分类为背景或前景。但这种高斯模型不能处理噪声和动态情况。为了解决这些问题，提出了GMM模型。GMM通常为每个像素设置3 - 5个高斯模型，匹配后对模型进行更新。数篇论文(20.那21]改善了GMM方法近年来更加灵活和高效。

与参数模型相反，非参数模型通常由每个像素的观察像素值或邻居像素值的集合来设置。内核密度估计（KDE）[22]的提出，为非参数方法的热点研究打开了大门。在[13]，聚类技术，提出设置一个非参数背景模型。每个像素的背景模型的样品聚为一组的码字。在[23]，Wang等人。选择在后台模型中包含大量（最多200）个样本。自从背景模型设置以来[13那23]仅基于时间信息，在没有空间信息的情况下，它们无法处理动态背景场景。在氛围中[24那25[是否引入了随机方案设置和更新背景模型。它们从第一帧初始化了背景模型，并且模型元素随机从每个像素的邻域的集合中进行采样。Vibe在某种意义上表现出动态背景场景的鲁棒性和有效性。为了进一步改善氛围，Hofmann等。[17]提出了一种自适应方案，自动调整基于系统所做的先前决定的决策阈值。但是，背景模型由[17那24那25仅仅是基于空间信息。由于时间信息的缺乏，很难很好地处理与时间相关的情况。在[26[提出了一种修改的本地二进制相似模式（LBSP）描述符以在特征空间中设置背景模型。它通过不同于LBP的绝对差异计算了LBSP描述符。更重要的是，以相同的预定模式计算Intra-LSBP和Inter-LSBP以捕获纹理和强度变化。LSBP的变化检测结果对许多复杂算法进行了效率。参考 [27]改进了阈值区域中的LSBP并与Vibe方法组合以检测运动。这种改善显然是嘈杂和模糊的地区。参考 [28]提出了时空背景模型，将局部特征方法和统计方法的概念整合到一个单一的框架中;结果表明，该算法能够较好地处理光照和动态背景场景。这些算法同时包含时间信息和空间信息，因此性能不错。

初始化和更新策略是背景建模的重要步骤。至于初始化，一些背景减法方法在第一个时初始化了每个像素的像素值的背景模型帧(16]。然而，由于缺乏相邻像素信息，它对动态背景情况并不有效。参考 [24通过随机选择邻域像素值作为样品从第一帧]初始化。然而，它只有一个框架初始化的背景模型。此外，它采样20个像素作为当前像素邻域的领域的背景模型。然而，当时只有8个像素在附近，这必然导致重复选择。然后，它会影响，因为考虑不周模型的分割决定。参考 [29]提出了一种初始化背景模型的不同方法。模型的每个元素都包含像素值和效力，以及具有最小值的元素将被删除或更新。然而，随着最少值元素可能不是动态背景场景中最糟糕的元素。至于更新策略，在[24当像素被分类为背景时，随机处理确定是否使用该像素来更新相应的像素模型。它是可行的，但太盲目更新了模型。

为此，提出了一种同时采集历史和邻域像素值的非参数模型，以提高动态背景场景的处理性能。该方法基于时空模型，从像素的历史和邻域中采集像素值作为样本，首先从邻域中采集模型元素框架。至于更新策略，随机性范围减少以提高准确性。所提出的所有方法都与基于时空模型的其他方法不同。

3.背景的时空模型

通常情况下，背景模型可以只适合一种场景，这是很难得到一个普遍的背景模型，可以处理所有复杂多样的场景。一些背景扣除方法，结合不同型号或功能，如质地合力得到普遍的模式。这些方法把每一帧作为最复杂的场景和结果在一个大的计算量。至于这个问题，提出了一种新颖的和简单的方法来动态背景场景模型背景，并且采用的想法来初始化模型。接下来，将介绍我们的时空模型的细节。所提出的方法的图显示在图1．

3．1.初始化

该方法首先对背景模型进行初始化框架。首先，空间模型可以通过在附近随机挑出像素值来初始化为了每帧的时间，和小于8。

然后将这些空间背景模型集成在一起以构建时空模型：

为了记录方便，

至于的价值那那将在一节中讨论4.之后。空间信息和时间信息集成，合并的想法用在这里没有大的计算量。建议的背景模型被证明是有效的。

３．２．分割的决定

由于所提出的模型仅由像素的灰度值组成，因此我们的单一模型中的分割决策很简单。它只是比较了电流像素与背景模型中的像素之间的距离，并且公式如下所示： 在哪里代表模型中的第Th元素．定义背景模型中满足阈值条件的最少元素数。如果 ，它意味着像素属于前景，并相反，像素属于背景。

3.3。修订过程

在动态背景场景中，背景是不断变化的，因此需要定期更新背景模型以适应动态背景。本节将详细描述时空模型的更新和决策阈值的自适应更新。

3.3.1。更新时空模型

该方法将模型元素分为高效和低效两部分。满足公式的元素 为高疗效部分，其余为低疗效部分。然后在这些属于低功效部分的要素范围内进行随机策略。更重要的是，学习速度通过实验确定，以更好地适应所提出的方法。

3.3.2。更新邻居

背景像素在某些区域总是一起存在的，所以如果一个像素已经被分类为背景，那么它的邻域可能是背景像素。然而，在边缘区域可能不是这样。综上所述，相对于其他像素，背景像素邻域内的像素更有可能是背景像素。所以邻域像素的背景模型也会按照Section中介绍的方法进行更新3.3.1．更新过程结束后，参数会变成-1当在邻域进行分割决定时，它就像自适应更新一样。

上面的更新方法是无记忆更新策略。时刻在后台模型中的样品像素模型更新后的保留概率是多少 ．对于任何进一步的时间 ，其概率公式如下:

该式也可以写成如下： 在哪里 表示在时间之后的概率，并且它表明，模型的任何样本值的预期剩余寿命呈指数衰减。

4.实验和结果

在本节中，进行了一系列实验以分析参数设置并评估所提出的方法与他人的性能。在这里，我们首先表达了对ChangeTeption.net的感谢[34]，它提供了数据集为我们的实验。该数据集包括动态背景和定量评价性能的几个客观指标的类别六个测试视频： 当真正的正（TP）是正确分类的前景像素的数量和真正的否定（TN）是正确分类的背景像素的数量。另一方面，假阳性（FP）是被错误分类为前景的背景像素的数量，假阴性（FN）是在背景减法方法中被归类为背景像素的前景像素的数量。上述数据用于计算召回，精度和-措施。召回代表了相对于地面真相前景正确检测到的前景的百分比。精度表示相对于检测到的前景的正确检测到的前景的百分比，包括真正的前景和错误前景。-Measure是查全率和查准率的综合指标，主要用于评价不同参数、不同方法的性能。

该方法以C ++编程语言在Core I3 CPU上以C ++编程语言实现，具有3.0 GHz和2 G RAM。

4.1。参数设置

章节中提到过3.我们初始化了模型从邻近区域随机抽取帧和采样元素次了。我们进行了一系列的调整实验和使用固定参数，学习率和，没有后处理。

很明显，具有参数的性能从5到6和从6到10在图中更好2．不同参数下的进一步试验见表1．性能与不同值如图所示3.．

的参数和将实验决定与固定和．选择的实验结果可以在图中看到3.并对实验结果进行了筛选可以在图中看到4.．

这些类型的实验（图之后3.和4.），参数设置如下：（1） 那 那 ．（2） ．（3） 那 ．（4）应用了中值过滤器步骤，可以看出，在表格中可以看出2， 9 × 9窗口表现得更好。中值滤波是使结果更好的一个步骤，但与其他算法相比，去掉了这一步。

4．2．与其他方法的比较

数字5（b）和5（c）显示[13[分别来自输入帧（a）的提出方法。挥舞着树叶（a）叶是动态背景。自从 [13]是一种只考虑时间的模型方法，背景模型缺乏邻域像素信息，将动态背景视为运动目标。该方法考虑了时间信息和空间信息，从前8帧开始建立背景模型，在3 × 3邻域内随机采样5次。因此，在动态背景场景中的性能优于[13]。

数字6.显示ViBe的检测结果[24]和所提出的方法。由于盛传[24[仅基于空间信息，仅设置背景模型，可能存在与鬼等时间相关的情况。如图所示6 (c)，它只从第一帧开始建立背景模型，并将其中的所有像素作为背景像素，不考虑移动对象。如果在第一帧中有一些移动的物体，并且这些移动的物体离开了(第50帧(b))，那么它们将被检测为幽灵(在(c)中以红色矩形标记的汽车)。该方法的背景模型不仅包含空间信息，还包含时间信息，因此可以从第一帧开始识别运动目标。因此，可以很好地消除鬼。

该方法侧重于建设和更新更有效的背景模型来处理动态背景场景。来自ChangeTetection.NET的公共动态背景视频数据集，它是“船”，具有7999帧，“独木舟”，带1189帧，“跌倒”，带有4000帧，“Fountain01”，带1184帧和“Fountain02”，具有1499帧，“立交桥“用3000帧，用于进行实验。为了进行公平比较，所提出的方法的结果不使用任何后处理。vibe [24]及密码本[13]是两个用于背景分割的古典方法，因此我们在所提出的方法和它们之间进行比较。实验结果如图所示7.．

除了动态背景场景之外，ChangeTetection.net中其他类别的结果如图所示8.．可以看出，所提出的方法在几个不同的类别中表现良好，例如“恶劣天气”，“基线”，“热，”和“间歇对象运动”。但在其他类别中，该方法的表现不佳。例如，在“PTZ”类别中，在相机移动之后，所提出的方法需要相当长的时间来通过更新过程学习新背景，这可能导致此过程中的错误检测。然而，尽管所提出的方法不是普遍的方法，但它可以令人满意地处理大多数场景。

在表格中显示了所提出的方法与越来越多的其他背景减法方法的“动态背景”类别的定量比较结果3.．在这些方法中，盛传[24]是一个非参数的算法，从中导出所提出的方法。龙虾 [27]和多尺度时空BG模型[30.]是时空背景建模算法，类似于所提出的方法。efic [31]在ChangeTedection.net中是一种流行的方法。tvrpca [32]是一种先进的基于RPCA的方法，它也是用于动态背景场景。如表所示3., AAPSA [33]有最高的- 为其Autoadaptive战略进行释放。期待Aaspa，在这个方面-Measure，所提出的方法得到的最高分。在这里，尽管该方法的- 饲养不是最高的，它不仅可以很好地处理动态背景场景，而且还可以很好地淘汰鬼魂。

结论

本文提出了一种新颖的动态背景场景的非参数背景分割的新颖改变检测方法。通过从前8帧随机采样3×3邻域区域中的5次来构建背景模型。背景模型的样品与高效率部分和低功效部分分开，并且低功效部分的样品将随机更换。更新策略在低效率部分中替换样本可以连续优化背景模型。从实验结果可以看出，与其他方法相比，所提出的方法在动态背景场景和鬼魂消除方面是鲁棒的。

利益冲突

提交人声明有关本文的出版物没有利益冲突。

致谢

该工作得到了国家自然科学基金的支持，授予了61401137，并授予了61404043，并为授予J2014HGXJ0083的中央大学的基本研究资金。

参考

1. I. Haritaoglu, D. Harwood，和L. S. Davis，“W4:人及其活动的实时监控”，图案分析和机器智能的IEEE交易，卷。22，没有。8，pp。809-830,2000。查看在：出版商的网站|谷歌学术搜索
2. E. Stringa和C.S. Regazzoni，“场景监控应用的实时视频拍摄检测”，图像处理的IEEE交易，第9卷，第5期。1，pp。69-79,2000。查看在：出版商的网站|谷歌学术搜索
3. 李莉，顾耀华，梁国辉，田青，“基于知识的模糊推理在视频监控中维护中快背景变化”，出版第四届国际信号与图像处理会议论文集，2002年。查看在：谷歌学术搜索
4. Z. Zivkovic和F.Van der Heijden，“每个图像像素的高效自适应密度估计为背景减法的任务，”模式识别的字母，卷。27，不。7，pp。773-780,2006。查看在：出版商的网站|谷歌学术搜索
5. C. Schmidt和H. Matiar，“人类分类和检测中当地特征的绩效评估”IET计算机愿景，卷。2，不。28，pp。236-246,2008。查看在：谷歌学术搜索
6. L.马达莱娜和A.彼得罗西诺，“自组织方式背景减除视觉监控应用，”图像处理的IEEE交易，卷。17，不。7，第1168至1177年，2008年。查看在：出版商的网站|谷歌学术搜索|MathSciNet
7. C. Guo和L. Zhang，“一种新型的多分辨率时空显着性检测模型及其在图像和视频压缩中的应用”，图像处理的IEEE交易，卷。19，没有。1，pp.185-198,2010。查看在：出版商的网站|谷歌学术搜索|MathSciNet
8. P. Sun，S. xia，G. Yuan和D. Li，“移动物体轨迹压缩算法的概述”工程中的数学问题，卷。2016年，第6587309号，13页，2016年。查看在：出版商的网站|谷歌学术搜索
9. C. I. Patel, S. Garg, T. Zaveri和A. Banerjee，“基于自顶向下和自底向上线索的移动目标检测的不同背景视频序列，”多媒体进步文章编号879070,20页，2014。查看在：出版商的网站|谷歌学术搜索
10. J. L. Barron, D. J. Fleet, S. S. Beauchemin，“光流技术的性能”，国际计算机视觉杂志，卷。12，不。1，第43-77，1994。查看在：出版商的网站|谷歌学术搜索
11. S.登曼，C. Fookes和S. Sridharan说，“改进的运动检测和跟踪对象的光流的同时计算，”在数字图像计算的程序：技术和应用，Dicta 2009，pp。2009年12月175-182。查看在：出版商的网站|谷歌学术搜索
12. R. Liang，L. Yan，P.Gao，X.Qian，Z. Zhang和H. Sun，“航空视频移动目标检测与帧间差异”2010年第3次国际成像和信号处理大会的诉讼程序，CISP 2010，pp。2010年10月1494-1497。查看在：出版商的网站|谷歌学术搜索
13. K.Kim，T.H. Chalidabhongse，D. Harwood和L. Davis，“使用码本模型的实时前景分段”，实时成像，卷。11，不。3，pp。172-185,2005。查看在：出版商的网站|谷歌学术搜索
14. K. Wilson，“基于视频中RGB色彩空间的实现基于RGB色彩空间的多对象的实时跟踪”国外医学信号处理，图像处理与模式识别，第9卷，第5期。4, pp. 331-338, 2016。查看在：出版商的网站|谷歌学术搜索
15. M. Heikkilä和M. Pietikäinen，“一种基于纹理的背景建模和运动物体检测方法”，图案分析和机器智能的IEEE交易第28卷第2期4，第657-662页，2006。查看在：出版商的网站|谷歌学术搜索
16. B. Yin，J. Zhang和Z. Wang，“基于双模型的动态场景的背景分割”，IET计算机愿景，卷。8，不。6，pp。545-555,2014。查看在：出版商的网站|谷歌学术搜索
17. M.霍夫曼，P. Tiefenbacher，和G. Rigoll，“背景分割与反馈：基于像素的自适应分段，”在计算机视觉与模式识别，2012,33 (6):741 - 741第38-43页，2012年6月。查看在：出版商的网站|谷歌学术搜索
18. G.-A.Bilodeau，J.-P.Jodoin和N. Saunier，“使用本地二进制相似模式”在特征空间中更改检测“第十届计算机与机器人视觉国际会议论文集，CRV 2013，第106-112页，2013年5月。查看在：出版商的网站|谷歌学术搜索
19. C. R. Wren，A.Azarbayejani，T. Darrell和A. P. Pentland，Penter：人体的实时跟踪，“图案分析和机器智能的IEEE交易，卷。19，没有。7，PP。780-785,1997。查看在：出版商的网站|谷歌学术搜索
20. P. Kaewtrakulpong和R. Bowden，基于阴影检测的实时跟踪的改进自适应背景混合模型，施普林格，美国，2002。
21. D.-S.Lee，“有效的高斯混合学习视频背景减法”图案分析和机器智能的IEEE交易，卷。27，不。5，pp。827-832,2005。查看在：出版商的网站|谷歌学术搜索
22. A.米塔尔和N. Paragios，“采用自适应核密度估计基于运动背景减除，”在计算机视觉与模式识别，2004,26 (3):353 - 356，卷。2，不。2，PP。302-309，华盛顿特区，美国。查看在：出版商的网站|谷歌学术搜索
23. H. Wang和D. Suter，“基于共识的跟踪方法：建模背景场景和前景外观”模式识别，卷。40，不。3，PP。1091-1105,2007。查看在：出版商的网站|谷歌学术搜索
24. O. Barnich和M.Van Droogenbroeck，“Vibe：视频序列的通用背景减法算法”图像处理的IEEE交易，卷。20，没有。6，PP。1709-1724，2011。查看在：出版商的网站|谷歌学术搜索|MathSciNet
25. M.Van Droogenbroeck和O. PAQUOT，“背景减法：氛围的实验和改进，”IEEE计算机愿景和模式识别研讨会上的IEEE计算机协会会议的诉讼程序，卷。71，没有。6，PP。32-37，IEEE，Providence，RI，2012年6月。查看在：出版商的网站|谷歌学术搜索
26. G.A.Bilodeau，J.P.Jodoin和N. Saunier，“使用当地二进制相似性模式改变了特征空间的检测”计算机与机器人视觉国际会议论文集，卷。10，不。1，pp。106-112，2013。查看在：谷歌学术搜索
27. P.-l.St-Charles和G.-A。Bilodeau，“使用当地二元相似模式改进背景减法”2014年IEEE冬季会议上的计算机愿景冬季会议，WACV 2014，第509-515，2014年3月。查看在：出版商的网站|谷歌学术搜索
28. S. Yoshinaga, A. Shimada, H. Nagahara, r - i。Taniguchi，“基于时空背景模型的目标检测”计算机视觉与图像理解，卷。122，没有。5，pp。84-91,2014。查看在：出版商的网站|谷歌学术搜索
29. B.王和P. Dudek，“快速自我调整背景减法算法”2014年IEEE计算机视觉和模式识别研讨会上的讨论会议，CVPRW 2014年，第401-404页，2014年6月。查看在：出版商的网站|谷歌学术搜索
30. X.Lu，“运动检测的多尺度时空背景模型”在IEEE国际会议图像处理程序, 3268 - 3271页。查看在：出版商的网站|谷歌学术搜索
31. G. Allebosh, F. Deboeverie, P. Veelaert，和W. Philips，“EFIC:基于边缘的前景背景分割和动态摄像机视点的内部分类”智能视觉系统的先进概念(actis)，第433-454，2015。查看在：谷歌学术搜索
32. X. Cao，L. Yang和X. Guo，“动态背景下的不规则移动物体检测的总变化正规化RPCA”Cyebericics上的IEEE交易，卷。46，没有。4，pp。1014-1027，2016。查看在：出版商的网站|谷歌学术搜索
33. G. Ramírez-Alonso和M. I. Chacón-Murguía，“用于视频动态对象分割的模块化分析的自适应并行SOM架构”，神经古脑， vol. 175, pp. 990-1000, 2016。查看在：出版商的网站|谷歌学术搜索
34. n . Goyette下午。Jodoin, F. Porikli, J. Konrad，和P. Ishwar，“changedetection.net:一个新的变更检测基准数据集”，刊于计算机视觉与模式识别，2012,33 (6):741 - 741，第1-8页，2012年6月。查看在：出版商的网站|谷歌学术搜索

版权

版权所有©2017杨义忠等。这是一篇发布在创意公共归因许可证如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。