可靠的事件驱动策略使用静态摄像机实时跟踪多个对象

文摘

最近,由于它的重要性在计算机视觉和监视系统中,对象跟踪过去二十年发展迅速。研究这种系统仍面临若干理论和技术问题,严重影响不仅位置测量的准确性,而且的连续性跟踪。摘要小说战略跟踪多个对象使用静态摄像头介绍,可给予一个廉价、容易安装和健壮的跟踪系统。提出的跟踪策略是基于场景捕捉到大量的静态摄像机。每个相机连接到一个工作站,分析其流。所有的工作站都是直接连接到追踪服务器,协调系统,收集数据,并创建输出spatial-tempo数据库。我们的贡献有两个问题。首先是提出一个新的方法将一个物体的图像坐标转换为实际坐标。第二个是提供一个灵活的基于事件的对象跟踪策略。提出的跟踪策略一直在测试一个CAD的足球游戏环境。 Preliminary experimental results show the robust performance of the proposed tracking strategy.

1。介绍

因为之前在监测系统中,对象跟踪一直是计算机视觉中一个活跃的研究课题社区在过去二十年中,因为它是一个重要的先决条件分析和理解视频数据。然而,跟踪一个物体,一般来说,是一个具有挑战性的问题。跟踪对象可能出现的困难由于几个原因如突然运动对象,对象的外观模式的改变和/或现场,非刚性的对象结构,部分/全部对象-与-对象和object-to-scene遮挡,相机运动,造成信息丢失投影3 d世界的2 d图像,在图像噪声,复杂对象运动、复杂对象形状,和实时处理的要求。此外,跟踪通常是更高级的应用程序的上下文中执行,进而要求对象的位置和/或形状在每一帧捕获。因此,应该考虑几个假设限制跟踪问题为特定的应用程序。

大量的兴趣领域的对象跟踪生成由于(i)最近进化的高速电脑,(ii)的可用性高质量和廉价的传感器(摄像机),和(3)增加对一个自动化的实时视频分析的需求。跟踪一个物体是让spatial-tempo信息估计其轨迹在图像平面上绕一个场景,这反过来又有助于学习和预测其未来的行为。在视频分析有三个主要步骤:检测有趣的移动对象,从帧到帧跟踪这些对象,分析识别对象的跟踪检测他们的行为。跟踪一些例子包括火箭在军事防御系统的跟踪,客户在市场,玩家在体育游戏中,在大街上和汽车。跟踪这些对象有助于军事防御,货物安排,运动策略,分别和流量控制。

基本上,跟踪可以通过一个或多个类型的传感器(1]。雷达、声纳、红外、激光雷达和摄像机是常用的跟踪传感器。此外,基于输入传感器的分辨率和严谨的分析,监测系统可以工作在三种情况下(2]。第一个是高准确性的情况下,可在步态识别一个物体的运动模式(3]。第二个是媒介严谨,可用于识别通用的活动,如步行,跑步,或者幻灯片(4,5]。第三是low-preciseness场景中,用于检测物体的存在在拥挤的环境中。图1给出了一个例子的三个场景分辨率。

使用颜色信息可能会解决一些跟踪情况。提出了各种方法的跟踪对象的外观模型,如极地表示方法(6]。另一个类似的方法开发了切片的对象,并在每个片平均颜色。这些颜色是存储为外观模板的跟踪对象。图2说明了足球运动员的外观模型。

有时,它可能更有利于取代由多个low-preciseness high-preciseness传感器的。等成本最小化策略有一个很大的影响比high-preciseness low-preciseness传感器更便宜的(7- - - - - -9]。同时,它提高了跟踪严谨通过广泛跟踪区域划分成几个较小的部门(10]。此外,这种策略保证可靠的对象识别和解决问题的对象检测凌乱的环境。这些好处是获得多传感器跟踪系统提供了更多的信息,可以用于进一步的分析和预测。例如,足球的3 d位置可以预测使用的2 d摄像机视频帧流。

然而,多传感器跟踪系统遭受一些障碍,如传感器注册和集成。此外,他们变得非常复杂,如果noncentralized传感器网络的设计。在集中式网络场景中,数据流从背后的机传感器(工作站)到一个专用的服务器,反之亦然。因此,数据流路径清晰比noncentralized系统。通常,集中式网络(server-workstation网络)比noncentralized首选网络(点对点),他们通常引入更好的稳定性、健壮性和组织。

通常在几个跟踪系统,追踪对象不仅是随机移动(不是作为刚体)也在低分辨率捕获。这些限制导致期间面临的一些障碍,通常跟踪系统的操作。这些障碍包括(i)的自动初始化和安装新对象,(ii)检测对象,输入每个相机的视场(FOV),(3)检测的对象,(iv)保障对象的连续从相机的视场迁移到另一个,更重要的是,(v)解决合并/分割对象或组对象的情况下,跟踪系统的主要挑战。

本文将自动提出了一个实时跟踪系统跟踪一组移动对象使用收集的视频流的一组静态摄像头。简单的安装,可移植性,以及低成本的特征提出了跟踪系统(11]。系统使用多传感器(静态摄像头),这是使用一个集中的网络,跟踪几个移动的物体。这样的基础设施有很多好处如(i)最大化对象跟踪精度,(ii)最小化不仅处理开销,而且对象阻塞的模棱两可,(3)提高系统的可移植性和安装的灵活性,和(iv)增加事件识别和视频解析的能力(12- - - - - -14]。

本文的主要贡献是(我)引入小说image-to-world坐标变换,影响系统的设置和跟踪阶段和改善跟踪这些对象的灵活性之间旅行相机视场(s),(2)一个新的概念,考虑了移动对象作为一个整体的物理目标,进而解决和纠正很多跟踪问题,已经被开发出来,最后,(iii)引入了一个新颖的事件驱动的跟踪算法有效地跟踪多个对象使用多个摄像机网络。

剩下的纸是组织如下。部分2简要回顾之前的努力。部分3提出了一些主要概念的对象跟踪系统。部分4讨论了拟议的系统体系结构、阶段和算法。节中描述的实验及其结果5。最后,结论部分中所示6。

2。先前的努力

在过去的二十年里,大量的工作领域的对象跟踪了。这些开发系统的结构和组织根据其不同目的不同,所使用的传感器的物理性质,考虑经济问题。我们最好的知识,基于底层架构,对象跟踪系统可以分为三个主要类别。他们两个都是建立在一个网络摄像头站;首先取决于静态摄像头,而第二个使用动态摄像机在缩放和旋转。另一方面,第三类取决于宽屏图像(全景图像),可以收集到大量的静态摄像头跟踪领域的同一侧。在本节的其余部分,第一类,雇佣了静态摄像头,将详细讨论系统由于其相似性。后来,两个其他类型将简要回顾。

根据第一类,跟踪系统由一组工作站,追踪环境使用一组静态摄像头。康等。6)使用多个静止摄像机提供良好的覆盖一个足球场。摄像头的登记窗口进行了使用单应性。因此,该系统可以集成三维运动跟踪组件没有明确的复苏的三维信息。3 d估计射影空间而不是欧几里得的使用,因为系统不使用相机标定参数。然而,这样的系统提出了几个需要解决的问题,比如减少的复杂性和传播所产生的延迟不确定的假设。另一个系统介绍了徐(12,15],它使用8个数码摄像机静态定位在体育场,和校准使用蔡共同地平面坐标系的算法(16]。基于明的工作,一个两级处理架构被使用。首先是信息提取的相关对象观察到每个相机(从输入图像流)。然后,每个相机的数据输入到中央跟踪模块更新估计状态的跟踪对象。然而,有几个需要解决的困难和机会系统的可靠性和准确性,比如一群阻挡物体的运动从一个工作站的视场到另一个地方。

提出了另一种体系结构,使用固定相机Iwase和Saito (17,18]。系统使用多个视图图像来避免阻塞问题,这样就可以获得一个健壮的对象跟踪。最初,inner-camera操作执行独立在每个摄像机跟踪的球员。当一个对象不能被跟踪,一个intercamera操作执行第二步。跟踪信息的摄像机是集成通过使用相机之间的几何关系这一过程被称为单应性。Inter-camera操作可以获取对象的位置没有检测到输入框。这样一个对象是完全被另一个的;因此,它成为外视角。然而,尽管其显著属性,系统遭受的困难匹配object-scene相机输入帧之间的位置。此外,不清楚数据流和复杂的操作是主要的障碍,对跟踪系统的性能有害的影响。

另一方面,跟踪系统的体系结构,使用一个动态网络摄像机有时被用作他们的廉价的结果。说明,跟踪在足球比赛不需要进一步的成本取决于数量的动态摄像机提供电视摄像机视频流,已建成。Hayet跟踪对象提供了一个模块化的架构在体育广播19]。然而,面临很多系统复杂性、不确定性,不准确。此外,由于复杂的计算,系统遭受处理时间长,导致无法实时过程。另一方面,它的实际实现经常取决于人工饲料。

最后,使用广泛的图像(全景图像)可以跟踪对象使用一台机器,这避免了关联数据在多台机器上的困难。苏利文和Carlsson [20.)使用这种架构在足球比赛中跟踪对象。然而,他的系统所需的特定的、昂贵的和校准传感器。此外,系统消耗很长一段时间来处理这么大的视频帧。

3所示。背景和基本概念

通过第二部分,快速审查方法用于提取跟踪对象以及就业将卡尔曼滤波器的文学。

3.1。提取跟踪对象

在视频流中提取移动对象非常快的方法是背景减法的方法(21),比较每一帧的背景模型。背景减法划定的前景从背景图像。最初,它从一定数量的早期估计的背景帧里面没有任何对象。随后,以下图像帧与背景估计和计算像素的强度的差异。像素的强度发生的翻天覆地的变化表明,像素是一个运动像素。换句话说,不同的像素,与背景模型,在当前帧的前景像素,反过来,可能代表了有趣的移动对象。背景减法方法见图3。

定义1。背景模型 。背景模型礼物是一个图像,在每个空间位置静态对象的像素颜色或亮度等相机的视场的地面和墙壁。它可以沿着时间定期更新基于它的制造技术。

定义2。前景像素。前景像素是一个图像不同于其等效在背景模型中,在空间位置和时间在颜色或亮度由指定的阈值。因此,对于任何框架,

两种不同的技术可用于创建背景模型:递归(22]和nonrecursive [23]。nonrecursive技术存储一组前一帧到一个缓冲区,然后构建背景模型基于每个像素的变化在这些连续帧。另一方面,递归技术不使用一个缓冲。它构建背景模型通过递归地更新每个输入框。递归技术需要更少的存储空间,而不是nonrecursive;然而,任何错误在一个输入框会有有害的影响模型。后提取的前景像素分割过程(如背景减法)、过滤器(如拉普拉斯算子的梯度(日志))。日志是用来减少不仅前景像素的噪声,而且噪声像素的边缘群体。

接下来,创建的对象是通过连接前景像素。为每一个对象,许多前景像素作为一个blob集群。这些像素集群通过应用大津的方法,决定了每个像素的阈值属于一个对象或不是。这个团是对象的外观的维度,它的颜色签名,甚至它的位置。所代表的对象可能不止一个blob。最后,对象的尺寸和位置斑点周围用一个有界的矩形表示。图4以简单的方式显示了这些步骤。

定义3。跟踪对象。 跟踪对象可以表示为一个边界矩形组最亲密的斑点。blob中像素跟踪对象的位置边界矩形的中心像素低,如以下公式所示:

跟踪对象的边界矩形有它的宽度和高度表示由以下公式:

跟踪对象总是表达的。

3.2。使用扩展卡尔曼滤波跟踪对象

对象跟踪系统是一个系统,用来决定一个对象(s)的位置随着时间的推移,使用序列图像(帧)。所以,第一个想法获得一个对象的位置在接下来的图像搜索它在一个小矩形周围地区当前的位置。然而,这样的想法可能会失败如果对象的搜索矩形。因此,它需要修改这个方法来预测对象在未来图像位置通过搜索它在一个小矩形区域。为了实现这样的目的,卡尔曼滤波可以成功地使用,因为它的能力预测在嘈杂的环境中24]。然而,使用卡尔曼滤波器时面临的主要问题在实时跟踪系统,它需要一个统计模型不仅对系统输出数据,也对它的测量仪器。这个问题可以避免通过使用递归算法,如图5调整这些未知参数,如测量噪声方差在每个时间步的基础上,观察测量。

卡尔曼滤波器是一个估计量的流程状态一段时间然后获得反馈的形式噪声测量。所以,卡尔曼滤波方程分为两组:预测(更新)和修正(测量更新)。卡尔曼滤波的解决过程是由一个线性随机差分方程。在跟踪系统中,这个过程是非线性的,所以必须修改卡尔曼滤波器来解决这个问题。修改过滤器有一个著名的形式称为扩展卡尔曼滤波器(EKF) (24]。

4所示。提出了策略

在本节中,提出跟踪策略将在细节描述以及它的主要组件。

4.1。初步

该跟踪系统架构,以及它的主要元素,如图6。工作站的系统包括一个灵活的数量,每个分析来自一个静态的视频相机。这些相机系统传感器,涵盖整个跟踪领域。系统集中在服务器机器上,收集,整合,从工作站和纠正数据,然后将其发送给媒体服务器,比如web服务器、多媒体服务器、电视节目、或数据挖掘服务器。

如图6,我们建议的跟踪系统可以划分为四个主要的层,(我)相机层,(ii)工作站层,中央服务器层(3),(4)数据表示层。摄像机层包含大量的静态摄像头提供输入视频流。每个相机覆盖特定地区在该领域被称为相机的视场范围。此外,摄像机视场必须部分相交尤其是退出/入口边界,最好在拥挤的地方(比如足球场的禁区)。理想情况下,交叉相机应该定位的活动范围,以及他们的投影轴,如图7或附近的活动。这样的建设解决了最闭塞的问题和可以用来获取一些对象的3 d位置。

整个系统的视场包含可见的系统中所有摄像机的视场。另一方面,该系统是不感兴趣的任何虚拟FOV(由相机发现地区)。每个相机连接到一个工作站如图6。每个工作站反映了其相机位置的系统架构和工作的地方跟踪视频来自这样的相机。因此,它可以创建本地数据库,表达了spatial-tempo数据的对象在其相机的视场。此外,所有的工作站都连接到一个以太局域网,连接跟踪服务器。

在服务器层、服务器是系统的中心点。它从每个工作站,然后接收spatial-tempo数据收集(i)保证数据集成,(ii) recorrect错误地接收的数据,和(3)预测最正确的数据。因此,数据流从工作站到服务器,反之亦然。最后,然后从系统输出spatial-tempo数据存储在数据库中。这个数据库可以通过通用标记语言XML表示很容易在实时发送到另一个媒体在低带宽、电视节目、移动细胞,或互联网。此外,完整的数据库可以与视频流和可以离线使用多媒体数据库预测情况下发生在跟踪环境作为一种数据挖掘。

跟踪之前,必须定义每个工作站的视场的一般坐标系统,以避免差距和地区跟踪环境视而不见。工作站的视场目标被定义为代表的多边形数量的角落沥青覆盖面积面前的相机,工作站。这些角落里的手动选择更准确、更便宜、更透明的在许多情况下。选择那些角落一帧之前捕获跟踪执行。

4.2。工作站操作

在每个工作站,跟踪移动物体进行使用方法见图8。分段静态镜头视频是由背景扣除方法见部分3所示。1。可以手动创建和更新背景模型经常通过递归技术如近似中值滤波器(23]。减去输入帧的背景模型后,前景像素往往支离破碎,所以一个过滤器应用于减少噪音25]。形态滤波器用于确保每组的像素构成一个单独的对象。快速移动的物体是由分组前景像素为blob。然后,每个对象是由分组接近blob使用连接成分分析。这些气泡包围一个边界框,介绍了跟踪对象。跟踪场景中的每个对象是通过卡尔曼滤波器(26]。此外,卡尔曼滤波器是用来解决阻塞问题,当两个或两个以上的跟踪对象合并在一起。卡尔曼滤波器模型的预测阶段锢囚锢囚的对象和前台位置组包含更新组中的每个对象的位置(14]。

阻挡集团分裂后,工作站取决于三个选择相匹配的输入输出对象的对象阻挡集团(i)卡尔曼滤波器预测和校正,(2)每个对象的颜色直方图,和(3)来自服务器的反馈。

4.3。服务器操作

的服务器充当中心系统接收所有数据来自工作站连接到相机(如图6)。然而,数据流不流仅从工作站到服务器但服务器也可能发送其工作站的反馈。这些反馈时可以发送(i)服务器纠正数据对象跟踪工作站;(2)服务器解决了不确定数据阻挡物体,或(3)条目对象的工作站的视场而退出。因此服务器执行一组(i)的关键任务收集从每个工作站和同步数据,(2)将每个数据对象收到每个工作站,和(3)所有数据融合全球每个目标在现实世界坐标系的位置。服务器的操作如图9。

执行数据同步(提供的方案19]。数据从工作站发送时间上。然而,数据来自不同的工作站可能在不同的时间到达服务器。因此,服务器等短时间内(应小于工作站相机捕捉帧)的速度在处理之前所有传入数据印有相同的时间。任何数据到达后这段时间将被丢弃。数据服务器是由两个模块进行处理;数据关联和数据融合模块。数据关联是相关的技术从多个传感器观测的跟踪对象(13,27]。因此,数据关联模块提供了一个独特的标签每个跟踪对象。许多算法可以用来构建这个模块如近邻标准过滤器(NNSF) [28),最优贝叶斯过滤器(票据)29日[]、多假设跟踪(MHT)30.],概率数据关联(PDA) [31日),联合PDA (JPDA) [32),模糊数据协会(FDA) (33),和Viteribi数据协会(VDA) (34]。尽管PDA建议在混乱的环境中,我们使用JPDA算法因为它扩展了PDA同时跟踪多个对象。此外,JPDA被认为是最好的性能和复杂度之间的妥协。后每一个目标在每个传感器流本身有关,所有的数据流必须融合全球地位。数据融合可以通过许多模型如情报周期,联席董事实验室(金)模型(35),瀑布模型(36),和综合模型(37]。混合模型是最近的一个模型,利用旧模型优点和最大限度地减少它们的局限性。因此,模型组件的显式结构使混合模型更可取的选择在我们的数据融合模块。

4.4。Image-to-World坐标变换

在任何跟踪系统,image-to-world坐标转换是一个非常重要和复杂的步骤。这种转变应准确地计算得到精确的每一个移动物体的位置。然而,基本上依赖相机的内部参数和位置使这个变换非常复杂的和昂贵的。相机标定是这些复杂的方法之一就是提出了(28]。然而,这种方法是基于标定摄像机参数通常使用昂贵的硬件和基于复杂的计算,在大型环境中是不可能的。作为我们的目标是建立一个简单、廉价和实时系统,我们避免了复杂的转换方法。然而,我们的工作重点跟踪对象移动等平面距或停车区域;因此,我们将提出一个新颖的方法,将二维图像地面坐标转换为实际坐标。这种转换是在每个工作站。提出的变换方法是基于预定义组点的手工作业,他们的真实情况是已知的。这些点被安排在垂直的直线来说明一个网格,叫做转换网格(TG)中定义的定义4。

定义4。变换网格(TG)。转换网格(TG)是一个点集,在垂直的行和列排列改变了飞机。这些点的坐标是已知的真实和图像坐标。简单和明确的计算,每个点和任何相邻的点之间的距离都是一样的在所有的方向。

在服务器上,创建每个工作站的TG TG-creator模块。最初,TG-creator读取TG的真实坐标点的实际坐标的组织和手动测量。这些数据提出了以XML文件的形式如所示的算法1。

TG-creator中的第二步是使用图形用户界面(GUI)如图10,采用手动分配实际模型的等效点的形象。为了实现这样的目的,TG-creator情节真实模型点,见图所示的界面10 (b),通过阅读前面的XML文件。然后,服务器的运营商选择一个初始帧的工作站。以TG的分帧捕获。例如,人类操作员,如图10 (),选择初始帧中间工作站的音高和开始分配双方的一些点。

因此,通过简单的点击使用TG-creator界面,操作员可以分配每个点在初始帧,在左边的部分,其等效,在右边,在现实的模型。一旦手工作业完成后,最后一步在TG-creator是生成一个XML文件,收集每一个图像点的坐标,工作站的初步框架,及其等效实际坐标。所以,任何时候在TG表示为。此外,TG点分为TG细胞中定义的定义5。同时,工作站的分属于不完整细胞初始帧将被忽略。

定义5。TG-Cell。对于任何TG在行点安排了他们的真实坐标和列,TG-cell表示为细胞_我= 。TG-cell是一组4最亲密的一个矩形的四个角点的礼物。

XML文件TG-creator写的,表达一个工作站的TG写成算法2。

点的图像坐标转换为实际坐标开始阅读之前的XML。接下来,TG-cell转变点检测到存在,或者最近的TG-cell如果里面不存在任何一个。一旦检测到TG-cell,改变算法可以开始见算法3。

指图11,一个点发现在细胞,也是躺在两条线的和,他们每个人都是平行的两条边和其他垂直于两条边。根据透视投影下cross-ratios保持不变,并使用一个近似在这个比例(19):以下两个方程可以预测

因此,使用前两个方程,真实的点的坐标可以通过迭代计算。指图12(一个),)的垂直距离的线。通过改变、线移动和)的变化。减少)在一个像素,由算法在算法迭代3。

同样的,真实的点的坐标可以使用该算法计算示算法3通过考虑坐标而不是坐标。

一旦图像坐标是真正转换为相应的坐标,工作站覆盖模块可以立即开始。构建TG之后,工作站覆盖模块帮助策划报道每个相机的视场的多边形在地面。这个策划与开发GUI软件手动执行援助工具在服务器上。服务器接收到的初始帧每个工作站及其GT XML文件,然后服务器操作员手动分配覆盖多边形的角点。图13显示了GUI的工作站报道救援工具。它显示了初始帧与相应的策划报道每个工作站以及多边形覆盖所有工作站的多边形。我们工作站覆盖援助工具保证完全覆盖的面积考虑以及摄像机的视场之间的重叠。因此,它有助于服务器运营商发现盲人的地区,如果他们被发现。

4.5。约束环境和对象跟踪

在任何跟踪系统的主要目标是解决不连续的问题对象的路径跟踪过程中(跟踪)。这问题发生由于许多原因(i)闭塞等场景中物体或结构(由一个静态的对象部分或完全消失),(2)对象消失在盲目的地区,或(3)对象的退出和重返现场。基本上,对象阻塞可以分为两大类(i) interobject阻塞和(2)闭塞的对象。前当一群对象出现在场景对象被其他组。这不仅造成了困难在组中识别这些对象,而且在确定每个对象的确切位置。另一方面,闭塞的对象时的对象不是观察或失踪的时间被结构或对象(静态或动态)的场景。因此,跟踪系统等对象的再现或得出结论,对象已离开现场。因此,减少阻塞的影响,我们假设一个环境完全由几个摄像头;此外,地面总是因为没有静态对象可见。另一方面,克服了跟踪对象的不连续(i)初始化新对象,(ii)成功地解决合并/分裂的情况下,和(3)整合进入/退出fov跟踪的工作站。

在大多数跟踪系统,每个物理目标表示为一个相应的对象。然而,这表示不适合跟踪多个持续互动的目标。形成一个通用的跟踪对象,在我们的系统中,假设“跟踪对象可以表示为一组micro-objects。”定义中说明了这种假设6。

定义6。咕表示。一组物体(美好的)表示将跟踪对象映射到一组物理目标。

考虑定义6模棱两可的跟踪情况下,尤其是合并/分情况下,将明确地解决。分割对象的神秘,注册后系统作为一个对象,可以很容易地解决。

图14跟踪显示的情况这三名球员在第一帧作为一个对象。一些帧后,一名球员将变得单一对象和相同的第二个和第三个球员。如果跟踪模块考虑了三名球员一开始作为一个单独的对象,它必须生成一个新的跟踪对象在每个分裂。同样,过去的轨迹分裂的球员都将丢失。然而,如果跟踪球员被认为是作为一个群体,过去的分割对象的轨迹将以前的轨迹一样的组织不协调。通过同样的方式,一群的轨迹是未来轨迹的合并对象或组。因此,的咕表示跟踪对象可能是有用的在合并和分裂的情况。

4.6。对象跟踪策略

在传统的跟踪系统,工作站是委托分割和对象创建阶段和对象路径创建阶段。然而,服务器委托反馈校正阶段。我们打破层叠的经典的线性跟踪阶段,“从事件中执行这些决定跟踪阶段。介绍了”这一策略的一个早期版本(8,9]。使用跟踪事件的策略促进了跟踪系统自动化。它允许自动对象创建和避免了手动场景。使用跟踪事件也最大化对象之间的旅游系统相机的稳定性。它也提高了连续性的对象跟踪等几个场景合并和分裂。考虑事件表中所示1。

每个事件触发条件的集合,是由简单的操作,生成的计算,和条件。例如,更改object-bounded框的大小所生成的背景减法,改变对象的大小和位置的有界框是由卡尔曼滤波器预测,或对象外观模板提出了。中使用的参数算法简要表中提到的2。

如算法4,该算法不仅定义了事件和他们的反应也安排他们根据优先级按照降序排列。优先级的事件,事件的顺序测试的其他事件。因此,如果一个触发事件的对象,其他事件将被丢弃。

如算法4,算法在每一个工作站利用单边带等一些输入由工作站用当前帧分割方法。另一个算法的输入是KBB,前一帧中生成的扩展卡尔曼滤波器。单边带和KBB集元素的数量可能会有所不同,因为不同的对象从当前帧。是一个输入来自服务器和包含所有对象的预测位置的跟踪环境。是一组外观模板对象的频繁更新在每一帧的前一帧。另一方面,跟踪事件排列优先级递减的方式,显示在图15。此外,(前三个事件,,)本质上取决于。这些事件都位于一个循环测试的属性。以同样的方式,第二三个事件本质上依赖。所有事件的反应取决于两个模块在每个工作站和服务器,分别WRM和SRM。

触发发生任何元素单边带提供了一个新对象。如果任何单边带元素,跟踪环境中,并不是一个对象通过比较它与所有元素。这一事件的反应,保证在SRM和WRM创建新对象。

第二个事件是检测除非引发了。事件监控对象进入工作站的视场时可能会引发两个条件是有效的。第一个条件是,进入前一帧的对象不存在。第二,进入对象必须存在以前的跟踪环境,限制该跟踪系统之前,所以它应该是一个元素。事件的反应是,保证进入对象登记工作站。

第三个事件()检测到一个对象分割成两个或两个以上的对象。这取决于对象大小的突然变化。另一个条件是确保分割对象不是以前检测到的系统由另一个工作站。因此,分离操作可以执行其他工作站服务器和工作站的提要。响应(R3)试图检测生成的对象分割操作。分割对象可能是已知或未知的对象。已知的对象意味着他们合并后开始跟踪,所以他们是已知的。另一方面,未知的对象合并之前开始跟踪。尽管该算法可以解决两种情况分别在一个有效的方法,它可能会失败对象分为已知和未知对象时,对象将在复杂split-merge情况下,在一个拥挤的地区或对象分割。最后,新未知对象将在跟踪注册服务器和工作站通过触发R1。

(第二组事件,,)取决于KBB集。当一个对象触发退出工作站的视场。两个条件确保对象退出FOV,保证卡尔曼滤波器预测的正确性。事件的反应是停止跟踪等退出对象。停止跟踪对象意味着删除其KBB元素,而不是建造G^k为它。

合并情况触发事件的对象。触发取决于突然改变一个对象的大小更大的规模和KBB相交元素的预测。响应是注册产生合并对象作为其构成的一组对象。SRM试图分裂合并对象使用的知识来自其他工作站。

之前的所有事件都解决不稳定事件,所以不会引发这些事件的对象被称为以稳定的方式被跟踪。过去的事件,,表示这种情况当一个元素从KBB匹配SBB在传统的跟踪方式之一。事件的反应是匹配对象跟踪、更新卡尔曼滤波器,并更新这个对象的元素。

一旦成功地引发了所有可能的事件,跟踪对象的连续性可以正确地完成。图16探讨了某些情况下所面临的系统与相应的触发事件,解决问题,和服务器的职责。

5。实验和结果

在本节中,将呈现三个实验。前两个实验确定的准确性提出image-to-world转换方法,而第三评估对象跟踪的算法。

5.1。我:实验测量的准确性Image-to-World转换算法

在这个实验中,提出的效率image-to-world变换方法将以一个真正的三维CAD模型。该模型模拟了足球场与相机的视场目标捕获的中心。帧大小调整为720×576像素。每个点的TG点8米远从四个方向的邻国。五CAD模拟路径构造,它们中的每一个包括40分。每个点的实际位置是已知的CAD模拟,和它的图像位置手动喂。我们选择这样的路径,以及他们点位置,测试算法的效率远近,边界,和相机的视场。此外,我们没有采取任何对角线(超过相机的视场)路径可能会棘手的结果与计算均方根误差(RMSE)。该转换方法与快速投影方法相比,这里(17使用两个投影平面)。每架飞机由其四角四noncollinear点,。转换使用每架飞机取决于(4前面所讨论的)。图17显示了CAD模拟构建路径和飞机。

对于每一个路径,RMSE使用计算每个点的实际位置()和图像位置()点使用以下公式两个真正的轴和:

结果每个路径表进行了总结3。的变换算法计算一个点花了不到1毫秒Intel-I5 CPU,和计算模块是建立。净框架和Windows 7操作系统下运行。

结果在表3表明了image-to-world变换算法的鲁棒性。之间的RMSE是0.28米和1.02米的TG 8 m点距离。这些结果导致一个错误之间的3.5%(高分辨率区域)和12.7%(分辨率太低,地区)。此外,任何改变一点都将保留的等效变换后TG的细胞。换句话说,转换后的点不会跳转到另一个细胞的网格转换后,所以该算法将不会得到任何棘手的结果。

5.2。实验二:扩展Image-to-World转换算法

这个实验扩展了先前的一个假设每个TG点是8,16、24、32岁和40米远从四个方向的邻国。相同的RMSE五路径如图17计算,结果见图吗18。

通过观察图18,得出结论,提出变换算法优于快速投影法,指在表的结果3。此外,RMSE仍在可以接受的范围内,即使在大型TG点之间的距离。

5.3。实验3:评估事件跟踪算法

在这个实验中,将测试提出的跟踪算法在三维CAD仿真。这个实验的环境就是足球场被网络覆盖五个摄像机。场上包括25移动对象,分为两队和三个裁判(不同颜色的衣服)。仿真时间是2分钟的长度,每秒25帧,MPEG格式,768×576像素的帧的大小。以及服务器,工作站Intel-I5 CPU,模块建造。微软网络框架下运行Windows 7操作系统。五个静态摄像机的视场用于覆盖在足球场图所示19。

提出的跟踪算法可以通过比较评估事件由系统自动生成与人工观测的工作站和服务器事件百分比的形式。事件比率可以使用以下公式计算: 评价结果详细表4。

报告结果表4节目的成功事件跟踪算法在大多数情况下。结果验证算法能够处理对象的连续性跟踪,这是任何跟踪系统的主要目的。

证明系统保护对象的连续性跟踪的能力,我们提出两个块对象跟踪与两种不同的方式。第一个是阴谋的两个对象如图20.。检测到事件的事件跟踪算法包含每个对象跟踪。此外,策划比较实际对象跟踪(路径)生成的一个系统,确保良好的性能和系统的鲁棒性。它还指出,对象跟踪(路径)是由卡尔曼滤波平滑。

6。结论

本文提出了一种新策略,构建一个跟踪系统在一个拥挤的环境。该策略的新奇出现在系统架构的灵活性,显然解决图像变换和系统设置的问题,探索一种新的模式的跟踪对象,最后呈现事件驱动的算法跟踪对象在一个静态的网络摄像头。提出的跟踪策略提供了一个潜在的监测系统需要广阔的区域内多个摄像机观察和跟踪对象,例如,机场、火车站、购物中心。为单个相机观察是不可能完整的场景中感兴趣的领域的结构约束的可见区域和设备分辨率是受限制的。因此,广泛地区的监测系统需要多个摄像头的对象跟踪。在CAD的足球比赛,实验表明,该跟踪策略甚至在混乱的环境中表现良好。我们未来的调查提出的跟踪算法扩展到包括其他事件。此外,尽管足球比赛是一个非常丰富的跟踪环境,系统应该在停车场等其他环境测试,其他运动操场,和超级市场。

引用

1. c c。贾,W.-K。陈,S.-Y。简,“合作监控系统固定相机对象定位和移动机器人目标跟踪,”第三届环太平洋学报》研讨会上图像和视频技术的进步(PSIVT ' 09)卷,5414在计算机科学的课堂讲稿施普林格,页886 - 897年,东京,日本,2009年。视图:出版商的网站|谷歌学术搜索
2. w .妞妞,l .焦d·汉和Y。王- f”,在视频监控实时多人跟踪第四届IEEE环太平洋学报》多媒体会议(PCM ' 03)2003年12月,页1 - 5、新加坡。视图:谷歌学术搜索
3. m . Tandl t·斯塔克,n . Erol f .爱人、和a . Kecskemethy“面向对象的方法来模拟人体步态运动运动跟踪的基础上,“国际应用数学和计算机科学杂志》上,19卷,不。3、469 - 483年,2009页。视图:出版商的网站|谷歌学术搜索
4. D.-X。赖,中州。常,Z.-H。钟”,活动轮廓跟踪移动物体使用边缘流和蚁群优化的视频序列,”第三届环太平洋学报》研讨会上图像和视频技术的进步(PSIVT ' 09)卷,5414在计算机科学的课堂讲稿施普林格,页1104 - 1116年,东京,日本,2009年。视图:出版商的网站|谷歌学术搜索
5. b Sugandi h·金,“基于颜色信息的运动目标跟踪采用粒子滤波算法”学报》第十四届国际研讨会上人工生命和机器人,大分,日本,2009年。视图:谷歌学术搜索
6. j .康。科恩,g . Medioni“足球运动员在未校准相机流跟踪,”《IEEE国际研讨会的可视化监控和绩效评估跟踪和监视(宠物' 03),不错,法国,2003年10月。视图:谷歌学术搜索
7. m . Mozerov a·阿马托x Roca, j·冈萨雷斯,“解决多对象阻塞问题在多个摄像头跟踪系统中,“模式识别和图像分析,19卷,不。1,第171 - 165页,2009。视图:出版商的网站|谷歌学术搜索
8. o . Javed和m .沙”,跟踪和对象分类自动监视。”第七届欧洲计算机视觉学报》上2002年5月,哥本哈根,丹麦,。视图:谷歌学术搜索
9. l . j . Latecki和r . Miezianko”对象跟踪与动态模板更新和闭塞检测”学报18 IEEE国际会议模式识别(ICPR 06年),1卷,页556 - 560,香港,2006年8月。视图:出版商的网站|谷歌学术搜索
10. d . t . Ellis Makris, j .黑色,“学习多幅相机拓扑”美国联合IEEE国际研讨会视觉追踪和监测的监测和绩效评估不错,页165 - 171年,法国,2003年10月。视图:谷歌学术搜索
11. d . Setterwall电脑视频分析football-technical和商业足球教练的可能性、硕士论文、数值分析和计算机科学,k,斯德哥尔摩,瑞典,2004年。
12. m .徐j·奥威尔,l·罗伊,d .三分之二”架构和算法跟踪与多个摄像头,足球运动员”IEE诉讼:视觉、图像和信号处理,卷152,不。2、232 - 241年,2005页。视图:出版商的网站|谷歌学术搜索
13. r·t·柯林斯a·j·利普顿h . Fujiyoshi t·金,“合作多传感器监测算法,”IEEE学报》,卷89,不。10日,1456 - 1477年,2001页。视图:谷歌学术搜索
14. c . j . Needham和r·d·博伊尔,”位置追踪评估,绩效评估指标和统计数据”视觉系统的国际会议(ICVS ' 03)中的那奥地利格拉茨,页278 - 289,,2003。视图:谷歌学术搜索
15. m .徐j .奥威尔和g·琼斯,“跟踪与多个摄像头,足球运动员”《图像处理国际会议(ICIP ' 04)5卷,页2909 - 2912,新加坡,2004年10月。视图:出版商的网站|谷歌学术搜索
16. r·蔡”,一个高效、准确的三维机器视觉的摄像机标定技术,”《IEEE计算机学会学报计算机视觉与模式识别会议(86年CVPR”),页364 - 374,迈阿密海滩,佛罗里达州,美国,1986年。视图:谷歌学术搜索
17. 美国Iwase h .齐藤,“跟踪足球运动员基于单应性在多个视图,”视觉通讯和图像处理卷,5150学报学报卢加诺,页283 - 292年,瑞士,2003年7月。视图:出版商的网站|谷歌学术搜索
18. 美国Iwase h .齐藤,“跟踪足球运动员使用多个视图,”学报》第八IAPR机器视觉应用研讨会(MVA ' 02)2002年12月,日本奈良。视图:谷歌学术搜索
19. j·b·Hayet j . h .反坦克炮和j·g·维尔,“快2 d model-to-image登记使用消失点体育视频分析”《IEEE国际会议上图像处理(ICIP ' 05)热那亚,页417 - 420年,意大利,2005年9月。视图:出版商的网站|谷歌学术搜索
20. j·苏利文和美国,“相互作用的多个目标的跟踪和标签,”学报》第九届欧洲计算机视觉大会06年)卷,3953在计算机科学的课堂讲稿格拉茨,页619 - 632年,奥地利,2006年5月。视图:出版商的网站|谷歌学术搜索
21. 美国张Kamath和c“强劲的技术背景减法在城市交通视频中,”视觉通讯和图像处理卷,5308学报学报圣何塞,页881 - 892年,加州,美国,2004年1月。视图:出版商的网站|谷歌学术搜索
22. r . Cucchiara c基粒、m . Piccardi和a . Prati”探测移动物体、鬼魂和阴影在视频流,”IEEE模式分析与机器智能,25卷,不。10日,1337 - 1342年,2003页。视图:出版商的网站|谷歌学术搜索
23. p . Remagnino a . Baumberg t·格罗夫et al .,“综合交通和行人基于模型的视觉系统第八届英国机器视觉研讨会论文集(BMVC ' 97)艾德,a·f·克拉克,页380 - 389,埃塞克斯,英国,1997年。视图:谷歌学术搜索
24. r·e·卡尔曼“线性滤波和预测问题的新方法,”《基础工程卷。82年,35 - 45,1960页。视图:谷歌学术搜索
25. a . Prati成员,m . m . Trivedi和r . Cucchiara”运动阴影检测算法和评价,IEEE模式分析与机器智能,25卷,不。7,918 - 923年,2003页。视图:出版商的网站|谷歌学术搜索
26. r·罗萨莱斯和s . Sclaroff”改善与轨迹跟踪多个人类预测和闭塞的建模,”《IEEE计算机学会学报计算机视觉与模式识别会议(98年CVPR”)美国加州圣芭芭拉,1998年6月。视图:谷歌学术搜索
27. n . d . Doulamis耦合的多目标跟踪和标记车辆轨迹估计和匹配施普林格科学+商业媒体公司2009。
28. a .淀粉和帕帝尼,“Track-while-scan算法在杂波环境中,”IEEE航空航天和电子系统,14卷,不。5,769 - 779年,1978页。视图:谷歌学术搜索
29. y Bar-Shalom和t . Fortmann跟踪和数据协会、学术出版社,1988年。
30. d·里德,”一个算法跟踪多个目标,”IEEE自动控制,24卷,不。6,843 - 854年,1979页。视图:谷歌学术搜索
31. 美国黑人,与雷达多目标跟踪应用程序,1986年Artech房子。
32. l·克莱因传感器和数据融合的概念和应用美国贝灵汉,洗,有光学工程出版社,1993年。
33. 迦得a和m . Farooq跟踪高度机动目标混乱使用基于交互多模型模糊逻辑的追踪,”信号处理、传感器融合和目标识别卷,4729学报学报页23-34奥兰多,佛罗里达州,美国,2002年4月。视图:出版商的网站|谷歌学术搜索
34. 迦得a和m . Farooq Viterbi-based目标跟踪数据关联技术,”信号处理、传感器融合和目标识别十二世,学报学报》,页37-46,奥兰多,佛罗里达州,美国,2003年4月。视图:出版商的网站|谷歌学术搜索
35. f .白色,“数据融合模型,”诉讼的第一传感器融合国际研讨会,1988年。视图:谷歌学术搜索
36. m . Bedworth“概率适度处理的多级信息,”半径标注技术报告半径标注CIS (SEI) / 651/8 / M94。AS03BPO32/1, 1994年。视图:谷歌学术搜索
37. m . Bedworth和j . O ' brien”混合模式:数据融合的新模式?”IEEE航空航天和电子系统杂志,15卷,不。4,30-36,2000页。视图:出版商的网站|谷歌学术搜索

版权

版权©2011 Amany m·萨汉et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。