文摘

本文提出了一种使用轨迹估计相机定位算法(CLUTE)在一个分布式网络的不重叠的相机。算法恢复外部校准参数,即摄像机的相对位置和姿态网络在一个共同的地平面坐标系统。我们第一次模型中观察到的轨迹在每个相机的视场使用卡尔曼滤波,然后使用这些信息来估计丢失的轨迹信息未被注意的地区融合前后的结果从相邻摄像机线性回归估计。这些估计的轨迹然后过滤,用来恢复摄像机的相对位置和姿态分析估计和观察退出和条目点对象的每个相机的视野。最后的配置网络建立了考虑一个摄像头作为参考,通过调整其余相机对这个引用。我们演示了算法对模拟和实际数据和比较结果和最先进的方法。实验结果表明,该算法更健壮的嘈杂和缺失数据和相机的失败。

1。介绍

在过去的几十年里,无处不在的使用大型相机网络一直在增加视觉监控等广泛应用交通站点,灾难看,交通管制。这些相机网络本质上启用广泛大面积的监控,因此检测有趣的活动在更大的范围内,这是不可能使用单摄像机(见[1,2])。现有活动检测系统主要执行手动分析收集的数据的网络,这是一个非常乏味的工作;因此,自动化数据分析和汇总工具的发展是至关重要的实现从这些相机网络最大3]。

校准相机网络首先是重要一步这样的自动活动总结系统的发展。校准定义了对应点在图像平面和点在三维空间中,可以分为内在和外在校准(也称为本地化)。内在校准建立camera-centric坐标系和图像坐标系之间的关系,可以通过收购对象执行与已知的欧氏结构,而外在校准定义scene-centric坐标系和camera-centric坐标系之间的关系。重叠摄像机网络,对极几何的估计是一个受欢迎的选择外部校准,候选人对应点在哪里最初从场景中提取和模型得知最小化图像及其reprojects [4]。然而,在许多实际场景,相机没有重叠视图(图1)。这样的场景的例子有广域监视地下火车站和/或地铁,和移动ad hoc网络的低成本的监控摄像头。大量的摄像机或昂贵很难手动相机的位置或为每个相机配备GPS装置(5]。解决这个问题的方法之一是通过自动化的小说范式不重叠的摄像机标定算法,使摄像机位置后确定他们的位置和方向。

在本文中,我们提出一个相机使用轨迹估计定位算法(CLUTE)一个不重叠的网络摄像头。算法解决的问题恢复多个摄像机的相对位置和姿态的固有参数是已知的。CLUTE使用时间和几何约束来自可用的轨迹信息来估计未被注意的轨迹片段,然后用于常见的地平面上的摄像头位置。物体运动信息还有助于估计摄像机的相对取向。注册过程将摄像机彼此在一个相机坐标系(参考相机的)。该算法模拟和实际数据,与最先进的方法及其结果。

本文组织如下。部分2评论相机定位的最先进的方法。部分3正式在考虑的问题。部分4提供了详细的描述CLUTE。部分5演示的结果和分析CLUTE在真实和模拟数据,也有两个现有的技术性能进行了对比。最后,部分6结论。

2。相关工作

本地化是传感器的问题(相机、音频、射频识别等)网络([6- - - - - -8])。定位算法可以分为两个主要的类,即细粒度算法(见[9,10([])和粗粒度算法11,12])。细粒度的方法使用时间和/或信号强度定位。在这类定位方法,只有少数传感器位置是已知的。这些传感器被称为灯塔或锚(见[13- - - - - -15])。灯塔的知识然后传播在整个网络中找到剩余的位置传感器。节点测量距离他们的邻居尽可能使用等硬件技术,如接收信号强度(RSS)和到达时间差(辐射源脉冲)。然而,锚节点的选择是一个重要的问题,使用所有锚节点并没有给出最精确的位置。此外,有需要确定标准选择最优数量的锚节点实现更精确的位置估计。

经济因素和硬件限制使用的关键动机粗粒度的定位方法。这些方法估计的距离传感器网络中任意参考传感器。可以进一步分为粗粒度算法nonstatistical和统计方法。第一个nonstatistical方法是多维标度定位(MDS) ((16- - - - - -18])。MDS安排传感器在低维空间的大小取决于应用程序数据。MDS非常准确恢复传感器网络配置当所有传感器对之间精确的距离是可用的。计算的位置相机在一个二维空间使用MDS [19),一个亲和矩阵构建基于成对欧几里得距离。然后,内积矩阵使用双中心矩阵和关联矩阵计算,其次是计算的特征值和特征向量。在降序排序特征值后,传感器的位置计算使用特征值及其对应的向量。这种方法的主要缺点是其依赖的关联矩阵和不可用几个距离显著降低了整体性能。

另一种nonstatistical方法用于校准的网络随机放置相机与不重叠的领域来看,使用移动场景特性在远近字段(20.]。很强的假设是由物体运动是确定性的。远处的物体(如恒星)使复苏的取向(旋转)的相机,而亲密的对象(例如,人们或汽车)启用的恢复相机的翻译一个标量。在这种方法中,摄像机参数恢复了解决一个复杂的几何问题,没有强加一个概率框架。

统计方法包括数值,探讨,最大后验(MAP),和基于速度外推的方法。数值解的迭代方法网络本地化和每次迭代有助于减少残余错误。现有方法通常是梯度下降法和高斯牛顿方法的变化。作为一个例子,泰勒et al。21)使用牛顿拉富生方法来估计网络配置。虽然这样的简单方法是一个关键的优势,它们严重依赖于适当的初始化和递增(或递减)的速度找到全球(或本地)最低。

在结构与运动(SFM)的轨迹移动相机,和一个固定目标的三维坐标恢复同时从一系列的2 d图像的场景。在[22),重点是实时处理图像数据使用一个扩展卡尔曼滤波,而递归的概念或顺序SFM中可以找到23,24]。SFM相似,同时定位和地图(大满贯)定位一个移动的传感器(机器人),估计它的轨迹使用egomotion和静止场景中的对象(参见[25,26])。SLAM算法的性能受到噪声的影响,随着机器人依靠他们的相机来计算距离,因此噪声测量迅速增加。在这些情况下环境地图是很有帮助的。

拉希米等。27)使用最大后验(地图为同步校准和跟踪)框架。一个不重叠的网络摄像机是局部使用的运动目标。的地图校准参数的估计计算(即之前使用轨迹。,the motion model) and the likelihood function, which are constructed from the available observations. The地图方法是高度计算复杂。此外,也有可能解决方法可能将目标放到另一个传感器的视场观察在特定时间的实例。

Javed et al。28)使用速度外推的概念一个相机的视野投射到另一个。然后使用投影作为一种工具来发现校准参数。然而,这种方法假定人们走在一条直线在未被注意的区域。最后,Junejo et al。29日]提出一种方法使用消失点的找到摄像头的位置已知的相对取向。

先进的传感器定位方法的总结提出了表1。

3所示。问题公式化

假设我们有一个网络非重叠摄像机,类似于(33]。让一个轨迹在被表示成,在那里是估计的位置在图像平面和目标是目标观测的数量从相机吗。

此外,让每个观察生成的运动模型 (在哪里)是物体的速度。此外,()可能随时间改变。此外,()是建模添加剂噪声协方差。

让每一个相机提供了一个垂直的自上而下的场景视图(即。,its optical axis is perpendicular to the ground plane or the trajectories are preprocessed using a homography transformation [34])。在这种假设下,对每个相机的定位参数的数量减少到两个,即相机位置,,旋转角,,表示为摄像机之间的相对角度水平轴(图2)。总而言之,未知参数的相机是 如果观察对象在特定时间之后,时间间隔对象进入与,那么它可以可视化查看的对象吗的位置,和翻译是旋转矩阵和向量。

相机本地化过程估计(),这样配置估计误差变得最小,即 在哪里的预期估计对象的位置在来在。

4所示。建议的方法

让一个物体移动环境和被跟踪的网络中每台照相机。找到旋转矩阵,翻译向量,相邻摄像机,我们提出一个两步迭代的过程。两个连续批次的测量从两个相邻摄像机形式定义一个迭代和相机之间的邻接对象本身的运动。第一步计算通过估计丢失的轨迹对相邻摄像机之间。在第二步中,利用轨迹信息和计算对象的吗退出和条目相邻摄像机的领域的观点。下面给出每个步骤的细节。

4.1。轨迹估计在未被注意的地区

图3显示了轨迹估计过程的流程图。与[31日),每段轨迹从每个相机是intercamera轨迹平滑估计: 在哪里是一个平滑函数,。如果和然后,两个相邻摄像机吗估计是相机对之间的轨迹: 在哪里和是非参数和一个参数函数,分别推断一个平滑的轨迹在未被注意的地区。

我们使用卡尔曼滤波器(见[35,36])作为参数的函数()。是受语音识别的方法,卡尔曼滤波(37)广泛被用于估计间隔与失踪的观察(38]。然而,卡尔曼滤波器的创新信号扭曲明显缺乏目标信息。要解决这个问题,我们使用线性回归估计作为一种非参数函数,在未被注意的地区,卡尔曼滤波器和线性回归模型表现出类似的行为(见附录)。

在每个相机的视野中,卡尔曼滤波应用于获得的初始化参数。当目标进入一个未被注意的地区时,线性回归模型取代了卡尔曼滤波器来估计目标位置。为了提高估计,我们同时使用向前和落后的运动模型。轨迹估计的过程由前锋()和落后的()之间的方向和。

最终的评估是获得加权平均和,对于每一个部分: 在哪里和是段的轨迹。远期评估结果给出权重与边界的距离减少相机的领域。落后的估计结果更高的权重当物体接近下一个相机的视野。这种方法的基本假设是,轨迹有助于估计轨道的建设(39]。不确定性的线性回归模型扩展的地区,因此当目标再次可见的相机,它可以立即重新启动卡尔曼滤波器。为简单起见,急转弯被建模为光滑曲线(图4)。进程终止,如果连续5迭代之间的差异小于一个阈值或所有可用的数据时使用。

4.2。定位估计

的相对角度之间的两个相邻摄像机和计算通过计算角度观察对象之间的位置在相机和相应的估计对象的位置在同一个相机的推断轨迹:

一次计算所有对相邻摄像机,最后的配置是通过重新安排所有的相机吗()对参考传感器。完成本地化过程的一个例子是图的算法5。图中显示原来的轨迹段(线性和非线性)以及重建轨迹段未被注意的地区。此外,中间和最终的定位结果,该算法也同样的图来演示过程中提供本地化的迭代。

5。实验结果和分析

在本节中,我们比较建议的方法(CLUTE)MDS(见[16,17])和地图方法(见[27,32)对模拟和实际数据。4-camera和8相机网络,用模拟数据进行测试,4-camera网络与真实数据测试。算法的性能评估基于平移和旋转定位使用真实信息中的错误。翻译错误计算之间的欧几里得距离真正的相机位置和估计摄像机的位置。旋转误差计算的绝对区别真正的相机方向(角度对参考相机)和估计相机方向。使用的数据集的细节下面并给出实验结果。

5.1。4-Camera网络

在此设置中,我们第一次模拟4网络摄像机,然后真正的相机网络上测试算法。让一个物体穿越网络并生成轨迹。每个摄像机观察对象在其视野(在图6,观察在每个视野与圆圈所示)。广场外的线是无法跟踪的对象。我们分析三个实验的结果使用相同的网络配置,但在三个不同的移动对象。的CLUTE结果如图8。在每次迭代中平移误差,如图9。的性能CLUTE评估和比较地图和MDS原来,吵闹,和子样品数据。同时,算法相比在相机的情况下失败。

图10比较的结果CLUTE,地图,和MDS随着真实摄像机的位置。目视检查的结果表明,在所有三个实验,统计方法的性能优于nonstatistical方法(特别是在实验1数据集,在实验2数据集,和在实验3数据集)。详细的实验结果如表所示2。在第一个实验中,平均翻译错误CLUTE0.18单位或者环境面积的4.5%。此外,平均旋转误差CLUTE是。与其他两种方法相比,平均CLUTE更准确的定位网络。平均翻译错误地图和MDS分别较差了0.50%和3.25%。同样,平均旋转误差地图和MDS更糟的和,分别。在第二个实验中,平均翻译错误CLUTE0.13单位或者环境面积的3.25%,这是更好的1.25%和4.25%相比地图和MDS,分别。此外,平均旋转误差估计CLUTE更好的是和比地图和MDS,分别。在第三个实验中,平均翻译错误CLUTE0.24单位,环境面积的6%。此外,平均旋转误差CLUTE是。相比之下,平均翻译错误地图和MDS分别是0.32单位和0.46单位。同样,平均旋转角度地图和MDS方法是和。总之,这些实验显示的性能CLUTE更好的翻译和以年均1.25%的吗对旋转与尊重地图。相比MDS的性能,CLUTE是4.5%,更好吗分别估算平移和旋转。此外,误差方差CLUTE小于,对吗地图和MDS。此外,值得注意的是,统计方法估计的结果(例如,CLUTE和地图)比nonstatistical的方法(例如,MDS)。一般来说,主要的限制MDS是,它是基于一个参数(在本例中,最短欧氏距离)与一个吗适当的价值。因此,参数计算是准确的和执行令人满意的方法只有在得到足够的信息。

我们也分析了鲁棒性CLUTE减少了采样轨迹(缺失的数据)和嘈杂的轨迹和相机的失败。作为MDS差估计的定位,我们比较的健壮性CLUTE和地图只有(表3)。

缺失的数据测试,对象的轨迹是downsampled 2和3的所有三个实验。将采样的结果平均2显示CLUTE不受翻译评估实验1和实验2和改善实验3。同样的旋转(特别是实验2和实验3),仔细看看结果显示,在实验3评估结果很差在原始数据相比其他相机。图8表明,在大多数情况下,对象需要进入这个摄像机前非常急转弯。这些急转弯引起结果的退化,而将采样的清晰度降低,因此简化了建模。相比地图在三个实验,平均翻译错误CLUTE好了2.75%。同样,旋转估计是更好的赞成CLUTE。同样的性能地图由于downsampling大大降低。这种行为的原因是由于这一事实地图提供的跟踪点轨迹和相机参数似然函数,因此后验概率直接取决于的可用性足够的可靠的测量对象。将采样降低了似然概率,因此会降低整体的结果。另一方面,CLUTE轨迹是由插值估计的跟踪点。出于这个原因,只要可用的对象保持轨道的形状,观察校准将正确地执行了。为进一步将采样3,平均翻译错误在三个实验CLUTE仍然是4.25%比这更好的地图。同样,旋转估计是更好的为CLUTE。当downsampled从2到3,位置估计是0.02个单位的退化CLUTE和0.08单位地图。总而言之,CLUTE更健壮的降低采样率相比地图。

为了分析的性能CLUTE嘈杂的观察,我们引入了一个5%的高斯噪声测量方差等于15%的相机的视野,为所有三个数据集。对于这两个CLUTE和地图,结果位置估计(特别是大幅降低,在实验1和,在实验3)和方向(特别是在实验3)。这是由于这样的事实,噪声不仅会降低观测的质量(必不可少的地图),但也改变轨迹的形状(必不可少的CLUTE),这对于准确的结果从这两种方法是必要的。然而,发现平均的结果CLUTE翻译和退化8%吗旋转,而地图的退化是8.5%。

为了分析定位性能的相机故障,我们删除一个摄像机的观察从可用的数据集(1-camera失败的情况下)。完整的三个实验的结果如表所示4。平均的结果CLUTE翻译和退化5%吗的旋转,而退化地图是10.25%,。结果表明,CLUTE是更健壮的相机失败。

4-camera网络在最后的实验中,我们使用真实数据捕获室内(图7)。的字段的视图摄像机正方形的边是1.5米,和相机相隔3至4米。一个玩具汽车以不同的速度移动的痕迹很长一段轨迹在相机。基于移动物体的真实细分领域的观点,每一个摄像头,我们计算摄像机之间的相对距离和方向基于轨迹估计。图11显示了结果CLUTE,和表5比较三种方法的结果真实的数据。为CLUTE平均,传感器被放错了地方的70厘米位置测量,平均定位误差。方向的估计,CLUTE执行平均比地图通过和比MDS通过5°。位置估计的误差CLUTE小于0.45米的吗MDS和贫穷的地图只有0.04米。

5.2。8相机网络

三个数据集生成了模拟三种不同网络中的移动对象8相机不重叠的领域的观点。获得的结果与CLUTE这些数据集在图所示12。表6包含在每个实验获得的结果。CLUTE的表现MDS为13.75%,平均平动和转动错误低于MDS。同样的,CLUTE的表现地图估计的定位,在三个数据集的平均旋转误差降低0.90%,估计翻译地图好了0.16%。

我们进一步调查方法对缺失数据的可靠性,嘈杂的轨迹(表7),相机失败。将采样的2,平均三个实验的翻译错误CLUTE最大为0.03比吗地图。同样,旋转估计是更好的。将采样的同时,3,平均使用翻译错误CLUTE在三个实验是1.5%比使用地图。此外,旋转估计由3.69更好CLUTE。当downsampled从2到3,位置估计的退化是更好的为40%CLUTE相比,地图。轨迹含有5%的高斯噪声的方差等于相机的视场的15%,平均翻译错误CLUTE在这三个数据集是优于2.5%地图和旋转误差也更好。

相机故障,我们模拟了一个,三个,和五个摄像头失败情况下忽略了测量来自一个,三个,和五个摄像头,分别通过评估定位精度的传感器。一个相机失败(表8),平均翻译错误(接管三个数据集)CLUTE0.16单元,这是更好的0.25单位相比地图。旋转误差CLUTE是比地图。同样,翻译错误CLUTE的三个(表9)和5(表10)相机失败是12%的环境大小。翻译结果CLUTE比地图在这两种情况下超过5%。也为旋转误差的性能CLUTE更好的是和3和5的相机丢失的情况下,分别。

6。结论

我们提出了一个算法恢复的网络配置的相机不相交的观点。算法发现每个摄像机的位置和姿态在一个共同的地平面,由两个主要步骤:评估未被注意的轨迹的地区不受相机的视图和摄像机的相对方向的估计。使用卡尔曼滤波和线性回归估计的轨迹。向前和向后估计是用来提高结果的可靠性。摄像机的相对取向是通过使用获得的退出和条目信息在每个相机的领域的观点。

我们将建议的方法的性能与统计方法(地图)和nonstatistical方法(MDS)对模拟和实际数据。实验结果表明,CLUTE更准确的本地化网络相比,这些先进的方法。同时,建议的方法是更健壮的失踪与嘈杂的数据和性能更好的一个或多个摄像机的失败。

我们目前的工作包括轨迹估计在未被注意的领域的进一步改善跟踪,当可用时,捕获音频信息与立体声麦克风加上每个相机(40]。

附录

卡尔曼滤波器和线性回归关系

表明,卡尔曼滤波器和线性回归在未被注意的区域表现出类似的行为,让我们定义对象状态在时间作为,在那里对象位置和吗是物体速度。如果是将对象状态转换的模型在时间吗到下一个状态,国家演化过程可以表示为,在那里过程添加剂噪声和被认为是零均值高斯噪声协方差吗。卡尔曼滤波器传播国家使用预测和更新步骤。状态预测方程和误差协方差矩阵被定义为 在哪里是状态估计和上标表明一个矩阵的转置。更新过滤器通过计算卡尔曼增益,,因为 在哪里观测噪声的协方差和吗地图的状态向量测量。可以更新对象状态使用 在哪里是观测模型。未被注意的地区,没有之前的信息对象状态和观测噪声协方差为零。因此,(a .)可以写成 在这种情况下,最优状态估计可以表示为 线性回归发现对象状态的最优估计通过最小化之间的平方误差估计和观察。让我们考虑广义加权和的平方剩余作为 尽量减少平方剩余,求导(要求寄出)对最优状态估计,将其设置为零。这将导致 因此从(本)和(A.7)有可能注意到卡尔曼滤波器和线性回归之前没有表现出类似的行为对象的信息。

承认

我深深地感谢我的导师教授答:Cavallaro从伦敦大学玛丽皇后的帮助,鼓励和刺激的建议,帮助我完成这项工作。