文摘
本文提出了一种新的室内检测和跟踪系统使用一个毫米波雷达传感器(mmWave)。首先,一个系统的方法检测和跟踪的人提出了一个静态的杂物清除算法用于去除mmWave雷达数据的静态点。两个有效的聚类算法用于集群和识别人的场景。递归使用卡尔曼滤波跟踪算法与数据协会同时跟踪多个人。其次,一个快速室内人检测和跟踪系统设计基于我们提出的算法。方法是轻量级的足够的可扩展性和可移植性,我们可以执行它在实时覆盆子π4。最后,验证该方法通过比较它与德州仪器(TI)系统。提出系统的实验精度范围从98%(计算错误分类错误)一个人5人占65%。的平均位置错误位置1、2和3是0.2992米,0.3271米,0.3171米,分别。相比之下,德州仪器系统实验精度从96% 45%,五人一个人。 The average position errors at positions 1, 2, and 3 are 0.3283 meters, 0.3116 meters, and 0.3343 meters, respectively. The proposed method’s advantage is demonstrated in terms of tracking accuracy, computation time, and scalability.
1。介绍
室内检测和跟踪的人有用的能源解决方案的任务,健康和安全(1]。研究表明,室内检测和跟踪系统可以减少能源使用照明和取暖、通风和空调(HVAC)系统30%以上(2]。此外,这些系统还可以提高安全性应用程序通过给应急系统包含更丰富的信息做决定的能力。这样可以提高应急响应系统提供实时位置信息的人,他们要去哪里,人们在不同站点的密度来决定他们是否安全。此外,室内检测和跟踪系统也可以帮助医疗保健企业监测老年人时下降。例如,基于位置信息,护理人员可以做出决定,确保他们的安全。
研究人员已经研究了各种类型的室内目标检测传感技术测量,如被动红外(PIR) [3),光学相机(4,5),激光雷达(6],wi - fi [7),和10 GHz-to-24 GHz微波(8]。然而,所有这些技术挑战与准确,隐私,环境鲁棒性,系统的复杂性(9]。例如,高清摄像系统和其他技术,如wi - fi,蓝牙,和超宽频用于定位(10- - - - - -12]。在这些研究中,机器学习(ML)方法是用来检测人。这些方法包括决策树、隐马尔可夫模型和卷积神经网络。机器学习是一个计算密集型的过程,也不可能轻易地实现嵌入式系统。
此外,通常基于成像跟踪系统需要一个清晰的视图和正确的照明条件显示在[13),系统使用背景减法和卢卡斯和金跟踪算法来确定室内人工计数。该系统有一个实验在实验室条件下的精度为97%,但在实地试验的准确性显著下降。此外,相机系统的另一个关键问题是侵入性的性质,导致隐私问题。然而,所做的研究发现是否可以使用低分辨率摄像机来规避隐私问题(14]。
出于这一点,本研究选择了机载毫米波(mmWave)雷达传感器(IWR1642BOOST) [15]随着传感技术16]。mmWave是一个远程无线传感技术,提出了大量的来自学术界和工业界的关注由于其特殊的优势。与现有的无线传感技术相比,这种雷达技术可以克服环境遮挡问题。我们旨在探索快速、健壮的人检测和跟踪模型、算法和应用程序指导室内应用程序使用mmWave传感器。
正在进行目标检测和跟踪数据处理技术研究主要集中在应用方法(4]。目前只有有限的研究使用mmWave雷达数据进行室内检测和跟踪的人。在[17张,魏和建立一个新的高精度被动跟踪方法(mTrack)和高度定向60 GHz毫米波收音机来运行一个离散梁扫描机制来确定对象的初始位置和追踪其轨迹。然而,它是基于一个信号相位模型。因此,它不适合应用在室内检测和跟踪。在[18],帕拉西奥斯等人开发了两种室内定位算法根据mm-wave传播特性基于商业60 GHz mm-wave硬件。然而,其实验结果只考虑位置错误,系统计算负载没有提及。最相关的工作的人使用mmWave计算和跟踪雷达传感器由德州仪器(TI) (19]。系统采用density-based集群(DBSCAN)和一个扩展卡尔曼滤波器(EKF),它报道一个精度在51%至99%之间1和5人。然而,其准确性是可疑的,因为只有DBSCAN [20.用于聚类不同密度数据。此外,它的可移植性和可伸缩性是有限的由于使用卡尔曼滤波器将极坐标测量转换成笛卡尔坐标系。转换为了便于使用,但它带来了额外的计算负载和处理噪音。
本文包括两个主要贡献。首先,我们提出一个系统化的方法来检测和追踪人们在室内使用mmWave雷达传感器。提出了两种有效的聚类算法来提供高精度和浅加工时间;递归的卡尔曼滤波器(RKF)跟踪算法执行比EKF算法复杂度和计算时间。此外,快速室内人检测和跟踪系统设计基于我们提出的算法。此外,该系统可以运行在嵌入式平台中,树莓π4,创建计算约束引入可移植性和可伸缩性方面。比较结果TI的商用系统显示,该方法更快,更准确,重低于TI系统。
2。方法
2.1。硬件框架
硬件系统包括毫米波雷达传感器(IWR1642BOOST),覆盆子π4 (1.5 ghz, 4 gb RAM),和一个监视器。硬件信息的流图所示1。雷达传感器发出信号,将室内的快照位置在一个给定的时间点。返回的雷达信号进行初步处理传感器的输出是一个点云。这个点云的点的集合表示检测到人。上的点云处理覆盆子π4。处理的输出信息确定目标,然后显示在监视器。
2.2。系统数据流程框架
图的流程图2本文描述了系统方法用于处理和分析mmWave传感器原始数据(点云),那么传感器传送的覆盆子π的点云数据。本文主要关注的是集群和参考算法,跟踪算法,和时机的分析合并方法对实时和可移植性,然后与钛的方法进行比较。首先,点云信息从mmWave传感器解析,然后处理静态杂物清除。然后点分组在集群+引用模块,最后,人民点跟踪跟踪模块,从哪个号码是派生的人。
2.3。静态杂物清除
静态杂物去除模型的目的是脂肪排除尽可能多的为静态点的背景。它需要范围信息因为它过滤掉nonrange改变从现场(静态)对象。列出了静态杂物去除算法的步骤如下。
步骤1。处理范围进行快速傅里叶变换(FFT)模拟到数字转换器(ADC)样品每天线唧唧喳喳。FFT输出是一组范围垃圾箱。
步骤2。执行静态杂物清除,减去估计直流电(DC)从每个范围本组件。
步骤3。处理结果在当地划痕缓冲区范围增强直接内存访问(EDMA)雷达数据立方体和转置。
2.4。集群和引用
聚类阶段的目的是确定在现场的人数,因为一个重心需要跟踪每个人,一个引用的过程是必需的。
2.4.1。聚类
由于mmWave传感器视场,数据的密度随时间和距离传感器。例如,人们越接近传感器,可以收集更稠密点。另一方面,随着距离的增加,只有几个点,尤其是对小对象。为了演示,图3显示了不同数量的收集点(集群密度)的人位于不同距离传感器。只有31分(蓝色和绿色)两人大约12米距离传感器,另一人则只有3米距离传感器,收集了87点(蓝色和绿色)。它表明,一个密集的集群代表一个人接近传感器。相比之下,一个人远是由集群密度较低和更多的变量。
(一)
(b)
黑色的十字架代表density-based噪声点聚类后阶段。这些集群标识的噪声点太小代表人民。density-based噪声识别的工作原理是将每个点视为一个节点之间的距离矩阵,然后计算本身和所有其他节点。每个节点之间的距离是在位移的区别 - - - - - -方向的位移 - - - - - -方向。如果一个节点在一个距离阈值的0.2 m的其他节点,这些节点中提取。
2.4.2。引用
聚类后,所有检测到的人由集群。一个参考点和飞机需要发现定位每个集群的立场。这个参考点后将用于跟踪集群和提取轨迹信息。参考点可以意味着集群的中心,也可以是真正的中心点(都可以称为质心)集群。对于集群的人来说,都可以作为参考点。
这两个density-based集群和引用算法,我们实现了DBmeans DBmedoids,分别。算法可以得到质心位置或集群的质心点浅误分类率。两种算法的算法1和算法2。
|
||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||
2.5。跟踪
2.5.1。递归的卡尔曼滤波器
跟踪阶段有必要定位人在室内空间中移动并保持准确和可靠的测量。摘要递归估计方法与卡尔曼滤波器(RKF) +运动模型适用于运动状态预测和评估的人。因为有不一致的速率从传感器数据丢失,我们决定递归地计算误差协方差矩阵和卡尔曼增益在每个更新阶段。我们可以得到一个更准确的更新而静态卡尔曼增益。
我们选择了RKF尚未研究mmWave室内人跟踪,我们认为我们可以让它轻量级实时应用程序。RKF非常适合室内人跟踪,当使用一个恒定的速度(CV)模型,我们也认为是加速度模型的随机噪声。此外,它可以提高准确性,避免线性化引起的卡尔曼滤波器的过程错误通过保持在极坐标计算,见图4。图4说明了单一反射点在时间 。多个反射点代表真实雷达对象。每一个点代表了范围( ),角( ),和径向速度(范围)。采用RKF,我们防止原始数据处理检测跟踪在极地系统,保持最好的笛卡尔坐标下的可视化视图。
系统状态在极地系统步骤可以表示为
人的运动状态模型和观测模型可以构建如下: 在哪里是mmWave传感器采样的时间间隔,并设置为50毫秒。和是系统噪声协方差矩阵和测量噪声协方差矩阵,分别。
是一个过渡矩阵, 在哪里是一个测量矩阵,
拟议的RKF算法实现流程图总结在图5。如图所示,更新步骤包括递归地计算卡尔曼增益 ,然后计算当前数据帧的状态和误差协方差矩阵 。重新计算卡尔曼增益和误差协方差可以估计系统更健壮的和实用的灵活性。此外,如果没有可用的测量数据,估算值作为更新的值。算法描述如下。
在初始化步骤中,平均值和协方差矩阵州设立的 ,在哪里上标“+”表示后验估计,然后呢错误状态协方差矩阵。
在预测步骤,及其协方差矩阵 预计一个一步获得的先验估计 。
在更新步骤中,实际测量与预测测量基于先验估计。不同的是用于获得一个改进的后验估计如图6。符号和分别测量向量协方差和创新。
2.5.2。数据协会
因为可能有多个人在任何时候,和卡尔曼滤波器只能跟踪一个人一次;因此,我们实现了一个轻量级的数据关联方法和递归卡尔曼滤波器工作在多个对象。全球最近邻数据关联算法(GNN)我们的系统中使用一个简化的版本和基于聚类后的质心数据和引用的一步。简化GNN图如图5所示算法,算法描述3。
|
||||||||||
GNN加工后,相关的重心可以通过更新步骤,进一步研究多目标跟踪器RKF成为的。每个跟踪事件的经历一个生命周期。在维护步骤,我们决定改变状态或删除不再使用的跟踪。
3所示。实验和评价
3.1。实验设置
评估算法的性能,我们在三个不同的设置实验数据收集网站在奥克兰大学纽马克特校园模型各种真实的室内场景。mmWave传感器数据使用TI IWR1642BOOST被捕。IWR1642BOOST雷达传感器包括一个FMCW收发器,操作在76兆赫到81兆赫(4 GHz可用带宽)和四个接收通道和两个传输通道。输出包含点云的数据帧,每个探测点的信息,包括范围、方位角和多普勒速度。各种设置和模式,如不同的范围,可以选择使用唧唧喳喳的配置参数。有设置短程(10米),中等(30米),和远程(80米),虽然牺牲一个狭窄的视野。对于室内检测和跟踪,我们选择了一系列6 m分辨率和视场的最大化。
为每个数据收集站点,mmWave传感器安装在三脚架上,升高到1.8到2米的高度。传感器被放置在环境中,这样的视野覆盖范围1到6米和一个方位-60°60°,面向的方向的人会进入现场。此外,还安装在一个高清摄像头的毫米波传感器收集地面实况信息和记录。图7显示了传感器设置在不同的数据收集网站。我们使用三个站点的数据来评估前一节所描述的方法和算法。
(一)
(b)
(c)
(d)
3.2。评价聚类和引用
评估两个集群和引用算法,我们测试和比较DBmeans DBmedoids使用大量的数据从一个实验获得的网站。实验模拟不同的室内活动。数据记录同时使用TI传感器以及摄像机,用来收集地面实况数据。房间里被选中来最大化的全系列传感器。6 m×6米网格画在地板上包含传感器内的实验范围内,允许我们控制,当人们进入和离开现场。步行活动选择的集群功能测试传感器和模型真正的室内场景。
图8显示了一个示例分别使用DBmeans和DBmedoids算法的框架。可以看到,对于DBmeans,重心是每个集群的参考位置,DBmedoids,每个集群的重心是真正的参考点。表1也显示了比较DBmeans和DBmedoids misclustering平均和处理时间(每帧)使用相同的数据样本帧总数。相比之下,DBmeans达到一个更好的平均精度比DBmedoids分别增加了84.75%和82.70%。此外,DBmeans低得多比DBmedoids处理时间。因此,我们选择DBmeans作为我们的系统的聚类算法。
(一)
(b)
density-based聚类算法我们设计这个任务可以管理变量集群密度。此外,该算法还可以处理噪声以及DBSCAN。
3.3。评估跟踪
评估RKF,我们比较了跟踪精度和处理时间的方法,卡尔曼滤波器,TI使用。
RKF加权矩阵初始化和优化,我们穿过各种选项,表现最好的组合。RKF可以初始化的加权矩阵如下:
相比之下,卡尔曼滤波器是用来跟踪相同的对象。图9显示过滤结果RKF与EKF使用实验数据集,和表2显示的比较根均方误差(RMSE)和处理时间(帧)RKF和卡尔曼滤波器。
(一)
(b)
可以看到,EKF和RKF可以估计不可测的系统状态测量噪声和消除过程/很好。然而,在算法复杂度和时间消耗,比EKF RKF更轻量级的TI自RKF不需要执行坐标系统转换和计算雅可比矩阵造成很多额外的计算负载系统。
3.4。合并过程的评价
评估可扩展性和可移植性的合并过程,我们所有的算法融合为一体,成为一个跟踪系统称为centroids-Tracker (cTracker)帕尔斯和现在的实时的原始点云数据。概念验证便携式嵌入式平台上实时应用程序演示了使用一个覆盆子π4。这个特性的挑战是设计算法足够轻,这样处理时间小于每一帧的持续时间。是通过最小化算法的时间复杂性和编写程序与高效库在python中,然而,限制较少的库是在覆盆子π。高效的代码如NumPy策略包括使用轻量级库。它为我们提供了一个非常快速的运行时。
图10提出了对象和相机地面真理的一部分。黑色的点代表原始点mmWave传感器设备返回的数据在实验网站,和彩色的圆圈表示集群和跟踪的人。我们可以看到,所有的动作,包括步行/站在运动的人,被跟踪和代表。
(一)
(b)
(c)
(d)
(e)
(f)
除了代码树莓4π的成功执行,嵌入式实时应用程序的性能也取决于算法的时间复杂度。表3显示的平均处理时间(每帧)之间的数据样本的人从一个不同的数字1和5人。正如所料,增加的人数增加点要处理的数量。更重要的是,运行时间和5人(高)处理负载低于50毫秒(mmWave传感器)的帧速率约束确保连续帧不会被错过。除此之外,我们的正确cTracker可以跟踪每个人,甚至一些雷达测量数据丢失(见图10 (b)和10 (e))。
算法的最明显的好处是卡尔曼滤波器的实现,因为没有测量数据输入会导致卡尔曼滤波器预测失踪的人,直到他们出现。此外,如果人们长期的数据消失,卡尔曼滤波缓慢移动的人在他们的预测速度,预测使用恒定的速度模型。预测最终估计的人离开了房间。
3.5。比较与TI系统
与misclustering TI系统相比,数字11显示了不同数量的人平均misclustering率(总12917帧)。可以看到,我们的系统之间的misclustering率远低于TI 1和5人数据集。然而,它也显示,总体趋势是增加的人数增加。因为人数的增加,一个更高比例的对象开始互相阻塞,导致错误。此外,缺失的数据从传感器的另一个重要原因是增加misclustering率在两个系统之间。
跟踪精度比较,三个数据集收集从一个人走在position-known位置。然后我们跑这些数据集通过我们的系统和TI系统和RMSE的计算和的方向。传感器的位置坐标如表所示4。表5表明我们系统的平均定位误差是0.2992米位置1、位置2中0.3271米和0.3171米位置3。相比之下,TI系统的平均定位误差是0.3283米,0.3116米,0.3343米,分别。TI系统只在位置2相对更准确。
4所示。结论
摘要室内人检测和跟踪系统设计的基础上,提出了数据处理算法。我们的方法的顺序处理静态杂物清除,聚集成簇,并引用识别质心,然后使用一个递归的卡尔曼滤波跟踪的质心(RKF)。这些实验是建立在三个不同的数据收集网站造型各种室内场景。与TI系统相比,我们的系统可以探测和跟踪每个对象更准确。50岁以下的处理管道周期(每帧),女士可以在嵌入式平台上实时工作如覆盆子π。我们未来的工作包括从多个mmWave雷达传感器数据融合增加有用的系统的视场和精度。此外,我们还将使用深度学习方法跟踪和分类各种物种对象。
数据可用性
使用的数据来支持本研究的发现可以免费访问https://github.com/has-c/OccupancyDetection/tree/master/Data。mmWave雷达传感器产品获得https://www.ti.com/tool/IWR1642BOOST technicaldocuments。
的利益冲突
作者宣称没有利益冲突。
确认
作者要感谢山东大学的技术支持应Cai(济南,中国)。这项研究是由山东省重点研发项目,中国,格兰特2015号ggx101048。