文摘

计数和行人检测是一个重要和关键方面人群密度估计等多个应用程序,组织活动,个人的流控制和监测系统,以防止困难和过度拥挤在一个巨大的行人如麦加朝圣的聚会场合,这是穆斯林的年度活动每年越来越多的朝圣者。本文是基于应用一些增强两种不同的技术来自动估计人群密度。这两种方法都是基于个人运动和身体的热特性。必要的人群计数技术的特点是,他们不需要先前存储和训练数据;相反,他们使用视频直播作为输入。此外,它不需要任何个人的干预。所以,这个特性使得它容易自动估计人群密度。这个工作比其他方法在文学特别热的使用视频,而不仅仅是依靠一种方法或几种方法相结合的人群大小还分析结果来决定哪种方法更好的考虑不同情况下的场景。这项工作旨在估计人群密度使用两种方法,并决定哪个方法更好和更准确的根据现场的情况;即。, this work measures the crowd size from videos using the heat signature and motion analysis of the human body, plus using the results analysis of both approaches to decide which approach is better. The better approach can vary from video-to-video according to many factors such as the motion state of humans in this video, the occlusion amount, etc. Both approaches are discussed in this paper. The first one is based on capturing the thermal features of an individual and the second one is based on detecting the features of an individual motion. The result of these approaches has been discussed, and different experiments were conducted to prove and identify the most accurate approach. The experimental results prove the advancement of the approach proposed in this paper over the literature as indicated in the result section.

1。介绍

稳定人口增长,随着世界范围内城市化,使得人群现象频繁地发生;因此,研究和分析需要在技术和社会研究学科。最著名的“人群”的定义存在很大或大量人员聚集或被认为和共同利益或活动有关。

这群需要在各个方面:文化、经济、艺术、宗教、和受欢迎。人群规模估计方法用于测量在人群中个体的密度。评估一个人的问题发生在案件数量等事件在开放地区,街头,抗议。这个问题引起很多不同的致命事故,在某些情况下可能导致真正的灾难(1]。

人群计数或人群规模估计和控制方法是重要的给个人组成小组完成安全也会增加的能力,以避免过度拥挤造成的事故出现在这样的人类收集事件通过自动测量人群密度,可以让灾难的预测在它发生之前,因此防止了它。这种类型的系统,研究领域也可以用来避免或减轻事故的急救每年朝圣的事件发生。2015年9月24日,一群崩溃导致了至少2236人的死亡2在米娜,马考它历史上最致命的朝圣3- - - - - -5]。不同的判断受害者的数量。据美联社报道,2411人死亡6,7),而法国媒体报道,2236人受伤。因此,本文有助于提高人群测量计算克服拥挤问题和风险,提出了一个健壮的方法,可以评估个人的密度在拥挤的地区。这项技术基于结合在人群中两种最广泛传播的方法估计领域,即个人每个个体的运动特征和热签名。

有三个不同的夜视技术。这些技术被称为近红外照明,低光成像和热成像(8]。热成像技术不同于其他两个技术,因为它可以在黑暗的地方没有任何光。热图像还可以穿透能力如蒸汽、烟、雾使用近红外照明技术。热成像技术是基于总结了以下步骤:第一个是发出的红外能量从对象广泛被称为对象的热签名。发出辐射的强度取决于物体的温度。热成像是基于热传感器的概念,可以发现小一点温度的差异度。该设备基于收集物体红外辐射,产生一个图像电子取决于温度的差异度。根据事实报道,物体温度度几乎是等于,热图像可以估计和区分它们。热成像现在导致许多研究领域如医疗、农业、和导航领域(9- - - - - -11]。最近热图像也被人群计数研究的首选,因为他们忽略阴影和光照影响结果的影响很多正常的彩色图像时使用。

本文组织如下图:部分2介绍了文献综述部分3提出建议的方法。部分4显示了结果。最后,部分5本文总结道。

2。文献综述

2.1。在可见光波段人群计数

Zhang et al。12)提出解决人群计数问题的最新方法打开场景或户外场景基于一个更年期神经网络。这个深度学习方法在人群中有一个健壮的描述个人的能力而不是被使用传统的纹理特征提取方法。他们的方法使用了两个相关的学习全球人群数量和密度评价地图在训练阶段。这两个相关方案用于培训相互支持和减少损失金额。方法使用数据驱动的方法从训练集的样本选择模式适应卷积神经网络(CNN) pretrained方式情况下,目标是不可见的。作者表示,他们这种方法适用于用每现场大约200000个人,108个不同的人群和实验结果表明,该方法取得了更多宝贵的准确率。图1介绍了层的方法。


图1
介绍了张等人的方案建议的方法(12]。

2019年,Basmallah et al。13)使用规模驱动cnn来检测人类从拥挤的人群场景来测量尺寸。作者提到,他们在最先进的方法,取得了良好的结果,SD CNN是一个很好的方法来衡量人群大小提供使用的数据包含非常高分辨率图像。汗和Basmallah14)在2020年,研究者们试图检测人类头上使用两种类型的卷积神经网络(cnn),他们发现头部相比是很小的一个场景被一个非常遥远的相机捕捉非常拥挤场景图像。一年后,汗et al。15]深cnn试图再次检测人类正面和测量相应人群的大小从麦加朝圣一次视频,但作者发现他们的系统获得的精度低于地面真理因为渺小的人类正面在拥挤的场面,被一个遥远的相机。

2.2。人群计数在热乐队

人类的生物识别技术最近从可见光波段热乐队,尤其是行人检测。文献研究证明热乐队可以胜过许多可见光波段的问题,这一事实引起了研究人员使用热乐队领域的人群计数和控制(16- - - - - -18]。

2012年,Abuarafah et al。19)提出另一种方法来检测和跟踪行人和评估人群密度使用红外热成像(IR)。他们的方法是估计的主要目的在朝圣的朝圣者大约350万名行人聚集在一个地方(麦加)。为了防止关键灾害、人群监控系统必须估计人群大小以实时的方式立即和准确的决定。热成像系统是用于监控的过程。特殊的软件程序实现使用Matlab实时分析热图像。作者证实他们的方法取得了令人满意的人群规模估计的准确率。图2显示了这种方法的模式(20.]。


图2
给出了该算法的框架(20.]。

这种方法的实验结果表示,群众估计准确率不准确的情况下,使用热感摄像机没有删除背景。同时,准确率降低通过使用正常的图像和没有删除背景因为个人的阴影消除在使用热相机。图3显示了一个示例结果从他们的方法。


图3
CMINS样本结果(19]。

2016年,Negied et al。20.)提出了一种新的混合方法结合人体的热量签名与背景减法(hsb)提供更多准确的结果比人群监测使用红外热视频序列(CMINS)。

等情况下完全移动人群,避免假阳性和假阴性的病例是由合并,结合这两种技术。运动检测技术不能解决的情况下,个人是静态的,但hsb解决了这个问题。运动检测技术使解决问题的对象温度度等于移动个人学位。全自动系统,包括结合这两种技术,并输出结果之间的差异使得检测人群的大小、非均匀,均匀,并对人群进行分类是完全静态的,完全动态,或混合。在人群中发现异常情况和变化,图形用户界面(GUI)监测人群使用,如图4。


图4
GUI代表使用的人群密度的hsb显示分类从人们运动的角度来看20.]。

3所示。建议的方法

本节提出了提出方法并给出了它们之间的合并机制。

3.1。第一个建议的方法

第一种方法在本文中使用热签名是人类探测。这项工作本质上是基于增强的hsb研究启动(20.),因为它获得最好的结果在这一领域的研究直到它的发布时间。他们的方法没有考虑一些重要的事实,如以下:(我)首先,hsb认为人体温度范围覆盖和发现作为一个实体,而两个温度之间的方差大,可能需要将范围划分为两个不同的范围。(2)第二,hsb忽视这一事实个人身体的温度位于靠近热成像摄像机是不同的人远离它;这一事实被在本研究进行的实验证明。

本文旨在介绍一个增强的方法来考虑这些事实。实验检查系统的效率显示准确率越高导致该方法。

两个提到的事实进行了不同的研究如下:(1)第一个事实告诉是有区别的温度,发现皮肤覆盖。提到的,通常情况下覆盖的皮肤温度范围小于发现身体的脸和手臂等领域,如图5(17,18,2122]。(2)第二个说,有一个遥远的对象和对象之间的温差,近红外相机(23,24]。这种技术有一个数学公式用于计算温差根据热源的距离。为了解决这样的问题,视频分为两个不同的部分,第一个底部的框架(靠近相机)和顶部的其他(远离相机)。通过这种方式,减少温度范围分配给对象远离相机,和更高的温度范围被分配到更紧密的对象(20.]。


图5
覆盖和发现人类皮肤温度(20.]。
3.2。在这种方法中使用的实现方法

人群测量热视频帧使用热签名通过以下步骤的方法,给出了基本的实现和上述提出的增强。

3.2.1之上。帧采集

起始帧特性的分析,指出每一帧由240组成 320年 3 RGB像素。每一帧包含两个不同的盒子来指示温度的范围在这个框架。这些盒子代表上下度的温度,如图6。这些盒子被本地化和裁剪这个框架的温度范围。


图6
的热温度表示一帧场景从热提取视频。
3.2.2。图像处理

图像处理是一个重要组成部分,可以分为几个步骤:(我)将框架的RGB图像转换为灰度图像。(2)然后将图像从灰色到二进制成为纯净和清晰。(3)然后应用一些形态学操作上一步产生的二进制图像进行增强等图像填补通过删除孤立像素。

3.2.3。数字识别

在这个阶段,一些处理将产生的二进制图像更低或更高温度的值分成两部分每一个都包含一个数字代表只有一个它的值介于0到9的数字。预存储数字图像的比较两个数字相同的大小和形状的十值识别的准确值从0到9的数字图像,如图7。


图7
预存储的数字图像。

前面的步骤应用于上下框,表示最小和最大温度的值在图所示8。


图8
裁剪样本框代表上下温度度,从RGB灰色,然后转换到二进制的水平。
3.3。温度范围的颜色了

种植这些盒子和应用前面的步骤后,视频帧的温度范围是自动识别。

对于每一帧,最高温度(最大(T))和最低温度(最小(T))以及更高和更低的学位所需的温度范围(最大(R))和(最低(R))值确定。以下方程用于计算温度的差异度的框架和使用所需的温度范围的差异在计算个人的密度: 在∆T表示温度的差异度,∆R表示差异所需的温度范围。

温度的统治者被放置在视频帧位于正确的图像帧的一部分(完全坐落在307年开始X设在和70年Y设在)。宽度和高度的温度统治者8和101像素,分别。图9显示了一个示例使用温度的统治者。


图9
热量和温度的统治者表示有点习惯性的场景。

在下列方程,比率值计算温度的比值范围变化和总变异程度: 在哪里R是温度的比值范围变化和总变异程度。

所需的温度范围的高度的计算方法是用前面的比例乘以价值与整个温度标尺高度(101)。这个高度是用来找出所需的大小范围从整个统治者的大小。

下面的方程显示了如何计算的值范围高度: 在哪里rℎ表示范围的高度值。

在下列方程的开始位置统治者决定知道温度的部分颜色代表所需的温度范围为以下步骤:(我)首先,每个温度度计算的行数尺的高度(101)除以温度的差异程度的框架。 (2)然后从统治者上部上面计算所需的范围从温度较高的区别(最大价值T),更高的温度范围(最大的价值R)。 (3)最后,起始位置所需的温度范围从统治者行相加计算得出的值计算在前一步的行值最高的统治者(Y设在值70)。

所以,从上面的方程表示,统治者的需要部分代表所需的温度范围颜色裁剪从整个温度范围统治者根据计算起点和高度,如图10。


图10
样本的种植范围高度从统治者的高度。
3.4。人群密度计算

人群密度的计算是基于像素的颜色值在整个帧相似的颜色值温度统治者部分在前面的部分决定的。

这个像素的数量除以帧的像素总数320行和240年列。密度值百分比估计总额乘以100示以下方程: Dp是指密度百分比值的框架。

3.5。应用提出改进

第一个改进是使用两种不同的温度范围(覆盖和发现),而不是先前的研究中的一个应用。在前一节中提到的步骤应用2 *在这种方法由于计算两种不同温度范围和发现的皮肤覆盖,如上所述。

在下图中,有不同的样品申请此增强功能通过使用范围1温度范围和覆盖范围2皮肤温度范围,如图11。

(一)
(一)
(b)
(b)
图11
(a)、(b)使用两个样本(覆盖和发现)范围,分别。

第二个增强取决于帧划分成两个部分(顶部和底部)。如前面的数据所示,密度的比例仍然很高的计算相比手动估计。为了解决这个问题,另一个增强被认为是达到更准确的结果。此增强功能是基于该视频的帧划分成两个部分。一部分表示框架的上半部分,第二个是底部。这个想法是使用,因为温度的获得学位热感摄像机的最远的个人低于最近的一个。热感摄像机的位置和角度表明,人在前一部分的视频帧出现远比个人在底部。本文提出的方法是基于使用温度的范围的一个小差异度可一度作为差异上半部和下半部的视频帧,显示在以下样本数据,区分上半部分和下半部分的温度范围,如图12。

(一)
(一)
(b)
(b)
图12
(a)、(b)样本的准确率提高基于区分个人距离的热感摄像机需要估计个体的强度。

所以,在前一节中提到的步骤应用4次在这种方法中由于帧划分成两部分,计算两种不同温度范围对每个部分覆盖的皮肤和衣服,如上所述。

最后的求和平均百分比皮肤覆盖百分比计算,平均计算,以得到最终的密度热签名的百分比计算。

3.6。第二个建议的方法

第二个建议的方法在本文中使用运动分析通过合并背景减法和帧差分技术。

计算个体的人群密度,我们使用两种技术的个人运动分析。这两种技巧被称为帧差分和背景减法技术。这两种技术都是基于个人运动速度值。这个速度值用于估计阈值的值用来表示像素代表人体运动。跟踪的机制使用的先前的研究个人估计个人的速度值。这种机制有两个不同的缺点如下:(我)首先,它需要高速处理器和大量的计算每一帧跟踪个人的运动使这一机制花更多的时间在处理时间相比,之间的差异代表帧。这使得这种机制当用作实时应用。(2)其次,用户进入覆盖区域的宽度和高度在视频帧计算速度值从个人跟踪算法。这是因为知道的速度值计算的距离,个人在特定的时间内移动。这使得这种机制不能自动运行在实时应用程序无需用户输入不同的视频。

提出了一种新方法估算的速度值与人群密度的关系值,以减少处理时间修复第一缺点(18]。

走路的速度个体和人群密度成比例的,他们成反比关系。更拥挤的现场,个人越慢,反之亦然。走个人的最大速度达到约4.8公里/小时的情况很轻的人群,而最低速度达到约1.2公里/小时的情况下非常拥挤的场面。因此,选择确定的阈值根据朝圣者行走的速度。所以,所需的速度值是计算从移动的速度之间的关系和人群密度计算使用热技术。这个速度值用于所需的阈值计算帧差分和背景减法技术。

约4.8公里/小时的速度最快的运动,这个几率密度小于25%,和最慢的运动约1.2公里/小时,这发生在一个密度的百分比大于75%。

所以,两个速度范围,提出了最小和最大速度值之间覆盖不同人群密度值之间非常光和非常拥挤的情况下,如下:(我)不到25%的人群比例>速度是最大的约4.8公里/小时。(2)25%至50%的人群比例>速度约3.6公里/小时。(3)50%至75%的人群比例>速度约2.4公里/小时。(iv)75%以上的人群比例>速度最低约为1.2公里/小时。

3.7。在这种方法中使用的实现方法

人群测量热视频帧使用运动分析通过以下步骤的方法,给出了基本的实现和提出改进如上所述。

3.7.1。帧采集

这一步是类似于前面的方法其等价的(人群测量热视频帧使用热签名技术),但没有裁剪框和统治者代表温度的程度。

3.7.2章。图像处理

这一步将彩色(RGB)图像转换成灰度图像。

3.7.3。建设背景

这种方法的主要步骤是计算平均帧图像使用一个简单的平均模型,平均每个像素强度值在一个窗口(N帧被认为是背景模型(19]。整个背景建模和分割过程进行了灰度图像。快速移动的物体不贡献多的平均强度值,而且,非常拥挤的视频有一个背景图像不够清晰,可能会有很多噪音,影响减法结果。如果我j(x,y)是强度水平坐标X=x和Y=y的框架j在序列和bg (x,y)平均背景模型价值(x,y),然后使用下列方程(9)提取它。

应用上述方程后,提取背景图像,如图13。


图13
样本中提取的背景图像。
3.8。前景提取

然后,选中的帧中减去的灰度平均帧计算它们之间的区别将移动物体像素帧。每个像素的我(t),用像素值 (我(t)同时减去它对应的像素位置在背景图像表示 (B(t),见方程(10)。 在哪里 (F(t包含移动像素)表示框架。 (我(t)表示选择的框架。 BG (t)表示帧的背景。

3.9。计算运动阈值

阈值是穿上这种差异图像来确定每一个差异都是真正的移动物体或只是小区别图像由于任何类型的噪音使用上面提到的估计速度和从以下方程: 在FPS表示帧每秒。

3.10。帧差

这里选择帧的灰度平均帧相减(背景)和前一帧背景也减去。互相减去这两个差异和比较最终与计算阈值的差异了解两者之间的移动物体像素帧,见以下方程: 在哪里 (F(t1)]表示帧包含移动像素只在时间N1 (F(t2)]表示前一帧包含移动像素只在时间N2。 [FN1 (t)表示选中的帧在时间N1。 [FN2 (t)表示选中的帧在时间N2 BG (t)表示背景帧。 [FD (t)表示帧包含运动时间之间的差异N1、时间N2。

3.11。人群密度计算

人群密度计算在这种方法找到的数量取决于像素以上提到的阈值的差异。然后,将这个值在帧的像素的总数是240 320(图像的行和列)并将结果乘以100的比例使用以下方程: 在Dp表示密度的百分比移动像素。

下图显示了建议的运动技术利用热量密度的估计速度值计算对上述机制的缺点。图14


图14
增强运动的人群比例使用帧差减法的方法。

4所示。结果

本节显示了两种提议的方法的结果,但首先,硬件和软件工具,数据集和评价指标,介绍了用于现在的结果。

4.1。软件和硬件工具

前面讨论的建议的方法的性能测试使用MATLAB (R2015a)版本8.5.0.197613(视频和图像处理工具箱,。m文件),在电脑上安装英特尔(R) (TM)核心i7处理器(M620) 2.67 GHZ / 4 MB缓存,8 GB RAM。

4.2。数据库

相机前视红外(FLIR)的工具用于收集数据库用于本文测试,使本文的实验结果。通常,FLIR相机通常依赖于利用远红外区域。沙特阿拉伯王国的大学尤其是(嗯El Qura大学)取决于使用大量的FLIR相机在不同的道路相连阿拉法特Muzdalefa[之间19]。这些相机是用来捕获和计算行走朝圣者的地位在这个特定区域的总热视频场景从麦加的道路。所有尺寸的视频是320像素宽,240像素高。所有捕获的视频AVI格式18帧每秒的速度。视频的长度是11秒59秒。

4.3。评价指标

建议的方法是检查的数据集上嗯El Qura大学之前提到的,和下面是gui系统的代表样本人群规模估计的百分比系统如何与人群规模估计人眼。收集统计人眼估计从六个不同的人。

4.4。实验结果

它介绍了实时估计的视频帧。这被认为是一个增强的先前的研究没有根据覆盖区域的宽度和高度。以下数据15- - - - - -17展示的样品实时GUI应用贡献沉重,媒介,一些拥挤的视频。这些数字的组合取决于热量百分比和运动百分比的值来克服这个问题如果一个技术nonaccurate结果。最后GUI需要需要的秒数计算密度,让它在实时工作,显示了视频帧被分析以最少的计算和处理。


图15
样本的结果实时GUI沉重的人群。

图16
样本的结果实时GUI中人群。

图17
样本的结果实时GUI低的人群。

的比较计算数量的人员统计的眼睛估计与实际数量给所需的准确率测试这种方法和先前的研究。的差异之间的准确率afore-monitored建议的方法和之前的方法。如数据所示18- - - - - -20.,有3个结果相同的视频样本在前面的方法(19- - - - - -21,24- - - - - -26]。同时,本文提出的新方法适用于相同的视频样本,如图21。


图18
密度计算使用热成像利用热签字CMINS [13]。

图19
密度计算使用热成像利用背景减法,阿布Arafah [20.]。

图20
密度计算使用热成像利用热签名和背景减法的hsb [14]。

图21
密度计算使用热成像利用热签名和背景减法,提出方法。

如前面的GUI(见图所示18- - - - - -21)上面所提到的,人们在这个视频帧的百分比超过3/4的总体框架。CMINS给一群大小只有约48.7%的热方法和大约65%的运动方法。在的hsb,他们大约58.8%使用热签名方法,使用运动分析的约69.8%。但在建议的方法,使用热签名方法结果约80.29%,约72%使用运动分析的方法。此外,该方法提出了它是一个沉重的动态的人群。系统获得一个新的结果显示每30秒帧中的计算值传递的30秒实现实时监测和控制。

如前所述的准确性汇总表1明显增强,出现在热量计算的建议的方法约99.7%,准确率更高价值的运动计算速度约为92%。

表1
不同方法的精度比较。

图22显示前两个算法之间的比较,该方法导致不同的指标。


图22
对比前两个算法和提出的方法。

下表比较前两个算法结果,该方法同样的视频样本在同一帧。

5。结论

介绍了增强两种不同的方法来估测人群计数。本文也是基于使用视频帧使用热提取视频帧,而不是固定图像。第一种方法的增强取决于测量密度区分一个人的皮肤温度覆盖和发现的情况。也区分远近物体的温度。第二种方法是基于测量的人群在使用热图像背景减法和帧差没有应用的巨大计算对象跟踪技术。的实验结果表明,本文中提到的准确率比准确率更健壮的在之前提到的不同的研究尤其是实时估计和个人计算在拥挤的地区。

数据可用性

数据中发现的文献和论文中描述。

的利益冲突

作者宣称没有利益冲突。