文摘

异常行为检测算法需要进行行为分析的基础上,连续视频倾向跟踪算法的鲁棒性降低,运动目标的遮挡,闭塞的环境,目标的运动用同样的颜色。出于这个原因,之间的光流信息RGB(红、绿、蓝色)图像和视频帧作为网络的输入的组织行为。然后,方向,速度,加速度,和人群的能量加权融合到全球光学流描述符。同时,人群轨迹地图从原始图像中提取单帧。后,为了实现大型位移移动目标的检测和解决这个问题,传统的光流算法只适用于位移移动目标的检测,基于双流式视频异常行为检测算法提出了卷积神经网络。网络使用两个网络分支学习空间维度和时间维度信息,分别使用短期和长期的神经网络模型长期视频帧之间的依赖关系,从而获得最终的行为分类的结果。仿真试验结果表明,该方法可以在多个数据集,实现了比较好的识别效果和异常行为检测的性能可以显著提高利用帧间运动信息。

1。介绍

异常行为检测是重要的和具有挑战性的研究热点之一,基于视频图像处理的基础,如场景的理解和视觉目标跟踪(1,2]。监视指定的视频或图像序列,人群异常行为检测中提取特定的信息代表人群异常行为的视频序列,如人口密度和群体行为特征,并进行分类(3- - - - - -5]。检测异常人群行为起着非常重要的作用在计算机视觉领域(6- - - - - -8]。

从大规模的监控视频中提取有用的信息和检测异常行为和事件的视频需要大量工人保持高度的注意力集中在监测照片很长一段时间(9- - - - - -11]。然而,仅仅依靠人工检测方法容易导致假警报,错过了检测(12]。因此,如何从大量监控视频中提取有用的信息,提高突发事件和异常行为的识别准确性具有广泛的应用价值和经济领域的安全和社会安全(13- - - - - -16]。异常行为检测指的是初始帧可以分类事件和发现异常行为时在视频有一个异常。为了有效区分正常事件和异常事件的视频,有必要从视频序列中提取相关特征和分类。在传统的特征提取方法,研究人员经常使用时间和空间特性,如方向梯度直方图特性,光学流直方图特性,动态纹理特征,和社会力模型,模型视频目标的运动模式。目前广泛应用和发展的深层神经网络在工业和学术界,它取得了精度高和良好的效果在语音识别,自然语言处理,计算机视觉。因此,越来越多的领域开始使用深层神经网络解决问题的异常行为检测的视频。虽然这些方法取得了良好的效果,但异常行为检测算法需要进行行为分析的基础上,连续视频倾向跟踪。移动目标的遮挡,闭塞的环境,和相同颜色的运动目标,当前算法的鲁棒性会降低。

基于以上,本文以RGB图像和视频帧之间的光流信息作为网络的输入。提取的人群的运动方向,速度,加速度,和能量加权融合到全球光学流描述符。同时,运动轨迹地图是基于单帧原始图像中提取。之后,两个网络分支用于学习空间和时间信息,和长期和短期神经网络用于模式长期视频帧之间的依赖,获得最终的行为分类的结果。

本文的其余部分组织如下。部分2评审的相关工作。部分3介绍了提出方法,包括光流方法和二束卷积神经网络。部分4实验和结果报告。部分5总结我们的工作。

2。相关的工作

异常行为检测主要包括特征提取、特征融合,和行为的分类。在特征提取的过程中,人们可以选择适当的手动提取底层特征和使用深度学习方法提取基于低层特征的高级特性。然后提取的特征融合,形成一个更加完整的时空特性,代表了一个移动的目标。最后,根据提取的特征,设计一个合适的分类器来判断代表人口的行为特征和输出正确的行为检测结果(17- - - - - -19]。

质量检测方法可以根据不同的标准分为不同的类别。本文将文学分为三个类别根据研究目的,如组织行为分析、质量行为分析和异常检测和位置。三种类型的人群检测方法和详细介绍如下所述。

2.1。群体行为分析

群体行为分析是针对集团和分析了行为检测和跟踪。在[20.),使用模板匹配跟踪个人和泰森多边形法在每一帧生成图表。使用泰森多边形法图来确定一些社会学的时间演化和心理参数,如个人空间距离。通过对这些参数的分析,集团形成,分为正常或异常。在[21),提出了一个两层的跟踪目标方法。第一层追踪活动区域基于低级操作并生成一组特性。第二层使用贝叶斯网络的统计模型始终标签检测碎片。在[22),每一帧的特征直方图提取来表达他们的组织连接和运动特征。然后,这些特性提取通过使用检测和跟踪,和所代表的功能袋的话。最后,训练支持向量机分类的事件识别视频剪辑。

2.2。质量行为分析

质量行为分析是异常检测研究的第一步,和异常检测从行为分析是分不开的。在[23),提出了一种基于运动估计的目标检测方法。在块匹配运动估计,光流,和伽柏过滤技术用于实现HS方法。当计算停止时间超过阈值,这个职位不是你通常想停止的地方,该系统将发出警报。在[24)的一种变体逆流检测提出了地铁站。通过筛选得到光流运动矢量,运动轨迹施工的噪声降低,然后是运动轨迹是用来检测反向流动。在文献[25),检测异常的一种方法,在密集的质量。首先,使用光流跟踪获得轨迹,然后轨迹接近彼此的空间和有类似的运动方向聚集。最后,手动分析运动和检测异常。在[26),特征跟踪算法用于计算移动质量。跟踪质量通过KLT算法,然后使用连接图结合这些特性,并计算综合特性来计算对象的数量。文献[27)是一种无监督的方法检测独立运动质量。跟踪器的功能是用于生成轨迹,和无监督贝叶斯聚类方法用于集群的轨迹,以便每个集群质量对应不同的独立运动。这项研究的目的是检测异常低密度人群中的个体的运动。文献[28]使用一组光学流产生的粒子轨迹定位场景中感兴趣的区域。使用粒子的特征值和角度来确定行为类型在拥挤的场面。在文献[29日),追踪浅粒子的方法,以免堵塞提出了确定异常的人群。在文献[30.),将个人的方法提出了基于贝叶斯。首先,三维人体模型用于提取前景,然后形状,高度,相机模型,候选人,前景对象,人的其他功能集成到贝叶斯框架基于马尔可夫链蒙特卡罗概率模型。在[31日),一个监控系统开发在地铁站估计交通拥堵的程度。通过卡尔曼滤波的背景减法算法,神经网络训练了前台的功能。此外,将神经网络集成到模糊决策规则来得到一个总体neurofuzzy分类器判断交通拥堵的程度。

2.3。异常检测和位置

人们越来越重视异常检测,并有越来越多的方法。在文献[32),估计突变和异常运动变化的方法。首先,生成一个运动热图作为前台的视频。然后,使用光流探测特性和跟踪他们。计算一组统计措施和确定阈值基于这些措施作出决定。在文献[33),社会力模型用于检测和定位异常。该算法首先使用光流方法提取粒子轨迹。然后,用社会力模型来计算每个像素的力流。最后,基于一个固定阈值估计可能性,正常和异常的标记。在文献[34),力场模型是用来描述的集群行为属性,如方向、位置、大小和组。组属性出现突然被标记为异常事件。在[35),异常事件检测提出了闭塞的场景。算法首先使用平均位移法将视频分割成区域,然后使用形状匹配方法匹配模型的视频片段。文献[36]使用热成像的原理来检测行人的姿态在质量。背景减法和头部检测后,大量的弱分类器结合人体模型用于检测异常的姿势。基于模型的异常检测方法(37- - - - - -40)收到了广泛的关注,由于其高的成功率。然而,大多数这些方法需要学习和培训和模型是复杂的。

3所示。异常行为检测算法

3.1。异常行为描述和算法框架

通常情况下,群众的方向和速度是相似的。然而,当异常事件发生时,人们会因为恐惧迅速跑开,以避免潜在的危险。然而,人群异常行为的运动速度快的特点,突然增加加速度,和明显的运动在一个方向或平衡浓度在多个方向,运动范围大,大的步伐,惊慌的表情,混乱的轨迹。其中,特征等的计算速度,加速度,方向,和运动幅度相对比较简单,可以表达的光流。等特性的提取步骤和表达式更为复杂。为了减少该方法的复杂性,本文提取的特征移动目标的速度、加速度、方向、运动幅度,轨迹检测异常人群的行为。

传统的异常行为检测算法只使用RGB图像作为网络的输入,而不考虑隐藏的视频序列中的运动信息。为了克服这一问题,本文提出一种视频异常行为检测算法基于dual-stream卷积神经网络。该算法首先需要RGB图像之间的光流信息和网络的视频帧作为输入。提取的人群的运动方向,速度,加速度,和能量加权融合到全球光学流描述符。同时,运动轨迹提取地图基于单帧原始图像。最后,全球光学流描述符和轨迹地图输入DCNN人群检测异常行为。该算法框架如图1。

3.2。路光流算法

光流的瞬时速度是像素观察到移动物体的成像平面的空间,这是由于移动物体本身的运动,运动的监测设备,或关节运动的两个。它使用时域像素之间的相关性和两个相邻帧之间的映射来计算物体的瞬时速度当前帧与前一帧之间。

光流法具有良好的时间和空间特征。它可以检测在人群中独立的移动对象在场景之前未知的信息,准确计算它们的移动速度,所以它可以用来描述运动的速度和方向信息,如移动的目标。

Lucas-Kanade(路)光流算法是双座差分光流估计算法。这是布鲁斯·d·卢卡斯和金提出的所以它叫路光流算法。其中,路光流算法只需要指定一组特征点与一个特定的特征跟踪计算,所以它是相对稳定和可靠的。

路算法起源于1981年,最初是用来发现密集的光流。添加特征点之后,它常被用来找到稀疏光流。最初的两个基本假设没有一个好的解决方案,另一个假设,“空间一致性的假设,”添加到解决这个问题。假设相邻像素也有类似的运动,也就是说,在某一地区目标像素,每个像素有相同的光流矢量。

光流在附近由加权平方和最小化:

其中,窗口的重量,所以附近的重量比周围的人。

算法的具体步骤如下:(1)首先,建立了高斯金字塔每一帧。随着金字塔层数的增加,图像的分辨率逐步减少。(2)计算光流。计算不断从顶部层,通过最小化误差和计算光流在上图: 每一层的位移 其中,是原始图像的位移大小和n层数。(3)每一层的输入图像前一层的输出结果;将它连接到最后,并计算每一层的光流值序列: (4)可以看出,此次收购的光流值的叠加所有层的光流矢量。(5)计算从上到下沿着金字塔,重复评估操作,得到的光流大小的形象

原理图直观地显示了简单的路光流算法的实现过程,如图2。金字塔路光流法的优点是,每次的光流值计算是相对较小,而结果是放大所有的累计值。通过这种方式,一个较小的邻居窗口可以处理更大的像素运动。

3.3。单帧图像提取轨迹

光流信息代表了运动的瞬时信息,同时包含连续轨迹运动的信息。当紧急情况发生时,突然改变速度,加速度,方向,和能源引起的异常人群的行为可以用光学流。然而,混乱和相交的人群运动轨迹很容易被忽视。为了提高异常行为检测的性能,本文认为在单帧图像添加运动轨迹信息。

人群异常行为的检测在中期和高密度的地方有问题,如群际闭塞和小型个人目标的大小。使用卡尔曼滤波和YOLO网络易受行人阻塞或意思碰撞,这使得它不可能获得完整的个体。目标进一步降低目标跟踪性能,如图3(一个)和3 (b)。针对上述问题,本文认为个人移动粒子和使用KLT特征点跟踪算法跟踪移动的粒子。摘要哈里斯角落提取算法用于KLT特征点跟踪算法获得稳定、可靠的跟踪性能。有别于传统的多目标跟踪算法,该算法综合考虑群际阻塞的问题和小个体目标的大小和拥挤的人有更好的检测效果与更严重的阻塞,如图3 (c)。

在正常组运动,行人跟踪行人相同方向的旅行以自组织的方式;也就是说,轨迹是相似的。此外,由于行人之间有一个安全的距离,轨迹不会交叉在很短的时间内,如图4(一)。然而,当异常事件发生时,行人偏离预期轨道由于恐慌和逃向不同方向速度不同于正常的行驶速度。此时,轨迹是混乱的,容易与他人发生碰撞,导致轨迹交叉,如图4 (b)。总之,人群轨迹有助于区分正常和异常行为。因此,该方法添加轨迹信息单帧图像改善人群异常行为检测的性能。

3.4。二束卷积神经网络

CNN自动学习图像的复杂特性在图像分类和识别的输入CNN通过使用分层培训操作。与手动生成特性相比,这个过程可以实现更高的效率和更好的性能。因为视频序列比图像时间序列的概念,引入更多的信息按时间的识别和检测任务。传统方法通常把视频分成单帧,然后火车和学习每一帧的图像,然后总结和平均获得的信心的预测价值,最后分类和识别提取的特征图谱。然而,这种方法只使用视频的外观信息,很容易注意到无关紧要的和不重要的信息。它不能准确分类特性差异很大。

通过模仿人类视觉过程,基于视频处理空间信息,了解视频时间信息,同时考虑时间和空间领域,本文提出了DCNN网络。middle-to-high-density人口,个人目标的尺寸很小,有移动目标之间的相关性。如果输入图像的大小是大大减少,更多的运动信息和移动目标之间的相关性很容易丢失。然而,大型输入图像容易导致大量的计算,nonconvergence存在问题,影响异常行为检测的性能。总之,这篇文章有一个统一的输入图像的大小为256×256。为了有效地利用全球光学流描述符和轨迹单帧图像信息,保留移动目标的相关性,并适当减少计算和控制过度拟合和underfitting,第一层网络卷积的内核是7×7。目的是提取动态信息,如颜色、纹理和轨迹。池层是2×2的大小,和最大池是用来减少重复信息,保留重要的移动目标的特征点信息。第二层卷积的内核是5×5确保关键特征点在特征提取信息不丢失。随后的三层卷积的内核都是33的大小,更抽象和高级功能是提取。最后,设计三个完全连接层。因为只有两种类型的输出,是两个节点的数量。由于训练样本规模小,辍学添加到完全连接层,防止网络过度拟合,提高网络泛化性能。

在将softmax层或卷积层,实现时空信息融合,和分类功能实现只有通过空间部分,这是对时间和不充分利用时间信息。然而,时间信息的基于视频序列的异常行为检测的关键线索,不能被忽略。本文卷积后合并,不切断融合后的空间网络,和持续时间和空间的传播网络。完全连接层之后,它再次合并实现像素对应的空间和时间信息。可以获得网络结构如图5。融合过程中不会引起模型参数过于复杂,不会导致损失模型的性能。与此同时,可以形成完整的时空特性,从而提高人群异常行为检测的性能。

Relu函数可以提高卷积层的非线性特征,甚至整个CNN和可以加快收敛速度。因此,本文使用Relu函数。此外,交叉熵可以作为损失函数避免训练速度慢。以下所示的交叉熵损失公式:

其中,变量样品的真实价值和吗b样本的预测价值。

4所示。结果与讨论

4.1。数据集

摘要网络训练样本主要来自UCSD的数据集,大道数据集,数据集和行为:(1)UCSD Ped1和Ped2数据集:Ped1数据集包含34个培训视频剪辑和36个测试视频剪辑,虽然Ped2数据集有16个培训视频剪辑和12个测试视频剪辑。在这些数据集,训练视频剪辑仅包含正常行为,而测试片段混合不仅有正常的行为,也有很多不正常的行为。在这两个数据集,主要背景是公共行人道路,所以骑自行车,滑旱冰,附近的人行道路上车辆的存在被视为异常事件。(2)大道数据集:数据集包含16个正常事件培训视频和21个测试视频。这些视频得到在现实世界中,包括正常和异常事件。走在人行道上是一个正常的事件,而异常事件包括跑步、步态异常或者错误的方向,和包丢失。(3)行为数据集:监控录像片段包含两个方面的相互作用,并获取相关的数据以每秒25帧的速度。最初的团队成员开发的几个基本范畴,即:自由聚会的人,分离的人,追逐,一起战斗,并运行。其中,40视频剪辑仅包含正常行为作为训练数据集,减少和25个视频片段包含正常行为和异常行为作为测试数据集。

上面的是在这个实验中使用的数据集,训练集只包含正常行为片段,和测试集和异常行为与正常行为片段,片段中训练集的一部分分为部分验证。特定的数据集分布如表所示1。

4.2。多通道输入的有效性

AUC和能效比指标评估模型的性能。自从网络使用RGB图像和光学流图像作为输入,我们使用不同的输入来计算网络的AUC获得真正的阳性率和假阳性率,从而获得无论何时。从图可以看出6多模输入模式提出了比其他输入模式。此外,RGB特性和光学流特性分别作为输入进行测试。从数据6(一)和6 (b)可以看出,网络只使用光学流作为输入异常UCSD Ped1的外观。在数据集上执行好因为RGB特性对外表更敏感。然而,其他数据集的结果表明,该网络具有多个输入曾经具有较高的AUC和小于输入网络。简而言之,multiinput模型弥补各自的缺点,比最新的公共数据集的方法。

此外,使用RGB特性和光学流特性作为输入得分规律。图7显示了光流的异常分数曲线特性输入,RGB输入特征,融合的两个相同的测试视频片段作为输入。实验结果清楚地表明,该模型通过融合光流特性和RGB特性可以更有效地检测是否有异常行为在测试视频。与multifeature输入相比,由于环境的复杂性,当检测异常事件,单一特征输入会有一定的误差,而multifeature集成了RGB输入特性和光学流特性,可以获得更好的结果数据集。

4.3。性能分析异常行为的检测

大街上的ROC曲线数据集如图8。图中显示了一个直观的比较,该方法的检测结果和其他三种方法在帧级别。其他三种方法是光流法(41基于社会力模型()方法42),用阈值法和能量模型(EMT) [43]。从图可以看出8光流方法只使用光流的大小和强度信息和全球异常不能完全描述,或者一些信息将丢失;社会力模型会影响个人的希望基于光流。合力的计算力和社会互动,还有一个misdetection造成最大的本地相关。实验结果可以得出,在本文中提出的方法有一定的优于其他三种方法。本文提出的方法可以抑制周围环境因素的干扰,比其他算法更稳定和有效的方法。

表2显示了AUC值的比较和曾经价值包括本文中的方法和其他三种方法。观察观察表中的数据,本文提出的方法有最大的AUC值和最小的能效比值,表明本文的方法具有精度高和低误判率。

为了观察算法更直接的影响,实验结果可视化,以及视频的正常行为分数曲线进行测试,如图9。实验结果表明,使用本文的方法可以正确地检测异常事件在公共场所监控视频。绿色区域表示实际的异常行为发生时。模型只学习正常行为事件,但没有异常事件。当异常发生在被测试的视频片段,重建误差将增加和规律性分数会减少。

5。结论

人群异常行为检测技术是其中的一个研究热点领域的视野,这是智能监控领域的一个重要组成部分。广泛应用于智能安全的机场、购物中心、学校和社区。不断深化的人群异常行为检测算法,研究已取得显著进展。然而,这仍然是一个挑战性的任务完美的异常行为的检测技术在复杂的场景。为了提高人群异常行为检测算法的准确性和鲁棒性,低性能的人群异常行为的检测造成的复杂环境,提出了一种人群异常行为检测算法基于全局光流。首先,光流信息之间的RGB图像和视频帧作为网络的输入。之后,运动轨迹提取地图基于单帧原始图像。最后,一个视频异常行为检测算法基于dual-stream卷积神经网络算法。实验结果表明,该方法可以获得更好的识别结果在多个数据集,和帧间运动信息的使用可以显著提高异常行为检测的性能。

尽管本文的算法可以达到更好的识别效果在多个数据集通过帧间运动信息,该算法仅适用于两个帧。我们的未来的工作是进一步提高异常行为检测的性能,同时利用多帧图像之间的信息。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称他们没有利益冲突有关的出版。

确认

这项工作得到了陕西的关键研究和发展项目,研究收集人群异常行为的检测监控视频(2019 gy - 054)、陕西咸阳智能城市技术项目,人群拥挤检测系统基于时空结构(2017 k01-25-5)。