复杂场景中异常人体行为的多级分析

抽象的

有效的人类异常行为分析是紧急事件发生前的预警信号。然而，目前人类的异常行为检测大多依赖人工监测。这种方法被批评为主观性强，缺乏时效性。针对以上问题，本文提出了一种复杂场景中人类异常行为的多阶段分析方法。本文首先应用社会力模型的相似性度量方法，将异常行为与大范围监测区域进行粗略区分，然后进行精确分析。在三帧差分算法的基础上，将多阶段分析应用于入侵检测、留守行李检测和运动轨迹识别。实验结果表明了该方法在UMV、CAVIAR和数据集上的优越性。为了证明该方法的适应性和泛化能力，本文选取CVC和JAAD驱动异常检测数据集对该方法进行测试。实验结果表明，该方法优于现有方法。

1.介绍

行为分析最早由心理学引入，运用心理学知识来描述、分析、预测和控制个体的外在表现。人类控制行为的方式可以分为两个层次:自我控制和社会控制。自我控制的目标是通过减少行为缺陷或行为过度来适应环境。所谓非正常人类行为，是指个体的行为偏离社会规范、规则或习俗。对异常行为进行分析，重点分析异常行为产生的原因、形式和潜在危害，有助于对异常事件的预防和损失的减轻。

视频安全监控系统利用视频作为一种检测手段，对信息进行监控、控制和记录。当发生异常事件时，视频监控系统将调用报警区域相关图像，现场观察并再次确认情况。目前的视频监控系统结合了计算机视觉、传感器网络等最新的研究成果。它可以用于各种场景，包括政府、交通枢纽、医院和学校。然而，目前的视频监控系统很少有预测功能，主要依靠个人判断。人的情感是复杂的，视频监控容易产生主观性和决策滞后。

单一的控制模式无法满足当前的社会需求。多阶段决策是指将问题长期分解为几个相互关联的阶段，在每个阶段都必须做出决策的过程。因此，整个过程是一个决策序列。多阶段模型具有较强的可靠性、稳健性和更广泛的应用范围。

针对上述问题，本文提出了一种复杂场景中异常人类行为的多阶段分析方法。我们的方法分为三个步骤。首先，利用社会力相似度测量方法对监测区域进行了粗略分析。通过社会力量和个体欲望力量的相互作用，区分监控区域内的正常行为和异常行为。其次，提出了一种基于三帧差分算法的多模型人类行为分析方法。最后对入侵检测、遗留行李检测和异常区域的运动轨迹识别进行了具体检测。本文的主要贡献如下:（1）相似度测量模型被引入社会力模型，减少了行为检测中的数据计算量（2）为了提高分析的鲁棒性，提出了一种多模型的人类行为检测方法（3）人们已经进行了大量的实验来评估这种方法的性能。结果表明，该方法优于现有的方法

本文的其余部分如下所示。第二部分提供了相关工作的概述。第三部分为人类行为区检测构建了社会力量相似性测量模型。第四部分进行多模型异常人类行为分析。第五部分分析了实验结果。最后，第六部分总结了论文。

2.相关工作

人类异常行为分析的正确判断可以作为紧急事件发生前的有效预警信号，从而最大限度地减少意外事件造成的损害。许多学者在分析复杂场景中的人类异常行为方面做出了杰出的贡献。Lan等[1]提出了一种视觉跟踪的多特征稀疏表示框架，其中分解了多个稀疏模型来区分不同的特征。大多数基于cnn的跟踪器使用层次特征来表示目标。然而，分层特征并不能完全有效地将目标从背景中分离出来，特别是在严重遮挡和光照变化等复杂干扰环境中。为了解决上述问题，Qi等人[2]提出了一种基于CNN的跟踪算法，该算法对不同CNN层的深度特征进行模糊处理，以更好地区分目标目标和背景杂波。实验结果表明，该方法是有效的。在自动驾驶应用中，传统的跟踪方法通常通过训练支持向量机(SVM)来区分目标和背景。当训练样本为非线性时，跟踪器将无法跟踪目标。为了解决这个问题，Zhang等人[3.]提出了一种基于深度学习的远程学习方法。实验表明，即使不进行模型更新，该方法在具有挑战性的图像上也能取得良好的性能。Zhang等[4.]提出了一种利用基于密度的聚类和回溯策略检测弱小弱小目标的研究方案。该算法提取的杂波抑制率最高的轨迹，提高了目标检测的准确性。ElMikaty和Stathaki将旋转不变性引入到城市场景的航空图像中[5.］.提出了一种分析应用于信号滤波的小波变换原理的特征检测方法，以获得对复杂多媒体图像的小目标的高检测性能[6.］.Asif等[7.使用感知分组算法提出了一种用于室内场景的对象分割方法。

当谈到建立多级模型时，利用基于最大熵的灰色关系分析方法和客观优化模型来使决策更全面[8.］.Tammi等人。[9.]提出利用聚类技术结合神经网络的融合，可以提高检测攻击的准确率。为了解决图像伪造问题，一种算法[10]的设计是基于多重压缩JPEG图像中的特征对图像块进行分类。Huang et al. [11[没有任何先前知识，介绍了基于突出物体检测的基于突出物体检测的框架。该方法在突出显示突出物体和鲁棒到背景噪声方面更有效。

在人类行为分析方面，iosifidis等人。[12证明了一种新的非线性子空间学习技术，用于类特定数据的表示，它是通过将非线性类特定数据投影到一个判别特征空间得到的。在运动学的指导下，Xiao等[13提出了一种数据驱动的方法来识别典型的头部运动模式，并强调通过信号处理方法分析人行为特征。人类动态通过利用统计分析方法提供了研究人类行为的新方法。通过修改的多尺度熵算法研究了间隔时间序列和数字系列的操作行为，为进一步了解不同时间尺度的个别行为的见解[14］.

在异常行为检测方面，视频监控中的行人行为建模与分析对人群场景的理解具有重要意义。Yi等人[15]通过模拟行人行为证明了判断行人正常行为和异常行为的可靠性，并为后续研究建立了两大行人步行路径数据集。Hu等人[16]建议通过分析归一化驾驶行为来检测异常驾驶，这可能会对个人和公众产生悲惨后果。驾驶员的异常检测在自动驾驶领域非常重要，这可以提示驾驶员告知危险。由于相机抖动，驱动器的检测非常困难，车辆速度的急剧变化等。回应上述问题，袁等人。[17]提出了一种用于异常检测交通场景的空间局部约束稀疏编码方法。从实验结果中，所提出的方法比流行的竞争对手更有效，并产生更高的性能。通过在不同框架中使用目标的3D离散余弦变换，Yuan等人。[18]设计了一个多功能跟踪器，可在高密度人群中进行跟踪分析。几个公共人群视频数据集的实验结果验证了该方法的有效性。设计了新颖的基于距离轨迹异常值定义的分类，以检测异常的移动物体。实验结果表明，该方法在近实时的高批量轨迹流工作良好[19］.

综上所述，学者们在对人类异常行为的分析中提出了许多有效的解决方案。但仍存在一些问题需要解决:(1)人工监控容易产生主观性。(2)对非正常人类行为的判别存在时滞。

3.人类行为区检测 - 粗略分析

在人类行为检测中，人群行为难以描述。没有精确的人类行为定义。通过与组行为特征的偏差来判断所谓的异常行为。在大规模的视频监控，闭塞，低分辨率和人类之间的相互作用使得难以检测异常的人类行为。LDA模型[20.那21]可以依靠先前的类别知识和维度在减少尺寸下，通过使用阈值来区分视频中的正常和异常帧。不幸的是，结果将产生过度装备数据。因此，本文提出了一种基于社会力量相似性测量模型的异常人体行为检测方法，其根据与周围场景的一致性确定一个人的行为是异常的。LDA-H添加相似度测量模型哈希[22，以解决过拟合问题。分析人类行为只需要两种数据:正常行为和异常行为。LDA-H将数据投影到低维度，然后使用相似度度量模型使每个数据类别的投影点尽可能接近，最终确定正常和异常的人类行为。

首先，每个图像在UMN数据集中对图像进行预处理，对图像进行二值化并调整大小为 。其次，进行特征提取获得特征向量 那在哪里表示图中的特征点向量。通过求和多向特征矩阵来实现特征矩阵的压缩。

本文使用社会力量模型[23在某一场景中，人们通常有特定的目的去做事情。因此，算法必须考虑场景中每个人的动作势场模型。如果行人的正常速度是他的预期速度是 那场景中的个人欲望力模型定义如下: 在哪里是相似度度量模型中的相似阈值。各个行为与场景之间的相互作用力可以分为个人欲望的强迫吗和社会影响力 。因此，本文将相互作用力定义为:

的影响关于社会力量的相似性，将导致相反的干扰，即互动力会波动，异常行为将会发生。因此，衍生出各个异常行为模型 在哪里在异常的情况下是社会力模型的恒定参数。为普通行人的趋势标量。将相似度测量模型与社会力模型相关联，测量数据集中所有人的交互力相似度。

每个行人的粒子运动模型被定义为 那并且个人预期的粒子运动速度是

最后，根据给定的情景，估计群体中每个人的交互力为

在本文中，根据人类行为的特征相似阈值，将图像信息映射到0或1 ：1和0代表“正常行为和异常行为”分别。最后，哈希值得到了。

表示所有物体相似粒子的运动阈值。当人类的行为特征大于或等于 那该模型确定特征是相似的并输出正常行为。相反，当人类行为特征小于 那该模型确定特征不同并输出异常行为，如图所示1。

３．１．人类异常行为检测——精确分析

在人类异常行为的检测中，宽泛的粗略检测是远远不够的。要对人类的异常行为做出有效的判断，就需要进行精确的分析。在上一步中用红色标记出来的目标，随后将被跟踪和监视。在目标跟踪过程中，提出了一种基于三帧差分的多模型方法来准确检测人的异常行为。

3.2。入侵检测

入侵是指移动目标(如人或物体)未经允许进入指定区域。在监测区域，目标的运动具有很强的目的性。因此，连续的帧之间有明显的变化，目标在每一帧中的位置是不同的。帧间差分法是指两帧或三帧连续图像在时间上的差异。减去不同帧对应的像素点，得到灰度差的绝对值。当绝对值超过某一阈值时，可确定为运动目标，实现检测目标。两帧差分法适用于小而慢的目标。当目标快速移动时，目标图像两帧之间的位置差过大，很可能发生图像重影。因此，本文将三帧差分法应用于异常人类行为分析。让图像相框 那框架 那和框架 在视频序列中 那 那和 那分别。像素点对应的灰度值应为 那 那和 。然后，减去灰度值以获得图像的差异和 。在本文中，我们对三帧差分法进行优化，即添加第三帧与第一帧的差分:

阈值处理和连接分析在差异图像上执行和获取提取的目标，如图所示2。

3.3。左后面的行李检测

左后面的行李是指袋子或背包等物品在监测区域中无人看管的情况超过一段时间。为了更准确地检测左后物品，将Sobel操作员引入三帧差的方法以检测目标的边缘。这种方法的目的是在物品无人看管时快速有效地确定左后面物品的存在。Sobel操作员在本文中监控水平边缘。与类似算法相比，Sobel操作员重量像素阈值，有效降低边缘模糊程度。结合三帧差分方法，将移动目标设置为 而留下的对象模型为

为了提高遗留预警的可靠性，本文在残留模型中加入了行人消失的条件。当行人离开监控区域时，该方法将提供预警。因此，旧的警告模型被更新为

当人和目标被分开时，在监测区域中存在行人，并且模型确定它是一种正常行为。当人和目标被分开时，行人离开受监控区域，并且模型确定它是一种异常行为，并及时提出预警，如图所示3.。

3．4．运动轨迹识别

随着视频分析技术的发展，单一或局部的图像信息已经不能满足精确分析的要求。根据时空区域像素空间平滑的特点，本文引入了空间上下文模型[24，提出了一种新的弹道分析模型。

根据三帧差异方法， 是监测的目标。每帧的置信度图在视频中通过STC算法获得。

基于空间上下文，条件概率 是目标与残余场景之间的空间关系。我们将空间上下文信息定义为 在哪里剩余区域是否不包括目标和目标点的图像特征是什么 。置信图在空间区域内的最大置信位置即为目标的位置 框架。

STC.引入了三帧差分法。在监控目标的过程中，利用区域内的最大置信图对目标位置进行跟踪预测，并标记目标的运动轨迹，如图所示4.。

基于三帧差分法，结合Sobel算子和空间上下文关系，建立了异常人类行为的多模型分析方法。该方法能够准确分析和确定入侵、遗留行李、运动轨迹等人类异常行为，并及时报警。

4.仿真实验

为了验证该方法的有效性，我们选取UMN、CAVIAR等数据集对算法进行测试。

硬件配置：在本文中，我们在Windows 10系统下使用MATLAB进行实验模拟。模拟计算在具有E5-2630 V4的CPU的小型服务器上运行，主频率为2.2 GHz，以及32 GB的存储器。

评价指标：为了验证该方法的有效性，使用定性和定量标准。在定性评估中，我们显示了数据集的异常行为校准。在定量评估中，我们采用了采用了ROC（AUC）下的特征（ROC）和面积的像素明智的接收器。ROC代表检测能力，同时反映了TPR和FPR之间的关系。其中，TPR是真正的阳性率， 那在哪里是真正的积极和是正像素数。FPR是假阳性率， 那在哪里是假的积极和是负像素数。

在监测区域进行入侵检测时，我们首先以红色标记控制区域。如果有任何异常，异常行人将标有绿色框，如图所示5.。视频1和视频3的监控对象为走廊。当学生上课或放学后离开时，红色区域内不得有人。如果目标侵入红色区域，所建议的方法将确定此行为是非法入侵。视频2和视频4的监控对象为公共区域。草坪、屋顶和公共区域被标记为红色禁区。如果目标进入红色区域，该方法将及时标记出来并给出警告。视频5属于USCD数据集。为了保证行走人群的安全，我们将其他运动状态指标设为异常。仿真结果表明，该算法能够有效识别视频中自行车、踏板车、小型货车等异物的入侵行为。

根据实验结果，所提出的方法不仅适用于室内场景，还适用于户外场景。当目标进入监测区域时，我们的方法可以快速有效地识别目标。

桌子1显示不同数据集下不同算法的AUC比较。

在UMN数据集中，文献中提出的方法[17]显示最佳结果。在鱼子酱和USCD数据集中，我们的展示了最佳结果。在三个数据集的平均值中，文献中提出的方法[17]显示出了良好的结果，而我们的方法与该方法的差异仅为0.0003。

在进行遗留行李实验时，我们选择了公园、街道和公交车站的监控数据。本文提出了一种边缘检测与三帧差分法相结合的方法，该方法不仅可以快速检测出所有者与目标之间的分离状态，还可以通过各视频帧之间的连接，准确地确定遗留项目。检测到的项目将用红点表示，如图所示6.。当行人离开监控屏幕时，算法将其判断为异常行为并及时发出警告。

无论一个人都在哪里，他的行为必须有一定的目的。因此，运动轨迹是常规的，即，当人们用目的做某事时，运动轨迹往往是一条直线。相比之下，漫无目的的行为将导致轨迹的徘徊状态，如图所示7.。视频1,2和3的输出被标记为异常，因为运动轨迹呈现漫长状态，而不是视频4和靠近直线的视频5的轨迹，并且标记正常。

为了验证算法的泛化能力，我们还选择了CVC-08数据集和用于驱动异常检测的JAAD数据集。视频数据集由汽车摄像机捕获，视角基本上与驾驶员的日常驾驶相同。同时，为了证明算法对不同目标的适应性，如人和汽车，我们将每帧的视频的分辨率与上述相一致。

汽车驾驶异常检测结果如图所示8.。CVC-08数据集显示驾驶期间汽车的行人检测。实验结果表明，该算法可以有效地识别行人进入斑马交叉并留下斑马线。JAAD-01视频数据集是用于穿越道路的自行车。实验结果表明，当它远离监视时，该算法可以识别目标。JAAD-03视频数据集是汽车更换车道。当汽车从最右边的车道改变到左车道时，算法可以有效地在多个目标下识别车辆。Jaad-04视频数据集是在晚上穿过路的行人。数据集展示了算法仍然可以在没有照明的情况下有效识别目标。

桌子2显示了CVC和JAAD中驾驶异常检测的AUC比较。CVC-08和JAAD-04都能检测到行人过马路。在CVC-08正常天气情况下，文献[16提出这种方法最有效。在JAAD-04光线较差的情况下，本文方法的效果最好。在JAAD-02视频数据集中，该方法对自行车的识别效果最好。然而，在JAAD-04视频数据集中，本文的方法不如文献提出的方法[16］.最后，在JAAD-03视频数据集上验证了该方法对多目标的适用性。

5.结论

本文提出了复杂场景下人类异常行为的多阶段分析，以优化之前的方法，该方法依赖人工监测，且存在时滞。首先，根据社会力相似度度量模型，粗略区分视频监控中人类行为的正常区域和异常区域。其次，基于三帧差分法，建立了适用于入侵检测和留守行李检测、运动轨迹识别的多模型，对人的异常行为进行精确分析;实验结果表明，该方法在人类异常行为分析和驱动异常检测方面具有良好的效果，充分体现了该方法的适应性和泛化能力。

数据可用性

数据集包含异常人类行为的性能参数和战术技术指标等机密信息。因此，本文的数据集具有一定的机密性，不能公开。

利益冲突

我谨代表我的合作者声明，本文的发表不存在利益冲突。

致谢

本文系国家自然科学基金(no . 61703143)，河南省科技厅(no . 192102310260)，新乡市科技创新人才(no . CXRC17004)，河南大学青年骨干教师培训项目(no . 2017GGJS123)资助，新乡市科技重大专项(ZD18006)。

参考文献

1. X. Lan, S. Zhang, P. C. Yuen，和R. Chellappa，“学习公共和特征特定模式:一种新的基于多重稀疏表示的跟踪器，”图像处理的IEEE交易第27卷第2期第4页，2022-2037页，2018。查看在：出版商的网站|谷歌学术搜索
2. Y. Qi，S. Zhang，L. Qin等，“视觉跟踪的套期保值”，模式分析与机器智能学报号，第41卷。5, pp. 1116-1130, 2019。查看在：出版商的网站|谷歌学术搜索
3. S.张，Y.Qi，F.江，X.Lan，P.C. Yuen和H. Zhou，“点对图距离度量学习视觉跟踪的深度表示”IEEE智能交通系统汇刊第19卷第2期1，页187-198,2018。查看在：出版商的网站|谷歌学术搜索
4. H.张，J. Bai，Z. Li，Y. Liu和K. Liu，“规模不变的冲浪探测器和红外小目标检测的自动聚类分割”红外物理与技术，卷。83，pp。7-16,2017。查看在：出版商的网站|谷歌学术搜索
5. M. ElMikaty和T. Stathaki，“在复杂城市环境的高分辨率航空图像中检测汽车，”地球科学和遥感的IEEE交易，第55卷，第55期10, pp. 5913-5924, 2017。查看在：出版商的网站|谷歌学术搜索
6. H. Zheng，J. F. Liu，J.L. Gao和Q.1u，“云环境中复杂多媒体图像小目标的特征检测方法”，多媒体工具及应用，第76卷，第76期16，pp。17095-17112,2017。查看在：出版商的网站|谷歌学术搜索
7. U. Asif, M. Bennamoun，和F. Sohel，“复杂环境中未知物体的无监督分割”，自治机器人，第40卷，第5期。5, pp. 805-829, 2016。查看在：出版商的网站|谷歌学术搜索
8. D. Luo和Y. Li，“基于灰色信息的多阶段和多属性风险组决策方法”灰色系统:理论与应用，第5卷，第5期。2, pp. 222-233, 2015。查看在：出版商的网站|谷歌学术搜索
9. W. MATIN，Z. NASIM，N.Ahmed，K. Zannat和F. Muhammad，“基于人工神经网络的入侵检测系统，在不同的特征选择上使用聚类，”国际计算机应用杂志，卷。126，没有。12，pp。21-28,2015。查看在：出版商的网站|谷歌学术搜索
10. G. Bhartiya和A. S. Jalal，“在重新压缩的JPEG图像中使用特征聚类的伪造检测”，多媒体工具及应用，第76卷，第76期20, pp. 20799-20814, 2017。查看在：出版商的网站|谷歌学术搜索
11. K. Huang，Y. Zhang，B. LV和Y.Shi，“基于背景特征聚类的突出对象检测”多媒体进步，卷。2017年，第4183986号，9页，2017年。查看在：出版商的网站|谷歌学术搜索
12. A. Iosifidis, A. Tefas，和I. Pitas，“类别特异性参考判别分析在人类行为分析中的应用”，人机系统上的IEEE交易第45卷第5期3，pp。315-326,2015。查看在：出版商的网站|谷歌学术搜索
13. B.肖，P. Georgiou, B. Baucom, S. S. Narayanan，“二元互动中人类行为分析的头部运动模型，”多媒体上的IEEE交易，卷。17，不。7，pp。1107-1119，2015。查看在：出版商的网站|谷歌学术搜索
14. 胡慧，潘建军，“基于多尺度熵的人类活动行为分析”，熵，卷。18，不。1，p。2016年3日。查看在：出版商的网站|谷歌学术搜索
15. 李海龙，“从静止人群到智能监控的行人行为建模”，图像处理的IEEE交易，第25卷，第2期9，第4354-4368页，2016。查看在：出版商的网站|谷歌学术搜索
16. J. Hu，L. Xu，X. He，W. Meng，“基于归一化驾驶行为的驾驶检测异常”车辆技术的IEEE交易，卷。66，没有。8，pp。6645-6652,2017。查看在：出版商的网站|谷歌学术搜索
17. Y.元，J.Fang和Q. Wang，“在线异常通过结构分析检测人群场景”，Cyebericics上的IEEE交易第45卷第5期3, pp. 548-561, 2015。查看在：出版商的网站|谷歌学术搜索
18. Y.元，D.王和Q..Wang，“通过空间感知运动重建，”交通场景中的异常检测“IEEE智能交通系统汇刊，卷。18，不。5，pp。1198-1209,2017。查看在：出版商的网站|谷歌学术搜索
19. Yu y, L. Cao, E. A. Rundensteiner, and Q. Wang，“大规模轨道流的异常点检测”，数据库系统汇刊，卷。42，不。2，pp。1-33,2017。查看在：出版商的网站|谷歌学术搜索
20. W. nie，X. Li，A. Liu和Y. Su，“3D对象检索基于空间+ LDA模型”，多媒体工具及应用，第76卷，第76期3，pp。4091-4104,2017。查看在：出版商的网站|谷歌学术搜索
21. B. leng，J. Zeng，M. Yao和Z.Xiong，“3D对象检索与多级模型结合相关反馈和LDA模型”图像处理的IEEE交易，卷。24，不。1，pp。94-105，2015。查看在：出版商的网站|谷歌学术搜索
22. “基于感知哈希跟踪和CNN检测器的夜间转向灯检测”，“基于感知哈希跟踪和CNN检测器的夜间转向灯检测”，IEEE智能交通系统汇刊，卷。18，不。12，pp。3303-3314,2017。查看在：出版商的网站|谷歌学术搜索
23. R. Mehran，A. Oyama和M. Shah，“使用社会力量模型的异常人群行为检测”2009年计算机视觉和模式识别的IEEE会议，pp.935-942，迈阿密，佛罗里达州，2009年。查看在：出版商的网站|谷歌学术搜索
24. 白林、陈青，“基于多对象三维空间背景的视觉短语识别”，神经古脑， vol. 253, pp. 183-192, 2017。查看在：出版商的网站|谷歌学术搜索

版权

版权所有©2019雷彩等。这是一篇发布在创意公共归因许可证，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。