文摘

在公共场合,一些行为,违反公共秩序,危害公共安全被定义为异常行为。此外,它是一个必要的辅助手段来维护公共秩序和安全检测异常行为的大量的监控视频。然而,由于视频数据的小比例的异常行为,严重限制了数据的极端不平衡检测的有效性。因此,弱监督学习已经成为最合适和有效的检测方法。然而,现有弱监督方法很少考虑异常行为的局部性和细长而忽略的细节提取特征。在此基础上,提出了一个注意力集中异常行为检测模型。两个常见的预测和重建的异常行为检测方法基于弱监督,适当的注意机制介绍,分别提出了两个相应的注意力集中网络。此外,针对阈值异常行为划分不准确的问题,提高模型的损失函数,提出一种新的异常行为评价方法。实验进行三个经典数据集(USCD Ped1, USCD Ped2,数据集和中大大道)的异常行为检测。最好的结果曲线下的面积(AUC)指标达到82.7%,94.5%,和87.3%,分别比许多现有文献的结果。

1。介绍

公共安全总是得到太多的关注。近年来,在公共场所监测设备逐渐增加和改进。然后,不安全的因素可以从大量的监控录像确认数据1],可以及时发现并阻止可疑的不安全行为,更有效地维护公共安全。为了探讨行人行为监测,研究人员开始与行人轨迹和获得完整的行人从视频总结行人行为的痕迹2]。通过分析跟踪、异常行为监控可以分为团体和个人异常行为。组异常行为包括突然的分散和聚集的人群和其他异常行为,可以分类。因此,研究人员直接应用一般深行动识别框架(3)异常行为检测。他们使用光流和轨迹进行分类和识别异常和明显的运动的人口和获得好的结果4,5]。个别异常行为通常是个人行为,违反公共秩序,如驾驶汽车在人行道上,违反规定在公共场所通常步行方向,等等。因为在公共场所监控视频包含各种各样的个人异常行为但少数在每个类和个人异常行为占很小比例的所有行为数据,这种不平衡会严重影响检测的准确性异常行为根据通用方法。因此,研究人员将所有的行为分为两类。同时,他们提出了一个弱监督方法来获取正常行为的特征数据。然后,所有的行为与重建或预测行为数据通过正常行为特性,和那些有大量的差异被认为是变态行为框架(6]。

目前,弱监督异常行为检测方法分为两种:重建和预测根据输入数据的差异7]。重建方法与单帧输入可以应用于图像和视频数据,输入和多帧的预测方法只能应用于视频数据。与现有的弱监督的异常行为检测的方法,关键是使重构异常行为明显不同于原始数据帧。目前,基于重建和预测模型主要关注这个问题从两个方面。一方面,各种输入数据输入训练正常行为模型的框架,和相貌和运动特征提取通过multibranch模型精确重构的正常行为8,9]。另一方面,提出了一种新的模块记录典型的正常行为特性和增加的比例在重构过程中正常行为特征(7,10,11]。上述的研究有助于认识到重构异常行为将远离原始数据和重构正常行为将类似于原始数据。因此,弱监督方法可以完成异常行为的准确检测。然而,监控视频包含大量的行人,行人行为通常占据了一个小的区域。此外,现有的正常行为特征提取模型缺乏特异性,并很容易忽略关键区域的细节,导致失败的突出明显的异常行为和正常行为的区别当重构所有行为。为了解决这个问题,我们引入不同的关注模块encoder-decoder结构捕获输入数据的关键领域和注意的详细功能和增加重量。同时,添加边缘损失函数关注的纹理数据的详细信息。此外,现有的模型有一个不准确的方法来计算重构数据的异常分数。因此,很难选择合适的分割阈值的异常分数准确区分异常行为和正常行为。为此,我们改善异常评价方法通过使用多种评价方法的组合来评估重构图像的质量,从而提高重构异常之间的歧视行为和原来的异常行为。

本文的主要贡献如下:首先,我们提出一个注意力集中深度模型,并结合基于encoder-decoder结构重建和预测方法,添加关注模块符合编码器和译码器的结构,并使用边缘损失关注地区的行为。其次,我们提出一种新的异常评价方法,它从多个方面分析了重构图像的质量包括像素和整个图像,并使用异常分数作为标准来区分正常和异常行为。最后,我们对不同的数据集执行实验异常行为检测和验证提出模型与现有模型的性能通过各种实验数据如消融、定量、定性和可视化实验。

2。相关工作

由于正常和异常行为之间的不平衡数据,基于弱监督的方法通常是采用,autoencoder是一般正常行为特征的提取的基础设施。然后,所有的行为数据重建或预测基于提取的特征。最后,正常和异常行为数据区分根据重构之间的误差或预测数据和原始数据。陈和他(12]折射视频片段和视频帧通过使用不同的分支将时空信息,它只包含正常行为,基于贝叶斯法和融合重建错误。为了增加重建正常行为和输入正常行为的相似性,龚et al。7)添加了一个内存模块记录正常行为的特点,输入到解码器。

autoencoder结构容易丢失的特性是由于线性压缩;因此,深度学习模型U-Net作为基本模型,这是类似于autoencoder。李等人。10]提出了一种时空模型结合U-Net代表与ConvLSTM空间信息提取运动信息。公园等。13]锣等提出的改进模型。7]。而不是autoencoder, U-Net被选为最基本的模型。内存模块设置适当数量的内存,和分离损失和功能紧密的损失也将有效地更新内存模块。根据公园的研究等。13),Lv et al。11)设置内存模块作为一个动态单元不占用内存减少的成本模型。

为了处理大量的特性深度学习模型,研究人员开始关注机制适用于各种型号的视频异常检测。灵感来自于视觉注意力机制,桓et al。14)使用输入数据获取时空异常突出的地图,然后结合地图和视频帧来检测异常行为框架。朱和Newsam15)使用一种注意力机制分配权重的不同实例损失函数的多个实例方法。魏et al。16)也关注用于异常检测多个实例,和注意力机制被用来分配权重输入C3D和光学流特性。然而,太阳和霁(17)采用以解决当寻找最匹配的正常功能的内存模块。

因为注意力机制包含了许多变体,它可以分为两个类别根据其适应性。我们只能适应一个模型和其他可以转移到多个模型。其中,注意U-Net (UA) [18基于U-Net)属于前者,连接和过程特性与相同数量的通道两侧的u型结构,以获取特征权重。UA目前主要用于医学图像分割领域,如肝脏肿瘤分割(19)和视网膜血管分割(20.]。SE (Squeeze-and-excitation)注意21)属于后者,可以灵活地转移,选择有效的特征通过调整通道模型的权重特性。SE是常用的图像分类领域的,比如微表情识别(22)和心电图(心电图)分类(23]。

由上述研究的启发,我们使用U-Net作为基本模型,并结合多层关注模块UA和SE,适合两个不同网络的重建和预测方法。注意力集中模型,两个新的网络加强功能细节的提取视频异常检测。

3所示。方法

3.1。模型结构

本文提出了一个名为Att_AE注意力集中模型。模型结构如图1,包括编码器、译码器、内存模块,损失函数和异常评价模块。根据不同的网络结构重建和预测方法,编码器和解码器的部分是不同的。所以,两种注意力机制适应了两个网络添加到编码器和解码器模块形成新的结构。多层关注模块UA [18]构造译码器的预测方法和不同层的特点是计算。多层SE关注模块(21)添加到编码器的重建渠道之间的特征权重计算方法。

内存模块位于中间的编码器和解码器,相同的功能的重建和预测方法。内存模块用于选择和存储通过编码器正常行为特征。存储功能与特性获得的用于连接编码器,然后输入到解码器。内存模块之间的差距扩大重建或预测正常行为框架和异常行为框架通过增加的比例正常行为特征在解码器的输入。此外,培训损失也有所改善,添加约束图像边缘的图像梯度。此外,提出了一种新的异常行为评价模块来改善异常分数的计算方法在测试数据中,这样的模型可以更准确区分框架正常行为和异常行为框架。

3.2。注意力集中Encoder-Decoder模型

编码器和解码器模块U-Net反映注意定向结合注意机制提取重要特征。本文设置了相应的注意机制根据重建和预测模型结构。

3.2.1之上。注意Encoder-Decoder结构预测方法

输入四个连续帧的预测方法来预测下一个框架,提出了一种多帧输入模型和多帧图像分割从一个视频编码器的输入在一个多通道的方法。根据预测跳过连接网络结构,关注模块UA适合模型引入它。转换后的编码器功能连接到译码器功能与相同数量的输入渠道关注模块。然后,下一层的特征权重计算解码器。最后,改善当地的权重的目的感兴趣区域和抑制noninterest区域是通过三层关注模块的解码器。预测模型的细节图所示2在下面。

在图2,四连续帧输入编码器作为一个多通道特性,空间分辨率是减少了卷积和maxpooling获得高级语义特征。编码器的输出是输入的内存模块和输入特性是缝合的正常行为特征最相似的存储在内存模块。缝合后,功能是进入译码器。为了避免损失的功能细节,跳过连接用于针特性相同的分辨率。为了增加注意关键特性,我们将跳过连接,输入相同的分辨率特性在编码器和解码器UA模块,UA分配权重,然后意识到跳过与编码器的功能,最后通过卷积恢复图像分辨率和反褶积输出重构图像。

图3显示一个UA结构预测方法。U-Net的输入是一个中间的特性。和不同层的输出在编码器和解码器。译码器的输出层,下一层的尺寸一样吗 。 和l表明它们来自编码器和译码器,分别。首先,本文使用一种upsampling方法来确保渠道的数量和是一致的。然后,我们添加处理和 ,输入到ReLU层稀疏处理,增加了非线性通过乙状结肠层获取关注权重系数O,并把O与原来的输入得到的输出在当前关注模块。

这个输出连接和用于计算下一个关注权重系数与相应的编码器的输入。最后,更高效的特性可以通过多层关注模块。

3.2.2。注意Encoder-Decoder结构重建的方法

输入一个单帧的重建方法重构输入框,图4给出了具体的网络结构。输入数据是一个视频帧和分辨率降低卷积和maxpooling。选择和加强重要特性,SE关注模块添加到提取通道之间的关注。SE模块位于后卷积编码器计算块中的每个信道编码器的重量。添加到原始特征加权之后,新功能是输入下一层网络的持续培训。此外,选择更有效的正常行为特征的多层关注模块,这样内存模块,记录正常行为特征的解码器可以训练更有效的功能。

由于输入帧一帧,跳过与权力生成深度学习模型的能力可能会导致重构图像输入图像副本。所以,跳过连接从重建模型中删除。然后,通过一系列的卷积和反褶积运算,输出数据恢复到相同的大小作为输入数据,重构图像的输出。

SE注意模块的结构如图的重建方法5。功能年代在编码器输入SE模块后转化为卷积模块及其大小 从 全球平均池的方法。池方法类似于特殊的功能完全连接层,计算公式如下:

输出T的新功能1×1的大小,这是得到后平均每个通道的像素值。米和n代表了高度和宽度的像素坐标功能地图,分别。然后,T输入一个完全连接层FC系数(Z,Z/r),的价值r是16。功能的目的是减少渠道和数量的计算模型。接下来,我们输入到ReLU层非线性操作,然后输入到另一个完全连接层FC′系数(Z/r,Z)恢复原来的频道数,最后输入到乙状结肠层规范化。整个过程可以表示由以下方程: 在哪里σ代表了乙状结肠层,δ代表ReLU层,E₁和E₂FC中的参数和FC′。通道注意体重U与的大小 是获得。U用于繁殖的原始输入年代得到的输出V注意模块的。最后,获得功能根据多层卷积编码器的块和注意力块输入内存和解码器模块继续训练。

3.3。培训损失

损失函数有4部分,强度损失(7),这限制了像素相似,功能聚合损失和分离损失(13),确保内存模块可以记录典型的正常行为,和边缘的损失 ,描述图像的边缘。损失函数定义如下: 在哪里γ,θ,β体重因素对应的不同部分损失函数(0 <γ,θ,β< 1)。

强度损失减少真正的区别和重构数据通过惩罚它们之间的距离计算像素相似性。具体来说,强度损失计算通过使用两个图像的均方区别以下方程: 在哪里x_我和代表原始图像的像素值和预测或重建图像,分别。我代表图像中的像素总数。

正常行为特性的功能聚合损失将存储在内存模块。功能聚合损失确保输入特性类似于内存模块,记录功能,计算公式如下: 在哪里代表了特征提取的模型。K提取特征的总数。是最接近正常行为特征的内存模块。通过约束之间的区别输入特性和在内存模块的特性方程(6),它很方便,确保之间的相似性特征存储在内存模块和输入正常功能。因此,它有利于正常行为框架的重构质量后输入两个到解码器。

基于输入特性是最类似的功能与内存模块,正常行为特征的数量控制所需的内存模块也减少了内存。因此,存储在存储器模块的特性要求和不同的代表。功能分离损失用于保证内存模块功能的多样性,以及方程如下: 在哪里是第二个最亲密的正常行为特征的内存模块。α将损失大于零。功能分离损失限制输入特性之间的距离和内存模块第二个类似的功能,从而增加之间的区别和 。因此,功能分离损失增加内存模块的所有功能之间的差异。

更清楚地描述的轮廓边缘的内容输入框,该模型设置边缘损失需要考虑的细节纹理结构。这些损失主要限制图像的水平和垂直梯度计算索贝尔算子(24]。 在哪里和的卷积核计算图像水平和垂直梯度,分别。和原始图像的梯度,重建或预测图像,分别。和代表了水平和垂直梯度之间的卷积得到的原始图像和索贝尔算子,分别。和代表的水平和垂直梯度重建或预测图像和索贝尔算子,分别。图像梯度计算如下:

我们定义边缘的梯度差异损失和使用l₁距离计算边缘的损失 。在方程(10),计算损失,从而提高重构图像的细节边缘约束梯度差异的图像和重构图像的输出。

3.4。异常行为评价

训练后与正常行为数据,异常行为评估提供异常分数用于测试框架。本文提出了一种新的方法来判断异常行为,方程(所示11)。它包括功能相似D、像素错误PSNR和图像相似性SSIM。然后,我们融合三个值按照一定比例来计算最终的异常分数。如果该值高,框架将更可能包括异常行为。 在0 <λ,η,< 1, , 是输入图像和输出图像的向量。

之间的区别是计算正常行为特征在测试中获得的内存模块和功能。此外,它是一种有效的方式决定是否它是一个异常行为框架。如果距离很大,异常行为的概率框架将是巨大的。该模型使用l₂距离计算距离,使用方程如下:

PSNR值是使用最广泛的形象评价指标之一(8),通常是用来测量失真图像和原始图像之间的差距。此外,本文使用它来判断像素之间的差异图像和输入图像的输出。PSNR值方程如下: 在哪里代表输入图像的最大像素值。高价值的PSNR值表明,输出图像与输入图像,和输入图像判断为正常行为框架。否则,输入图像判断为异常行为框架。

PSNR只是关心像素错误,另一个图像相似性评价标准SSIM [25)添加到计算整个图像从三个方面之间的相似度,亮度,对比度,和结构相似性。此外,价值越低,异常行为框架的概率就越大。计算公式如下:

和代表输入图像的平均灰度和输出图像,分别。强度相似 计算如下:

C₁设置为防止分母为零,然后呢 总是在 。 和代表输入图像的标准差和输出图像,分别。对比相似计算如下:

的功能是一样的 ,和的范围是一样的 。最后,结构相似 图像的计算,计算公式如下:

C₃也将防止分母为零。代表输入图像和输出图像的协方差。

输入图像之间的相似度计算和输出图像可以根据方程(14)。因为整个图像的均值和方差通常有很大的变异,滑动窗口法用于计算多区的SSIM的形象。最后,多区的SSIM的平均值作为最终结果。

4所示。实验

对于验证的性能模型,该模型是训练三个典型的异常行为检测数据集。实验包括参数选择、烧蚀实验,比较实验,和可视化的异常行为。

4.1。数据集和实验环境

在这篇文章中,三个公共数据集选择:USCD Ped1 [26),USCD Ped2 [26),和中大大道(27]。

的USCD Ped1数据集和USCD Ped2数据集(26)行人监控视频的加州大学,圣地亚哥。Ped1数据集包含34个训练集视频和36个测试组视频共有14000帧。Ped2数据集包含16个训练集视频和12个测试组视频共有4560帧。两个数据集的标签框架水准仪标签,和训练集只包含正常行为框架和测试集包含正常和异常行为的框架。视频记录群众行为校园人行道,标记为异常行为主要包括自行车、滑板和驾驶。

中大大道数据集(27)包含16训练集视频和21测试组共有30652帧的视频,和标签也框架水准仪标签。训练集和测试集的划分类似于Ped1 Ped2数据集。大道地铁入口处的人群行为数据集记录,和异常行为主要包括快速运行,异常行为的地方,错误的方向走。

实验环境框架是Python 3.6的编译工具PyCharm,显卡是泰坦XP,内存是12 GB的视频。培训时期的数量是60,最初的学习使用的利率预测和重建方法2e−4和2e−5,优化器是亚当。两个模型使用相同的损失函数,定义3.3培训的损失。根据上述参数,训练时间的Ped1 Ped2,大道的数据集是大约2,分别和10小时。的时间性能Ped1 Ped2,大道数据为58.5 FPS(每秒帧数),58.5帧/秒,分别和50帧/秒。

4.2。模型参数

模型参数主要包括重量损失函数和异常行为的权重评估模块。此外,所选择的参数根据实验结果通过结合不同的权重。模型的评价指标是AUC [7),用于二进制分类模型。AUC越大,模型的结果就越好。

4.2.1。准备重量训练的损失

的损失函数模型中定义3.3培训损失,由4部分组成,包括强度损失,功能聚合损失,边缘特性分离损失,损失。

根据方程(4)在3.3节中,只有三个损失的重量参数需要确定,他们被定义为γ,θ,β。γ和θ仍在重建方法设置为0.01和0.1的预测方法,分别为(13]。采取β作为唯一变量,重量参数对应于最优结果选择通过训练不同的模型和不同的价值观。图6实验结果显示预测和重建模型与不同β在三个数据集。根据图6建筑模型具有最好的性能β0.01三个数据集。预测模型具有最佳性能β0.01 Ped1数据集,β0.5 Ped2,大道的数据集。

4.2.2。异常行为评价的权重

异常行为评价模块由三部分组成,功能相似,相似像素错误,和图像。重量和相应的参数设置为λ,η,φ节3.4。自相似特性的总和和像素误差权值设置为113),摘要集 。η将0.7和0.6在重建和预测方法13]。因此,本文集η文学的价值(13),然后调整的价值新添加的重量φ。表1显示结果(AUC %)与不同重量Ped2预测模型的数据集。

根据实验结果表1,当η是0.6,φ是0.01,Ped2数据集上的预测模型的性能是最好的。基于上述方法,当η0.6 Ped2数据集上的预测模型和大道数据集,0.75的其他模型在其他数据集,然后呢φ是0.01的模型,训练模型实现最佳性能。

4.3。烧蚀实验

分析每一个添加的部分,影响模型的准确性,消融实验三个数据集上执行,结果如表所示2。第一行的数据在两个方法领域的基线三个数据集和其他行包括不同的模型结果添加部分。通过数据对比,可以看出,单一部分和不同的部分有一个促销组合的影响异常行为检测的性能。

关于单添加的部分,在重建模型中,注意模块增加最有效的值为0.8%,0.4%,和1.6% Ped1, Ped2,大道的数据集。在预测模型中,边缘损失增加到最有效的值为1.1%,1.6%,3.6%三个数据集。此外,其他添加部分也提高性能。单一添加部分,因此,关注模块和边缘损失带来最改善重建和预测模型,分别。

关于组合模型部分,在重建模型中,注意模块的组合和边缘损失带来更多增加1.1%,1.3%,和2.1% Ped1, Ped2,和大道的数据集;最后的模型带来了最进步1.3%,1.4%,2.2%三个数据集。在预测模型中,关注和异常行为评价的结合带来了更多增加2.3% Ped1数据集;注意模块的组合和边缘损失带来更多增加2.5%和3.8% Ped2大道数据集;最后的模型带来了最进步2.9%,2.5%,3.9%三个数据集。组合的结果,关注模块,边缘损失,和异常行为评价与模型结果呈正相关。此外,所有三个部分的组合有利于提高性能。

4.4。定量实验

在这一节中,本文模型的实验结果与现有的异常行为检测模型具有相同指标在三个数据集。在模型的比较,揭露28)是学习的有效的模型分类器通过滑动窗口,水平集方法(29日)模型,利用水平集检测提取图像描述符,SRNN [32]和sRNN-AE [35RNN作为基本模型,GAN_pred [33)使用氮化镓结合U-Net, PST (36]构成组件用于异常行为检测和其他基于autoencoder和U-Net变体模型。表3显示了该模型的结果和比较模型在三个数据集。在表4,我们使用另一个评价指标,等于错误率(曾经)30.),比较该模型的结果与他人在同一数据集。曾经被用来测量模型的错误率,和一个小曾经模型的价值意味着更低的错误率。

本文中的模型包含两个方法来检测异常行为。表3和4分别分为三个领域分别比较该模型与其他模型。第一个区域包括一些异常行为检测模型,不是基于重建或预测方法;第二个区域包括模型使用重建方法;第三个区域包括模型预测方法。Att_AE_recon和Att_AE_pred提出网络重建和预测方法。在表中3和4,结果Att_AE_recon Att_AE_pred明显优于对比模型的在相应的区域。此外,Att_AE_pred的结果是比所有的模型。

4.5。定性实验

4.5.1。异常行为得分

摘要异常行为数据集选择与框架水准仪标签,标签和特定的标签是0和1。0代表正常行为框架,1代表了异常行为框架。本文模型评分包含正常和异常行为的检测视频帧通过3.4节中定义的异常行为评估和设置适当的阈值划分正常和异常行为框架。在数据7- - - - - -9,结果表明,局部异常分数和相应的分割阈值的测试集上本文的预测模型和文献[13Ped1], Ped2,大道的数据集。

在数据7- - - - - -9,score1用于表示模型分数在文献[13),score2用于表示模型本文分数,标签的标签是用于表示测试视频,和分度值的阈值异常和正常的行为。异常分数的凭证将正常和异常行为框架。如果异常分数接近相应的标签,这将是容易区分正常和异常行为。在数据7- - - - - -9的异常分数,可以看出该模型更接近数据标签。它也可以从数据的阈值7- - - - - -9本文的模型有更高的准确度将正常和异常行为。所以,本文中的模型可以更准确地划分正常和异常行为框架比模型在文献[13]。

4.5.2。异常行为检测的影响

对于异常行为检测,我们重构的测试集数据异常行为和正常行为根据正常行为的特点和获取输出图像的重构误差和输入图像。如果这是一个正常行为框架,其重构误差要小;如果这是一个异常行为框架,重构误差应该很大。为了评估模型的性能,我们可视化重构误差预测模型获得的文献[13),这篇论文。该模型性能良好的异常行为检测可以通过数据的比较。数据10和11展示一些重构误差从三个数据集获得的照片。

在数据10和11第一列是原始视频帧,第二列是重构误差通过文献[13),第三列是本文获得的重构误差。选择图像数据从Ped1 Ped2,大道大数据集的行。图10显示了正常行为的重构误差图像帧在文献[13]本文,可以看出,正常行为框架的重构误差本文小于的文献[13]。图11显示了重构误差的图像异常行为在文献[13),摘要,异常行为使用绿色矩形框标记。通过比较第二和第三列在图11,可以看出本文获得的重构误差的异常行为框架比文献[13),尤其显著的异常行为。因此,基于视觉比较,该模型的异常行为检测性能更好。

4.6。注意机制的比较

为探索注意力机制的有效性本文CBAM模块计算空间和渠道的关注37),和ECA模块计算通道(注意38)选择比较。相同数量的不同关注模块添加同样的训练数据集Ped2重建与预测和网络。此外,AUC(%)不同的重建和预测网络数据所示12和13。

SE模块在重建法和UA模块预测方法可以取得更好的结果,本文中使用。此外,这些网络的平均时间性能大约是55 fps,这证明了本文中使用的注意机制是更有效的方案。

4.7。可视化的异常行为

模型本文充分学习正常行为特征在训练过程中,以便正常行为框架可以有效地重建或在测试集预测。有一个大重建或异常行为帧的预测误差测试集。重建或预测误差的区别是输入图像和输出图像。同时,可以观察到异常行为的特定区域的可视化的错误。如数据所示14和15的预测误差Ped2数据集和大道数据集的可视化预测网络。

在图14,第一列包含了异常行为框架中选择最初的测试集,第二列包括输入和输出图像,图像之间的差异,可以更清楚地识别异常行为的特定区域。第三列包含的标志上的异常行为区域原始帧。标记红色的该模型获得的预测误差,现场和具体意义的异常行为可以探索。在图14,可以看出异常行为中选择Ped2数据集包括骑自行车、驾驶汽车,和滑板。

也有三列在图的图像15,每一列具有相同含义如图14。通过第三列的红色注释,可以看出异常行为在大道中选择数据集包括走错了方向,跑得很快,使异常行为(把背包扔到位)。因此,正确区分正常和异常行为框架,该模型可以得到异常行为的特定区域,为更准确有效的异常行为的分析和归纳结合场景。

4.8。运行时

泰坦XP,两个基线模型的平均时间(13)为54.8 FPS和本文模型的平均时间为55.7 FPS。同时,本文模型的平均时间比其他技术发展水平模型快。例如,暴露的平均时间28],SRNN [32],GAN_pred [33],sRNN-AE [35]20 FPS, 50帧/秒,53.4帧/秒,分别和10帧/秒。

5。讨论

该模型训练和测试三个异常行为检测数据集,和良好的性能模型与其他模型相比,验证结果。然而,在分析和归纳的过程中,我们还发现,该模型仍存在一些问题,导致错误的区分异常行为和正常的行为。为进一步的工作,我们将讨论一些问题引起的该模型和分析可能的原因,然后提出解决方案是未来工作的方向。

图16显示了一些检测错误,从不同的数据集和数据选择。在得分图异常包括错误帧,检测错误帧的位置标记为绿色的圆圈。同时,提供的原始数据和相应的重构误差分析检测误差的原因。可以看出检测错误帧之间的界定附近异常和正常的行为。异常行为框架在第一行是被认为是一个正常的行为框架。异常行为的区域的绿色的盒子,可以看出图16中的异常行为是一个骑自行车的人群中,这可能被认为是一个正常行为框架,因为它位于图像的边缘,被行人在前面。第二行包括一个正常行为框架。异常行为数据的正常行为框架,行人抛出的背包,走得很快。我们认为这个框架的原因是判定为异常行为框架可能不考虑改变运动速度和帧之间的相似性及其前异常数据。

基于上述分析,我们认为下一步应该关心如何提取综合功能,解决判断错误造成的阻塞和运动。由于不同运动状态之间的异常行为和正常行为框架,我们考虑提取运动特征基于帧间变化捕获的区别为提高帧在分界线的判断结果。

6。结论

基于弱监督,本文提出了一种注意力集中情况异常行为检测模型不能有效地检测局部异常行为。多层关注模块添加到获得关键特性适应不同结构的预测和重建方法。在此基础上,本文还修改了损失函数,提出一种新的异常行为评价模块来增加之间的差距正常和异常行为框架后重建或预测,这有利于有效的异常行为检测。实验Ped1, Ped2,大道数据集验证该模型的发展。

本文提出模型提高了异常行为检测的性能在一定程度上,但是这个模式仍然有一些问题。例如,在部分边界之间的正常和异常行为在视频帧,异常行为之间的差异和正常行为特征提取的数据模型仍然是小,这可能会导致误判。因此,进一步的工作是需要研究如何提取完整的正常行为和识别功能更有效的异常行为检测。

数据可用性

三个异常行为数据集是公开的数据集。下载的URL USCD Ped1 Ped2http://www.svcl.ucsd.edu/projects/anomaly/dataset.html。下载URL中大大道https://www.cse.cuhk.edu.hk/leojia/projects/detectabnormal/dataset.html。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由中国国家自然科学基金(62077014)和研发项目在湖南省重点领域,中国(2019号sk2161)。