近年来,大部分的研究工作一直受到dual-stream卷积神经网络相结合的时空信息从RGB图像和光学流图像中提取的视频和提取两种类型的功能通过两个单独的卷积神经网络。我们需要识别和生成最终的预测结果。视频信息包含两个部分:空间信息和时间信息。与静态图像相比,视频提供了额外的运动信息的时间序列分量表示时间动作识别。空间信息的视频每一帧图像的位置,代表了空间信息,如目标和现场视频;视频帧之间的时间信息是指改变并连续视频帧之间的目标运动信息,包括相机的运动或运动目标对象的信息,等等。实现视频的想法行动识别主要包括两类,即提取视频时空特性的方法对视频识别和再培训的方法通过使用人类骨骼节点信息作为网络输入数据。本文系统使用普通相机设备收集运动视频识别,所以dual-stream卷积神经网络主要用于提取视频时空特性进行动作识别和分析。

如图 4,dual-stream卷积神经网络由一个卷积网络表达空间流和时间流的二维信息,用于处理视频数据的时空信息。这种dual-stream网络设计架构来自生物视觉。spatial-stream网络需要一个单帧视频的RGB图像作为输入。空间流和时间流的解耦网络还使图像数据的使用在大型图像数据集。pretraining spatial-stream网络用于识别相关的表面特征的行动和意识到空间域的视频特征描述。空间流网络是一样的常见的静态图像识别网络,在时间流网络输入多帧堆叠光学图像流入网络培训。它用于学习的时间特性中包含的行动,如目标的运动和变形。特性的描述视频动作在时域,我们使用多任务训练的方法,它提供了融合两个softmax输出层。的输出将softmax层识别的概率是行动的范畴。提供两个softmax输出相当于正规化的过程。 There are two main fusion methods: averaging and retraining an SVM classifier using the softmax layer for recognition. In short, the processing method of decoupling spatiotemporal features of dual-stream convolutional neural network better describes the movement information of sprinters.

实际上dual-stream卷积神经网络利用dual-stream通路在人类大脑的视觉信息处理系统,它可以有效地捕获目标的局部运动信息的视频和改善的卷积神经网络解决行动识别问题的能力。然而,也有一些缺点。首先,因为操作的预测的平均预测采样获得的视频视频剪辑,中长期时间信息仍缺乏学习的特性。其次,由于训练数据样本是随机抽样得到的视频剪辑,可能有不正确的标签分配的问题对于每一个类别的数据。最后,使用dual-stream卷积神经网络需要预先计算的光学流图像并保存作为输入的一个网络。网络培训需要单独的单帧RGB图像和多帧叠加光学流图像,所以网络是难以实现端到端的培训。

光流代表了速度矢量对象的视频,包括瞬时运动方向和速度的像素信息。它可以用来代表视频的短跑运动员的运动信息。光流特征结合图像的静态信息和动态信息和性能是一个很好的特性来描述短跑运动员的行为。本节将详细描述光流特征提取算法的设计思想引入客户实时视频数据采集模块。在数据同步到服务器通过网络通信,光流图像提取为短跑运动员动作特征提取和数据处理过程。数据预处理由数据增强技术可以有效地避免过度拟合的风险在网络训练由于小小的行动数据集。

物体运动的本质是之间的相对位置运动对象和场景。当观察者观察移动物体时,现场的移动物体将形成一个不断变化的图像在眼睛的视网膜上,似乎通过眼睛的视网膜流;因此,它被称为光流。光流表示图像像素的瞬时速度场,包括位置、瞬时速度、方向,和其他的信息移动目标的某些像素的视频。光流法来提取前景目标的运动信息的视频,和运动前景可以独立监控没有预先知道场景的任何信息。光流计算主要是为了确定相同的像素的变化在两个相邻帧估计像素的时域变化在不同地区的两帧图像和像素之间的相关性。接下来,移动目标在一个图像的向量场是获得实现图像中对象的运动估计。

最著名的两个方法计算光流Hom-Schunck算法和Lucas-Kanade算法。Hom-Schunck算法是基于事实对象的灰度图像保持不变在很短的时间间隔,假设某个特定街区的速度矢量场的变化缓慢,和全球平滑约束的光流场。然而,由于该算法是基于平滑的假设,可能有大错误矢量光流估计在图像的边缘区域或闭塞地区的存在。Lucas-Kanade算法使用当地的平滑约束,即。,byassuming that all pixels in a small neighborhood have similar motions, and then realizes the estimation of optical flow. Compared with the previous algorithm, the Lucas–Kanade algorithm is simpler to implement and has lower computational complexity. Therefore, the system uses the Lucas–Kanade algorithm for the calculation and estimation of optical flow. The realization of this algorithm first needs to satisfy several assumptions: (1)

外面有一个恒定的光强度,以避免外部光线的强度造成的变化图像中像素值相同的点。

假设像素点的亮度 x , y 在时间 t 是 我 x , y , t 像素点位置移 x + Δ x , y + Δ y 在时间 t + Δ t 。亮度时 t是 我 x + Δ x , y + Δ y , t + Δ t 。基于上述假设,在同一点像素的亮度是恒定的;因此, (1) 我 x , y , t = 我 x + d x , y + d y , t + d t 。

根据假设目标对象的运动时间很短,上述方程可以Taylor-expanded获得以下方程: (2) ∂ 我 ∂ x Δ x + ∂ 我 ∂ y Δ y + ∂ 我 ∂ t Δ t + Δ = 0。

忽略高阶项 Δ 和推导上述公式 Δ t 为光流约束公式可以得到如下: (3) 我 x μ + 我 y v + 我 t = 0 , 在哪里 我 x , 我 y , 我 t 可以直接从图像,计算和( µ, v )的光流 我 x , y , t ,这是一个未知数,光流值不能获得只有通过光流方程。因此,选择Lucas-Kanade算法能解决各种光流约束方程通过附加。该方法基于局部平滑约束;也就是说,假设图像的像素相邻帧之间有小位移和维护在附近近似运动。然后,在附近像素的基本光学流动方程可以解决最小二乘法。

根据Lucas-Kanade算法的假设,所有像素在一个小区域有类似的运动。基于基本的光流方程,可以获得一个超定的方程如下: (4) 我 x X 我 μ + 我 y X 我 v + 我 t X 我 = 0。

光流估计误差被定义为 (5) E = ∑ X 我 ∈ θ 我 x X 我 μ + 我 y X 我 v + 我 t X 我 2 。

光流计算公式可以通过最小二乘拟合的方法: (6) 一个 T 一个 v ⟶ = 一个 T − b , 在哪里 一个 系数矩阵和吗 b = − 我 t X 1 , … , 我 t X n T 是常数项。当 一个 T 一个 是一个满秩矩阵,上述方程的解决方案是什么 (7) μ v = ∑ 我 我 x X 我 2 ∑ 我 我 x X 我 我 y X 我 ∑ 我 我 x X 我 我 y X 我 ∑ 我 我 x X 我 2 − 1 − ∑ 我 我 x X 我 我 t X 我 − ∑ 我 我 x X 我 我 t X 我 。

从这个的价值 μ , v 可以获得。