文摘
本文以乒乓球为研究对象,主要是提取大量的乒乓球视频轨迹,并结合运动分析方法来减少噪声提取的目标提高乒乓球轨迹的准确性和获得乒乓球轨迹。参数组是用来模拟乒乓球的轨迹;基于MATLAB环境实现乒乓球轨迹模拟,提供了初始速度和坐标,完成捕获的乒乓球落点。本文使用二维图像中的信息来估计的参数值的三维信息,然后根据估计的参数值计算的三维信息。无味卡尔曼滤波器用于估计乒乓球的轨迹参数和旋转参数,计算算法和实时更新标志,提出了减少计算错误估计过程的影响,提高了参数估计的准确性。首先,建立一个乒乓球运动模型和选择合适的模型来描述的平移和旋转运动乒乓球。然后,基于扩展卡尔曼滤波算法和无味卡尔曼滤波算法,建立了球飞行轨迹估计算法。最后,一个实际的图像采集系统收集轨迹信息构建和表面图像与实际乒乓球运动的信息。执行处理获得乒乓球中心的位置和标记点相应的传感器。仿真和实验结果表明,该算法能有效地估计轨迹,线速度,乒乓球和角速度参数,和初始值的选择对算法的影响不大。
1。介绍
近年来,随着国民生活水平的提高,人们越来越感兴趣的提高身体健康,和各种运动也蓬勃发展。随着中国国家球,乒乓球已经成为一个很好的方式让人们提高他们的体育活动。为了提高乒乓球支安打的准确性,促进乒乓球的发展,乒乓球捕获系统的设计在本文中(1- - - - - -10]。
深度学习的概念模型需要追溯到2006年。杰弗里•辛顿使用神经网络来完成数据的降维并发表在“科学的结果。“从那时起,深度学习的概念不断扩展到其他领域,已成功使用。例如,Yann LeCun (Yoshua Bengio,杰弗里•辛顿三大数据领域的深入学习,发表了一篇综合研究文章题为“深度学习”在2015年《自然》杂志上,他们启动了一个深度学习的详细研究。一般来说,深度学习的主要内容是主要学习各种特性表达式通过模型由多个级联网络层,和它也有多个抽象级别的特点。此外,反向传播算法还采用引导机器self-learn通过改变内部变量,探索更深层次的内容中包含的数据样本。事实上,这种方法使用反向传播或分层模型的扩展相应的学习被用于媒体,比如图像、视频、文本和音频。现在,最成功的培训网络类型的深层信念网络是基于DBN算法,生成对抗网络基于模型优化训练,解决RNN long-short-term记忆,前馈神经网络,等等。此外,也有很多学者关注的反向传播算法训练网络。因此,开发更高效的算法,包括Adadelta,亚当,和RMSprop [11- - - - - -15]。
卷积神经网络(CNN)是最常见的类型在安领域。由于神经网络需要大量的数据仿真训练的初始阶段,需要计算机的硬件设备。很难获得相对较好的业绩,通过训练网络。然而,近年来,gpu的不断进步和相应的带安全标签的数据时,CNN已经显示出更好的和更好的结果在处理图像识别或图像分类问题。正是因为这种优势的CNN,这是广泛应用于人脸识别、物体识别等场合。近年来,成功的卷积神经网络在图像识别中的应用得到了广泛的关注(图1)。常见的图像识别方法通常可以分为以下三种类型:决策理论识别、句法模式识别、模糊模式识别。其中,句法模式识别的主要特点是使用一些结构特点形成一个公认的对象,它可以准确地描述图像的特征。假设一幅由直线,曲线,折线,根据具体约定等,然后,它通常是结合统计决策在数理统计的知识来重建二级空间来实现图像识别的目的。常用的方法包括类似的判断方法,分析方法相似,和函数分类方法。其中,模糊模式识别的过程主要是通过培训来模仿识别人类的大脑,这不仅可以获得更准确的客观事物,而且可以提高分类识别模块的简单性。因此,它也是一个方法,上述两种识别方法(16- - - - - -20.]。
LeNet是一个更传统的卷积神经网络模型只有五层的深度。等学者亚历克斯Krizevsky提出2012年一系列的看法。他们认为,尽管当前的卷积神经网络技术可以胜任一些数据集(如MNIST等),这些数据集的类别。因此,他们更倾向于使用其他训练数据集训练模型,如ImageNet,实现卷积神经网络模型的训练,因此,它有一个更强的深度和广度。CNN的进一步发展,为了提高神经网络的性能,学者往往实现这一目标通过增加模型的层数和每层的神经元数量(21- - - - - -25]。然而,在这种方法中,为了避免过度拟合现象的模型,通常需要很多训练样本,这将导致模型参数大大增加。因此,为了解决这些问题,GoogLeNet使用初始模块。它的主要原理是控制的繁琐程度计算模型训练,它巧妙地克服了梯度反向传输失败的问题。安德鲁计算机科学家和学者卡伦在英国牛津大学的发展另一款(深nenral网络)模型:VGGNet。他们用卷积过滤器与一个3×3接受域不同模型的输出。之间的性能差异比较分析后,卷积神经网络和网络系统深度研究。开明他等人提出了ResNet模型和2015年赢得了ILSVRC冠军。开明,他相信训练网络参数的难度随着网络的深度增加而延长。一旦模型深度指标超过一定值时,梯度爆炸和梯度消失会发生的问题,和网络深度的程度呈正相关,但准确率降低。 Therefore, to solve this problem, they studied a new method, which includes adding connections between nonadjacent layers, skipping some layers in the network, changing the original stacking (plain network) form of the traditional network, join the identity mapping layer, and so on [26- - - - - -30.]。现有的卷积神经网络模型不断地改变模型的深度和宽度,同时,他们不断优化模型体系结构,所以其性能明显改善。在图像识别任务,因为目前表现最好的卷积神经网络,对多个图像数据集的分类性能(例如,ImageNet数据集)一直与人类的能力。因此,在此基础上,辛顿提出了一个胶囊网络2017年10月。它使用神经元向量来取代传统的单一神经元节点常用卷积神经网络。与传统的识别方法相比,深度学习算法模块添加在图像处理领域具有以下优点:算法本身可以独立完成大数据的分析和提取功能,而不需要人力来完成这乏味的任务。分类和识别和特征提取工作可以协调控制算法的运行耗材(31日- - - - - -33]。
2。模型建立
旋转飞行物体,运动的状态一般包括位置、飞行速度和旋转速度。本文的三维位置乒乓球可以直接由外部视觉定位系统,所以它的运动状态具体指的是飞行速度和旋转速度,和运动状态空间专门指的是空间组成的飞行速度状态空间和高转速状态空间。运动状态估计指的是使用基于模型的物理方法或nonmodel纯粹的数学方法来解决一个旋转飞行物体的运动状态基于轨迹位置时间序列的观测信息;轨迹预测是将运动估计的初始运动状态。该模型预测的运动状态对象在一段时间内飞行。轨迹的预测价值之间的距离和观测值的实际轨迹是一个直接的标准来衡量运动状态估计和轨迹预测的准确性。不难看到,估计的关键状态的运动和轨迹预测在于旋转飞行运动建模的准确性。标记点的变化表面的乒乓球旋转如图2。
旋转飞行物体的典型例子,乒乓球球质量小,速度快,有高速旋转。轨迹很容易受到旋转和偏移量的影响。因此,本文使用乒乓球旋转飞行运动模型,运动状态估计,轨迹预测。当旋转乒乓球飞行在空中,它主要受重力的影响,空气浮力,空气阻力和马格努斯效应。空气浮力太小而其他三股势力,基本可以忽略。根据空气动力学,当一个乒乓球是在空中飞,它将空气和摩擦产生空气阻力。它的大小正比于球的飞行速度的平方,和飞行速度的方向是相反的。影响飞行速度和旋转速度的结合,表面的相对速度的乒乓球不相符的空气。根据流体力学,空气的压力两边的乒乓球不一样,导致了马格努斯效应。理想情况下,马格努斯效应成正比外积的飞行速度和旋转速度。 The comprehensive force of a rotating table tennis ball is nonlinearly related to the motion state, and the motion model is the double integral action of the comprehensive force in time, so the motion model has off-order nonlinear characteristics. This brings great challenges to the motion modeling, model parameter identification, motion state estimation, and trajectory prediction of rotating table tennis.
一些现有方法不使用运动模型基于受力分析,而是直接使用纯多项式拟合等数学方法和局部线性回归BP神经网络以适应时间序列的初始轨迹棋子的位置,球和乒乓球击球点的位置和运动状态之间的映射关系。这种类型的方法不使用运动模型的约束信息,只能适应一种小的轨迹基本上没有旋转速度和飞行速度在一个特定的范围内,和预测精度不能满足伺服要求乒乓球机器人的全状态空间。一些基于受力分析建立了运动模型但忽略旋转的影响。然后,通过构造一个扩展卡尔曼滤波器过滤轨迹的实时观测位置时间序列,最小二乘估计的运动状态。虽然运动的约束信息模型估算运动状态时,运动模型只能适应不旋转的情况或低速旋转的乒乓球,和运动状态估计和轨迹预测的准确性会降低随着乒乓球的速度增加。最好的现有方法提出了一种运动模型,该模型充分考虑了影响旋转,旋转速度的计算方法根据约束关系的飞行速度和旋转速度运动模型。虽然这种类型的运动模型的方法有效地使用约束信息估计的旋转速度,一个二阶多项式来适应和推导出轨迹位置时间序列的观测信息在三维空间中采用获得两个相邻乒乓球球。事实上,当转速高,运动轨迹是在三维空间中相互耦合。它是不准确的把它们作为独立的运动,相互不影响,分别适应轨迹,并通过离散迭代预测轨迹运动模型将引入一个分界点。因此,这种类型的方法不能有效地应用于乒乓球球具有高转速。 The coordinate system is shown in Figure3。
2.1。乒乓球捕获系统
乒乓球捕获系统提出了主要由三部分组成:(我)提取轨迹坐标的乒乓球。在分析了圆形、高速运动,和小尺寸的目标对象和比较多种图像处理方法同时,我们选择使用圆检测方法来识别目标对象的轨迹坐标。的圆检测系统实现了脚腕圆变换算法。脚腕圆函数主要用于获取圆的中心坐标。为了获得更精确的轨迹坐标,这个系统设定的函数参数是HoughCircles (src、圆HOUGH_GRADIENT, 1.5, 150年,130年,30岁,1,10)。(2)背景噪音减少目标轨迹。在获得最初的目标轨迹的协调样品,使用RANSAC算法降噪数据。因为乒乓球的轨迹符合运动力学定律,建立了综合轨迹模型通过机械乒乓球的轨迹的分析,结合已知的样本轨迹。RANSAC算法减少获得图像的噪声轨迹坐标。执行以上操作几次迭代得到更精确的轨迹数据。(3)建立数学模型的轨道参数。
2.2。建立参考坐标系
通过数据检索,得到的尺寸参数标准乒乓球案:表2.74米长,1.525米宽,从地面高76厘米,高15.25厘米的网。把乒乓球表的左上角为原点,根据相机的位置,我们建立如下坐标系统(厘米):乒乓球的四个顶点的坐标表:
相机坐标
地板的平面坐标:
乒乓球的平面坐标的例子:
中心的直线坐标线:
2.2.1。乒乓球的实时轨迹坐标
我们首先将捕获降噪后获得的像素坐标转换为世界坐标。根据公式,过程如下:
建立从世界坐标转换矩阵的图像坐标:
然后,
根据已建立的坐标系,转换矩阵P是得到相关参数。通过像素坐标转换矩阵,顺序导入MATLAB数据转换成世界坐标,和实时轨迹坐标的乒乓球。流图如图4。
2.2.2。乒乓球在空中的轨迹模型
根据乒乓球的力量,通过物理分析,乒乓球在空中的轨迹方程可以得到如下所示,在水平方向上:
在垂直方向:
初始速度的组件上的乒乓球XY和Z坐标轴。
2.2.3。乒乓球运动轨迹方程的拟合
在MATLAB中,根据上面的乒乓球在空中的轨迹方程,采用最小二乘法来适应乒乓球轨迹。沿三个方向X,Y,Z分别根据轨迹方程(公式)适合的初始速度分量坐标轴上的乒乓球被认为是一个未知号码,和乒乓球在这个方向的轨迹。结合三个方向的预测轨迹,预测轨迹的乒乓球在太空可以获得。
2.3。判断反弹的乒乓球和表之间的碰撞
如果乒乓球碰撞球例运动期间,拟合预测将根据新的轨迹后反弹。目前,反弹的速度是一个新的变量,也就是说,如果乒乓球满足的观测数据 然后删除之前的数据和基于新的数据进行拟合。乒乓球的位置的预测:预测乒乓球的位置预测轨迹和地平面的交点。在上述坐标系统,的价值x和y当z= -76。
2.4。模型检测和预测精度
本文上述模型,进行了很多实验,实验结果如下:(我)通过实验,我们发现这个系统运行的更快,实时性能,并具有一定的预测能力;它可以更好地获取、提取和转换数据,所以它有更好的性能。良好的记录和实时监控功能。(2)数据的准确性,这个系统的预测结果和实际着陆误差在合理范围内。通过分析错误在所有有效的实验中,我们可以认为的置信区间预测误差在±2厘米是0.99。因此,该系统具有较强的实用性。
在分析之后,乒乓球捕获系统可以投入实际使用,但仍有一定的误差。错误的原因是乒乓球小目标和运动速度快的特点。高速摄像机的拍摄下,某些目标样本扭曲而造成的损失一些轨迹坐标;很难完全过滤乒乓球图像识别的背景噪音;由于环境因素,在使用乒乓球捕捉系统之前,应该调整相应参数的数学模型;否则,它将是一个大的错误发生。样品比较图5。
3所示。模拟
上述内容已完成运动轨迹参数的估计和球的旋转参数的估计乒乓球运动模型和摄像机的工作模型。为了验证算法是否合理,能够满足实际的乒乓球运动参数估计需求,本节建立的形象。采集系统平台使用两个摄像头分别收集乒乓球运动信息图像和旋转图像和两组执行离线处理和分析图像,获得实际的测量值可以使用矩阵算法,并调整仿真算法参数处理和分析来验证算法的正确性。
图像采集系统的原理图。系统使用一个外部视觉处理器连接两个摄像头和电脑上电脑。两个摄像头被安排在非平行排列。视觉处理器是cvs - 1456。两个摄像头连接到视觉处理器通过IEEE1394 CVS1456电缆,分别和视觉处理器连接到PC上电脑双绞网线。相机的视场1是整个乒乓球桌,以便收集乒乓球的整个轨迹信息,和相机的视场2是乒乓球的轨迹,下半年主要是提取图像的表面信息,这是由图像采集程序。图像采集时间和图像采集频率的两个摄像头,图像获得的两个摄像头通过CVS保存到电脑。拟合曲线图如图6。
在视觉图像采集系统的核心处理器cvs - 1456,这是一个紧凑的视觉处理系统。视觉处理器是一个简单的使用和分布式实时图像处理系统。实时图像处理系统是嵌入到CVS中。实时高速图像采集和处理,可以获得,过程,从IEEE1394相机显示图像,符合IIDC1394数码相机规格。各种各样的数字输入/输出端口也在CVS提供与外部设备通信。cvs - 1456是通过以太网连接到电脑,可以显示测量结果和状态信息,它还可以执行系统和网络设置在视觉上的处理器。视觉处理器cvs - 1456有2000×2000图像分辨率,1623 Mbps的处理速度,和256 MB的闪存,可以存储大量的图像数据以满足图像处理的需要。
有3 IEEE1394a cvs - 1456面板上的接口连接到相机。目前有超过80个IEEE1394相机可供选择,和三IEEE1394相机可以连接在同一时间。IEEE 1394总线提供的带宽是一个固定的数额,这是共享的端口连接到相机。每个端口提供的带宽取决于所需的带宽由每个相机。高帧率和大型图像需要更高的数据传输。需要更多的带宽。
图像数据传输接口,通信模块和图像处理模块集成CVS1456。有多个输入和输出终端,它可以输出或接收触发信号来控制相机连接到处理器的工作,实现多个摄像头的操作,同步控制。上有两个触发信号端口面板。独立的信号输入端口可以连接到外部设备,如传感器或启动/停止按钮,和TTL信号输出端口是用于发送信号来触发外部设备,如摄像头或照明设备。因此,视觉处理器的使用消除了需要一个独立的处理单元,它能加速图像采集速度和节省时间和成本。
其中,相机1是用于收集位置信息的乒乓球,和低分辨率能够满足需求,和照相机2主要用于收集信息的标记点表面的乒乓球,所以选择了更高的分辨率。两个摄像头连接到视觉处理器,采样频率为100赫兹,和同步触发采集的软件,和一组球体中心位置图像和标记点信息的一组图像,分别。两款相机有以下特点:(1)全部采用CMOS传感器具有较高的灵敏度和较短的曝光时间与CCD传感器相比,这有利于实现高速图像采集。(2)它有三个触发模式:免费模式,软件,硬件触发,可以实现连续采集和触发收购。(3)数据传输接口是一个标准的IEEE1394接口,可实现即插即用。(4)支持多分辨率图像采集,支持自定义图像采集窗口,加速图像采集速度。
在仿真系统中,两个摄像头的位置和姿态是已知的,但在实践中,只有工作时相机的位置是固定的。在构建系统时,你需要调整摄像机的位置和姿态根据实际表和球的轨迹。满足需求,这些构成参数估计的基础的轨迹参数和旋转参数乒乓球球。然而,如果这些构成参数获得的直接测量方法,有很大的错误。因此,根据摄像机成像的规定,一些特征点与已知的坐标值的空间是用来对应于图像的坐标点相机传感器的表面。两者之间的对应关系可以计算相机的位置和姿态参数。这种方法比直接测量更准确、更方便。它被称为摄像机标定。
相机标定主要是分为三个类别:传统标定方法,相机自校准方法,和基于主动视觉的摄像机标定方法。传统的标定方法使用对象或标定对象的引用与已知几何信息和位置信息,选择对象或标定对象的引用上的特征点,并计算出相机的姿态参数根据特征点之间的对应关系和图像点。操作简单,精度容易保证。预测结果如图7。
相机自校准方法不需要点的空间三维信息,并使用相机的运动约束关系或者场景约束关系来计算相机的姿态参数。该方法灵活应用和主要用于摄像机在线标定和实时标定。
基于主动视觉的标定方法是控制摄像机进行简单的线性运动与已知的运动信息和线性解决其内部参数基于图像信息通过移动相机,没有参考对象或校准的对象,特点是算法简单、鲁棒性。它是非常健壮的,但这种方法需要一个高精度视觉系统平台,该系统复杂,成本高。
系统建立在本文主要执行在线图像采集,离线数据处理和分析。采用参数估计方法使它不必要的校准两个摄像头。因此,两个摄像头可以单独校准,因为不需要进行在线参数估计,在图像采集的过程中,没有要求实时的摄像机标定。我们只需要适当调整相机的位置和姿态,以确保每个相机的视角范围。因此,比较各种方法的优点和缺点,我们建立了图像采集系统的特点,我们选择传统的标定方法校准的援助对象。
通过图像采集系统,得到两组图片,一个是乒乓球的全景图像的轨迹信息收集的相机1的表面信息,另一个是乒乓球被照相机2标记点的位置。乒乓球的形象上的传感器是一个圆。获得乒乓球的中心的位置更准确地说,圆的球是成像传感器必须被分离,然后必须计算球体的中心。因此,对于全景相机1收集的信息,我们需要获得的图像坐标的中心通过图像处理领域。因为乒乓球的规模很小,其成像传感器也小,表面的标记点信息不容易分离的图像。因此,在离线图像处理,这个过程可以简化为直接从图像。从图像中提取的位置标记和阅读它的位置信息。轮廓图所示8。
边缘是图像中对象的最基本特征,它包含重要的信息检测的目标。特别是在复杂的背景,只有边缘的对象可以很容易地区别于背景,和无关的信息可以被消除。减少的数据量,这是最基本的和最通用的应用程序在机器视觉、图像处理等领域。边缘地区,反映重要属性的变化。这些变化包括亮度、纹理、颜色、图像的几何属性和其他方面。图像处理的浓度表示为图像灰度的变化。可以使用图像灰度梯度函数。精明的经营者是使用最广泛的算法边缘检测的方向。它使用高斯函数来平滑图像和计算点与当地最大的一阶微分的梯度幅值。预测结果如图9,不同的情况下比较图10。
4所示。结论
针对问题,如乒乓球轨迹预测和旋转参数估计,本文采用参数估计方法,有别于传统的状态估计方法,也就是说,不需要三维重建,和所需的3 d信息估计只有基于2 d图像信息被相机。三维信息是根据估计的参数值计算。本文还设计了计算方法的标记点的三维坐标的值根据空间几何关系和每个标记点的约束关系,减少计算误差的影响估计的旋转参数的实时更新方法标记点位置。
总结了本文的研究内容和结果如下:(1)整体构造模拟环境,包括乒乓球的数学模型和视觉采集系统。(2)基于扩展卡尔曼滤波和无味卡尔曼滤波,乒乓球轨迹参数估计方法是派生的,估计效果比较,每个参数的选择对估算结果进行了分析和比较。基于轨迹预测的结果,一个标记点的计算算法和实时更新。此外,乒乓球旋转参数的估算方法推导出基于无味卡尔曼滤波器。结合轨迹预测部分和旋转参数估计部分,构成一个完整的运动估计算法。(3)建立一个实验验证平台,实验结果验证了该算法的有效性。
数据可用性
∗可以访问的数据集。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是支持的项目来源:河南科技科技项目,项目名称:评估基于视觉的太极拳动作的变压器,部门没有。222102320016。