文摘
针对智能网球线检测的需求,本文对智能识别执行系统分析网球线检查。这时,一个网球线提出了基于机器视觉的识别方法。摘要颜色区域的图像识别区域分为基于区域增长,和法院的粗略估计边界实现。为了实现摄像机标定的影响,快速相机标定方法可用于多种类型的法院提出。相机标定的基础上,一个网球线检查和基于机器视觉的分割系统分析构造,和实验结果验证了设计实验。结果表明,机器视觉分析智能分割系统的网球线检查具有识别精度高,能够满足网球线的实际需要考试。
1。介绍
网球,最热门的球类运动之一,赢得了世界各地的许多球迷的关注。为了确保网球比赛的公平性,第三方评估者被要求参与游戏的评价,被称为行审核。在网球比赛,苍蝇非常快,所以球是否越限的时刻它击中地面需要科学的评价。传统的线检查是通过肉眼来判断,这是有争议的。“鹰眼”技术的出现进一步提高了网球线考试的公平性。目前,鹰眼系统大多是“即时回放”系统;如有争议,由申请判断回放,鹰眼提前覆盖。因此,不是所有的情况下都能挑战新的评估的形式,所以当前网球线检查的准确性和及时性需要进一步改进(1]。
目前,机器视觉的应用在体育视频分析,主要是足球和篮球。在足球和篮球,匹配支持已经成熟了。尽管网球视频分析的热不是与足球和篮球,它的环境更为复杂,需要更高质量的机器视觉识别。目前,体育视频的视觉识别的要求主要体现在以上方面,视觉,文本,和听力(2]。网球,网球视频的时间检测主要从视觉信息,如镜头类型分析,检测和跟踪的球员和法院。网球比赛是受到法院的影响,角度,和其他复杂因素,导致球的判断结果着陆界外。因此,高质量的机器视觉识别方法需要视频和图像分析,消除复杂背景干扰,提高网球线检查的准确性(3]。
基于以上的需求分析,提出了基于机器视觉的图像处理技术。本文结合网球线的实际需要审查,网球线的设计审查机器视觉辅助系统及其影响进行了分析。本文进一步提高了识别精度的网球线审查通过视觉和算法改进,这对网球线的发展有一定的影响。
2。机器视觉算法模型的建设
2.1。模型推导
这是不可避免的,具有相同的颜色的对象法院将出现在网球比赛的视频帧。因此,有必要移除这些noncourt因素检测法院兑现。本文介绍了局部熵作为纹理特征,随机变量的不确定性是由熵定量处理。在图像处理中,熵可以用来衡量图像同质性,这是表示如下(4]:
倪代表像素灰度值,N表示像素的灰度值,和π表示灰度值的概率。主要颜色滤波算法由图像局部熵及其流可以表示为图所示的结果1。过滤后的主要颜色,一个颜色过滤器,这是表示为一个二进制图像在计算机。在图像,对应的值为1的像素的视频帧被标记为主要颜色;否则,非惯用的颜色。之后,可以计算视频帧的局部熵和处理,局部熵的图像进行二值化处理是通过自适应阈值,优化过滤是通过融合处理,和主要颜色检测实现的滤波器(5]。
上述主要颜色滤波算法的基础上,构造法院分割系统的框架图,如图2。摄像机标定的主要颜色滤波算法,法院副业AOC准确分割基于分割算法(6]。
2.2。校准
摄像机标定过程主要包括三个步骤:法院副业的检测,分析法院类型和最佳的单应性矩阵的解决方案。模型结合法院副业检测获得的四个基准校准点的相机。摘要网球副业。在实际的识别,只有法院的一部分区域实时将确定在特定的时间。因此,可以减少算法复杂度降低最优参数空间的单位矩阵解决阶段(7]。AOC网球场分割基于主要使用相机校正的结果来计算比例的法院法院模型中的部分区域和项目地区进入图像通过单应性矩阵,最终得到准确的分割结果。接下来,我们分析过程的算法(8]。
针孔照相机的工作原理如下:距离和所发射的光线投射到图像平面通过摄像机针孔。如果相机的焦距 ,摄像机和物体之间的距离 ,任何时候可以表示为对象的 ,和在图像平面对应点 ;然后[9),
通过交换针孔和图像平面(2)可以表示为另一个数学表达式(10]:
的原因缺乏左边符号方程(3)是目标图像不是倒在针孔与图像平面。
理论上,图像的中心点是重点,这也是光轴和图像平面的交点。事实上,重点不是在光轴上。通过引入两个参数和和建模的位置偏移主要点相对于光轴,点之间的关系 和它的投影点 可以表示为(11]
在这里,焦距在水平和垂直方向上是不同的,因为成像像素计形状是矩形比的平方。
坐标变换的过程可以通过投影变换,实现和相机的成像过程本身是投影变换。这一点在现实世界转化为相应的摄像机图像的坐标通过摄像头,可以用数学形式表示的。它可以实现一个单应性矩阵。通过DLT(直接线性变换)算法,可以有效地解决单应性矩阵,当足够的对应坐标点。在网球比赛中,转换关系的总和边界点的法院可以表示为12]
在这里,是一个不变的非零向量 , 可以表示为 , ,在这项研究中,是一个33矩阵。因此,如果我们能找到四分 在真实的法院和相应的4分 在图片中,我们可以解决单应性矩阵(13]:
因此,单应性矩阵可以得到。
存储过程中的高尔夫球场模型,需要存储的位置法院边界线,这通常是意识到配置文件的方式存储。本文中存储的配置文件格式的键值,主要包含三个属性,即网球场高度(字段),网球场宽度(字段),和网球领域。根据副业的位置,它可分为左边界(电场线)和右外野。这个设置,很容易搜索一些框架在一个集中的方式。在此基础上,法院可以进一步分为水平线和垂直线。每一行的边界模型所示标准格式:行= " (x1Y1),(x2Y2)”(14]。
在校准过程中,四行(两个)的水平线和垂直线都是选择从领域模型校准。为了避免重复计算校准点,垂直线应该排序从左到右,从上到下和水平线。对于法院的直线模型,您可以控制在配置文件中。行手动设置是按规划线秩序。它可以分类只有一次,而直线在图像可以根据这些线之间的距离进行排序和基准点,表示为 。设置参考点的中点左边界和上边界的关键的图像,如图3(15]。
表示为图像的水平线 ,和图像的垂直线表示为 。的横线与竖线表示为模型和 ,分别。线设置的下标据线的距离参考点。如果中央线的水平线条的存在, ,如图4(16]。
当解决最优单应性矩阵,它主要实现了处理所有线组合。具体地说,两个水平线是随机获得的图像集,表示为和 ,分别和两个水平线是随机从网球场建立模型和返回,分别表示为和 , 。使用相同的方法来获取两点从网球场形象和网球场模型,结合图像是通过两个和两个的十字路口,和四个路口点计算,如以下公式所示(17]:
图像分为左右法院模式空间减少,但总体参数的大小仍然很大;如果算法检测到多个直线,这将导致数据量的快速增长,导致数据计算时间长,并找到模型参数的结果更耗时的;,算法的实际应用是不好的,显然不能满足网球比赛的及时需求;为了提高网球线的效率审查,需要进一步的改进(18]。
当模型中的参数有很多,很难找到最优的解决方案。因此,本文使用的方法而不是寻求H矩阵和其他后续操作来提高求解的效率最优的解决方案。两个修剪方法介绍了系统降低时间复杂度和消除系统计算过程中明显的错误。
修剪的第一个方法是估计的高度法院通过两个图像水平线和相应的水平线在相应的模型。如果两幅图像的实际高度太远,他们将被直接丢弃,竖线将以相同的方式操作。通过修剪方法,分数单应性矩阵的计算解决方案可以有效地避免,和可以减少计算量19]。
另一个修剪方法是让单应性矩阵的计算系统的校准设置。单应性矩阵本身估计。显然是不可能获得最优解的值被丢弃的单应性矩阵。虽然这个过程是伴随着单应性矩阵的计算,计算过程是快。在图像处理的过程中,有必要以反映高尔夫球场模型的相应的图像模型。一一对应的映射过程,所以在这个过程中有一个特定的时间损失。
有八个自由度的单应性矩阵,这是相机的内部参数3、相机旋转3、翻译参数1,焦距参数1。其余的参数与不同的方向扩展;也就是说,水平和垂直方向显示不同的缩放比例缩放过程中。相机成像过程可以表示为(20.]
在这里,焦距用 。事实上,各向异性比例可以忽略在现实世界中,如此可以设置为1,这是修剪的基本条件之一。
2.3。网球场正是分裂
本文模型的目的是准确划分的法院网球线的需求评审,过程将法院由一个矩阵,主要由两部分组成,即法定产地AOC计算和反向投影。一同被定义为相机捕捉到的面积。在网球中,相机不是在整个拍摄过程。为了提高法院的识别效果,当地一般以高清晰度录像拍摄,提高线效果检查。因此,无论通过计算的精确划分的边界可以实现。AOC的计算过程包括四个主要步骤,即坐标映射,AOC形状边界识别领域,协调检测和一代。坐标映射到一个模型图像结果在标准的球场边界形状模型投影后,由于不同的相机角度,或产生两种类型的多边形形状,如图5(21]。
顶部视角下的投影点表示为 ,和最高法院的顶部视角下表示为 。 ,连接的顶点,形成一个凸多边形或自交叉多边形。的两种情况分别确定。如果结果是一个凸多边形,用于表示多边形之间的重合区域和法院;否则,用于表示多边形之间的重合区域延伸线和法院。
为了解决问题 ,我们需要计算三个点集。首先,我们计算投影多边形 和法院边界的交点。第二,网球场顶点 多边形区域的搜索,然后搜索网球场的四个顶点。这些点的重排是AOC的生成过程完成。每两个相邻的顶点形成一个多边形的边缘。在这两种情况下,可以表示为点集 和 ,分别。
AOC反向投影后进行饲养,这是最后一步的操作模式,和单一矩阵结果预计回模型形象,导致更准确的反向投影的结果,从而获得领域边界分布结果。
3所示。图像处理
尽管图像是灰色的、过滤、threshold-segmented,仍有一些图像中的小颗粒和轮廓不清楚。因此,有必要来处理图像形态。图像形态学主要从二进制图像消除了不必要的信息,加强了所需的信息。形态学处理主要分为像素形态学处理和区域形态学处理。它可以从有像素的阈值分割后的图像中目标的轮廓应该目标但分为背景点。同时,有像素应该背景但分为目标。因此,应该进行形态学处理这些错误地判断了像素。图像与图像的形态学滤波算子。是替换原来的像素具有一定形状的结构元素和像素域,然后研究图像的特征信息。形态学的基本治疗治疗是腐蚀和膨胀,和另一种形式的形态学处理是基于腐蚀和膨胀。
3.1。腐蚀
腐蚀是将腐蚀元素从上到下从左到顶部和在图像答:只有当它是一样的结构元素将被保留,并将不同的地方将被删除。二进制图像的腐蚀和结构元素B可以表示如下。
是结构元素,一个是原始图像。灰度图像的腐蚀可以由以下公式表示:
腐蚀主要用于消除图像中的孤立像素亮度高,可以优化目标的轮廓。结果,高亮度区域的图像变得越来越黑暗的亮度区域扩大。
3.2。扩张
与扩张和侵蚀,当遍历所有像素在图像,只要交点与结构元素不是空集,二进制图像扩张可以由以下公式表示:
图像的膨胀可以填补漏洞和空白,也可以扩大图像的轮廓。对于灰度图像,它可以扩大亮度区和缩小暗亮度区。
3.3。洞填满
孔填充的算法是基于扩张,补充和十字路口。孔填充的主要过程是种子背景像素的图像边界。根据8-connected的原则,前景1用于填充背景外的粒子,然后图像填充背景逆转获得前景颜色所代表的洞的形象l。填充可以通过添加完成的洞孔图像由前景颜色表示l和原始的二进制图像。它可以表示如下:
3.4。形态学处理的颗粒
粒子是指该地区组成的非零或高灰色图像中像素相互连接。粒子形态处理包括颗粒分离、图像标签,粒子区域划分,粒子滤波。本文的图像是由两个值过滤,即粒子大小和粒子。用户可以选择过滤标准根据不同的需求。本文不属预定目标的图像中粒子被根据粒子区域。
图像的边缘是指图像中像素与突变,可以连接到形成图像的轮廓。边缘检测可以完成一个或两个衍生品。主要检测算法梯度检测,罗伯特•检测Sobel检测、普瑞维特检测和精明的检测。
3.4.1。梯度检测
梯度算子计算通过计算偏导数 和 每个像素的图像。对于偏导数,它可以近似表示为
然后,梯度算子可以表示如下:
3.4.2。罗伯茨运营商
罗伯特交叉算子可以提取边缘对角线方向。假设有一个区域的大小 ,的元素是 ,和操作员可以表示如下:
罗伯特算子用于提取图像轮廓。与梯度算子相比,提取,边缘和轮廓提取是连续的。虽然它看起来有点不连续的图,放大后它是一个连续的边界。
3.4.3。普瑞维特运营商
从罗伯特·普瑞维特运营商提高运营商。普瑞维特运营商考虑的财产中心点结束数据和有更多关于边缘方向的信息。一个地区的 大小,元素 。普瑞维特操作符可以用来表示如下:
3.5。精明的经营者
精明的经营者是最优秀的经营者在探测器的基本优势。首先,精明的算子方法消除图像与高斯滤波器。让 代表了高斯函数和代表输入图像;然后平滑输入图像可以表示为
第二步是计算图像的梯度值和角度:
第三步是对梯度幅值进行nonmaximum抑制图像的水平角和比较和垂直的角度找到最接近的角度方向的图像。如果振幅至少小于一个最接近的两个邻国角方向, (抑制) ,以获得图像nonmaximum镇压之后,也就是说, 。
最后一步是使用双阈值处理和连接分析检测和连接边缘。低阈值的处理和高阈值可以被看作是新增的两个图片如下:
起初,两幅图像的像素值设置为零。阈值处理后,高阈值图像中的非零像素被减去低阈值图像从高阈值图像,和强大的像素高阈值图像将被标记为边缘像素。
在精明的经营者,我们可以改变的价值O、低阈值、高阈值,和窗口大小来实现轮廓提取的目的。精明的经营者可以提取轮廓,但这需要更多的时间。
3.6。通过形态学处理提取轮廓
形态轮廓提取是基于腐蚀的发展扩张,和有两个主要的提取方法:内梯度边界和外部梯度边界。如果一个用于表示原始图像,B结构元素,是图像的边界,然后内外梯度边界可以表示如下:
从公式可以看出,内梯度边界第一蚀刻的形象一个与结构元素B,然后边界可以减去腐蚀图像的图像一个。外部梯度是扩大图像的提取一个与结构化元素B第一,然后减去形象一个从扩大图像获取外梯度边界。不同的结构元素的选择可以达到不同的效果。结构元素越大,厚的边界。
与这六个方法相比,梯度算子,Sobel算子,和普瑞维特运营商可以提取轮廓,但轮廓不是连续的,并且需要进一步的处理。罗伯茨运营商、精明的经营者和形态提取完全可以提取目标的轮廓。尽管精明的操作员是最好的,但它消耗更多的时间和增加了机器视觉系统的处理时间。罗伯茨运营商还可以提取轮廓,但轮廓提取有扩张效应,这将导致未来测量误差;的轮廓和形态可以提出目标,所以本文选择轮廓提取的形态。
4所示。模型建设
基于检测和图像处理的前端网球场、行审查网球场的需求分析和系统原型设计。在本文主要设计构成的系统三层结构,应用程序层、数据访问层和数据连接层。的层次结构系统的整体设计如图6:(1)应用程序层的申请过程是体育视频运动目标检测和跟踪系统。主要数据时使用的用户访问体育视频管理模块、视频采集管理模块,目标探测管理模块和目标跟踪管理模块。(2)数据访问层是系统中访问数据的过程。体育视频运动目标检测和跟踪系统使用目标跟踪和目标检测算法来访问数据库中的数据。(3)数据连接层用于存储系统中的数据信息,如视频信息、用户信息、视频检测信息和视频跟踪信息。系统的功能结构如图7。
目标探测管理功能是检测和分析目标在运动视频采集,可以用作训练的分析数据。这个函数是视频分析用户的主要执行人。这个函数主要包括四个功能:目标检测、目标模型建立、目标模型更新和检测结果显示。目标探测图如图8。首先,视频分析经理进入视频目标检测与他的用户名和密码管理模块,然后提交视频目标检测的要求。检测完成后,显示检测结果。
5。实验分析
为了验证模型的有效性,本文收集了从网络视频设计实验的网球比赛,选择多组视频图像帧的测试集,并比较该算法与直方图法和混合高斯模型。这些图像帧被测试集图像比较最终的识别结果。首先,原色的提取效果进行了分析。不同的原色的准确性测试结果见表1和图9。从测试结果可以发现,本文构建的模型有显著影响;本文的分析是,系统将不断更新操作的参数表,过滤掉一些颜色的干扰。
接下来,把领域模型的面积来确定网球不在分裂限制区域。以每个选定的视频帧为测试集,法院和主要颜色区域通过AOC的方法识别方法进行了研究。当网球决定,因为所有的视频帧被撞击的结果,识别结果与实际结果相比可以为了得到识别精度。
扩大试验后,确定是否网球的降落时刻的边界是AOC的基础上评判方法和主要颜色区域的方法,分别,结果如表所示2和图10。
从上面的图像分割结果,基于主颜色识别方法地区属于一个粗略的识别算法。网球比赛,法庭的环境更为复杂,因此很难得到更准确的识别结果只有通过这个方法。AOC识别算法基于更准确,并识别结果可以有效地提高校准相机满足网球线的实际需要。
6。结论
分析传统网球线检查的准确性,提出了一种智能识别模型的网球线AOC审查基于机器视觉算法的支持和验证模型的性能。坐标变换的过程可以通过投影变换,实现和相机的成像过程本身是投影变换。这一点在现实世界转化为相应的相机图像的相机的坐标。这个过程可以用数学形式表达,实现了一个单应性矩阵。本文所设计的模型可准确地细分的副业网球场根据网球线检查的需要。过程通过单应性矩阵,把课程包括两个部分:AOC AOC计算和投影。本文构造模型的性能分析表明,AOC识别算法基于更准确。通过校准相机,可以有效提高识别结果满足网球线的实际需要。
本文只进行系统性能验证通过理论研究和少量的图像的实验,所以有必要进一步扩大研究和实践,而且,在后续的研究中,有必要验证系统结合实际比赛。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由哈尔滨师范大学和哈尔滨金融大学。