文摘
移动目标检测是许多工程项目参与,但它是困难的,因为强大的时变速度和不确定的道路。目标识别的关键技术是篮球自动测试目标。同时,准确和及时的判断篮球目标具有重要的实用价值。因此,一个篮球的目标识别方法基于一种改进的轻量级深度学习网络模型(L-MobileNet)提出。首先,篮子检测是由脚腕圆变换算法。然后,为了进一步提高篮球的检测速度的目标,基于轻量级MobileNet网络,提出了一种改进的轻量级的网络(L-MobileNet)。首先,深深分离卷积、通道压缩和块卷积减少模块的参数和计算复杂度。同时,因为块卷积会阻碍之间的信息交换渠道特点,介绍了一种改进渠道洗牌方法,IShuffle,。然后,结合残余结构,以提高网络的泛化能力,RLDWS模块构造。最后,构造一个更轻量级的网络L-MobileNet利用RLDWS模块。 The experimental results show that the proposed method can effectively realize the judgment of basketball goals, and the judgment accuracy is improved by 8.35%. At the same time, the amount of parameters and computation is only 29.7% and 53.2% of the original, and it also has certain advantages compared with other lightweight networks.
1。介绍
NBA(国家篮球协会)和CBA(中国篮球协会)在当前流行的体育球类运动。通过对NBA和CBA的理解,发现他们使用人工和智能设备实现时间和得分。人工和智能设备相结合的方法,用于实现时间和得分。有一个照相机在NBA的篮板,玩家将自动拍照下篮子或上篮。篮球从篮子里时,它将联系网络,这将推动传感器。控制器将获得的目标信息,裁判将更新分数和时间。NBA和CBA之间的竞争主要是人力和辅以设备。
目前,体育教育专业考试包括特殊项目和补充项目。特殊项目和辅助物品应该在很短的时间内完成,有很多考试项目。因此,监视器的任务很重。然而,高考的公平和正义必须观察到每个考生和监考人。目前,许多地方仍在使用一些人工方法得分篮球考试,所以过多的工作量将会导致不公平。这个方法现在已经慢慢被一些智能设备所取代。如今,红外探测(1- - - - - -5是用在许多考试来判断篮球的目标。通过两个智能检测的红外探测方法和微动开关,尽管一些传统手工作业存在的问题得到有效解决,这两种方法也有一些缺点,如容易损坏,维护成本高。然后,找到一个更好的替代方法是目前迫切的研究工作。
随着图像处理技术的快速发展,移动物体的检测技术在视频被广泛应用6- - - - - -10]。同一时代的快速发展,越来越多的视频处理应用程序提出了要求。例如,定点射击测试是进行体育教育的大学入学考试。运动目标检测技术是一个特别视觉技术的重要分支。因为强大的移动目标检测技术的科学研究价值,研究人员已经投入很多精力去研究它,取得了很好的研究成果。
2。目标检测分析的基础上,深度学习网络
目前,基于深度学习的目标检测方法主要分为两类(11- - - - - -14]:两级检测框架和单级检测框架。两级检测框架主要检测任务分为两个阶段。首先,生成候选区域,然后,该地区退化利用深层网络模型和分类。这门课主要检测算法具有较高的检测精度,但检测速度慢。Girshick et al。15]提出的应用领域的RCNN和改进的目标检测算法的映射到53.3% 2012年帕斯卡VOC数据集(16),远优于传统的目标检测算法。然而,也有一些问题,如冗长乏味的训练步骤,检测速度慢,需要输入固定大小的图像。他等。17)提出了一个SPPNet算法来解决这个问题,必须输入固定大小的图像提取特征的CNN。这个算法的创新是一个空间金字塔池(SPP)层之间增加了卷积层和完全连接层。
单级检测框架可以分类和回归的目标图像的同时,不产生候选区域的操作。这类检测算法检测速度快,但检测精度通常不如两级检测算法。Redmon et al。18)提出了经典YOLO算法的意思。2016年,刘等人。19)提出了SSD算法。该算法的优点结合YOLO速度快和意思的RPN的精确定位20.),实现检测目标在不同尺度的影响。而YOLO,意思SSD算法可以预测更多的候选区域,检测效果更好,但缺点是速度较慢的比YOLO。意思轻量级网络模型MobileNet [21谷歌提出的)关注设备资源有限,例如移动或嵌入式设备,最大化分类精度。这个网络的主要创新在于深度方面的提案卷积(DWC)模块以减少参数和计算和分类精度和速度之间的有效的妥协通过使用两种宽度superparameters乘数和分辨率乘数。
因此,为了更好的解决这些问题容易损坏,成本高,在传统的定点拍摄设备和误判,本文提出了一个篮球基于图像分析的目标识别方法,并使用深度学习技术来解决上述问题。首先,现有的问题轻量级网络模型从理论上分析了MobileNet,并提出了改进的策略来解决这些问题,和RLDWS模块逐渐建立。然后,改进L-MobileNet模型是由使用此模块代替原来的深度分离卷积。最后,比较与其他轻量级网络进行进一步实验验证提出改善网络的合理性和有效性。
3所示。篮球的目标识别的基础上,改进MobileNet模型
3.1。检测的篮子
篮子的检测是原始彩色图像加工成一个灰度图像,灰度图像进行中值滤波、数学形态学处理,然后,脚腕圆变换算法(22)用于提取篮子。最后,提取的篮圈被添加到原始彩色图像,和篮子的位置和大小。脚腕圆变换的本质是改变图像的坐标和坐标变换的平面坐标参数,转换后的结果更容易识别和检测。圆的一般方程如下: 在哪里 圆的中心和吗是圆的半径。
当圆X- - - - - -Y飞机在图像空间转换成一个- - - - - -b-r参数空间,将形成一个三维锥相对应的参数空间圆包含(x,y)点。霍夫变换原理图所示1。圆的参数可以获得从检测角度,确定循环。圆的参数图像如图2。
3.2。MobileNet模型的问题分析
MobileNet有以下三个问题(23- - - - - -25]:(1)1×1卷积有大量的计算:通过推导计算和网络结构的参数,发现从的角度计算的层类型和参数主要集中在1×1逐点详述的卷积运算,在计算约占95%的整个网络和参数占75%,如表所示1。在深度分离卷积运算,计算量深度卷积和的计算量的逐点详述的卷积方程(2)和(3)所示,分别。 在哪里卷积核的大小, 是输入的大小的功能,输入特征的维数,的维数输出特性。可以看出,逐点详述的卷积的计算量呈正相关 ,和的值将与网络层的深入,逐渐增加导致的增加的比例计算的逐点详述的卷积操作。随后,这一问题主要是通过改善深度分离卷积结构改进。(2)低维数据崩溃造成的ReLU:当低维(n维)数据映射到高维随机矩阵(m维)的ReLU操作然后映射回这个维度的广义逆矩阵,将丢失一些信息,和m是越小,更多的信息将丢失。为了解决这个问题,在随后的模块设计,它被认为是使用米什激活函数(26,27),而不是ReLU特性映射后很少有渠道;否则,该信息将被摧毁。(3)没有重用功能:MobileNet是一个非常简单的圆筒形结构。在网络的训练过程模型中,如果一个卷积节点的体重变得0,节点的输出将为任何输入0。然而,ReLU操作为0的梯度值为0,那么该节点的值将不会恢复不管多少迭代,和剩余模块将被添加到改善。
3.3。改善MobileNet模型
针对问题1和2,为了最大化的使用包卷积,我们修改了改善通道shuffle (IShuffle),如图3。
首先,它仍然是统一重组不同群体的特点,但有一群重组特性是不同的,和这群特性通过合并,结合每个集团的重组功能。具体来说,假设输入的数量特征米是9和分数的数量是3。第一个六个功能仍然是相同的频道洗牌。剩下的三个功能是通过组间特性的融合这九频道。最后六功能通道拼接频道的这三个特征维度,和最终的输出特性。从图可以看出3后,均匀的复合特性,IShuffle融合功能组间提高群体之间的信息交换。
此外,因为ReLU容易崩溃数据在低维空间中,我们考虑改变ReLU非线性激活函数压缩后1×1米什卷积核的维度,和它的表达和图形如图4。
与ReLU相比,米什激活函数具有更好的平滑。当的值是负的,允许一个较小的梯度流,使信息更好的渗透网络,从而提高网络的精度和泛化能力,同时仍然无国界。
因为块卷积减少之间的信息流动渠道,修改后的IShuffle策略是随后补充道。最后,输出两部分的拼接来获得最终的输出特性。如图5模块,该模块被命名为“长春。”
长春模块主要由一个压缩层和扩展层。压缩系数 ,代表的比例降维压缩层,和它的计算见以下方程: 在哪里代表了长春模块和输入通道的数量代表压缩层的卷积核的数量。
长春的计算量模块显示在以下方程: 在哪里代表卷积核的数量1×1层和扩张代表卷积内核数量的深度分离卷积的扩展层。
长春模块的之间的比较计算量和深度分离卷积如下: 在哪里代表的包组逐点详述的卷积。可以看出,通过减少压缩因子在分组卷积增加数据包的数量,数量的参数和计算可以大大减少。在实验中,的价值是0.125。
针对问题3,RLDWS模块设计通过引入残余连接基于长春模块,如图6,蓝色和红色部分是LDWS1模块,和紫色的部分是一种改进的残余结构。ResNet出现之前,为了提高识别精度的神经网络模型,一个更深层次的网络通常由简单叠加层。然而,由于梯度的反向传播过程,更深层次的网络可能使浅层的参数无法被更新,和梯度消失,从而导致饱和甚至网络性能的下降。因此,剩余连接结构在ResNet提出。
使用RLDWS模块和长春模块取代一些DWS模块在MobileNet和增加RLDWS模块的数量,最后构造L-MobileNet结构,如表所示2,在那里年代的步长深卷积,c输出通道的数量,k是最终的数量分类。
L-MobileNet主要由一个标准卷积,五DWS模块和九RLDWS模块。像MobileNet L-MobileNet, 3×3的标准卷积操作是第一步,紧随其后的是五DWS模块。然后,剩下的八个DWS模块替换为改善RLDWS模块,和一个额外的RLDWS模块添加后RLDWS模块。最后,通过平均池和完整的连接层的7×7大小和multiclassification softmax,网络的输出。
4所示。实验和结果分析
4.1。制度建设
篮球的目标识别系统主要由硬件和软件环境。硬件环境主要为系统提供视频图像数据和运行环境,主要包括摄像机和电脑。软件主要过程的视频图像数据。相机的模型是M30A,帧速率是每秒60帧时,分辨率是640∗480。图像数据格式是YUV422。USB2.0数据传输协议。电脑的CPU(电子邮件保护)GHz, 8 g的内存,显卡是GTX 2060年代。操作系统是Windows 10(64位)和软件MATLAB 2019 b。
失败是用来测量模型的复杂性,特别是multiply-add的数量。这个指数的值越小,越少的数量计算所需的模型,也就是说,速度越快。
4.2。选择分组数量
失败可以大大减少使用块卷积操作。然而,失败并不会增加这一事实并不意味着速度变得更快。分组太多内存访问的消费将会增加,而且还会降低速度。因此,有必要权衡的选择通过实验的数据包数量。表3显示设置的影响的比较不同网络模型包卷曲L-MobileNet,和代表了的数据包数量。
数据包的数量从1增加到16日,网络的参数的数量和计算也减少,和判断准确性先增加然后减少。因此,有必要进行一定的权衡判断的准确性和速度,所以卷积的分组是选为4继续随后的实验。
4.3。剩余结构的验证
表4显示了长春剩余结构的影响结果判断网络的准确性和速度。当剩余结构补充说,网络的误差减少6.84%,分别。
4.4。实验过程的分析
测试结果如图7。此外,通过综合分析三个模拟测试视频收集从左边,中间,和正确的投篮,篮球从视频序列帧图像检测。拍摄视频的测试序列图所示8。
(一)
(b)
(一)
(b)
测试后30组数据(10组数据在左边,中间,和右),测试结果如表所示5- - - - - -7,分别。
在这个实验中,L-MobileNet的性能是较常用的轻量级模型MobileNet MobileNet V2 (28],SqueezeNet [29日],ShuffleNet [30.]。表8显示每个网络模型的性能比较。
L-MobileNet模型优于其他网络模型在每个索引。与MobileNet相比,判断L-MobileNet精度提高了8.35%,和数量的参数和计算只有原来的29.7%和53.2%。SqueezeNet大大减少了参数的数量由于压缩参数,但计算量仍然很大。L-MobileNet优于SqueezeNet除了几个参数。与ShuffleNet相比,L-MobileNet的判断准确性和参数的数量几乎相同,但计算量几乎ShuffleNet的一半。
的变化曲线判断准确性的网络模型在数据集训练图所示9。
所有的网络模型往往收敛后160时代,和判断准确性MobileNet从低到高,MobileNet V2, L-MobileNet SqueezeNet, ShuffleNet。L-MobileNet判断准确性高于MobileNet和MobileNet V2。另一方面,L-MobileNet的训练时间小于其他的模型,这是由于轻模型的优点。
5。结论
本文改进了轻量级的神经网络模型(L-MobileNet)提出了基于MobileNet和目标识别应用于篮球。通过建设实验改进的网络模型,改进后的网络选择精度和速度之间的一种折衷。与MobileNet相比,判断准确性的改善网络增加了8.35%,而参数和计算的数量只有原来的29.7%和53.2%。最后,改进网络与一些常用的轻量级的网络模型,并得出结论:改进后的网络具有良好的准确性和速度影响目标的判断。然后,改进RLDWS模块试图结合VGGNet以进一步降低模型的复杂度。同时,神经结构搜索将尝试使用数据驱动的自动和智能的方法来建立一个更好的网络。
数据可用性
使用的实验数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突的目前的研究。