文摘
为了进一步优化智能机器人导航系统的精度和效率控制、物联网智能机器人运动控制系统提出了基于改进ResNet模型。基于深度学习方法,使用快R-CNN目标探测体系结构和ResNet50卷积神经网络,网络是训练的特点配电线路维护的操作目标机器人系统。在此基础上,结合双目视觉测距原理、工作目标在相机的坐标测量坐标系统,和坐标转换成机器人基础坐标系通过手眼标定,以完成工作目标的空间定位。结果表明,错误的双目系统所采用的测量方法都是在1%以内。结论。方法可以适应操作的复杂背景场景,光照的变化、部分遮挡目标和能满足需求的配电线路维护机器人的测量和定位目标的空间。
1。介绍
与人们的生活质量的持续改善,他们的生活节奏也加快1]。现在有机器人在智能家居和工业智能制造、产品的功能也不同,其性能不断提高,并被广泛应用于智能制造等领域,为人类提供快捷方便(2]。智能机器人是一个产品整合运动学、仿生学、运动控制、图像识别和分析,和其他学科;其高技术含量已经大大应用领域的行业,智能家居,化工生产3]。加上经济发展显著,人口红利不断减少,这使得劳动力相对减少,导致劳动力成本的增加,产品的成本也增加,智能机器人的引入不仅完成了流水线生产的产品,也提高了生产效率和产品质量,实现快速、连续、高效生产不同的产品,并降低了劳动强度和劳动,这使得工业智能机器人广泛应用于喷涂处理,焊接,和其他领域4]。
与智能制造和产业化的发展,自动控制和智能控制系统的需求在各个领域也在不断增加,和工业智能机器人也不例外,随着应用领域的不断扩大,提出严格的要求在工业机器人的性能和功能,同时,它也促进了运动模拟的快速发展,智能控制,和其他领域5]。智能机器人在运动时,它可以调节和控制其姿态控制各关节,从而实现机器人的终端操作的功能(6]。这种控制方法完全不同于单步控制,但它也有一定的联系。单步控制是连续控制的基础,也就是说,实现单步控制可以实现连续控制,从而实现机器人的控制的操作(7]。
随着经济的不断发展、国防和科学技术,机器人的应用越来越受欢迎,和机器人的应用不仅大大提高工业生产的效率,而且还提高了产品的生产质量8]。通过使用机器人、工业制造、工业生产,以及智能家居可以提高到一个新的水平,和机器人的运动控制系统设计(9]。主要分析机器人的运动,从运动的角度来看,故障解决机器人的运动,这样机器人的发展符合国际电气工程的发展10]。近年来,在国内外学术和机器人应用技术研究,机器人的技术研究已经成为讨论的焦点,作为一种提高工业制造和生产的总体水平,通过机器人自动化技术的特点,为改进传统的工业生产和建设的负面影响,并发现和解决问题在第一次机器人运动控制,是促进机器人的广泛使用的意义(11]。
2。文献综述
机器人已经广泛应用,从农业、林业、环境保护、矿产勘查、和军事侦察到外太空星球表面检测和发挥“人”的角色在不同的应用领域(12]。根据不同的任务和环境中,移动机器人的智能水平的要求也不同(13]。智能移动机器人的设计主要包括控制系统的功能和结构设计。功能设计主要完成控制功能和算法的软件设计,在硬件结构设计是功能的实现(14]。作为一个新兴技术与强大的跨学科性,机器人对人类生活带来了很大的便利(15]。由于其操作简单、结构简单、智能检测机器人广泛应用于各领域的检测,可有效减少人工检测的风险和有很高的应用价值16]。智能检测机器人的出现促进了社会化的发展,加速了生产率,有效地解决了人工检测的缺陷(17]。然而,目前,有些问题,如控制精度低,控制轨迹偏移在智能检测机器人的运动控制,大量的研究人员在这个领域设计控制系统基于运动轨迹数据18]。
配电线路的维护,目前运营商仍然需要爬上高压铁塔与绝缘斗卡车或工作,这是很危险的(19]。随着机器人技术的发展和计算机视觉技术,可以开发一个vision-guided配电线路维修机器人(20.]。使用机器人来代替手工工作与生活力量可以自由运营商从危险的工作环境,最大程度确保操作员的安全,和提高效率的力量维护和检查。
配电线路维护机器人手术需要自动识别目标,而是因为它在非结构化环境中工作,收集到的图像有一个复杂的背景和很容易被轻,噪音,等等,同时,工作目标的结构相对简单,功能不明显,构成巨大的挑战,机器人的视觉系统的设计。目标检测方法分为模板匹配的方法、基于统计机器学习的方法,基于深度学习和方法,其中,模板匹配方法很容易受到光照的影响,等等,不适合配电线路维护机器人系统。基于统计机器学习的方法通常需要设计不同的特性和分类算法检测不同的对象,与此同时,它们很容易受到环境噪声和光线的影响,因此很难满足配电线路的要求维护系统。随着深度学习的发展技术在图像识别领域,深度学习图像目标检测的应用也取得了良好的检测结果。以最常见的任务更换避雷器产品为配电线路维修机器人为例,作者设计更快R-CNN基于ResNet50检测高压终端和避雷器产品的上限,同时,基于蔡手眼标定完成后的两步方法,最后结合双目测距的原理,完成工作目标的空间定位。采用的实验结果表明,该方法可以满足配电线路维护的要求机器人。
3所示。方法
3.1。视觉系统设计
实验系统的配电线路维修机器人由作者设计如图1,系统由一个双目相机,six-degree-of-freedom机械手臂,可以举起的平台。双目相机是由两个工业相机放置在平行,双目摄像头是固定安装在机械臂外的支架上,形成一个eye-to-hand(眼手外)手眼系统与机械手臂。
在操作过程中,机器人首先动作可以举起的平台附近的横臂安装避雷器,调整平台的位置,并使避雷器、高压避雷器的主要终端连接到上端完全出现在双目相机的视野。收集的双目摄像机传送图片到电脑,电脑完成工作目标的探测和空间定位,然后位置信息转化为机械手的运动信息和发送到机械手控制柜驱动机械手的运动来完成这个任务。在更换避雷器,机器人需要独立的地方上的螺栓孔高压避雷器的主要终端进入新上螺栓,固定在横木通过夹紧工具,因此,有必要完成的检测和定位上高压引线端子和避雷器的上端。同时,考虑到配电线路的维护操作现场,由于操作复杂多变的背景和照明,因此,机器人目标检测的鲁棒性和目标的空间定位精度要求高。
3.2。对象检测
利用卷积神经网络用于目标检测分为两个层次,一个层次。拖阶段由一系列R-CNNs表示,如R-CNN R-CNN快R-CNN,更快。该方法首先提取候选区域将目标,然后使用神经网络。这些候选人的检测区域,边界框回归是用来调整目标边界,最后,异常值是用来限制输出图像中的目标边界框。R-CNN R-CNN性能的速度,快,快R-CNN越来越多,精度也增加。
一步法包括YOLO SSD和意思不需要解压目标地区两步方法相比,速度更快,但实际检测不如上述这山。因为快R-CNN更快R-CNN可以执行实时检测在GPU加速,作者最后选择更快R-CNN作为机器人的目标模型检测。
图2显示了基本的网络基于ResNet50 R-CNN更快。基本卷积神经网络可以选择不同的模型如ZFNet VGG-16或ResNet具有不同性能和处理时间。其中,ResNet赢得了第一名在任务分工ImageNet竞争,已广泛应用于搜索、分割、识别、和其他任务由于其高性能。相应的模型ResNet ResNet50 ResNet101, 50和101对应网络的结构,层的深度,准确性越高,降低速度和准确度。作者选择ResNet50作为基本卷积神经网络模型更快R-CNN检测模型。
ResNet50网络模型分为5部分:conv1, conv2_x, conv3_x conv4_x, conv5_x。conv1 1-layer卷积层,而conv2_x, conv3_x, conv4_x,和conv5_x 3、4、6和3构建块,分别和卷积每个构件有3层。
特征映射后从中央卷积神经网络,输出项(地区建议网络)添加到生成候选区域地图,然后候选人被送入ROI特征图和地区融合层。相应的区域特征映射的目标候选人组合成一个长途特征向量,然后将softmax分布法和边界框回归法。
的RPN模式如图3,滑动窗口用于旋转特性图,每个职位的特征映射对应输出n维特征向量,和每个位置对应于9竞争窗口。这些竞争窗口被称为锚,因为他们有三个位置,1282年,2562年和5122年,每三个比例为1:1,1:2和2:1。的 - - - - - -维向量输出特性是美联储分类过程和回归窗口过程,分别和分类过程输出的概率9锚的位置前后,而窗口回归层输出窗口的参数回归层。定义和测量每个位置对应的9锚。
在实践中,将学习方法用于深卷积神经网络训练,也就是说,网络开始学习模型首先从其他大型数据,然后调整的新图像。作者使用的快R-CNN与ImageNet prelearning模型开始,和训练步骤如下。(一)计划培训过程和测试过程和模型适应帕斯卡VOC2007目标探测数据(b)初始化网络参数项的pretraining ResNet50 ImageNet网络,优化RPN网络使用反向传播方法和随机梯度下降法(c)初始化Faster-R-CNN目标探测网络参数与ResNet50网络在ImageNet训练之前,提取区域候选人使用RPN网络和训练目标探测网络(d)重新启动的RPN网络没有找到网络的计划,分别调整项网络(e)使用精确的RPN网络在步骤d提取候选区域和调整目标探测网络(f)重复步骤d ~ e直到网络连接或达到学习限制和结束
3.3。目标空间定位
3.3.1。手眼标定
手眼标定使用机器人视觉伺服系统是一个重要的先决条件。手眼标定旨在集成相机坐标系和机器人坐标系,这样空间目标的位置由视觉系统可以转化为机器人控制系统控制机器人手臂和完成任务的目的。手眼睛校准与标定对象应该如地板,和校准板相连的机械臂通过控制机器人的手臂,校准板,金属运动。相机移动,相机接收板的相对信息调整和整合了机器人手臂的角度信息来确定相对于相机和中央机器人,也就是说,手眼矩阵变化。解决手眼变换矩阵使用了两步方法,也就是说,旋转和转换矩阵分为两个部分:旋转和翻译来解决。首先,旋转矩阵解决,然后旋转矩阵转化为向量的定义解决方案。
考虑机械手基本坐标系,机械手末端坐标系统,摄像机坐标系统,校准板坐标系统,并从机械手坐标系相机翻译机械手基本坐标系,从机械手端操纵国基坐标系坐标系统,并从调整板坐标系坐标系统。的方程,从校准板坐标系转换到机械手的坐标系统,然后呢从校准板坐标系转换到摄像机坐标系调整手的眼睛时,调整板和机械手的结束是相对固定的,即固定。需要解决从相机坐标系转换到机械手的坐标系统基础,也就是说, 。坐标系的位置转换关系(1)。
控制机械手将校准板的校准板完全出现在左和右相机图像,并执行 图像收购,与此同时,机械手的各关节的角度值位置被记录。然后, - - - - - -th坐标系的位置转换关系如下公式:
的公式,是 - - - - - -th转换结束的机械手的坐标系统的坐标系统的操纵者,通过每个机械手的关节角对应的位置,它可以通过结合d - h参数方法和机械手的正运动学方程;的转换th校准板坐标系到摄像机坐标系,这可以通过校准相机。结合 - - - - - -th和 - - - - - -th坐标系的位置转换关系,方程(3)和(4)可以获得
使
的解决方案转化为解决吗在公式(4)。
3.3.2。目标空间坐标测量
在使用相机测量目标的空间位置,首先,必须建模摄像机成像模型,针孔相机模型是最简单的理想线性模型在许多相机模型,它来源于透镜成像原理不考虑透镜畸变是最常见的,因为它的简单性和直觉的成像模型,如图4。
让一个点的坐标在相机坐标系中的空间是 ,对应的像点的坐标在图像像素坐标系是 ,然后有一个坐标转换关系(5如以下公式所示:
的公式,和从成像平面放大系数的屏吗 - - - - - -轴和 - - - - - -轴,分别;是相机的焦距;是相机的内部参数矩阵,可以校准张的平面法。方程(6)可以获得相似三角形的原则:
的公式,基线双目摄像机之间的距离,可以通过相机标定;视差。相机内参数后的两个平行摄像机立体校正数学上是相同的。代入方程(6)方程(5)取得协调 目标点的左眼的相机坐标系。使用上述的手眼标定的结果,相应的坐标 目标点的坐标系统的机器人手臂基地可以得到以下公式
4所示。结果与讨论
实验分为两部分:目标检测和目标空间定位,在实验室里,更换避雷器产品的工作环境是建立模拟户外的场景。通过移动可以举起的平台如图4,双目相机是用于收集2705张图片,包括高压导致终端和避雷器的上端从不同角度,图像集做成一套标准PASCAL VOC2007目标探测,其中2000用于训练集模型训练,剩下的705用于测试,越快R-CNN模型是建立在Ubuntu系统通过TensorFlow深度学习框架。
模型训练使用动量梯度下降方法,和一些hyperparameters设置如下:最初的学习速率为0.0003,最大迭代次数 ,和动量是0.8999。应用训练速度R-CNN测试组进行测试。训练后,网络模型可以获得更好的检测结果在不同的背景,同时,它可以克服光照的影响,可以发现即使目标部分堵塞。
实现目标空间定位实验通过调用训练快R-CNN模型在后台通过Qt结合OpenCV。机器人示教器,机器人端中心点的坐标机器人基础坐标系可以直接阅读,和机器人运动控制,机器人端中心点伴随着上端的避雷器,最后中心点的坐标显示在示教器作为测量的参考价值。在实验中,因为最后的中心点和避雷器的上端,不能保证完全一致,只有参考价值的准确性 - - - - - -轴方向可以保证,因此,只有坐标测量和分析的实验。
测量避雷器的上端的坐标点多次从不同的立场和随机选择6组测量结果如表所示1和图5。
它可以看到从坐标测量结果在表1双目测量方法的误差都在1%以内,满足测量精度要求的配电线路维修机器人操作,同时,手眼标定算法的准确性也从侧面验证了。
5。结论
作者提出了一种基于改进的物联网智能机器人运动控制系统ResNet模型,作者应用基于ResNet50更快R-CNN模型的目标检测更换避雷器配电线路的运行维护机器人,在此基础上,结合双目视觉测距原理、高压引线端子的坐标和避雷器的高端相机测量坐标系统,最后,坐标转换成机器人基础坐标系通过手眼标定结果,以完成工作目标的空间定位。
总之,由社会经济的稳定发展和科技、人民生活水平不断提高,对机器人的依赖也在不断增加,和他们的需求是增加在实际应用的过程中。因此,移动机器人的定位控制技术需要连接到物联网优化和技术应该在现有的基础上创新。应用程序状态确保它可以在现有的基础上,优化技术应用效果最大化,移动机器人,满足人们的各种需求。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。