文摘

触觉感知的方法可以准确反映接触状态通过收集力和转矩信息,但它不是敏感装配对象之间的位置和姿态的变化。视觉感知的方法是非常敏感的组装对象之间的姿态和姿态的变化,但是他们不能准确反映接触状态,特别是互相咬合的对象。机器人将能更准确地感知环境如果可以结合视觉和触觉感知。因此,本文提出了结合知觉的对齐方法与self-supervised peg-in-hole大会强化学习。代理首先观察环境通过视觉传感器,然后预测对齐调整的行动基于视觉特征的接触状态。随后,代理法官接触状态基于力和扭矩力/力矩传感器收集的信息。选择和行动的一致性调整根据接触状态和用作视觉预测标签。随后,视觉感知的网络执行反向传播修正网络权值根据视觉预测标签。最后,代理将学到的对齐技巧结合感知随着迭代的增加培训。机器人系统是建立基于CoppeliaSim模拟训练和测试。 The simulation results show that the method of combined perception has higher assembly efficiency than single perception.

1。介绍

智能机器人的一个重要挑战是完全在复杂的非结构化环境中观察环境信息。然而,机器人的感知能力将直接影响机器人的性能在任务(1- - - - - -5]。很难满足当前复杂的工作要求只依赖一个单一类型的传感器感知环境。除此之外,传统的编程方法在装配任务需要技术人员具有高技术水平和丰富的工作经验来完成大量的代码编译和部署参数。这不仅是需要时间和精力,也限制了生产线的灵活性。传统的编程方法在结构化环境中不再能满足生产要求,需要频繁的升级。机器人的编程模型已经改变了从硬编码到teaching-playback生产线的快速变化(6- - - - - -10]。teaching-playback方法大大减少了编程的工作量。然而,教学方法仍然需要部署大量的参数就像传统的编程方法。因此,更多的研究集中在训练机器人基于独立学习工作技能和学习方法。训练有素的自主机器人可以与环境交互来完成工作。机器人主要依靠视觉和触觉感知方法来感知环境的互动过程。

触觉是非常重要的对于人类感知环境,也是一种重要的认知方式的机器人。基于力控制的方法主要是用于解决精密装配的任务。力传感器、位置传感器和力/力矩传感器(F / T)是最常用的传感器基于力控制。他们可以准确地反馈时的接触力装配零件相互接触。三点接触发生在peg-in-hole大会时,三个自由度的挂钩孔限制,这使得它很难完全的插入挂钩与传统方法。小说对齐方法基于几何和受力分析是发达国家为了解决这个困境11]。这种方法使用F / T传感器测量接触力信息来估计的相对构成桩和洞。

挂钩和孔之间的一致性是通过运动补偿来实现基于评估的态度。向大会发表讲话大摩擦阻力和接触不良造成的故障情况下,螺杆插入方法开发peg-in-hole大会(12]。该方法分析了点接触和表面接触,以减少轴向装配过程中的摩擦。这是过渡配合的情况下仍然有效。对于高精度的装配任务,通常需要部署大量的参数,技术人员需要花大量的时间在编程部署。因此,提出了一种易于部署teach-less方法完成精确peg-in-hole大会(13]。然后,提出了一种易于部署teach-less方法完成精确peg-in-hole组装。传统编程的低精度补偿没有人工参数调优训练基于强化学习。此外,一个变量合规控制方法提出了基于深度强化学习的peg-in-hole与扭矩传感器的机器人7自由度,提高装配任务的效率和鲁棒性不确定初始状态和复杂的环境中14]。训练有素的机器人可以选择被动合规或主动监管处理当前环境下,这使得变量合规调整步骤少于固定合规。此外,该方法提出了基于混合学习算法和力控制策略(15]。它包含混合力/位置控制器和可变阻抗控制器。混合力/位置控制器设计,确保安全、稳定的搜索洞。使用可变阻抗控制器基于模糊q学习进行合规操作。该方法提高了peg-in-hole装配的稳定性和适应性。许多高精度装配任务主要是基于力控制的选择方法。然而,环境的外观特征和相关位置信息无法感知的力传感器。

视觉感知中扮演一个重要的角色在机器人感知环境的。视觉感知可以快速感知物体的外观特征和相对位置信息。视觉感知处理很难阻挡当目标被部分遮挡一部分。人类常常依靠触觉,听觉,嗅觉感知环境当他们的视力模糊。和视觉感知由照明等环境因素干扰,从而导致机器人需要工作在一个特定的工作环境(16]。

近年来,视觉感知领域也取得了众多的研究进展与深度学习的蓬勃发展和强化学习。结合系统采用两级的机器人视觉测量方法在机器人自动装配17]。这种技术已经开发了一个精确的坐标变换的动态协调系统的校准。随后,这个洞是3 d重建洞边缘点的选择。这种方法使得姿态确定的成本变得更低。它还扩展了视觉测量范围,提高了定位精度。此外,无标定视觉伺服的方法用于peg-in-hole大会,这是一个三相组装策略18]。

设计系统第一次使用一个eye-to-hand mono相机执行态度对齐,使装配对象和预定义的过渡位置相互平行。然后,系统将共线装配对象和预定义的过渡位置。最后,装配对象完成了纵向对齐。此外,学习型视觉伺服方法被用来加快搜索速度孔(19]。这种方法使用基于深度学习的概念域随机预测洞的位置。深层神经网络训练使用合成数据来预测洞的象限。随后,走向挂钩孔通过视觉伺服的迭代。组装的直径和长度,分别为10毫米和70毫米。挂钩和孔之间的装配间隙是0.4毫米。它仍然可以快速完成peg-in-hole组装当面对不同的表面用不同颜色和纹理在现实世界中。和装配时间小于70年代。随后,为了peg-in-hole对齐,研制了基于学习的视觉伺服速度结合孔(20.]。挂钩和洞点深层神经网络估计使用纯合成数据来训练。装配系统配有两个摄像头和一个特殊的照明系统,可使人民币与美元挂钩与孔由不同的材料,然后完成插入挂钩通过合规控制的力反馈。此外,动态定位伺服的方法可以执行的夹钳micropeg直径80μ米和100年的洞μ米(21]。

装配系统配备了编码器的位置伺服系统,光源,和三个CCD摄像机自动对齐,掌握,运输和组装。夹钳的过程没有接触附着力。的平均时间和成功率组装4分钟和80%,分别。总之,基于视觉的控制方法对装配的装配效率高于力,但装配精度不如基于力的方法。如果系统基于视觉的方法需要提高装配精度,系统需要配备高精度视觉传感器,一个特殊的照明源,和花更多的装配时间。控制方法基于视觉或力有自己的优点和缺点。如果他们能互补,机器人将有更高的装配效率,同时保证装配精度。

人类经常使用视觉观察和触觉感知的方式完成peg-in-hole组装。可以完成peg-in-hole组装的微小间隙条件下清晰的观察和敏感的触觉感知。一方面,我们也可以只使用视觉观察完成组装。然而,需要有足够的间隙,当挂钩的状态和孔可以清楚地观察到。否则,它将导致装配失败。另一方面,我们也可以只使用触觉感知实现一个成功的大会。然而,它可能需要更多的时间。所以机器人的装配速度使用多个感知方法往往比单一感知方法。peg-in-hole组装的因此,当前的研究主要采用混合控制方法的视觉观察和触觉感知(22- - - - - -26]。例如,指导算法提出了基于几何信息和力的控制来提高成功率的peg-in-hole组装复杂形状(7]。

该方法使得eye-in-hand相机选择的6自由度工业机器人装配方向通过空间布置和几何。和它决定力的大小通过动觉教学。此外,双臂协调机器人采用混合动力总成战略基于视觉/力指导peg-in-hole大会(27]。这种方法可用于圆形,三角形,正方形与0.5毫米最大间隙装配零件。巴克斯特研究机器人有三个视觉传感器放在左手和右手的头,分别。机器人利用视觉指导实现粗调。之后,机器人使用的力反馈机制与F / T传感器进行精确调整。该方法可以保证装配零件装配成功率高的不同形状。此外,该模式具有不同特点的设计基于深度强化学习对不同几何peg-in-hole任务紧间隙(28]。机器人有三个传感器来收集数据的RGB图像,F / T传感器和末端执行器作为输入。

我们的技术使用多个输入建立一个紧凑的多通道表示预测接触和对齐peg-in-hole组装。然后,机器人控制器与触觉和视觉反馈实现了通过自我监督培训没有人工注释。此外,提出了一种新颖的方法通过试验找到合适的插入的姿势与力反馈和愿景23]。大会的调整时间最小化的强化学习培训,它使用武力和视觉特性设计。此外,上优于算法结合的方法和力控制策略提出了改善效率和安全性的装配过程15]。该方法利用延时网络的生成在hole-searching行动轨迹,使用的力/位置控制器,确保安全和稳定的联系。可变阻抗控制器基于模糊q学习旨在将挂钩插入洞。该方法提高了装配的效率和有效性。

peg-in-hole组装使用的当前研究主要是多个感知方法,但大多数人使用一个感知方法调整挂钩和孔之间的对齐。然而,人类经常使用视觉和触觉感知的方法来完成这项工作。机器人的视觉和力应该结合更好的智能感知性能和较高的装配效率。

摘要视觉和触感的混合控制方法提出了基于强化学习来提高定位效率peg-in-hole深处的任务。视觉特征之间的映射关系将建立和触觉信号与self-supervised试验和错误。首先,RGB-D图像获得的视觉传感器。其次,深层神经网络提取视觉特征的图像和预测的接触状态。第三,代理接收力触觉传感器的信号来确定当前接触状态作为一个视觉预测标签。最后,网络的视觉预测使用这个标签进行反向传播的计算修正网络权值。我们引入peg-in-hole组装部分的工作原理2,一个快速hole-searching策略设计。节3的混合控制方法,提出了peg-in-hole组装,提高装配效率。节4、CoppeliaSim仿真结果和分析结果。部分5阐述了结论和未来的工作。

2。的工作原理和分析Peg-in-Hole组装

2.1。分析挂钩和孔之间的接触状态

peg-in-hole大会的任务主要分为掌握阶段,hole-searching阶段、调整阶段,和插入阶段。把握阶段的任务是掌握挂钩并将它移动到附近的洞。hole-searching阶段的任务是视觉检测边缘和孔的中心,然后再钉孔的中心位置。调整阶段的任务是调整挂钩的姿势,这样的姿势对准完成挂钩和洞。插入的任务后阶段是将挂钩插入孔对齐。在组装过程中,有三个重要的接触状态,如图1。底部的挂钩使得表面接触后洞的上表面移动。这种接触被称为表面接触,如图1(一)。之间的点接触发生孔的内部和表面的钉钉是否足够近的中心孔。两点接触和三点接触数据所示1 (b)和1 (c),分别。飞机只发生在hole-searching接触阶段。这意味着孔的位置发生了点接触时被发现。这意味着hole-searching机器人完成任务的阶段,进入调整阶段。peg-in-hole装配的关键阶段,影响效率hole-searching阶段和调整阶段。他们介绍了部分细节2。2和部分2。3,分别。

2.2。工作原理的洞

2.2.1。部队的方法搜索洞

首先,联系汇率制度将搬到孔的表面,产生一个平面挂钩和孔之间的接触状态。在这个时候,盯住地处洞的外面。随后,搜索挂钩孔的位置与一个阿基米德螺旋轨迹。在搜索过程中,桩的中心逐渐接近孔的中心。联系汇率制度将被插入到孔或倾斜的内孔装配力的作用下,当轴和孔的位置足够近。钉进洞里,这一次,也就是说,在洞的工作完成后,进入调整阶段。部队的方法比应用搜索洞经常花更多的时间。

2.2.2。建立搜索孔的方法

图像数据表达当前环境信息通过视觉传感器。然后,它应用与精明的边缘检测算子。边缘检测是容易受到噪声干扰图像。因此,图像噪声去除前必须与高斯滤波进行边缘检测。将消除图像噪声的高斯平滑滤波器,高斯滤波器所使用的内核是描述如下:

之后,系统计算强度梯度与索贝尔算子和方向。卷积数组需要被应用到和方向,分别计算梯度大小和方向。卷积数组显示如下:

强度梯度确定关键是一个边缘点。大梯度值表示点周围的灰度值变化迅速,是一个边缘点。小的梯度值表明,关键不是一个边缘点。梯度方向表明边缘的方向。强度梯度的计算公式和方向描述如下:

随后,系统执行nonmaximum抑制操作每个像素过滤掉nonedge像素。首先,梯度方向近似为0,90,135,180,225,270,315。也就是说,梯度方向在二维空间被定义为八个方向。然后,比较强度梯度每个像素。最后,像素将被保留,如果强度梯度像素是最大的;否则,它抑制为0。这个过程的目的是使模糊边界变得尖锐。仍有许多图像噪声后的图像nonmaximum抑制的过程。该方法对噪声更敏感,因此有必要对图像模糊和去噪滤波器。此后,滞后阈值将用于进一步处理噪音。该方法设置阈值的上界和下界。它被认为是一个优势,如果像素的强度梯度大于阈值的上限,也就是一个强大的优势。它不能一个边缘如果强度梯度小于阈值的下界,它将被删除。当像素的强度梯度阈值区间,它被认为是弱边缘。 At this time, these pixels can only be considered as the candidate of the edge. They will be retained if it is connected to the edge; otherwise, it will be removed. The upper bound of the threshold is to distinguish the contour of the object from the environment, which determines the contrast between the object and the environment. The lower bound of the threshold is used to smooth the contour of the edge. The contour of the edge may be discontinuous or not smooth enough when the upper bound of the threshold is set too large. The detected edges of the contour may not be closed at this time. The lower bound of the threshold can make up for this; it can smooth the contour or connect the discontinuous parts.

通过这种方式,可以获得一个完整的轮廓,如图2(一个)。边缘检测已完成时,踝关节梯度法用于检测孔的中心。这种方法将直线沿梯度方向的像素边缘像素。直线垂直于切线的边界像素,即法线。

系统将累积投票后的脚腕二维累加器空间所有轮廓像素点的法线。更多的选票的像素是更容易的中心孔。机器人逐渐移动挂钩后洞的内部从外部决定的中心孔,如图2 (b)。然而,在人民币与美元挂钩方法的中心孔,将滑下来的中心孔装配力的作用下如果挂钩是足够接近的中心孔。随后,联系汇率制度将从平面接触转换到两点或三点接触接触。这时,hole-searching阶段的工作任务已经完成并已进入调整阶段。

2.3。对齐的工作原理

挂钩的调整姿势通常使用的方法种基于合规性与力反馈调整孔装配控制方法是否部队或混合控制基于视觉和力。点接触发生时,挂钩将克服挂钩之间的接触摩擦力的作用下孔装配力幻灯片的中心孔,如图3(一个)。

滑动的中心孔的这种现象被称为“自然景观”种基于合规性peg-in-hole组装。例如,机器人装配力的挂钩引起相应的反应部队之间的接触点a和B挂钩和洞。反应部队的总和在接触点总是指向的中心孔,如图3 (b)。组装的预测力在 - - - - - -飞机和 - - - - - -轴是和 ,分别如图3 (c)。总是垂直向下,但方向吗是不确定的。他们会相互抵消的方向和是不一致的。在这种情况下,汇率不能克服的摩擦接触点,将挂钩固定。时的方向和是一致的,接触点的挂钩将克服摩擦滑动的中心孔。

这种调整方法基于兼容的控制可以顺利完成peg-in-hole组装。然而,它也会有一些困难的情况下,如挂钩下滑的孔和较大的位置错误或姿势错误。人类往往依赖于视觉和触觉的合作来处理这个难题。因此,研究提高工作效率peg-in-hole组装的机器人的视觉和触觉合作培训。培训将在部分细节3。

3所示。对齐的方法结合Peg-in-Hole知觉

peg-in-hole装配系统主要由hole-searching模块和对齐模块。对齐模块的性能决定了定位效率。目前的研究通常使用对齐基于力控制方法。这种方法表现良好在处理较小的位置和姿势错误,但它表现在处理更大的位置和姿态误差。这是因为部队控制方法只能感知接触状态的变化,但不能直观地感知空间的位置和姿态的变化。因此,我们提出一个multiperception对齐方法和基于分析部分视觉和触感2。3。

3.1。工作原理的结合感知与强化学习

触觉感知的力/力矩传感器可以准确地感知信息的接触状态,但它在空间的位置和姿态的变化不敏感。视觉感知可以直观地反映空间位置和姿态的变化。然而,当感知对象与其他对象,视觉感知不能准确地感知的接触状态。如果视觉和触觉感知可以组合,机器人的智能将进一步改善。在这部作品中,机器人感知的相对位置和姿态挂钩和孔通过视觉传感器调整行动决策。然后,机器人感知信息的接触状态通过力/力矩传感器,和信息的接触力和扭矩图所示4。

之后,机器人给调整行动基于触觉信息作为预测当前状态的标签(29日]。随后,如果预测的行动与标签不一致,神经网络的反向传播计算执行修改重量(30.]。最后,机器人可以建立一个映射关系视觉感知和触觉感知训练后,使机器人位置的变化敏感,姿势和接触力。培训过程如图5。

该方法使peg-in-hole组装的机器人学习的技能通过培训基于self-supervised深的强化学习。因此,对齐调整过程的决策问题转化为马尔可夫决策过程的一个概率问题。当时 ,机器人选择行动根据观察到的环境状态 。环境状态转换到 ,已获得奖励吗 。国家的转移概率可以表示如下:

state-action-reward链保存为样本 :

代理使用的策略选择可执行的操作从行动空间 。训练机器人学习技巧的过程也可以被视为代理的回报最大化。代理也获得最优策略当总奖励是最大化。 在哪里 是未来贴现因子。

该方法使用off-policy q学习的,它的行为价值函数是评价的期望值在当前状态:

这种贪婪策略将选择最佳的行动最高的价值;代理获得最优策略 和最优行为价值功能 培训完成后:

3.2。神经网络结构

对齐模块构建的神经网络基于深Q-networks Q-function建模。它有两个卷积神经网络具有相同的结构,即目标网络和评价网络。代理观察环境获得RGB-D图像作为神经网络的输入。最初,RGB-D图像是由卷积处理层 卷积核,然后执行批处理规范化。然后,它使用的ReLU激活函数非线性激活。随后,max-pooling用于减少估计的平均值的偏差参数误差引起的脑回的层。单位组成的卷积层,批处理规范,ReLU,卷积max-pooling层被定义为一个单位。

网络有六个回旋的单位,其次是三个线性层与两个ReLU激活层交错。首先,目标网络输出调整行动当前状态的输入后与softmax RGB-D图像。然后,评价网络评估目标网络的输出。随后,国家转换到后执行行动,回报价值 是获得。评估网络进行反向传播的计算根据奖励 更新参数评估的网络: 那里的学习速率是设置为 。

的参数评估网络的实时更新;然而,参数目标网络的一批迭代训练期间是固定的。目标网络不进行反向传播的计算。的参数目标网络的更新通过复制参数从评价网络经过一批迭代训练,也就是说, 。预测的区别 逐渐收缩之间的预测价值目标网络的预测价值评估网络的迭代训练的数量增加。Huber损失函数用于培训描述如下:

收集到的连续样本在训练self-supervised深强化学习总是可能是相关的。然而,连续样本的相关性将参数的方差更新相对较大。优先体验回放用于减少样本相关性和非平稳的分布。因此,培训使用经验回放记忆存储每个转换 。之后,训练样本minibatch重播的过渡缓冲损失函数最小化。算法的伪代码描述1。

4所示。仿真结果和分析

4.1。对齐策略训练与视觉和触觉感知

peg-in-hole组装的对齐训练self-supervised深强化学习将在CoppeliaSim,如图6。装配系统的模拟配有UR5机械臂和RG2爪。工作空间固定的地方两个RGB-D视觉传感器。之间的力/力矩传感器安装RG2爪和UR5机械手臂。的直径和长度装配挂钩分别毫米和100毫米。挂钩和孔的装配间隙是0.8毫米。仿真工作站配置3.80 GHz Intel Xeon (R)的CPU (R)黄金522,NVIDIA GeForce 3090 RTX的GPU, 128 GB的RAM。CoppeliaSim软件版本的Ubuntu 16.04操作系统与子弹物理v4.0 2.83动态和逆运动学模块。

对齐策略使用基于self-supervised深层加固的试验和错误的培训学习。首先,代理观察环境通过视觉感知和获得一个RGB-D形象。然后,代理预测接触状态和选择调整行为。之后,机器人识别接触状态基于触觉感知的信息,和它给调整行动的预测标签视觉预测。随后,视觉预测执行反向传播的计算基于预测的标签。

最后,代理之间的映射关系建立视觉和触觉感知通过迭代训练。代理将自主训练14000倍而无需人工干预。的勘探战略代理使用 - - - - - -贪婪策略,其初始值设置为0.5,然后逐渐退至0.1。代理更有可能选择勘探行动在早期阶段的训练。

勘探的目的是,这可以让机器人状态信息收集更多接触的开始训练。之后,代理选择最高的行动根据战略价值 。如图7获得的奖励,代理逐步提高收敛值作为预测的准确性增加。

4.2。仿真结果为Peg-in-Hole组装

进行了一系列的仿真测试比较触觉感知的性能,多个认知阶段,结合认知peg-in-hole组装。在分析部分2触觉感知的方法(TP)是指peg-in-hole大会只使用F / T传感器。hole-finding阶段使用视觉感知,对准阶段使用触觉感知,并调用此方法多个感知阶段(MP)。该方法在这项工作被称为感知相结合(CP)。机器人将执行1000 peg-in-hole组装测试完成后与self-supervised深强化学习培训。此外,机器人将分别使用触觉感知方法和多个感知阶段执行1000 peg-in-hole组装测试。仿真测试结果如表所示1。

peg-in-hole组装使用的总时间的触觉感知方法和多个感知阶段是38.46小时和34.31小时,分别。然而,合并后的感知的总时间是32.15小时。可以看出认知相结合的方法需要6.31小时不到触觉感知的方法,从仿真结果,和装配效率与触觉感知的方法相比提高了16.41%。除此之外,结合认知的方法减少2.16小时不到多个认知阶段的方法,和装配效率提高了6.3%,多个认知阶段的方法。这证明该方法不仅学习对齐技能,还提高装配效率。随后,100组装样品是随机选择的分析和比较,如图8。

虽然最小装配时间和最大组装时间相对较近的三个认知方法,组装时间的分布面积使用认知相结合的方法集中于一个较小的区域。触觉感知的总标准偏差(TP),多个感知阶段(MP),并结合认知(CP)是11.6926,8.2279,和5.1998,分别。此外,三种方法的标准误差也进行了分析,如图9。可以看出,认知相结合的方法不仅具有更好的效率,但也有小效率波动。

5。结论和未来的工作

在本文中,我们提出了一个对齐的方法结合感知与self-supervised peg-in-hole大会强化学习。该方法结合触觉感知和视觉感知更好地感知环境信息。代理不需要在培训过程中人类干预,大大降低了数据收集的难度和成本。CoppeliaSim模拟,代理的迭代训练,视觉和触觉感知机器人建立了映射关系,这样可以更好地感知环境的变化信息在组装。

从仿真结果可以看出,组装效率提高后,代理学习观念相结合,和组装的稳定效率比单一感知方法。合并后的感觉增加机器人的感知能力,这将使机器人在非结构化环境中完成更复杂的任务。在未来的研究工作中,我们希望能够感知相结合的方法应用于多个任务。此外,我们仍将致力于研究工作对提高peg-in-hole组装的效率。

数据可用性

数据是可用的https://github.com/Bensonwyz/Alignment-Method-of-Combined-Perception。

的利益冲突

我们声明我们没有金融和个人关系与他人或组织不当会影响我们的工作;没有专业或其他任何性质的个人利益或在任何产品,服务,和/或公司可能被视为影响的位置,或审查,手稿。