文摘

图像处理和基于视觉感知特征信息提取焊缝池被认为是至关重要的组件的智能焊接质量监测船体结构金属极惰性气体保护电弧焊(GMAW)。不稳定的特征,如飞溅大,吸烟,和强烈的弧光在船体结构GMAW,导致的模糊图像采集和轮廓提取焊缝池的困难。本研究旨在从两个角度解决实际问题,即。,a spectrum-visual-sensing acquisition system and an image-processing and feature extraction algorithm. First of all, by analyzing the light energy distribution law and acquiring the optical parameters relevant to the cut-off composite dimming and near-infrared narrowband filtering, spectral sensing is employed in establishing models of arc light radiation to detect the strength of continuously distinctive spectral lines. Besides, an appropriate high-speed charge-coupled device (CCD) camera is selected to build a visual acquisition system, which can reduce the external interference of the arc light on the image acquisition of the weld pool. Afterwards, the implementation of an image-processing fusion model based on the spatial information fuzzy C-means (FCM) clustering analysis and Sobel edge detection operator accompanies the investigation of the geometric aspects of the weld pool image. In terms of clear segmentation of the interest region, the edge detection and accurate extraction of the target contour are successfully obtained. In the subsequent section, the Hough transform analysis is adopted to establish the geometric feature extraction model of the weld pool, with corner detection, conversion, and camera calibration as the core technology. Additionally, the left and right views of the image contour are calibrated to achieve the lossless conversion of corner pixels and physical coordinates. Finally, three other distinct image-processing methods are designed to compare the segmentation effect of the edge contour with the fusion model, and then, the extraction accuracy of the geometric features of the weld pool is verified. The interference of the arc light and smoke has been demonstrated to be substantially diminished, which is attributable to the visual-sensing system during image acquisition of the weld pool. The results of edge fusion of the weld pool image show that based on the GMAW using the FCM-Sobel fusion method, a superior extraction accuracy of geometric features characterized by smoothness, continuousness, no breakpoints, and less noise has fulfilled the engineering requirements.

1。介绍

焊接人小时整个船体结构贡献大约30% -40%的人时间,而焊接成本约占30% -50%的整个船体结构成本(1]。显然,优越的焊接工艺对造船过程是至关重要的。目前,手动和半自动焊接过程仍然是中国的造船和修理行业的主流。焊接质量不一致,主要侧重于现场工作经验的焊工水平结构。一些焊接环境相对恶劣,导致焊工的劳动强度增加,导致生产效率下降、缺乏市场竞争力的产品(2),必须促进高度灵活的自动焊接生产系统和先进的智能焊接机器人技术3]。随着大规模的发展和复杂船体结构,相对危险的船体结构修复和其他恶劣的焊接环境应该考虑。如果只有常数自动焊接规范参数利用过程,很难保证稳定的焊接质量现场结构由于随机因素的影响,如工件尺寸,装配间隙,操作熟练。从今以后,焊接过程监控是保证造船质量的最重要的技术手段。

研究收购process-sensing智能监控的信息是一个重要的方面在船体结构焊接。识别渗透状态和焊接质量的目标是形成焊接过程传感信息。然而,焊接是一个复杂的操作,可以轻松地创建强大的弧光,烟,高温,和其他形式的严重干扰,从而使它具有挑战性的焊接过程的可靠地收集数据。因此,它一直是一个研究的瓶颈焊接动态过程质量监控。由于最近机器视觉技术的发展,视觉传感被用来模拟焊工的视觉行为,产生直观的和令人难以置信的丰富的数据。由于它所提供的优势在焊缝池的实时监控和查看的位置焊丝,焊接视觉图像信息的采集和处理技术已经成为实现焊接质量监测的基本方法。这激发了许多研究人员研究焊接视觉图像的采集信息,如二氧化碳的收购(有限公司₂)短路熔池图像传送4,5),收购掺钕钇铝石榴石的过程信息(Nd: YAG)固态激光深穿透焊接不锈钢材料的6),监测焊接池不稳定和形成缺陷,容易发生在铝合金钨极惰性气体焊(TIG) [7),和收集的动态位置信息GMAW焊接池的过程(8]。金属活性气体的动态变化监测系统(MAG)电弧焊接池构造使用双摄像机在GMAW焊接与单个槽缺口波动(9]。很明显,有一些进步机器焊接池建立检测领域的应用在过去的几年里,但中国一直在缓慢发展中这种类型的图像处理知识模型检测在船舶结构采用,尤其是在船体GMAW熔池图像数据。

熔化极气体保护焊-,一个使用目前最著名的焊接方法,通常使用有限公司₂作为焊接保护气体(10]。这种方法具有生产效率高,焊接质量好,成本低,实用性强,共同使其广泛应用于工业部门。然而,由于独特的影响有限₂气体的热物理性质,它是非常可以创建无数溅,烟,弧强度,和其他焊接过程中不受欢迎的特性,提出重大挑战的视觉信息采集焊缝池。的形状、特征和动态变化的焊缝池是重要的因素来确定焊接成形质量。一些论文为焊缝池定义不同的图像处理技术,如肖的研究工作和必应(11),提出了经典的过程像索贝尔,精明的,有限的阈值分割₂焊缝图像处理。徐et al。12]研究机器人GMAW过程和集成多个经典的图像处理算法来提取焊缝通过恢复视觉图像边缘,滤波、边缘检测、边缘扫描,和曲线拟合。赵et al。13)提出了熔池的边缘提取算法基于监督下降法获得高质量的焊接在激光焊接。尽管最近的事态发展在图像处理中,它仍然是难以概括过滤器或经典的图像处理算法。特别是对于问题的复杂性、模糊性和图像边缘的不确定性,藐视标准数学描述在实际的焊接加工,没有统一的优化算法。

模糊理论近年来目睹了巨大的发展,这是目前广泛应用于各种场合,包括模式识别、焊机图像处理和不确定性分析。该技术取得了良好的应用效果的自动编译船分段模块的装配过程(14]。陈等人。15)模糊概念引入边缘检测来解决这个问题灰色焊接缺陷边缘检测的x射线图像。下面的分析统计灰度图像的梯度值的属性,在焊接缺陷边缘检测x射线的问题灰色图像特征是一个成员函数。这个方法是为确定缺陷的性质和类别。除此之外,尽管最近发展识别和分类焊缝缺陷,没有是考虑成本问题和时间消耗。另一个应用程序技术的改进的模糊边缘检测算法(简称Pal算法)。太阳(16)提出了一种改进的快速模糊边缘检测算法的缺点的朋友算法,图像边缘提取速度快,性能好,但边缘连续性较差。张(17,18)使用小波、形态学和模糊算法融合抑制各种噪声干扰MAG / TIG弧焊视觉图像,然后提取的边缘信息焊缝池。虽然在耗时的算法,这些方法有优势的轮廓提取仍有一些不连续的边缘熔池图像复杂,非线性,模糊的焊接过程。有一个很好的分割结果与x射线成像技术,但它是昂贵的,需要一些时间来处理一次焊接已经完成。视觉焊缝池图像特性所需的动态焊接过程往往是不精确的,因为普遍存在的飞溅,吸烟,和电弧焊接过程中船体结构强度,而反过来,阻碍信息的准确性和减少焊接质量监控的效率。最近的研究对GMAW焊接过程已经提出了应用这些最新的机器学习技术,如支持向量机(SVM) [19],卷积神经网络(CNN) [20.),深度学习技术(21),和模糊分析(16]。然而,所示(21),还有一些调查的基础上,研究发达国家在该领域和这些技术的潜力。

基于前面的分析,本文的目的是探索使用被动视觉图像传感焊缝池的控制焊接操作,特别是关于GMAW焊接过程。的研究工作着重于结合FCM-clustering分析算法和实际焊接过程的应用。应用FCM-clustering分析算法与空间邻域信息的处理熔化极气体保护焊-视觉焊缝池图像来克服这个问题以前方法的缺点和收益实现焊缝池方法基于空间信息融合的图像轮廓提取Sobel算子。为了消除依赖阈值选择的问题,容易受到图像弧光和噪音当传统微分运算符用于图像分割,算法的理论知识是通过机器学习在此建模,以提高加工精度的视觉感知图像,然后提取必要的焊缝池的形态特征参数。它锻造的基础进一步分析的动态行为船体GMAW焊接过程中焊缝池。

2。的图像采集系统设计船GMAW焊接池

实现焊接过程的动态信息收集和分析质量监控是最关键阶段的实现为智能技术。实现实时在线闭环管理的目的的焊接质量,本文打算关联,量化和模型的视觉信息特征与熔池状态。然而,仍有一个适当的设备需要帮助的视觉焊缝池数据集合可以用来描述焊接质量属性。目前,许多研究人员研究了焊接过程中的动态信息的采集,包括视觉形象源信息监测系统、电弧光谱、焊池振荡为核心。目前,主要有两种方法收集焊接池图像信息通常利用视觉的焊接动态过程,即。,的passive light source vision method and the active light source vision method, which vary depending on the light sources available in the experimental environment [22]。被动视觉一直是研究领域的热点之一,焊接机器人传感技术。例如,徐et al。23)提出了一个增强的精明的方法,获得焊缝池使用被动的视觉形象视觉跟踪技术。被动视觉传感不需要额外的光源和提供了许多好处和充足的信息。CCD相机捕捉焊接过程的电弧辐射或焊接区域的形象在自然光条件下,限制某些类型的脆弱的应用设备,降低成本,改善某些工作效率。然而,检测信号容易受到干扰由于敌对环境为工作的网站,那里有几个耗能设备。本研究采用被动视觉和图像检测技术在机器人焊接证明它的效力的大规模和复杂的船体结构。

2.1。智能实验系统多传感器质量监控

作为一个例子GMAW焊接技术在船舶有限公司₂气体保护焊,本文说明了简单设备的优势,成熟的技术,模拟焊机的眼睛和视觉信息在动态焊接过程中通过使用常见的船只GMAW焊接方法。为了进一步阐明焊接池的愿景和其他特性,multi-information融合监控系统,主要由一个库卡KR-5基础上焊接机器人的身体,脉冲mig - 500 - rp焊机,焊接控制内阁(教学设备),送丝装置,焊接工作台(positioner-external轴2轴),工业计算机、光学和声音光谱采集系统,和视觉传感器采集系统,是一个动态的创建和使用船体GMAW焊接过程。多传感器的结构框图质量智能检测实验系统的具体船GMAW焊接过程如图1。借助CCD相机,电脑需要实时视觉信息在数据采集焊接过程和焊接状态的监测。信息传输到图像采集卡,它转化为数字信息,并传递给计算机。Galaxy-Mainland视觉上的信息可以查看焊接池监控软件已经开发的公司。当焊接系统监控和获得的数据在焊接状态下,电脑需要焊接过程的实时视觉信息通过CCD摄像头和传输图像采集卡。采集卡转换成数字信息并将其传输到电脑里,然后显示在监控Galaxy-Mainland软件自主研发的视觉焊缝池。同时熔池图像信息保存到计算机的本地存储进行离线分析。

2.2。视觉感知系统

视觉传感器采集系统是整个系统的关键部分的平台。它是利用获得的视觉信息在整个焊接过程中,直接影响后续图像处理的效果。在实验提出了工作中,视觉传感系统由一个工业相机与外部触发函数,复合调光和窄带滤波器系统,和一个外部触发系统。

视觉传感器和水冷焊枪应用在实验中必须建立在这样一种方式,他们可以一起工作。他们还必须引导与焊接机器人,这样他们的相对位置可以保持在焊接。焊接过程中,视觉传感器通常是放置在一个几英寸的焊缝池,从而允许捕获图像高表明焊缝池的真正地位。同样的,视觉传感器应该遵循的原则,体积小,重量轻,以避免破坏焊接机器人由于过度负荷(24]。专业综合窄带滤过系统应该被添加到过滤和删除弧光灯,这降低了弧光的CCD图像采集的影响。此外,antispatter组件被添加到防止飞溅因素破坏的一些关键部件CCD。图2是一个示意图描述了视觉系统的内部工作。

图像采集卡,一个工业相机基于CCD芯片,和镜头共同构成的通用组件有限公司₂焊缝池使用被动视觉检测系统。图像采集卡的目的是由CCD摄像头捕获的图像信号转换成数字信号,可以显示,存储,通过一台电脑。工业相机在这项研究中的应用是mer - 231 - 41 - gc GigE从北京Daheng公司工业数码相机,这是一个非常可靠的和价格合理的工业数码相机产品,特色优势,包括高分辨率的定义以及小尺寸和耐久性。在焊接过程中,CCD是安装在焊枪在大约45°角测试面板的表面。其代表帧率和曝光时间设置为14帧/ s和40 ms,分别和CCD之间的相对位置和焊枪保持稳定。焦距镜头是2/3-inch像素8毫米手动光圈紧凑工业M0814-MP2模型的镜头。CCD相机和镜头的主要性能参数如表所示1。

2.3。复合过滤系统

multiangle视觉传感器成像的基本思想是照亮焊缝池区域的谱线窗口图像位置通过使用电弧和焊接池附近的连续光谱25]。一个适当的比例每个辐射源的光强度的焊接区检测通过复合过滤技术,这是通过直接观察焊缝池信息,如焊缝几何形状和大小的池,焊缝池中心和焊缝之间的偏差,和弧位置。然而,声音像焊接飞溅和弧光可能被纳入图像获得的CCD相机和传播。由于噪音,直接提取图像的几何特征将导致大的差异从真正的价值观。熔池图像,这是至关重要的多源遥感视觉检测的可行性,需要高质量的CCD图像之前获得图像特征提取以及合理有效的预处理过程,这是归因于最小化干扰的重要作用引起的弧光和改善这些图像的信噪比26]。

它已经发现可以使用各种各样的窄带滤波器在工业CCD摄像头的前端过滤和暗淡的目的来克服这个问题。过滤器的测定低碳钢的熔化极气体保护焊-过程在焊接视觉传感是一个重大挑战。在这个领域,王et al。27]研究argon-rich保护焊缝的目视检查池使用1064 nm近红外窄带滤光片。然而,有一个缺点:这乐队实际上是最大波长CCD可以检测。因此,相机敏感度是有限的,和图像质量降低。王等人。28)测量的光谱特征GMAW电弧在200 ~ 1100纳米的范围。它集CCD相机的曝光时间采取图像波段的几个特征线弧光和弱连续光谱。仿真结果表明,焊缝池相关的成像影响相机的曝光时间或孔径大小。顾和李29日)调查的各种特征GMAW电弧光谱信息在不同的参数。针对这一点,梁等。30.)影响因素的定性分析了焊缝池成像,如焊缝池辐射,电弧辐射,和相机的敏感性,为设计提供了有利的理论基础一个合理的过滤系统提取焊缝池的信息。根据这个,太阳31日]分析了电弧的影响图像质量的公司₂焊接过程。根据反映电弧的焊缝池的热辐射强度焊缝池本身,一个580纳米过滤器和衰减0.1%表被设计为系统消除弧光。赵et al。32)决定在850 nm高通滤波器和660海里带通滤波器来捕获不锈钢GMAW熔池图像板根据焊缝池自辐射光谱和量子效率的相机。总之,焊缝池的成像效果受多种因素的影响,如焊缝池本身的热辐射,电弧的反射光,相机的感光特性。焊接的复杂性和可变性的电弧放电发射光谱使得有必要采取适当的滤过措施试验。为此,在此建造一个电弧光谱采集系统获取的谱线特征信息之间的关系电弧光谱和CCD光敏特性的焊接过程中,复合滤过技术提供技术支持。

在这个实验中,电弧光谱采集系统主要由索尼CCD探测器,FX2000光纤光谱仪、形体分析软件,具体参数见表2。也结合了摄像机光谱的分析灵敏度和物镜光谱透明度的视觉感知系统提供的最佳波长带复合过滤系统,如图3。

电弧光谱采集系统集成了一个高质量的理查森闪耀光栅光学分辨率高、低杂散光系数和宽光谱范围,以及色觉过程CCD。实时采集、处理和精确的分析GMAW电弧光谱数据可以实现通过安装焊枪。收集到的光谱信息如图3(a)。从sensor-acquired信息可以看到,电弧辐射谱由连续谱和离散谱线特征,与多个光谱的峰值出现在400 - 620纳米带。电弧连续光谱强度减弱,降低特征谱线红乐队(620 - 700 nm)。在这种情况下,中心波长660 nm选为最优滤波波长。除此之外,值得注意的是,光谱敏感性和物镜光谱透明度问题相当的视觉感知系统相机成像的基本物理性质。灵敏度代表的能力CCD实现传感器响应值之间的转换和颜色刺激值,而晶状体透明度是指光线通过镜头的能力,即。透射光通量的百分比,其入射光通量。由于振动焊接池在GMAW焊接过程中,相机的长时间曝光,光圈的调整可能会导致图像模糊,使得有必要找出能最大化的光谱带光谱敏感性(如图3(b))和镜头相机的透明度,同时尽量减少电弧的干扰,抽烟,等等。在这种情况下,镜头物镜没有特殊治疗,和不同的可见光波段的透射率是相同的,都在85%。考虑到熔池图像光谱波段接近红色的乐队,和基于红色曲线在图3(b),相机的透光率高的波长660纳米。在上述分析的基础上,发现复合过滤系统的最优滤波波长效率最大化的功效光谱敏感性和镜头光光谱和视觉透明度,如图3(c)。

值得注意的是,风扇(25)做出了相关的解释过滤系统的最优参数的选择和解释说,精确的窄带滤波器综合技术必须建立在完美的谱分析理论。带中心波长在这个范围内选择主要是基于许多测试,选择的概念来确定最佳的中心波长。考虑到没有一致的辐射光谱曲线分析实际熔化极气体保护焊-过程的每个元素,带的中心波长的选择在这个时间间隔需要根据特定实验来找到合适的中心波长。飞溅的影响和弧光CCD图像质量不能完全消除,但是,通过使用一个组合的视觉感知模式截止复合dimming-near红外窄带滤光片。因此,进一步的工作必须完成开发和提高弧焊环境的图像预处理算法。它为快速、准确地提取奠定了基础焊接池的几何性质。

2.4。实验条件

为特征的目的,处理和几何特征提取,99.9%的股份有限公司₂作为保护气体焊接机器人在执行GMAW-CO₂船体结构的气体保护平板对接焊。确保在测试焊焊接过程的稳定性,电流的极性直流(DC)反向连接,和一个全面的数据库生成的最优焊接过程可以评估各种类型的焊接质量。见表3的细节。

3所示。熔池图像处理的知识模型

3.1。FCM-Sobel融合模型

根据焊接视觉图像处理动态过程在很大程度上依赖于识别和提取图像边缘,两者都是至关重要的理解整个图像。边缘检测技术是一种最广泛使用的方法在计算机视觉和图像处理领域。广泛用于过程像轮廓提取、特征识别、纹理分析,它是一个关键的方法从图像中提取特征。对于许多复杂情况下在图像处理和应用的研究中,边缘检测是一个重要的第一步,和边缘检测的质量很大程度上取决于使用的算法。

索贝尔算子的边缘检测方法(通常采用运营商33]。由于其精度高,将边缘和其有效性在处理图像进行灰度渐变或接受混乱的图像处理,它已经被广泛用于各领域的图像边缘检测。主要的思想是执行梯度检测图像的像素在水平和垂直方向的近似计算灰度图像的亮度的功能。

图4描述了水平和垂直梯度模板用于计算的衍生品和的方向, 假设图像的分辨率 。

它的数学表达式可以用以下方程:

它的振幅 反映了最高的强度变化的测量 ,而方向 对应于最大的方向强度增加。梯度的大小和方向可以表示在方程(3)和(4),分别为:

考虑到噪声和边缘灰度的快速波动倾向,重要的是光滑之前的图像边缘提取。如果作为像素点的吗 区域集中在协调 ,区域的中心点可以分配这些9像素的平均值。然后,图像的平滑计算方程可以表示由以下方程:

方程(1)和(2)可用于确定灰色值在水平和垂直方向,分别,而方程(3)可以使用像素梯度的振幅。最终,一个合理的阈值选择,获得最高的梯度幅值吗是比 ,与图像的像素视为组件的边缘 。的值是明显不同的。否则,像素不是一个边缘的图像(33]。显然,前提是了解特定的值索贝尔算子的边缘检测图像的处理。大规模模拟或重复实验中,实验者推荐的,成就是至关重要的优化结果在设计阶段的测试计划。然而,模糊,edge-uncertain焊接过程的视觉形象不能被传统的数学。模糊理论的出现提供了理论支持来解决这个问题16]。

在FCM-clustering模糊分割算法,图像分割算法是应用最广泛,最完美,最著名的一个34]。FCM是一个模糊分类算法,使用会员来确定的每个数据点属于某个集群。1973年,Bezdek [35)提出了这个算法的改进早期硬c均值聚类方法(HCM)。早期HCM算法很难进行数据划分,而FCM是一个灵活的模糊划分的方法。它是一个重要的方法,分析与模糊理论和模型的重要数据。sample-category不确定性描述设计,允许一个更准确的反映了现实。方法具有理论和实际意义,它在许多领域得到有效的实施,如分析大量的数据,数据挖掘、图像分割、模式识别(36]。

假设样本 分为数据集和是样品的数量,集群中心吗每组可以计算。根据其隶属度,FCM提供每个样本点之间的一个值 表明其属于每组。方程(6)表达了强加的约束要求规范化的FCM算法和状态样本在每个集群成员的总和是1。

然后,FCM隶属函数定义的目标函数可以写成以下方程: 在哪里表示隶属度; ,加权指数( ); ,之间的欧氏距离集群中心和数据点; ,的集群中心; ;和 ,集群中心的数量。拉格朗日乘数方法用于最小化目标函数 FCM,使其收敛约束所允许的最佳解决方案。在此,介绍了,然后,方程(8)。

此外,方程(所表现出的无约束极小化问题9)类似于一个方程所示(8)。

方程(9)设置为0后推导收益率以下方程之间的关系。

结合方程(10)和(11),价值包含参数可以通过计算获得,可以表示为如下方程:

约束条件的方程(6),方程包含关系可以得到以下方程:

用方程(13)方程(12)收益率方程(14),它指定了隶属函数的条件移除后可以更新吗 :

第一项在方程(8)代表一个矢量化连接基于样本数据集 。

它可以观察到从方程(15)的情况下,如果只包含一项 ,我们的偏导数 到是0,和解决集群中心 ,可以表示为如下方程:

已知的情况下方程(6)可用于推导的关系以下方程:

通过求解方程(17)的必要条件所示更新可以获得以下方程:

当目标函数 得到最小值,调整到最好,和类标签描述每个像素可以从成员国获得矩阵。然后,图像分割结果。由于这个原因,执行分割相结合的类标签和会员的每个像素邻域空间,然后,有一个空间的功能如图所示,下列方程:

在哪里代表的空间邻域信息像素在图像。在这个实验测试过程,选择最佳大小社区,作为初值进行迭代,获得一个新的吗 。然后,会员更新条件修改如图所示由以下方程:

根据方程(18)和(20.),FCM算法的不断优化和更新的计算和 ,应该满足两个需求工作。这表明隶属函数的值接近1,允许结果无限接近目标函数的值,当实验条件满足,和更新停止当满足实验需求。方程(21)代表终止条件: 在哪里指的是迭代和的数量是一个非常小的常数来表示迭代误差阈值;也就是说,当和正在更新到达的最大隶属度变化和前面的迭代更新迭代误差不超过阈值,它将达到一个更好的状态,最终收敛到局部最小值点 。否则, ,它将继续更新的价值和 。在图像分割中,FCM会员矩阵代表一个灰度图像的像素,属于一个灰度值中心 。确定一个像素的隶属程度最高的中心像素的灰度值使简单的分割成区域具有相同的灰度值。

基于前面的分析,在焊接的视觉图像处理过程中,这两种方法是基于空间信息的概念合并FCM-clustering算法和索贝尔算子。假设 灰度图像矩阵转化为一个 - - - - - -维向量,作为数据输入;以下步骤给出了图像处理算法的FCM融合Sobel算子(参见算法1)。

3.2。分析图像信息提取方法

焊接质量信息,包括焊缝外观和内部和外部缺陷,可以立即反映在焊接池的形状和几何性质,因为它对焊缝尺寸的影响包括最大宽度,长度,深度。精密,准确的焊缝池可以从视觉感知获得焊接过程智能监控系统,和这张图片可以进一步利用作为知识的基础模型。一些论文提出了不同熔池图像边缘检测方法。例如,Matsunawa et al。37)提出了一种新的MAG焊池边缘提取算法基于组件树模型,加洛et al。38)提出了一个基于灰度特征的图像处理方法的焊缝和崔et al。39)提出了一个基于复合边缘检测算子的图像处理方法。尽管这些方法有利于图像处理在一定程度上,他们中的许多人使用传统运营商对于图像处理,不考虑实际情况产生的焊接过程和图像本身的不确定性,以及缺乏焊接过程噪声的抗干扰能力。

基于调查的图像处理方法和有限公司₂气体保护电弧特性,介绍了FCM-clustering方法增强图像特征和加强和段图像强调图像的轮廓。模糊性和歧义在焊接熔池图像创建确实检查。此外,考虑到使用Sobel算子的边缘检测方法的优点在处理图像包含逐渐灰度变化和更多的噪音,熔池轮廓检测方法开发提取熔池图像的几何特性,利用像素的空间邻域信息和FCM-clustering算法结合Sobel算子。具体的过程如图5。

基于前面的分析,该方法的具体过程思想可以分为几个步骤。首先,源图像信息在焊接过程中通过CCD采集系统。其次,灰度图像转换是基于图像中每个像素,而且只有RGB值的最大值和最小值,提供图像的亮区和暗区域,分别。然后,由于随机不确定性的黑白光明与黑暗的位置点在相机成像噪声生成,图像传输,和其他过程,图像前应该过滤提取图像的特征。普遍采用过滤的方法选择这个实验是中值滤波。清楚地显示像滤波效果,选择一些盐颗粒,黑胡椒颗粒随机撒在图像和混合。相应的图像像素的中值计算,和原始值的点被中间值;也就是说,一个窗口用来沿着形象。窗口中的所有像素的中值是用于替换窗口的中心像素的灰度值,完成过滤效果。此外,图像中像素的背景和前景被分组使用像素的空间邻域信息FCM聚类分割过程的一部分。 Following this, a window is positioned, and its average value relative to the segmented image around it is determined. With this technique, the image’s brightness transitions smoothly, the sharp gradient is mitigated, and the overall image quality is enhanced, suggesting that the picture has been softened around the weld pool’s edge for emphasis. Finally, the Sobel operator is used to calculate the horizontal and vertical gradient approximations of the smoothed image, and then, the edge points of the image are obtained. To extract the geometric characteristics of the weld pool, the size of the bounding rectangle of the edge is acquired using the Hough linear transformation, which is then computed in conjunction with the image calibration outcomes.

焊缝池的几何特征信息主要包括最大焊缝宽度,长度,周长,面积,并拖动角。由于这些特点,适当的技术参数监测和调节船GMAW焊接动态过程的实时实现。此外,稳定性和可靠性评估的特征提取方法,分析动态焊接过程中焊缝池形态特征,比较相应的实验设计了两个经典的边缘检测方法,Sobel和大津,经典 - - - - - -聚类算法。此外,有礼物的一个重要评价实证研究的发现将Sobel算子与FCM-clustering算法。下一章将重点分析该组件。

4所示。图像分割和边缘检测的焊缝池

4.1。图像预处理

GMAW焊接过程中船体结构,获得焊缝池图像受到各种各样的干扰,如弧光、飞溅,烟不同的区段。因此,离散和孤立像素图像中出现,这些显然是随机干扰未知的声音。目前,中值滤波技术形态是常用的降噪。然而,这些噪音会削弱图像灰度预处理后,与弱噪声的出现将极大地减少滤波去噪的效果。这将导致的突然增加或减少最初的统一或不断变化的灰度值,形成一些错误和模糊边缘或轮廓,甚至干扰后续的分析和处理图像信息。通过客观地分析收集到的熔池图像和人工添加噪声处理同样将随机噪声视为噪音,花白,评估图像的信噪比和生成像素值0或255随机分布在不同的像素位置,过滤孤立的小噪音的效果可以实现去噪后的原始信息将被保留。此外,它可以完全保留图像的边缘信息不受过滤,从而有效解决问题的不完整的降噪小规模噪音和提供技术支持随后的轮廓提取焊缝池。处理结果如图6。

4.2。使用传统的图像分割算法

众所周知,市场细分的目的是分离的目标地区周围的背景和突出目标区域的边缘信息,促进图像边缘提取是一个简单的过程。然而,现有的图像分割研究受到限制,防止它满足本研究的需要。这些约束之一是图像阈值的选择仍然是依赖于经验知识的研究。从图可以看出7(一)传统Sobel算子对图像分割的关键是确定阈值 。如果可以确定一个合适的阈值,图像可以精确地分离凸显了边缘效应。缺乏实践经验与阈值选择是明显的在这个例子中,导致的后果包括图像前景和背景的分离,一个重要的错误,在边缘提取和缺乏连续性。

随着图像处理研究的发展,大津算法通常被视为最好的算法在图像分割阈值的选择。由于它很简单,稳定,高效计算,它在实践中被广泛采用。二进制算法与全球范围内是其基本原则,以及形象 灰色的特点探讨了分布。假设像素的数量的比例在整个图像是图像的前景 ,和它的平均灰度 ,然后背景和 ,分别记录为组内的方差 。检测阈值最大化变异跨类允许进行像素级图像分割,这解释了如何提取熔池边缘。然而,当规模目标图像的前景和背景之间的比率是相当不同的,和方差函数类之间有两个或两个以上的山峰,这将是更难找到最大的阈值类之间,严重的背景噪音的干扰,从而导致一个令人不满意的图像处理效果,如图7(b)。然而,作为显示在图7,它仍然是具有挑战性的履行熔池图像处理的需要,在本研究中没有诉诸经验的知识,尽管这种方法提供了一个处理结果优于传统的索贝尔算子。

4.3。使用聚类图像分割方法

针对传统算法的处理结果的分析,本文学到的经验知识相关的图像处理和解释的问题阈值选择和图像本身的不确定性和其他因素,从而引入经典 - - - - - -意味着聚类方法有效段熔池图像的边缘。在这种方法中,以生成一个样本特征向量空间,每个像素的灰度或RGB值图像转换为示例数据。点被选为集群中心,计算样本之间的距离。可以实现图像区域分割的影响迭代通过将图像分割问题转换为数据集的聚类。图8(一)强调,熔池图像分割的结果优于传统的技术使用在前面的章节中,即使改变了图像的灰度值的存在背景。此外,由于集群的数量是有限的变量,target-background分离仍然是图像与高水平的噪音或具有挑战性的模糊性。此外,有限的小数量的集群所需的值,无法满足实验条件处理的影响。

同样,FCM算法是软模糊图像分割算法,扩展了 - - - - - -聚类方法。因为它的有机结合模糊理论和图像分割及其高级适合代表模棱两可的信息包含在一个图像,这引发了学者们的兴趣。实现一个基于空间信息FCM聚类图像分割方法改善了分割效果和稳定电流FCM-based噪声图像的技术。作为一个初始点,该算法分割图像的像素点分为基于灰度值的类。随机选择像素点的隶属度在原始集群计算,其次是他们的立场在集团隶属程度最高的。集群的计算中心的各种类型,更新会员矩阵根据新的集群中心。然后,根据会员类改变矩阵,然后进行迭代,直到目标函数收敛,最后图像分割结果。摘要重写目标函数考虑图像像素信息和评估现有的效率与像素空间分割信息包括在内。此外,它结合了社区的每个像素点和索贝尔卷积模板计算梯度近似价值,发现图像边缘点,然后实现焊缝池边缘的提取。这种方法,如图8(b),执行更好的预测焊缝的边缘池比其他算法。便于分析是否最优边缘提取,提取的边缘将融合的原始灰度图像焊缝池下面的文章。之后,是否有利于后续焊接池几何特征提取中的应用将进一步分析。

4.4。特征融合的图像边缘

基于Sobel边缘融合传统的微分算子(40在实验中,处理结果如图9(a),它可以观察到缺乏光滑处理仍然暴露结果不连续的边缘提取图像分段焊接池。此外,阈值的选择是至关重要的成功的这种技术,和包含弧烟轮廓融合影响以下特征参数的计算,如焊缝宽度和长度。图9(b)显示了熔池边缘的融合结果基于大津算法。这种方法优于Sobel算子的边缘检测分割目标区域图像。从外部的角度来看,然而,电弧的干扰光线,吸烟,和其他元素在焊接收购过程中使这种技术不利于图像处理。考虑到这些内部限制,该算法的先验知识的情况下确定组内的方差的上界。这种方法是繁琐和耗时的,缺乏某些必要的实用信息,导致不合格的边缘提取结果。数据9(c)和9(d)的熔池边缘的融合结果 - - - - - -分别意味着集群和FCM-clustering融合Sobel算法。如结果所示边缘融合的分析,典型的 - - - - - -意味着集群方法检测焊缝池边缘欠佳,考虑其对噪声和异常点的敏感性和依赖以前的知识来确定集群的数量的价值。FCM已经提高了 - - - - - -意味着算法,这是一个灵活的模糊划分的方法。优化的实现是通过使用成员函数。优化后,它结合了与索贝尔算子来处理增加的背景噪音水平。具体地说,它消除了熔池的边缘,而无需选择Sobel阈值。图9演示了这一方法的优越性在竞争算法的边缘检测的一致性和精度和融合,同时也展示了非凡的电阻噪声的方法。焊缝池的几何特征提取的综合和光滑,需要实验,形成了一个坚实的基础为未来的研究该方法的实际应用。

4.5。验证的轮廓提取

焊缝池边缘在整个生产中起着重要作用,因为它决定了焊接池的一般形状。熔池图像的分割后,该地区从二进制图像获得的利益是相对明确,但仍有少量的噪声。成功收集有价值的熔池的边缘信息和获得正确的熔池图像的几何特征信息,有必要进一步的确定和过程熔池图像的边缘,从而为未来的研究提供了基础。目前,典型的熔池图像边缘检测的方法常用的研究包括索贝尔,罗伯特,和精明的检测操作符(41]。作为分割条件下,一个合适的阈值通常是由运营商提供,同时为边缘检测使用这些操作符。然而,对于不同的图像,需要选择不同的阈值。因此,图像处理研究的障碍之一是确定最佳阈值条件;幸运的是,模糊的出现为学者们提供了一个机会来解决这个问题。因为它通常被认为在处理图片的边缘模糊,本文关注的不确定性、模糊性和其他元素的形象。此外,模糊理论知识和经验知识,和视觉焊缝池边缘检测方法是实现基于图像像素空间信息FCM-clustering融合Sobel算子。然后,使用二元性的点和线之间的霍夫变换,外接矩形包含生成轮廓信息。使用前面校准坐标数据,最后一步是计算几何特征参数。请参考图10一个全面的视图如何提取熔池的边缘。

为了提供进一步验证本文方法利用图像边缘加工焊接池产生的结果在不同的电流,电压和焊接速度如图11。Sobel算子和大津算法用于提取焊缝池区域的边缘特征,及其近似时可以有效地提取边缘焊缝池中获得独立图像辐射区域来区分他们的亮度的背景颜色。不幸的是,焊接烟雾仍然产生越来越重要的影响和扩展封闭边缘区域的大小相对于焊缝池区。此外,边缘不够光滑,仍有一些噪声点。图像分割的发展功能图像边缘特征提取的转折点,介绍了 - - - - - -意味着集群技术有效段焊缝池区域,然后获得图像边缘特征,所有符合的特点。结果明显优于前两种方法。虽然有效, - - - - - -的意思是容易oversegmentation因为它过于强调之前经历的地方。本文考虑本研究,能够有效地提取和融合边缘轮廓到原始的灰度图像进行比较,但焊接工艺参数、弧光、飞溅和其他干扰水平不一致。这是通过利用空间信息FCM-clustering算法的优点和索贝尔。图11(iv)表明,其处理的影响是相当大的,和提取准确性强,允许它满足实验要求。

总之,由于弧光干扰,吸烟,和在GMAW焊接过程中飞溅的船体结构,收集到的熔池图像受到随机噪声在不同程度的影响。考虑模糊和不确定的随机因素的研究对象,提出了一种图像融合方法与模糊聚类为核心的基于FCM和索贝尔算子。模糊隶属函数是用来描述像素位置分类的图像分割和聚类分析应用于会员收敛迭代矩阵和目标函数优化。这个像素分类信息建立一个平衡的分段函数优化Sobel算子的识别参数,进一步结合卷积和操作来解决梯度变化和获得边缘像素坐标,从而实现有效的分割和精确的边缘提取熔池图像。与传统方法相比,这种方法可以有效地抑制pseudoedge现象不清楚造成的边缘检测带来的过度依赖先验知识在大津算法,克服了索贝尔算子的缺陷容易受到外部噪声干扰和影响边缘定位由于阈值变化,并避免过度的问题细分精度的局限性造成的 - - - - - -意味着集群的方法由于未知的经验值数 。边缘分割和提取的仿真结果表明,该融合方法成功地提供了完整、光滑、连续图像边缘信息,更符合原始图像和噪声具有较强的抵抗。

5。几何特征提取

提取熔池边缘的几何信息是熔池图像处理的最终目标。捕获和处理图像后,错综复杂的边缘结构焊缝池仍然明显。然而,计算焊缝池的几何尺寸特征为未来的研究是必要的焊缝池之间的连接形式和焊接工艺参数和焊缝池状态的实时监测。成功焊接池边缘信息收集的序列图像处理阶段。这个实验的目的是建立一个焊缝池的大小之间的相关性及其边缘像素行。为了做到这一点,前面的焊缝池的几何性质,比如它的宽度和长度,在筛选后提取最大封闭区域的最小外接矩形使用霍夫变换分析技术(即。、焊池边缘)。

5.1。几何校正模型

焊缝池的几何形状和大小可以反映焊接质量的形成。图12提供了一个详细描述的几何参数42,43的焊前池。图像处理后,所有像素的总和包括在整个焊缝边缘池头的焊接池的尾巴焊接池是相应的焊缝池区 。的像素构成的轮廓线焊接池边缘等于焊缝池的周长 。最大的宽度通过计算获得的焊缝池最大宽度中包含的像素的数量焊缝池垂直于焊接方向的横向图像。反映了焊缝的宽度。前面焊缝池长度通过计算获得最大长度中包含的像素的数量焊缝池的平行于焊接方向。考虑到镜头的位置垂直于焊缝方向的纵向拍摄期间,从纵向长度值提取图像接近真值。当水平执行图像处理,后面拖角之间的角焊缝池创建的最远的点结束时焊缝池和最大水平距离 ;所示的数学表达式是方程(22)。除了反映出纤细的熔池的宽度,而且反映了边缘曲率的变化。

直观地了解焊接池的位置和形状与生成图像是可能的。然而,熔池的形状在图像几何变形和尺寸变化,因为角度的CCD摄像机捕获图像。校准所需的熔池图像转换数据由其数量的像素的物理尺寸。张(44]介绍了一个通用的新技术产生径向透镜畸变模型的上下文中相机标定方法,一个简单的校准和为精确的摄像机标定提供了令人信服的理论基础。吴(45)拍了张照片通过摄像机标定对象和直接使用校准的统治者。实际尺寸之间的比例因子的对象和图像像素之间的距离决定不要求单独量化标定对象的长度。为了这个实验的校准,这项技术提供了灵感。在此基础上,利用被动视觉技术的系统的持续监测,收集图像焊缝池特此提出。水平和垂直像素改变,因为角由实验室的CCD相机与焊件在实验。因此,校正系数的 - - - - - -轴和 - - - - - -视觉图像坐标系的轴需要校准,这个实验只需要知道的是焊接池的大小,而不是它的绝对坐标。相机校准使用一个基本的线性模型,如图所示,这一特点。在实际成像中,CCD相机的镜头不是一个广角镜头,射击场是今后约束及其视角是有限的。CCD相机在相同的相对位置标准加工、捕捉和校准面板使用相同的参数。

5.2。Geometric-Pixel转换计算

通常,作为CCD摄像机的标定过程的一部分,一个物体的大小和形状是安装在镜头面前,CCD捕获图像的对象,使用方程和必要的参数计算。在这个实验中使用的校准板是黑色和白色,每一行和每一列组成的 平面阵列面板组成的街区,如图13。规模系数之间的真实的工件坐标系和图像坐标系是一个参数,需要校准,既应用横向(垂直焊接方向)和纵向(沿着焊接方向)。设置 - - - - - -轴垂直于焊接方向和 - - - - - -轴是平行于焊接方向(46),和代表的校准系数 - - - - - -和 - - - - - -轴,分别。黑白格子的标定板与一个已知的边长是放在工作平台,和校准目标然后通过CCD摄像头捕捉图像。图像像素和计算被某些尺寸和分别在两个方向上的图像。在目标图像,信息搜索逐行从上到下,从左到右。的第一个角落块标记为然后从下到上逐行搜索下一个角落,这是标记为 。几个棋盘的交叉点上的坐标如表所示S1(补充材料)。以类似的方式,信息搜索从左到右和从右到左列列获得最左边的和最右边的角落点标定对象的盒子,这是表示和 ,分别。

实际大小的方形的边长已知的校准对象 ,获得的标定刻度系数见方程(23),单位是毫米/像素:

按照其校准概念,相应的周长与面积的规模系数焊缝池可以校准以同样的方式,记录和 ,分别,见下面的方程。

实验结果证明这种方法的有效性和简单。表4显示这种校准的后果。

5.3。提取精度的比较

一旦完成校准系数在两个水平和垂直的维度,两点之间的实际距离图像的方向可以确定使用转换公式。焊缝池的最大宽度和长度在上面所示的计算是利用。校准转换方程所示(25),单位是mm: 在哪里和代表的像素距离相对应的最大宽度和长度焊接池的边缘轮廓,分别和的尺寸计算焊缝池的最大宽度和长度,分别。确认视觉传感系统和图像处理算法的可行性,焊缝宽度是收购的操作调整焊接速度,焊接测试和计算维度转换获得的焊缝宽度的校准比例因子公式。与此同时,为了评估和比较的性能知识建模,还需要真实测量焊缝的实际价值的大小。

仪表用于测量实际的焊缝尺寸是金相显微镜(研究水平),如图14(一)采用无限光学系统可以实现的功能,比如测量金属和合金的内部结构的大小和识别缺陷。此外,它有一个长期工作距离,色彩还原度高,可靠的成像光学质量。配备相应的测量分析软件、电动舞台,并专注开车,它满足测量需要的各种类型的金属以不同形式。在这种情况下,形成焊缝的6毫米低碳钢板船体结构作为测量对象,包括焊接电流和焊接工艺参数 ,弧电压 ,和焊接速度 ,26日和29厘米/分钟。相对应的实际位置焊缝池在特定时刻可以由使用的长度之间的转换关系形成的焊缝和焊接速度。的实际位置相对应的焊接池测试图像是由独立为基线,和焊缝轮廓线提取的观察和基于边缘检测的功能。实际的焊接熔池的宽度在相应的位置自动获得通过添加辅助线,如图14(b)和14(c)。

焊缝的成形特征大小是一个重要的前提,以确保焊接质量,如前面的焊缝宽度、钢筋、焊缝深度。然而,在实际工程应用中,船舶结构和各种过程的复杂性以及环境条件的限制,很难直接观察到的三维几何特征实时焊缝池。因此,绩效评估拟议的技术主要是根据焊缝宽度测定精度比较。

在这种情况下,三套焊接条件代表不同的工艺参数,即焊接电流 ,弧电压 ,和焊接速度 ,26日和29厘米/分钟,是选择。以这种方式收集到的视觉信息作为图像处理的测试数据集模型。减少测试图像的随机影响选择样本大小,在焊接熔池图像在三种典型时刻稳态的特性测试数据选择这种类型的条件。然后,四种处理方法用于计算焊缝宽度值,相应的错误,和精度评价指标三个测试图像在不同时刻下每个条件和计算数学期望的计算值如表所示5。

熔宽的参数表5是更广泛的比测量焊缝的宽度,这是由于这一事实对比固体和熔融低碳钢是看不见的,电弧干扰是明显的。计算值之间的误差和实际测量值被称为绝对误差 ,和实际值的绝对误差的比值称为相对误差 ,如以下所示的方程。

计算后,计算宽度之间的绝对误差,据此提出方法和实际值优于其他三种方法。参见图15插图的处理如何影响该方法的误差范围内是只有0.08毫米在一系列焊接速度。相比传统的索贝尔,大津, - - - - - -意味着算法,以满足焊接的实际需求,提取精度的实现方法是增强了77%,73%,和40%,分别。同时,证明了视觉感知系统和图像处理算法开发了用于焊缝池都是有效和值得信赖的。

考虑宽度预测之间存在相当大的差异的其他三种方法和真正的价值,是不值得继续计算额外的焊缝池的几何参数。因此,本文不进行进一步的研究。上述分析表明,该方法更紧密地接近实际的焊缝宽度,贷款支持,值得进一步试验的相关性。面积、长度、周长、角焊缝池之后,等几何特征,可以确定采用这种技术。如表所示6,这提供了有价值的基准数据在线和实时监测焊接过程的动态条件。

之前经过一系列的分析、图像分割和边缘检测方法技术的先决条件和几何特征提取的精度保证熔化极气体保护焊-船体结构焊接池。基于获取有效的边缘轮廓信息的前提下,目前的研究依赖于霍夫变换和一个预定义的邻域窗口函数来遍历和检查边缘线段集合,歧视在矩形中设置缓冲优化边缘区域使用角分辨率参数检测方法生成的角落,并获得最佳的轮廓像素信息。指的是拍摄角度的视觉传感器的焊缝板,一个平面阵列校准板选择建立一个线性geometric-pixel变换模型,解决坐标系方向收集图像像素之间的比例和实际工件的位置。此外,函数是建立焊缝池大小的变化特性的基于CCD相机的成像原理,和左,右视图图像校准用于实现无损的角落像素坐标和物理坐标之间的转换。通过不同的实验结果与传统方法比较,提出融合方法提取熔池宽度达到最高的精度,平均误差在0.08毫米,满足工程要求。同样,其他焊接池的几何特征,如面积和落后角,计算提供智能监控技术的发展研究思想的船体结构熔化极气体保护焊-在未来。

6。结论

弧光、飞溅、烟雾和其他现象发展的高度非线性的过程中船体结构熔化极气体保护焊-是本文的重点,探讨了障碍在图像采集和特征提取焊缝池。为了优化和发展的视觉感应焊接动态获取高分辨率图像,利用图像处理技术创建使用FCM-Sobel融合,可以实现检索和准确提取焊缝边缘池。此外,比较算法与传统技术,各种实验方案制定使用角检测算法结合的霍夫变换技术从分割图像中提取几何特征。具体结论如下:(一)以船体结构熔化极气体保护焊-为研究对象,截止复合调光和近红外窄带滤波系统设计和开发的分析特征谱线的光弧,和一个特殊的CCD相机选择建立一个视觉感知检测实验平台。与实验平台、焊池的形象获得了更高的清晰度,减少电弧灯和烟雾的干扰(b)的集群优势FCM-Sobel融合方法能有效降低噪声干扰,实现熔池图像的准确分割并计算其像素的梯度值来提高边缘检测的准确性。仿真结果表明,在不同焊接工艺条件下,相比现有技术包括 - - - - - -意味着,大津,Sobel FCM-Sobel融合模型生成平滑连续图像处理信息,没有断点,噪音更小,更精确的边缘提取(c)角落里探测技术结合使用霍夫变换将图像空间映射到参数空间,并提供一个无损的像素坐标和距离坐标转换参数空间。几何特征提取的仿真结果显示,FCM-Sobel融合技术的最大提取精度焊接池宽度在不同焊接环境下。绝对误差保持在0.08毫米以下,满足工程要求。融合模型的准确性提高了40%,73%,和77%,分别与传统的方法相比 - - - - - -意味着,大津,索贝尔。优越的视觉信息反馈的动态监测焊接质量也提出了通过计算熔池区域的重要特征参数,周长,长度和角度

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称他们没有利益冲突有关的出版。

确认

所有作者非常感激的智能化的机器人焊接技术实验室上海交通大学和广西工程船舶数字设计和先进制造技术研究中心的实验指导和情报支持在这个研究。我们衷心感谢慷慨的财政资助中国国家自然科学基金(51969001和51969001号),中国广西创新发展专项基金项目(没有。GuikeAA18118002-3),中国的广西自然科学基金(2021 gxnsfba075023和2018 jja170110号),中国广西科技计划项目(没有。GuikeAD18281007),广西研究生教育创新工程(nos YCBZ2019050和2020 ycxb01)。

补充材料

补充1。表S1:校准/棋盘角点的图像坐标。

补充2。数字S1-S12:捕获的测试图像在不同工艺条件下的数据集。