文摘

针对工业仪表读数的需求,本研究提出的方法基于YOLOv3工业仪表分类识别和阅读。鉴于工业米可分为指针仪表和数字米根据拨号类型,这种方法进行阅读研究的两种类型的米。首先,YOLOv3模型训练和分类识别和检测仪表类型米根据获得的值类。指针仪表使用的脚腕圆检测表盘,提取了指针,规模和计算之间的角度0刻度线和指针,并获得阅读计的指针。数字仪表通过寻找的轮廓提取数字拨号和数字区域,然后使用支持向量机(SVM)识别提取的数字并输出数字仪表的读数。通过测试,平均识别模型的平均精度(mAP)在本研究中是93.73%。指针式仪表读数的绝对误差小于0.1,和最大相对误差为0.35%。数字仪表读数的准确性为99.7%。该方法可以准确读取仪器的价值,满足工业生产的需要。

1。介绍

如今,工业仪器越来越功能和行业发挥着越来越重要的作用,成为现代工业生产中不可缺少的一部分。他们已经成为现代工业生产中不可缺少的一部分。电子信息的持续集成和深化和现代工业,工业生产正逐步向自动化和智能发展。IoT-based仪表读数被广泛使用,但这种方法只适用于工业仪器通信接口用于读取。在当前工业生活中,仍有许多传统工业米没有通信接口,这大多是手动阅读。然而,米是一个大型的手册阅读和低效的工作负载,这很容易引起视觉疲劳,从而导致错误的值读。

工业米在这个阶段可以分为指针和数字米根据刻度盘的类型。因为有优点和缺点两个指针和数字米,两种类型的仪器在工业生产中经常使用组合。本研究分析仪器的优点和缺点张识别和阅读方法的论文(1和雷的论文2),提出了一种基于YOLOv3工业仪表读数识别系统,它使用YOLOv3目标检测算法来识别仪器类型。通过计算刻度线之间的夹角和指针式仪表的指针,指针式仪表的读数是公认的,和支持向量机(SVM)方法用于识别的数字在数字仪表,然后,数字仪器的阅读结果。系统的测试实现了该方法表明,该方法具有较高的精度工业仪器的类型识别和阅读。

的迅速发展,机器视觉,图像处理工具技术已经成为一种主流技术领域的工业仪表,广泛应用在工业的生产系统。2018年,Kucheruk et al。3)使用模板匹配精确定位圆心的仪表的指针,然后计算旋转角度,最后获得了抄表的指针。2019年,陈等人。4)提出了一个快速和直接数字识别算法基于特征提取的数字工具。2020年,郭et al。5]GrayWorld算法用于处理数字仪表图像,然后火车一个变量卷积完成识别数字字符识别算法米。基于机器视觉的,张1)首先确定仪器米然后处理指针的类型和规模,分别在米读指针的指针米,数字仪表采用MNIST数量设置自动识别算法识别阅读。这种方法的准确度为93.47%计类型识别和数字仪表读数的98.5%。Zhang et al。6)读指针仪表在HSV颜色空间中,确定指针重心基于MBR,能够快速定位位置的指针。2021年,李et al。7)提出了一个大津算法和一种改进的踝关节算法,这可以避免不均匀光照的影响在指针仪表读数。Sowah et al。8),利用计算机视觉和机器学习技术,开发了一种新算法用于自动抄表,通过一系列的图像轮廓滤波器级联数字分类器提取高级功能;该方法不依赖于任何信息之前,仪器正在阅读和可以直接获取仪表读数。唐et al。9)进行了指针式仪表的自动检测通过图像识别方法,和阅读的准确性识别满足性能要求,高效和智能运行特点。王等人。10)和计算机视觉的目标检测相结合,利用fast-RCNN检测仪器面板,然后读指针指示器表示通过霍夫变换。雷(2)设计这样一个系统能够读指针和数字米。系统使用目标检测方法定位指针米然后结合图像处理技术识别计的读数,而基于数字米读取使用深学习方法。计识别这个系统是非常准确的,但只能识别和定位指针仪表的准确性达81.4%使用最低外部依赖方法,而错误使用PSPNet阅读方法非常高,平均误差值为0.771。

3所示。工业仪器YOLOv3-Based识别模型

工业仪表类型识别模型是由收集仪器图片,标签与类型,然后喂它们到YOLOv3神经网络进行训练。仪器图片分类被送入训练模型和仪器类型识别的模型。一旦识别完成仪器图像存储在相应的文件夹中。主要过程如图1。


图1
工业仪表分类模块的算法流程图。
3.1。YOLOv3原则

YOLOv3借ResNet理念通过添加剩余模块的网络和修改Darknet-19 YOLOv2 Darknet-53形成一个更深层次的网络层。五十卷积三层用于Darknet-53,大量的3×3和1×1卷积内核设置和256×256×3作为输出。

YOLOv3的结构模式11- - - - - -15)如图2。每平方在图2Conv2d组成的是一个基本块,BatchNorm2d, LeakyReLU(每个输出的最后一层除外)称为Basic_Block。resblock图2是一个残块由Basic_Block和一个叫做Residual_Block快捷方式。图中最右边的三个输出称为Header_Block和由Conv2d Basic_Block和。(+)在图2代表拼接,即。,splicing the channel dimensions of two tensors.


图2
YOLOv3结构模型。

图2显示的最后输出模型y1,y2,y3所示。假设一个输出1×3×416×416的输出尺寸1×255×13×13,255×××26日26日,52和255×××52岁的三个不同尺度是用来预测大,介质,分别和小目标。

每一块的数据用于训练由一个图片和一个标签,标签内容是封闭框和类图中感兴趣的目标,与封闭框通常由左上的顶点顶点和右下方。直觉上,最好是如果网络的输出是一样的标签,即。,(x1,y1),(x2,y2)和类。然而在实践中,上述六个值的直接回归不会工作得很好,网络收敛非常缓慢,因为上面的六个值的偏差范围是如此之大,神经网络预测标准化后的数据更好和收敛更快。所以,YOLOv3网络选择预测规范化的数据,上述六个值进行编码。

上面的输出之间的关系和实际边界框(16- - - - - -18),信心水平,和类别如下:

可以看出,预测tx和ty边界框的中心的偏差是相对于每个网格的左上角, tw和th一个因素的边界框的宽度和高度,tp是信心水平后乙状结肠,类别的类别对应的下标最大值在过去80年的数据。

3.2。模型训练

指针和数字米的图片收集和标记使用LabelImg图像标签软件分类图像分为两类:指针米(标记为“指针”)和数字米(标记为“数字”)。标签的效果如图3。


图3
图像注释效果。

后图像注释,注释文件分为训练集和测试集,测试集是送入YOLOv3网络(19- - - - - -22)进行训练。训练轮(时代)的数量设置为200,每个迭代的批量大小是2,第一个249层是畅通无阻的,这样就可以一起训练。

3.3。实验结果和分析

二百种不同的仪表图像选择输入到系统测试模型的识别效果,和一些公认的图像如图4。


图4
识别效果。

损失在培训记录和绘制损失曲线并与使用的模型(1]。从图可以看出5,YOLOv3模型(23- - - - - -25]本研究中使用低损耗值,能够更好地实现工业仪表类型的识别。


图5
损失曲线比较图。

测试模型的识别效果更确切地说,Precision-Recall曲线(即。,P-R curve), with Recall as the horizontal coordinate and Precision as the vertical coordinate, is chosen to evaluate the results after recognition in this study; the results are shown in Figure6。


图6
在培训过程中评价指标。

从图可以看出6,平均精度(美联社)的指针式仪表识别测试集是93.62%,美联社的数字乐器识别是93.83%,而平均的平均精度(mAP)工业仪器识别模型基于YOLOv3是93.73%,高于0.26% (1),具有较高的识别精度。

4所示。阅读识别指针米

阅读识别指针米以下部分中描述。

4.1。图像处理指针米

图像处理的过程中指针米如下。

以下4.4.1。中值滤波

均值滤波方法将一个像素点(x,y)在一个图像的均值像素点周围的像素值,从而获取灰度 (x,y)当前点的图像,通过图像中所有像素点,进而实现图像均值滤波操作。的基本原理(26- - - - - -28)如下:

为指针仪表、刻度盘上的信息包含了各种各样的信息,比如规模,规模的价值观,和手。均值滤波的指针仪表表盘上的图像可以去除无关信息,促进后续提取关键信息在表盘上。

4.1.2。灰度

灰度图是彩色图像转化为grey-only形象。通过灰度图像的对比是增加,像素的动态范围扩大,使整体形象更精细,更清晰,更容易识别的计算机处理。灰度的计算过程如下:

灰度处理后,可以获得一个灰度图像更接近人类视觉和只包含一个颜色每像素的灰度信息。处理指针仪表图像如图7。


图7
指针仪表图像处理。
4.2。位置的表盘指针表

鉴于表盘指针米的圆形,圆形表盘的检测仪表图像可以使用执行脚腕圆变换,提出了数字图像处理技术,从图像中提取的圈子。候选人圈子可以通过投票来构建累积生成坐标平面的参数空间,并选择的局部极大值累加矩阵。

圆的方程在笛卡儿坐标系统 在圆心的坐标是(一个,b)和半径r,所以方程(4)也可以表示为

所以,一个圆在三维坐标系一个- - - - - -b- - - - - -r可以定义为一个点(一个,b,r)。如果图像中的圆所有通过某个像素点,可以把这些圆圈变成在极坐标空间曲线。多个圆将相交曲线极坐标空间和一个阈值被设置为这些交集点,上面的点被确定为圆形。

4.3。拨号信息提取

表盘的指针表包含很多重要的信息,主要是规模,规模的价值观,和指针。为了达到阅读的米,刻度盘上的信息需要识别和提取步骤,将分散的信息拨打和保留重要的信息信号器。通过识别保留信息,因此阅读计的指针的函数实现。

4.3.1。提取的规模

刻度盘上的刻度线可以通过发现蜱虫中提取轮廓,根据刻度线的特点。原则是找到黑色像素和定义它的像素,这是追溯每次触动周围的黑色像素,然后顺时针黑色像素访问每个像素在它的摩尔附近,直到接触到黑色像素。提取刻度线的效果如图8。


图8
开采规模。
4.3.2。定位圆的中心

在选择行,规模最小二乘法用于适应规模生产线,和拟合线盘的仪器。如图9,刻度盘的中心可以通过获得所有规模的相交点的平均值。


图9
定位圆的中心。
4.3.3。提取指针

基于指针仪表的特点,分析踝关节线性变换被用来识别指针仪表盘和提取改进的指针。踝关节的本质线性映射的一个二维图像中的像素点的坐标,在极坐标空间表示为一条曲线。

如果像素的组合在一个图像相交点,然后所有的图像中的像素都可以转化为曲线参数坐标空间。转换之后,每一个点(x,y)在图像空间映射到一个正弦曲线(r)极坐标空间。如果点在图像空间变换到极坐标空间相交后,交集点都是一样的点,这个点对应的参数相对应的参数线的参数方程,即的参数指针所在。

4.4。计算的角度

读表的输出是通过计算指针的旋转角和旋转角的范围,并比较他们获得最后的阅读,在0刻度的位置向量的圆心坐标O(x,y)指向的开始一个(x,y);指针的位置向量的圆心坐标O(x,y)指向的指针B(x,y),最大射程的位置向量的圆心坐标O(x,y),指向的指针C(x,y)。指针的旋转角,总范围的转动角;然后,这个公式

4.5。实验结果和分析

指针米的图片有不同的值输入到系统测试指针仪表读数功能,和一些测试结果如表所示1。

表1
指针式仪表读数功能测试的结果。

从表可以看出1的绝对误差指针仪表读数方法摘要通常小于0.1,和最大相对误差为0.35%。然而,的最大相对误差mBR-based方法在文献[6)是0.67%,基于大津的方法和改进的霍夫变换(7)是0.9%,(2)为1.5%。相比之下,指针式仪表读数的误差方法采用本研究很小,能够满足需求的指针仪表读数。

5。数字仪表读数识别

数字仪表读数识别是在以下部分中描述。

5.1。图像处理的数字米

数字米的图像处理过程如下。

5.1.1。高斯滤波

高斯滤波用于过滤掉噪音正态分布(高斯噪声)。每个像素的值的加权值相同的像素和相邻的像素的值;靠近中心,权重越高。高斯滤波的效果是温和的相对于其他过滤器和能够保持图像旋转等变化的不变性和照明的变化。它是计算如下:

拨号信息数字米相对比较简单,基本上只有数字和小数点。高斯计的过滤图像仍然保留了数字和小数点完好无损,不影响后续的读数。

5.1.2中。Binarisation

Binarisation是图像中的像素点的设置根据其灰度值,将原始灰度图转换为二进制图像仅包含黑白信息,即。0到255的,只有两个值。Binarisation计算如下:

形象binarisation移除分散信息的数字刻度盘,更准确地从图像中提取信息,保持清晰的数值和十进制信息。

处理过的数字仪表图像如图10。


图10
数字仪表图像处理。
5.2。数字识别

SVM数据集创建的图像在互联网上收集,包含从0到9 400图像。

本研究利用直方图(猪)方法,已被广泛应用于复杂的面部表情和手势识别。首先,Sobel导数值的水平和垂直的图像计算得到每个像素的梯度角和梯度大小,然后,梯度的角度转换为一个整数0到16。图像分为四个10∗10块的直方图每一块的斜率是派生的使用的梯度值块作为加权值。每个小立方体是由16个向量,然后整个图像是由四个街区的特征向量表示。

实验结果表明,该方法能有效地消除背景干扰和提取64特性值。然而,提取的特征值都太大,良好的识别。所以,车辆疾驰的梯度直方图可以转换内核函数,计算如下:

如图11过放荡生活内核转换后,这些数据都从最大的数转化为最小的小数和保存他们的特征信息,大约是被视为一个规范化的过程。

(一)
(一)
(b)
(b)
图11
过放荡生活内核转换。(一)改变之前。(b)后的变化。
5.3。实验结果和分析

数字仪表读数功能测试通过输入数字米的图片到系统与不同的值。的一些测试结果如表所示2。

表2
数字仪表读数功能测试结果。

在这项研究中使用的算法数字仪表读数与[1,2,5]。从表可以看出3数字仪表读数的准确性方法采用本研究是高出1.2%1),高出0.3% (2),高出0.25% (5),与更高的精度和更准确的阅读结果。

表3
数字仪表识别精度。

6。结论

本研究提出了一种YOLOv3-based分类和工业仪表读数识别方法,实现了目标检测的米通过训练YOLOv3米类型识别的神经网络模型。霍夫变换是用于定位指针仪表的刻度盘和手,然后,规模之间的角0马克和指针的读数米计算。数字仪表坐落的刻度盘轮廓发现,数字区域,数字分割,使用支持向量机分割数字识别,最终的输出是识别和阅读。

这种方法的最大优点是能够识别类型的工业仪表,仪表的类型进行分类,并调用不同的分类表抄表模块读取和识别。系统可以识别指针类型米和数字米,计类型识别模型的映射是93.73%,指针式仪表读数的相对误差小于3.5%,误差很小,和数字仪表读数的准确性为99.7%,结果是准确的。

数据可用性

数据分析在当前研究中可用桨艾未未工作室库(https://aistudio.baidu.com/aistudio/datasetdetail/157981)和公共领域的资源(https://aistudio.baidu.com/aistudio/datasetdetail/137555和https://aistudio.baidu.com/aistudio/datasetdetail/124339)。

的利益冲突

作者宣称他们没有利益冲突的报告对于本研究。

确认

这项工作是由以下几点:(1)高级科研人才的培训项目的南通理工学院,在批准号XBJRC2021005,(2)南通城市的科技计划项目,在格兰特nos, JC2021132 JCZ21058, JCZ20172, JCZ20151, JCZ20148, MS22021028,和(3)江苏省高校自然科学研究项目,在格兰特。17 kjb520031 21 kjd210004 22 kjb520032 22 kjd520007 22 kjd520008, 22 kjd520009。