分析数据增强对目标识别的影响无人机输电线路检查

文摘

目标识别的核心任务之一是输电线路检查基于无人机(UAV),和目前基于大量的深学习方法已经开发出来。加强识别模型的泛化能力,需要大量的训练样本涵盖所有可能的情况。然而,由于环境条件的复杂性和目标,和图像的局限性的收集和注释,样品通常不足当训练目标识别的深度学习模型,这是减少的主要因素之一的性能模型。为了克服这个问题,开发了一些数据扩增方法生成额外的模型训练样本。尽管这些方法已经得到广泛应用,目前还没有定量研究数据扩增方法对目标识别的影响。本文以绝缘子串为目标,一系列广泛使用的影响数据扩增方法研究了目标识别的准确性,包括直方图均衡化、高斯模糊、随机翻译、缩放、断路和旋转。广泛的测试进行验证的影响增强训练集样本,测试集,或两者兼而有之。实验结果表明,数据增加起着重要的作用在提高识别的准确性模型,在数据的影响增强方法如高斯模糊,缩放和旋转很重要。

1。介绍

输电线路检查中起着非常重要的作用在确保电力系统的安全。近年来,随着无人机(UAV)技术的发展,无人机已经成功地应用于输电线路检查。在传统的基于无人机输电线路检查方法,在运营商的控制下,沿着特定的检查路线和无人机飞行使用摄像机采集图像或视频在特定的位置。将这些图像或视频传回运营商获得实际的飞行路径,无人机,周围的环境和目标识别。在这种方法中,目标识别主要取决于人类经验,这限制了它的效率和准确性1]。

随着人工智能技术的进步,越来越多的关注已经支付给无人机自动检测技术。如图1,通过使用全球定位系统(GPS)和智能图像识别技术,无人机实现自主检验规划路径,自动避障和智能识别可疑目标。很明显,图像识别的准确性直接决定了无人机自主检验的成功。近年来,深度学习技术的发展极大地提高了图像目标识别的性能(2- - - - - -4]。深度学习模型的性能高度依赖于有效的训练样本的数量;不幸的是,缺乏有效的训练样本的深度学习模式的一个常见问题的培训。由于环境条件的复杂性和目标,以及图像采集和注释的局限性,有效样本通常不能覆盖所有可能的情况。因此,识别模型的泛化能力降低,使它们几乎没有可用的实际场景。为了克服这个问题,开发了一些数据扩增方法生成额外的深度学习模型训练样本(5- - - - - -10]。尽管这些方法已经得到广泛应用,目前还没有定量研究它们对目标识别的影响,这就极大地限制了使用这些数据扩增方法。

本文以绝缘子串为目标,一系列广泛使用的数据的影响增强方法研究了目标识别的准确性。选择绝缘子串作为目标的原因是,在输电线路中,绝缘子串被广泛安装并有多种类型,也易错的元素。曾经是输电线路绝缘子串失败,不能正常工作,造成大面积的停电,这造成巨大威胁电力系统的安全稳定运行。绝缘子串的识别是一个非常重要的步骤来检测他们的错,和绝缘子串的识别精度直接决定了绝缘子串故障检测的结果。然而,由于复杂的背景下,绝缘子串的各种形状,确定摄像机的拍摄参数,和绝缘子串的识别仍然是一个非常具有挑战性的工作。尽管最近的先进的基于深度学习方法提供一种很有前途的方法来解决这个问题,他们受到训练样本不足的问题,类似于许多其他实用的场景。因此,数据扩增方法通常采用培训时绝缘子串上优于模型识别。目前,广泛使用的数据包括直方图均衡化增强方法(1,6,8),高斯模糊(1,7)、翻译(1,5,10)、缩放(9,10),和旋转1,9,10]。尽管这些数据扩增方法被广泛使用,目前仍缺乏定量分析不同增强方法对识别结果的影响,严重阻碍了进一步改善的数据增加的影响。

为了克服这一问题,本文研究了一些广泛使用的数据的影响增强目标识别的准确性的方法,包括直方图均衡化、高斯模糊、随机翻译、缩放、断路和旋转。广泛的实验,发现数据增加起着重要的作用在提高模型的识别性能数据集时小。与此同时,高斯模糊,缩放和旋转目标识别性能有很大的影响。

本文的其余部分安排如下。部分2评审相关工作和部分3给不同的数据扩增方法的细节和例子。部分4提供了广泛的实验和分析数据扩增方法对目标识别的影响,和部分5是结论。

2。相关的工作

电力系统的安全稳定运行具有重要意义对人类的生活。智能电力系统的分析一直是研究热点11,12]。输电线路的关键元素,绝缘子串识别和缺陷检测是一个研究热点。作为输电线路的重要组成部分,绝缘子串的状态直接决定了输电线路的运行安全。因此,绝缘子串识别和故障检测一直是一个研究热点。绝缘子串识别可以使用传统的图像处理方法或最近的先进的基于深度学习方法。因为图像中绝缘子串并不总是遵循一定的方向,识别方法需要检测绝缘子串在所有可能的方向,这是非常费时。为了克服这个问题,赵et al。13提出一个基于定向角检测绝缘子串识别方法和二进制形状先验知识。赵et al。14]提出绝缘体字符串识别方法在红外图像基于二进制健壮的不变的可伸缩的要点(快)和向量的局部聚合描述符(弗拉德)。

深度学习技术的发展,许多神经网络或提出了卷积神经网络(cnn)方法(15- - - - - -20.]。赵et al。15]采用VGG16结构和取代过去三完全连接层与弗拉德池层,和一个支持向量机训练了二进制图像分类。Sadykova et al。9]采用你只看一次(YOLO)意思绝缘子串识别模型。陈等人。18使用你YOLO V3意思绝缘子串识别算法。与此同时,他们改善图像质量使用基于超分辨率的超分辨率方法卷积神经网络(SRCNN)。在[20.),康等人使用更快的R-CNN绝缘子串识别网络和绝缘子串的深多任务神经网络缺陷检测。苗族et al。5)使用一个镜头multibox检测器(SSD)绝缘子串的认可。江et al。6)使用SSD绝缘子串从整个图像缺陷检测,multi-insulator形象,单列绝缘子图像,然后采用整体学习结合的结果。在[7],Sampedro等人首次提出实现,一个完全卷积网络(FCN)架构,绝缘子串分割,然后设计一个暹罗卷积神经网络——基于(基本)绝缘子串缺陷检测的方法。凌et al。8和李et al。10)使用更快的R-CNN网络绝缘子串识别和绝缘子串U-net缺陷检测。道等。1)提出一项CNN层叠结构绝缘子串识别和缺陷检测。

类似于许多其他实用的识别任务基于深度学习技术,深度学习的绝缘子串识别模型的性能高度依赖于有效的训练样本的数量。然而,由于环境条件的复杂性和目标,以及图像采集和注释的局限性,有效样本通常不能覆盖所有可能的情况。为了克服这个问题,开发了一些数据扩增方法生成额外的深度学习模型训练样本。例如,苗族等。5采用水平和垂直翻转;江et al。6采用水平翻转和伽马校正;道等。1采用仿射变换,绝缘子和新背景融合,高斯模糊,和亮度变换;凌et al。8)采用增强方法包括随机翻转,作物,摄动随机饱和度,亮度,和合同。Sadykova et al。9)采用许多增强方法如高斯噪声,高斯模糊,平均模糊,模糊中值,旋转,缩放、加法和乘法。李等人。10)采用更增强的方法,比如镜像、旋转、仿射变换、高斯白噪声、亮度和颜色变换,和其他数据增加操作。虽然这些图像增强方法被广泛使用,目前,缺乏定量研究它们对目标识别的影响。

3所示。数据增加

3.1。直方图均衡化

直方图均衡化是非线性拉伸图像和重新分配图像的像素值,原始图像的灰度直方图变化从某种灰度范围均匀分布在整个范围。摘要RGB图像,首先,图像从RGB空间转换到HSV空间,然后进行直方图均衡化在HSV空间V频道 在哪里是图像中像素的总数,与灰度像素的数量吗 ,和是可能的图像中灰度值的总数。

与此同时,灰度的像素在图像可以被映射到相应的像素的灰度在输出图像

图2给出两个例子的直方图均衡化,数字2(一个)和2 (c)是原始图像,和数字2 (b)和2 (d)后对应的图像直方图均衡化。从图2可以看出,相比于原始图像数据2(一个)和2 (c)直方图均衡化后的图像数据2 (b)和2 (d)有更好的视觉效果。然而,这是否有利于目标识别性能的影响还不清楚,这将验证部分4。

3.2。高斯模糊

高斯模糊是将图像中每个像素的权重根据高斯分布函数使用加权平均值与周围的像素: 在哪里标准差,和像素的高斯模糊的坐标是内核。然后是一个高斯模糊图像可以获得的 在哪里是卷积算子。

高斯模糊的影响取决于标准差和高斯模糊核的大小。摘要标准差的高斯模糊是固定的5日和高斯模糊内核的大小设置为33、77日和11分别为11。图3给出一个示例由不同的高斯模糊图像的模糊内核,图3(一个)原始图像和数字吗3 (b)- - - - - -3 (d)与内核芒刺图像高斯模糊引起33、77日和11分别为11。

高斯模糊图像是模拟散焦效应当目标不是在曝光在镜头焦点位置,这是一个普遍现象。因此,它可能是一个有效的数据扩增方法。

3.3。随机的翻译

随机翻译是维持图像的大小不变和移动整个图像上/下/左/右一定距离。摘要翻译距离是随机的,但确保绝缘子串不会搬出去的形象。图4给两个随机翻译的例子,数据4(一)和4 (c)是原始图像,和数字4 (b)和4 (d)后对应的图像随机翻译。注意,空置面积导致随机翻译由0。

3.4。图像缩放

图像缩放调整图像,同时保持图像的纵横比的长度和宽度不变。这种策略是用来模拟效果的不同焦距的镜头拍摄的结果。

本文应用两个缩放比率0.5和2。图5给两个例子图像的缩放,数字5(一个)和5 (c)原始图像和数字吗5 (b)和5 (d)在图像缩放后对应的图像。类似于随机翻译,空置面积导致图像缩放是由0。注意,对于一些图片,部分绝缘子串可能的图像。

3.5。图像断路

图像抠图是一个过程,生成新的图像通过消除某一地区的形象。器可以模拟目标部分遮挡的情况,这是一个普遍现象在自然图像。摘要图像抠图是由消除地区100的规模100年。该地区在图像的任意位置随机选择。注意,该地区可能不是完全的形象,例如,在图像的边界。同时,如果不到50%的区域图像中出现,那么该地区将重新选择。这种策略是用来确保有效的消除地区不会显著降低图像的边界。图6给出两个例子图像抠图,数据6(一)和6 (c)原始图像和数字吗6 (b)和6 (d)后对应的图像图像抠图。

3.6。图像旋转

与一般的自然图像中的对象相比,绝缘子串的长宽比是非常大的。基于CNN算法中搜索该地区当前图像与高相似度的标记训练样本地区。当算法应用于基于CNN绝缘子识别的字符串、绝缘子串的重叠区域不同的方向大大减少是由于非常大的长宽比的影响。因此,当绝缘子串的方向检测图像不同的训练样本集,检出率将大大降低。因此,图像旋转(1,9,10]采用增加绝缘子串的覆盖在训练集的方向。本文目标旋转角度之间的关系和识别率将定量分析。为了实现这一目标,首先,旋转图像,使图像中绝缘子串在一个水平位置;第二,宽高比计算绝缘子串的图片,和图片分为大类和小类根据长宽比;最后,属于大型图像类和小类用于训练和测试,分别;测试集的图像,它是旋转87°,−−84°,…,−3°,0°,3°,6°,…,87°和90°,分别测试它是否可以被训练模型。

图7给出了图像旋转的例子,图7(一)原始图像和图吗7 (b)是一个旋转图像,图像中绝缘子串在水平位置。数据7 (c)和7 (d)旋转图像,图像中绝缘子串3°和−3°水平。

4所示。实验和讨论

在这篇文章中使用的基本数据集包含848个绝缘子串图像分辨率为1152864,其中包括600图片没有绝缘子串绝缘子串和248张照片。数据集分为训练集和测试集的比例4:1,和图像的数量的训练集和测试集是678年和170年,分别。

实验与ubuntu18.04在服务器上进行,python 3.6, rtx2080ti,深咖啡学习框架。本文使用软件LabelImg标签848张图片在基本数据集。目标识别算法更快RCNN [2),ZF pretrained模型。培训过程中,最初的学习速率设置为0.001,重量衰减系数设置为0.0005,和动量值是0.9。

4.1。直方图均衡化

对于这个测试,首先训练集和测试集是由高斯模糊增强内核33、随机平移、缩放(×0.5),分别和断路。之后,训练集和测试集是4倍的基本数据集,这些数据作为原始数据集。为了验证直方图均衡化对识别性能的影响,在原始图像数据集通过直方图均衡化处理,然后形成一个新的训练集和测试集进行训练和测试。直方图均衡化前后的测试结果如表所示1并用,8月,所有测试结果是基于原始数据集,增广数据集,数据集,分别。

从表可以看出1当使用直方图均衡化增强数据集,测试集的识别精度由直方图均衡化处理提高0.6%。原始测试数据和增强数据,绝缘子串的识别精度提高了0.22%,这表明,直方图均衡化是一个有用的方法来提高绝缘子串识别的准确性,但影响并不显著。

4.2。高斯模糊

对于这个测试,首先训练集和测试集由直方图均衡化增强,随机翻译、缩放(×0.5),分别和断路。之后,训练集和测试集是基本数据集的4倍。为了验证不同高斯模糊内核对识别性能的影响,不同内核的数据集是由高斯模糊模糊,然后形成一个新的训练集和测试集。测试结果与不同的高斯模糊内核如表所示2,K1、K2和K3与内核3高斯模糊3、77日和11分别为11。

从表可以看出2只识别精度模型的训练与测试集上的原始数据图像33、77日和1111模糊内核依次降低;而对模型训练与模糊图像和原始图像或只使用原始图像,当测试图像模糊小高斯模糊内核(例如,33),识别精度在不同的测试数据集的区别并不重要。这意味着高斯模糊小内核对结果影响不大。然而,当训练集包含图像模糊大内核,测试数据集上的识别精度显著提高。从上面的分析可以看出,高斯模糊是一种有效的方法来改善绝缘子串识别的准确性,和影响是显著的。

4.3。随机的翻译

对于这个测试,首先训练集和测试集由直方图均衡化增强,与内核3高斯模糊3、缩放(×0.5),分别和断路。之后,训练集和测试集是4倍的基本数据集,这些数据作为原始数据集。为了验证随机翻译对识别性能的影响,原始数据集随机翻译,然后形成一个新的训练集和测试集进行训练和测试。随机翻译之前和之后的测试结果如表所示3。

从表可以看出3当随机翻译法用于增加数据集,测试集的识别准确率由随机翻译处理提高了0.36%,和绝缘子串的识别准确率提高了0.23%的原始测试数据和增强数据,这表明绝缘子串的识别性能可以提高通过使用随机翻译方法。

4.4。图像缩放

对于这个测试,首先训练集和测试集由直方图均衡化增强,与内核3高斯模糊3、随机翻译和断路,分别。之后,训练集和测试集是4倍的基本数据集,这些数据作为原始数据集。验证不同比例对识别性能的影响,在原始图像数据集比例的0.5和2,分别,然后形成一个新的训练集和测试集进行训练和测试。扩展前后测试结果如表所示4。

从表可以看出4当使用基于原始数据集训练模型,识别精度的测试图像的规模0.5和2显然低于原始数据集。当训练集包含的图像缩放0.5,所有数据集的识别精度提高。此外,当训练集包含的图像缩放,图像缩放的识别精度提高2。这表明图像的识别精度与不同的缩放比例可以提高与不同尺度图像时用于培训。

4.5。图像断路

对于这个测试,首先训练集和测试集由直方图均衡化增强,与内核3高斯模糊3、随机翻译和扩展(×0.5),分别。之后,训练集和测试集是4倍的基本数据集,这些数据作为原始数据集。为了验证图像抠图对识别性能的影响,在原始图像数据集处理断路,然后形成一个新的训练集和测试集进行训练和测试。直方图均衡化前后的测试结果如表所示5。

从表可以看出5使用断路时,增加原始数据集,识别精度的测试集处理器提高了0.56%。原始测试数据和增强数据,绝缘子串的识别精度提高了0.27%,这表明断路器是一个有用的方法来提高绝缘子串识别的准确性。

4.6。图像旋转

为基本数据集,首先,旋转图像,使图像中绝缘子串在水平位置。其次,基于绝缘子串的长宽比的统计数据,可以看出,绝缘子串的长宽比是1:从1到14:1。本文以长宽比8:1作为阈值,图像与绝缘子串的纵横比大于8:1被归类为类l,那些与绝缘子串的纵横比大于8:1被归类为类美国如果有两类l和类年代绝缘子串在一个图像,图像属于类l和类在同一时间。后的图像类l和类年代分为训练集和测试集的比例根据4:1,直方图均衡化,高斯模糊、随机翻译、缩放、和断路器用于扩大的训练集和测试集这两种类型的图像,分别。

在测试过程中,为一个图像,首先,旋转使绝缘子串在−87°,84°−−3°,0°,3°,…,87°和90°水平线,分别;然后,绝缘子串的识别模型的精度不同的角度计算和显示在图8,图8(一个)的结果是什么l类图片和图8 (b)的结果是什么年代类图像。从图8可以看出,模型的识别精度为绝缘子串在0°是最高的;然而,0°的角度偏差,绝缘子串的识别精度大大降低。偏差角是超过12°时,模型很难认识到绝缘子串。与此同时,尽管旋转角度是相同的,识别精度不一样是因为不同的旋转方向。结果表明,一般的卷积神经网络识别方法,如快RCNN用于本文无法处理的问题目标旋转,和额外的策略来解决目标旋转的问题。

5。结论

本文的数据增加对目标识别的影响无人机输电线路检查进行了分析。基于大量的实验数据扩增方法不同,它可以发现数据扩增方法如直方图均衡化、随机翻译,和断路器可以提高目标识别的准确性,但影响并不显著。与上述数据扩增方法相比,高斯模糊,缩放和旋转产生更大的影响绝缘子串的识别性能。旋转,一般卷积神经网络识别方法,如快RCNN用于本文无法处理目标旋转的问题,以及应采取其他方法来解决这个问题。

数据可用性

使用的数据来支持这个研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是国家重点支持的部分研发项目下的中国2018 yfb1700200格兰特,中国国家自然科学基金会授予U1908212下,国家电网公司科技项目(SG2NK00DWJS1800123),和国家电网2020年上海电力公司的技术项目”研究自动电力物联网传感器网络和数据融合技术”(52090 f1900bk)。

引用

1. 张x道,d . x, z . Wang h . Zhang和d .徐”检测输电线路绝缘子缺陷与卷积神经网络使用空中图像分析,“IEEE系统,人,和控制论:系统,50卷,不。4、1486 - 1498年,2020页。视图:出版商的网站|谷歌学术搜索
2. 任,k .他、r . Girshick和j .太阳,“快R-CNN:对实时目标检测与地区建议网络,”国际会议上神经信息处理系统,50卷,第99 - 91页,2015年。视图:谷歌学术搜索
3. d . w . Liu Anguelov、d . Erhan和c . Szegedy”SSD:单发射击multibox探测器,“大会卷,50 21-37,2015页。视图:谷歌学术搜索
4. j . Redmon s Divvala r . Girshick et al .,“你只看一次:统一、实时检测、”《IEEE计算机视觉与模式识别会议(CVPR),50卷,第788 - 779页,2016年。视图:谷歌学术搜索
5. 苗x, x, j·陈,壮族,j .风扇和h .江”绝缘子在架空输电线路检查图像检测使用单发射击multibox探测器,“IEEE访问7卷,第9956 - 9945页,2019年。视图:出版商的网站|谷歌学术搜索
6. 江h . x秋j . Chen x, x苗,和s .壮族“绝缘子故障检测与多层次的航拍图像基于集成学习知觉,“IEEE访问7卷,第61810 - 61797页,2019年。视图:出版商的网站|谷歌学术搜索
7. c . Sampedro j . Rodriguez-Vazquez a . Rodriguez-Ramos a . Carrio和p . Campoy“深上优于系统自动识别和诊断的电绝缘体弦,“IEEE访问7卷,第101308 - 101283页,2019年。视图:出版商的网站|谷歌学术搜索
8. z凌,“一个准确和实时的方法self-blast玻璃绝缘子位置基于快R-CNN和U-net航拍图片一样,“CSEE电力和能源系统杂志》上,5卷,不。4、474 - 482年,2019页。视图:谷歌学术搜索
9. d . Sadykova d . Pernebayeva m .阿訇,答:詹姆斯,“IN-YOLO:实时检测的户外高压绝缘子使用无人机成像,”IEEE电力交付,35卷,不。3、1599 - 1601年,2020页。视图:出版商的网站|谷歌学术搜索
10. 李x h·苏,g .刘”绝缘子缺陷识别基于全局检测和局部分割,“IEEE访问,8卷,第59946 - 59934页,2020年。视图:出版商的网站|谷歌学术搜索
11. c .歌曲,w .精,曾p, h . Yu和c·罗森博格,”能源消耗分析住宅游泳池的峰值负载剃须,”应用能源卷,220年,第191 - 176页,2018年。视图:出版商的网站|谷歌学术搜索
12. c .歌曲,w . Jing, p .曾和c·罗森博格”的循环水泵的能耗分析住宅游泳池峰值负载管理”应用能源卷,195年,页1 - 12,2017。视图:谷歌学术搜索
13. z赵:刘,l .王”定位多个绝缘体的定向角检测和二进制形状先验知识,”IEEE电介质和电气绝缘,22卷,不。6,3421 - 3428年,2015页。视图:出版商的网站|谷歌学术搜索
14. z赵、g .徐和y气,”表示的二进制特征字符串池检测绝缘子红外图像,”IEEE电介质和电气绝缘,23卷,不。5,2858 - 2866年,2016页。视图:出版商的网站|谷歌学术搜索
15. c .歌曲,p .曾庆红,z . Wang t . Li l .乔和l .沈”基于运动模糊的图像伪造检测使用卷积神经网络估计,“IEEE传感器杂志,19卷,不。23日,第11611 - 11601页,2019年。视图:出版商的网站|谷歌学术搜索
16. c .歌曲曾p, h .赵z . Wang和h . Yu,“可穿戴连续体温测量使用多个人工神经网络,”IEEE工业信息,14卷,不。10日,4395 - 4406年,2018页。视图:出版商的网站|谷歌学术搜索
17. 赵z、x粉丝,g .徐l . Zhang y气,和k·张,“聚合深卷积特性为绝缘子检测红外图像地图,”IEEE访问5卷,第21839 - 21831页,2017年。视图:出版商的网站|谷歌学术搜索
18. x锣,问:姚明,m . Wang和y林,“面向深度学习方法的电气设备检测热图像,”IEEE访问》第六卷,第41597 - 41590页,2018年。视图:出版商的网站|谷歌学术搜索
19. z h . Chen, b .史,t·钟”的电子元件的识别方法研究基于YOLO V3,意思“IEEE访问7卷,第157829 - 157818页,2019年。视图:出版商的网站|谷歌学术搜索
20. g .康美国高,l . Yu, d,“深架构高速铁路绝缘子表面缺陷检测方法:去噪autoencoder与多任务学习,”IEEE仪表和测量,卷68,不。8,2679 - 2690年,2019页。视图:出版商的网站|谷歌学术搜索

版权

版权©2020春和歌曲等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。