1。介绍
输电线路检查中起着非常重要的作用在确保电力系统的安全。近年来,随着无人机(UAV)技术的发展,无人机已经成功地应用于输电线路检查。在传统的基于无人机输电线路检查方法,在运营商的控制下,沿着特定的检查路线和无人机飞行使用摄像机采集图像或视频在特定的位置。将这些图像或视频传回运营商获得实际的飞行路径,无人机,周围的环境和目标识别。在这种方法中,目标识别主要取决于人类经验,这限制了它的效率和准确性
1 ]。
随着人工智能技术的进步,越来越多的关注已经支付给无人机自动检测技术。如图
1 ,通过使用全球定位系统(GPS)和智能图像识别技术,无人机实现自主检验规划路径,自动避障和智能识别可疑目标。很明显,图像识别的准确性直接决定了无人机自主检验的成功。近年来,深度学习技术的发展极大地提高了图像目标识别的性能(
2 - - - - - -
4 ]。深度学习模型的性能高度依赖于有效的训练样本的数量;不幸的是,缺乏有效的训练样本的深度学习模式的一个常见问题的培训。由于环境条件的复杂性和目标,以及图像采集和注释的局限性,有效样本通常不能覆盖所有可能的情况。因此,识别模型的泛化能力降低,使它们几乎没有可用的实际场景。为了克服这个问题,开发了一些数据扩增方法生成额外的深度学习模型训练样本(
5 - - - - - -
10 ]。尽管这些方法已经得到广泛应用,目前还没有定量研究它们对目标识别的影响,这就极大地限制了使用这些数据扩增方法。
图1
无人机自主输电线路检查。
本文以绝缘子串为目标,一系列广泛使用的数据的影响增强方法研究了目标识别的准确性。选择绝缘子串作为目标的原因是,在输电线路中,绝缘子串被广泛安装并有多种类型,也易错的元素。曾经是输电线路绝缘子串失败,不能正常工作,造成大面积的停电,这造成巨大威胁电力系统的安全稳定运行。绝缘子串的识别是一个非常重要的步骤来检测他们的错,和绝缘子串的识别精度直接决定了绝缘子串故障检测的结果。然而,由于复杂的背景下,绝缘子串的各种形状,确定摄像机的拍摄参数,和绝缘子串的识别仍然是一个非常具有挑战性的工作。尽管最近的先进的基于深度学习方法提供一种很有前途的方法来解决这个问题,他们受到训练样本不足的问题,类似于许多其他实用的场景。因此,数据扩增方法通常采用培训时绝缘子串上优于模型识别。目前,广泛使用的数据包括直方图均衡化增强方法(
1 ,
6 ,
8 ),高斯模糊(
1 ,
7 )、翻译(
1 ,
5 ,
10 )、缩放(
9 ,
10 ),和旋转
1 ,
9 ,
10 ]。尽管这些数据扩增方法被广泛使用,目前仍缺乏定量分析不同增强方法对识别结果的影响,严重阻碍了进一步改善的数据增加的影响。
为了克服这一问题,本文研究了一些广泛使用的数据的影响增强目标识别的准确性的方法,包括直方图均衡化、高斯模糊、随机翻译、缩放、断路和旋转。广泛的实验,发现数据增加起着重要的作用在提高模型的识别性能数据集时小。与此同时,高斯模糊,缩放和旋转目标识别性能有很大的影响。
本文的其余部分安排如下。部分
2 评审相关工作和部分
3 给不同的数据扩增方法的细节和例子。部分
4 提供了广泛的实验和分析数据扩增方法对目标识别的影响,和部分
5 是结论。
2。相关的工作
电力系统的安全稳定运行具有重要意义对人类的生活。智能电力系统的分析一直是研究热点
11 ,
12 ]。输电线路的关键元素,绝缘子串识别和缺陷检测是一个研究热点。作为输电线路的重要组成部分,绝缘子串的状态直接决定了输电线路的运行安全。因此,绝缘子串识别和故障检测一直是一个研究热点。绝缘子串识别可以使用传统的图像处理方法或最近的先进的基于深度学习方法。因为图像中绝缘子串并不总是遵循一定的方向,识别方法需要检测绝缘子串在所有可能的方向,这是非常费时。为了克服这个问题,赵et al。
13 提出一个基于定向角检测绝缘子串识别方法和二进制形状先验知识。赵et al。
14 ]提出绝缘体字符串识别方法在红外图像基于二进制健壮的不变的可伸缩的要点(快)和向量的局部聚合描述符(弗拉德)。
深度学习技术的发展,许多神经网络或提出了卷积神经网络(cnn)方法(
15 - - - - - -
20. ]。赵et al。
15 ]采用VGG16结构和取代过去三完全连接层与弗拉德池层,和一个支持向量机训练了二进制图像分类。Sadykova et al。
9 ]采用你只看一次(YOLO)意思绝缘子串识别模型。陈等人。
18 使用你YOLO V3意思绝缘子串识别算法。与此同时,他们改善图像质量使用基于超分辨率的超分辨率方法卷积神经网络(SRCNN)。在[
20. ),康等人使用更快的R-CNN绝缘子串识别网络和绝缘子串的深多任务神经网络缺陷检测。苗族et al。
5 )使用一个镜头multibox检测器(SSD)绝缘子串的认可。江et al。
6 )使用SSD绝缘子串从整个图像缺陷检测,multi-insulator形象,单列绝缘子图像,然后采用整体学习结合的结果。在[
7 ],Sampedro等人首次提出实现,一个完全卷积网络(FCN)架构,绝缘子串分割,然后设计一个暹罗卷积神经网络——基于(基本)绝缘子串缺陷检测的方法。凌et al。
8 和李et al。
10 )使用更快的R-CNN网络绝缘子串识别和绝缘子串U-net缺陷检测。道等。
1 )提出一项CNN层叠结构绝缘子串识别和缺陷检测。
类似于许多其他实用的识别任务基于深度学习技术,深度学习的绝缘子串识别模型的性能高度依赖于有效的训练样本的数量。然而,由于环境条件的复杂性和目标,以及图像采集和注释的局限性,有效样本通常不能覆盖所有可能的情况。为了克服这个问题,开发了一些数据扩增方法生成额外的深度学习模型训练样本。例如,苗族等。
5 采用水平和垂直翻转;江et al。
6 采用水平翻转和伽马校正;道等。
1 采用仿射变换,绝缘子和新背景融合,高斯模糊,和亮度变换;凌et al。
8 )采用增强方法包括随机翻转,作物,摄动随机饱和度,亮度,和合同。Sadykova et al。
9 )采用许多增强方法如高斯噪声,高斯模糊,平均模糊,模糊中值,旋转,缩放、加法和乘法。李等人。
10 )采用更增强的方法,比如镜像、旋转、仿射变换、高斯白噪声、亮度和颜色变换,和其他数据增加操作。虽然这些图像增强方法被广泛使用,目前,缺乏定量研究它们对目标识别的影响。
3所示。数据增加
3.1。直方图均衡化
直方图均衡化是非线性拉伸图像和重新分配图像的像素值,原始图像的灰度直方图变化从某种灰度范围均匀分布在整个范围。摘要RGB图像,首先,图像从RGB空间转换到HSV空间,然后进行直方图均衡化在HSV空间V频道
(1)
p
r
r
k
=
n
k
n
,
k
=
0 1
,
…
,
l
−
1
,
在哪里
n
是图像中像素的总数,
n
k
与灰度像素的数量吗
r
k
,
l
是可能的图像中灰度值的总数。
与此同时,灰度的像素
r
k
在图像可以被映射到相应的像素的灰度
年代
k
在输出图像
(2)
年代
k
=
∑
j
=
0
k
p
r
r
k
=
∑
j
=
0
k
n
j
n
,
k
=
0 1
,
…
,
l
−
1。
图
2 给出两个例子的直方图均衡化,数字
2(一个) 和
2 (c) 是原始图像,和数字
2 (b) 和
2 (d) 后对应的图像直方图均衡化。从图
2 可以看出,相比于原始图像数据
2(一个) 和
2 (c) 直方图均衡化后的图像数据
2 (b) 和
2 (d) 有更好的视觉效果。然而,这是否有利于目标识别性能的影响还不清楚,这将验证部分
4 。
图2
图像直方图均衡化前后。
(一)
(b)
(c)
(d)
3.2。高斯模糊
高斯模糊是将图像中每个像素的权重根据高斯分布函数使用加权平均值与周围的像素:
(3)
G
x
,
y
=
1
2
π
σ
2
e
−
x
2
+
y
2
/
2
σ
2
,
在哪里
σ
标准差,
x
和
y
像素的高斯模糊的坐标是内核。然后是一个高斯模糊图像
我
b
可以获得的
(4)
我
b
=
我
⊕
G
x
,
y
,
在哪里
⊕
是卷积算子。
高斯模糊的影响取决于标准差
σ
和高斯模糊核的大小。摘要标准差的高斯模糊是固定的5日和高斯模糊内核的大小设置为3
∗
3、7
∗
7日和11
∗
分别为11。图
3 给出一个示例由不同的高斯模糊图像的模糊内核,图
3(一个) 原始图像和数字吗
3 (b) - - - - - -
3 (d) 与内核芒刺图像高斯模糊引起3
∗
3、7
∗
7日和11
∗
分别为11。
图3
由不同的高斯模糊图像芒刺内核。
(一)
(b)
(c)
(d)
高斯模糊图像是模拟散焦效应当目标不是在曝光在镜头焦点位置,这是一个普遍现象。因此,它可能是一个有效的数据扩增方法。
3.3。随机的翻译
随机翻译是维持图像的大小不变和移动整个图像上/下/左/右一定距离。摘要翻译距离是随机的,但确保绝缘子串不会搬出去的形象。图
4 给两个随机翻译的例子,数据
4(一) 和
4 (c) 是原始图像,和数字
4 (b) 和
4 (d) 后对应的图像随机翻译。注意,空置面积导致随机翻译由0。
图4
图像随机前后翻译。
(一)
(b)
(c)
(d)
3.4。图像缩放
图像缩放调整图像,同时保持图像的纵横比的长度和宽度不变。这种策略是用来模拟效果的不同焦距的镜头拍摄的结果。
本文应用两个缩放比率0.5和2。图
5 给两个例子图像的缩放,数字
5(一个) 和
5 (c) 原始图像和数字吗
5 (b) 和
5 (d) 在图像缩放后对应的图像。类似于随机翻译,空置面积导致图像缩放是由0。注意,对于一些图片,部分绝缘子串可能的图像。
图5
图像缩放之前和之后。
(一)
(b)
(c)
(d)
3.5。图像断路
图像抠图是一个过程,生成新的图像通过消除某一地区的形象。器可以模拟目标部分遮挡的情况,这是一个普遍现象在自然图像。摘要图像抠图是由消除地区100的规模
∗
100年。该地区在图像的任意位置随机选择。注意,该地区可能不是完全的形象,例如,在图像的边界。同时,如果不到50%的区域图像中出现,那么该地区将重新选择。这种策略是用来确保有效的消除地区不会显著降低图像的边界。图
6 给出两个例子图像抠图,数据
6(一) 和
6 (c) 原始图像和数字吗
6 (b) 和
6 (d) 后对应的图像图像抠图。
图6
前后图像抠图。
(一)
(b)
(c)
(d)
3.6。图像旋转
与一般的自然图像中的对象相比,绝缘子串的长宽比是非常大的。基于CNN算法中搜索该地区当前图像与高相似度的标记训练样本地区。当算法应用于基于CNN绝缘子识别的字符串、绝缘子串的重叠区域不同的方向大大减少是由于非常大的长宽比的影响。因此,当绝缘子串的方向检测图像不同的训练样本集,检出率将大大降低。因此,图像旋转(
1 ,
9 ,
10 ]采用增加绝缘子串的覆盖在训练集的方向。本文目标旋转角度之间的关系和识别率将定量分析。为了实现这一目标,首先,旋转图像,使图像中绝缘子串在一个水平位置;第二,宽高比计算绝缘子串的图片,和图片分为大类和小类根据长宽比;最后,属于大型图像类和小类用于训练和测试,分别;测试集的图像,它是旋转87°,−−84°,…,−3°,0°,3°,6°,…,87°和90°,分别测试它是否可以被训练模型。
图
7 给出了图像旋转的例子,图
7(一) 原始图像和图吗
7 (b) 是一个旋转图像,图像中绝缘子串在水平位置。数据
7 (c) 和
7 (d) 旋转图像,图像中绝缘子串3°和−3°水平。
图7
前后图像旋转。
(一)
(b)
(c)
(d)
4所示。实验和讨论
在这篇文章中使用的基本数据集包含848个绝缘子串图像分辨率为1152
∗
864,其中包括600图片没有绝缘子串绝缘子串和248张照片。数据集分为训练集和测试集的比例4:1,和图像的数量的训练集和测试集是678年和170年,分别。
实验与ubuntu18.04在服务器上进行,python 3.6, rtx2080ti,深咖啡学习框架。本文使用软件LabelImg标签848张图片在基本数据集。目标识别算法更快RCNN [
2 ),ZF pretrained模型。培训过程中,最初的学习速率设置为0.001,重量衰减系数设置为0.0005,和动量值是0.9。
4.1。直方图均衡化
对于这个测试,首先训练集和测试集是由高斯模糊增强内核3
∗
3、随机平移、缩放(×0.5),分别和断路。之后,训练集和测试集是4倍的基本数据集,这些数据作为原始数据集。为了验证直方图均衡化对识别性能的影响,在原始图像数据集通过直方图均衡化处理,然后形成一个新的训练集和测试集进行训练和测试。直方图均衡化前后的测试结果如表所示
1 并用,8月,所有测试结果是基于原始数据集,增广数据集,数据集,分别。
表1
直方图均衡化前后测试结果。
测试集
让奥
8月
所有
训练集
让奥
0.9002
0.8932
0.8975
所有
0.9003
0.8992
0.8997
从表可以看出
1 当使用直方图均衡化增强数据集,测试集的识别精度由直方图均衡化处理提高0.6%。原始测试数据和增强数据,绝缘子串的识别精度提高了0.22%,这表明,直方图均衡化是一个有用的方法来提高绝缘子串识别的准确性,但影响并不显著。
4.2。高斯模糊
对于这个测试,首先训练集和测试集由直方图均衡化增强,随机翻译、缩放(×0.5),分别和断路。之后,训练集和测试集是基本数据集的4倍。为了验证不同高斯模糊内核对识别性能的影响,不同内核的数据集是由高斯模糊模糊,然后形成一个新的训练集和测试集。测试结果与不同的高斯模糊内核如表所示
2 ,K1、K2和K3与内核3高斯模糊
∗
3、7
∗
7日和11
∗
分别为11。
表2
测试结果在高斯模糊。
测试集
让奥
K1
K2
K3
所有
训练集
让奥
0.9014
0.8924
0.7923
0.6038
0.8013
Ori + K1
0.9021
0.9004
0.8129
0.6307
0.8108
Ori + K2
0.9030
0.8999
0.8971
0.8100
0.8889
Ori + K3
0.9010
0.9006
0.8921
0.8922
0.8978
Ori + K1 + K2
0.9021
0.9012
0.8963
0.8136
0.8942
Ori + K1 + K3
0.9001
0.8994
0.8956
0.8798
0.8970
Ori + K2 + K3
0.9035
0.8995
0.8999
0.8821
0.8981
所有
0.9033
0.9016
0.8975
0.8739
0.8985
从表可以看出
2 只识别精度模型的训练与测试集上的原始数据图像3
∗
3、7
∗
7日和11
∗
11模糊内核依次降低;而对模型训练与模糊图像和原始图像或只使用原始图像,当测试图像模糊小高斯模糊内核(例如,3
∗
3),识别精度在不同的测试数据集的区别并不重要。这意味着高斯模糊小内核对结果影响不大。然而,当训练集包含图像模糊大内核,测试数据集上的识别精度显著提高。从上面的分析可以看出,高斯模糊是一种有效的方法来改善绝缘子串识别的准确性,和影响是显著的。
4.3。随机的翻译
对于这个测试,首先训练集和测试集由直方图均衡化增强,与内核3高斯模糊
∗
3、缩放(×0.5),分别和断路。之后,训练集和测试集是4倍的基本数据集,这些数据作为原始数据集。为了验证随机翻译对识别性能的影响,原始数据集随机翻译,然后形成一个新的训练集和测试集进行训练和测试。随机翻译之前和之后的测试结果如表所示
3 。
表3
测试结果之前和之后随机翻译。
测试集
让奥
8月
所有
训练集
让奥
0.8996
0.8981
0.8981
所有
0.9011
0.9017
0.9004
从表可以看出
3 当随机翻译法用于增加数据集,测试集的识别准确率由随机翻译处理提高了0.36%,和绝缘子串的识别准确率提高了0.23%的原始测试数据和增强数据,这表明绝缘子串的识别性能可以提高通过使用随机翻译方法。
4.4。图像缩放
对于这个测试,首先训练集和测试集由直方图均衡化增强,与内核3高斯模糊
∗
3、随机翻译和断路,分别。之后,训练集和测试集是4倍的基本数据集,这些数据作为原始数据集。验证不同比例对识别性能的影响,在原始图像数据集比例的0.5和2,分别,然后形成一个新的训练集和测试集进行训练和测试。扩展前后测试结果如表所示
4 。
表4
测试结果之前和之后的扩展。
测试集
让奥
×0.5
×2
所有
训练集
让奥
0.9026
0.7955
0.6230
0.7928
Ori + (×0.5)
0.9045
0.8121
0.6539
0.8016
Ori + (×2)
0.9024
0.7240
0.9080
0.8154
所有
0.9030
0.8131
0.9087
0.9010
从表可以看出
4 当使用基于原始数据集训练模型,识别精度的测试图像的规模0.5和2显然低于原始数据集。当训练集包含的图像缩放0.5,所有数据集的识别精度提高。此外,当训练集包含的图像缩放,图像缩放的识别精度提高2。这表明图像的识别精度与不同的缩放比例可以提高与不同尺度图像时用于培训。
4.5。图像断路
对于这个测试,首先训练集和测试集由直方图均衡化增强,与内核3高斯模糊
∗
3、随机翻译和扩展(×0.5),分别。之后,训练集和测试集是4倍的基本数据集,这些数据作为原始数据集。为了验证图像抠图对识别性能的影响,在原始图像数据集处理断路,然后形成一个新的训练集和测试集进行训练和测试。直方图均衡化前后的测试结果如表所示
5 。
表5
测试结果之前和之后断路。
测试集
让奥
8月
所有
训练集
让奥
0.8997
0.8965
0.8996
所有
0.9031
0.9021
0.9023
从表可以看出
5 使用断路时,增加原始数据集,识别精度的测试集处理器提高了0.56%。原始测试数据和增强数据,绝缘子串的识别精度提高了0.27%,这表明断路器是一个有用的方法来提高绝缘子串识别的准确性。
4.6。图像旋转
为基本数据集,首先,旋转图像,使图像中绝缘子串在水平位置。其次,基于绝缘子串的长宽比的统计数据,可以看出,绝缘子串的长宽比是1:从1到14:1。本文以长宽比8:1作为阈值,图像与绝缘子串的纵横比大于8:1被归类为类
l ,那些与绝缘子串的纵横比大于8:1被归类为类美国如果有两类
l 和类年代绝缘子串在一个图像,图像属于类
l 和类在同一时间。后的图像类
l 和类
年代 分为训练集和测试集的比例根据4:1,直方图均衡化,高斯模糊、随机翻译、缩放、和断路器用于扩大的训练集和测试集这两种类型的图像,分别。
在测试过程中,为一个图像,首先,旋转使绝缘子串在−87°,84°−−3°,0°,3°,…,87°和90°水平线,分别;然后,绝缘子串的识别模型的精度不同的角度计算和显示在图
8 ,图
8(一个) 的结果是什么
l 类图片和图
8 (b) 的结果是什么
年代 类图像。从图
8 可以看出,模型的识别精度为绝缘子串在0°是最高的;然而,0°的角度偏差,绝缘子串的识别精度大大降低。偏差角是超过12°时,模型很难认识到绝缘子串。与此同时,尽管旋转角度是相同的,识别精度不一样是因为不同的旋转方向。结果表明,一般的卷积神经网络识别方法,如快RCNN用于本文无法处理的问题目标旋转,和额外的策略来解决目标旋转的问题。
图8
识别精度曲线两种图像。
(一)
(b)