基于改进条件生成对抗网络的电力线检测绝缘子分割

摘要

输电线路上有大量的绝缘子，绝缘子损坏将对供电安全产生重大影响。基于图像的输电线路绝缘子分割是电力线路检测的前提和关键任务。提出了一种适用于绝缘子像素级分割的改进条件生成对抗网络。利用非对称卷积核的编解码器层对生成器进行重构，简化了网络复杂度，提取了更多的特征信息。该鉴别器由基于patchGAN的全卷积网络组成，通过学习损失来训练生成器。实验证明，该方法在mIoU上的性能和计算效率均优于Pix2pix、SegNet等先进网络。

1.介绍

绝缘体广泛用于动力传动系统。一旦破裂，电网系统会有很大的失败，造成显着的经济损失和社会混乱[1］．因此，对电力线路的绝缘子进行检测是十分必要的。随着机器人技术和图像处理技术的不断完善，检测机器人或无人机将取代人工检测，安装摄像头作为环境感知或缺陷检测的传感器。然而，由于绝缘子具有不同的颜色纹理、分辨率和光谱，以及不同的位置和姿态，从绝缘子图像中提取和识别绝缘子组件非常困难[2］．此外，图像始终具有杂乱的背景，这使得绝缘体难以被识别[3.］．此外，在检查机器人的运动期间，绝缘体图像可能由于抖动而被模糊[4］．

空中图像中绝缘体的分割是绝缘体检查的基本问题。各种研究专注于该地区。传统方法通常利用各种特征来进行绝缘子检验。赵等人。[5基于形状点和等距模型采用绝缘子的定位方法。它们使用定向角检测和二进制形状的知识来检测不同种类的绝缘体。[6从显着性和适应性的形态中有益于融合颜色和梯度特征来检测绝缘体。但这种方法不能应用于使用不显眼的颜色定位各种绝缘体。Zhai等人。[7]目前的束性故障检测确定绝缘体的坐标，但这种方法只能用于玻璃和陶瓷绝缘体。在[8[MultiScale和Multifeature描述符是否建议表示本地特征。它们从本地特征获取空间订单功能，然后使用空间订单功能确定绝缘体区域。这些方法具有类似的缺点。当绝缘体非常接近背景环境或背景是复杂的时，它们呈现不良结果。

与传统方法相比，机器学习方法对于目标检测是鲁棒性和准确的。尚等人。[9]基于集群方差和Adaboost分类器之间的最大值定位绝缘体的位置。但这种方法需要绝缘体之间的独立性。[10.]基于局部方向模式（LDP）提取特征。基于支持向量机（SVM）的分类模型被集成到用于定位绝缘体的滑动窗框框架中。在[11.]、二进制鲁棒不变可扩展关键点(BRISK)和局部聚合描述子向量(VLAD)对绝缘子进行检测。利用支持向量机对这些混合特征进行分类。但该方法仅限于红外图像。Yan等提取了定向梯度直方图(histogram of oriented gradient, HOG)和局部二值模式(local binary pattern, LBP)，并利用滑动窗口法和支持向量机实现绝缘子检测[12.］．这些方法基本上设计用于特定类型的绝缘体，导致缺乏适应性。

随着深度学习技术的发展，上述算法逐渐被取代。深度学习在检测、识别和分割等各种任务中都取得了非常高效的结果。[13.构建了基于生成式对抗网络的显著性区域检测框架。但在训练处理中使用的是合成绝缘子样本，在测试实验中使用的是真实图像，可靠性不够。在[14.]，采用单镜头多盒探测器(SSD)结合两级微调策略识别绝缘子。但这种方法只适用于瓷绝缘子和复合绝缘子。Siddiqui等人提出了一种旋转归一化和椭圆检测方法。基于卷积神经网络(CNN)的检测框架实现了对17种不同类型绝缘子的检测[15.］．在[16.，改进了快速R-CNN模型中区域提议网络(RPN)中的锚生成方法和非最大抑制(NMS)方法，提高了模型的准确性和效率。但这些方法不能实现实时检测。Arnab等人提出基于cnn的分割方法具有高阶一致性[17.］．在[18.]的研究表明，基于GAN的语义分割可以解决高阶一致性问题。

总之，当前的绝缘子分割方法都有一些缺陷。基于功能的传统方法无法处理具有不同尺度或形状的各种类型的绝缘体。基于CNN的分割网络导致高阶一致性，不能用于实时情况。为了解决这些问题，需要设计更自适应的方法。在本文中，我们使用端到端的GAN网络实现像素级绝缘体分段。培训的模型可以在不手动设置参数的情况下实现分段绝缘体。在实验中验证，网络可以在常规检查中实时在嵌入式设备上实时生产绝缘体的高质量像素级分割。

本文的贡献如下:首先，设计了一个带有非对称卷积核的轻量级端到端生成器，以原始RGB图像为输入，生成绝缘子像素级分割;其次，我们在鉴别器中探索patchGAN分类器，在图像斑块的尺度上给出一个惩罚函数。

本文其余部分组织如下：部分2讨论了我们改进的条件生成对抗网络的管道。部分3.显示数据集的建立。本节提出了实验评价和讨论4，我们在第一部分总结本文5．

2.改进的条件生成对抗网络

2.1。修改模型

在本节中，我们介绍了所提出的网络的整体描述。如图所示1该框架是一个全卷积GAN，由两部分组成:基于编解码器网络的轻量级生成器和基于patchGAN的分类模型的鉴别器。生成器对给定的图像产生虚假的分割结果。该鉴别器同时吸收了伪分割图像和地面真图像，并试图从伪生成图像中区分出真实图像。在训练过程中，同时对生成器模型进行训练，以生成更加真实的图像，这些图像与地面真实图像很难区分。

2.2。发电机

生成器遵循编码器解码器架构，详细信息列在表中1．它由5层编码和5层解码组成。每个编码层由卷积层，批量归一化（BN），整流的线性单元（Relu）和MAX池层组成。采用BN稳定训练，加快收敛，并规范模型[19.］．最大汇集 窗口和2的步幅在两个编码层之间插入，这使得特征映射的子同步为2.此外，我们存储最大池索引以捕获编码器特征映射中的图像的边界信息。特别是，我们使用两个不对称的空间过滤器 和 而不是 ，深化网络结构并提高其非线性的程度。除此之外 和 过滤器会降低参数的数量并产生更紧凑的发电机型号，有助于提高其计算效率[20.］．编码器层可以预测低级和高级特征图，具有良好的特征表达能力。

每个解码层都有一个相应的编码器层。采用UpSampling层利用最大池化指标对输入特征图进行上采样。作为最成功的分割方法之一，将编码特征图存储的最大池化指数传递给解码特征图，保留了边界细节，分割精度高。BN插入反褶积和ReLU之间。非对称空间滤波器也被用于每一个地图。在没有非对称空间滤波器的情况下，整个网络的参数增加了19以上米，对加工速度有很大的影响。

发电机被构建为轻量级网络，但层数是耗时和分割精度之间的全面折衷。发电机的最终输出是一个 将分割结果与输入图像一起输入到鉴别器模型中。

2.3。判别符号

表格中的鉴别器模型结构呈现在表格中2．生成的图像和地理真实图像的串联是鉴别器的输入。鉴别器模型具有5个块，由卷积层，漏滤泡和BN组成。卷积滤波器是 ，除了第一个块之外，BN的步幅被添加到该模型中，它被利用以加速网络融合过程。Leakyyrelu用于保证当输入小于0时神经元不会死亡。

众所周知，损失在生成器中产生模糊结果，这有助于强制低频正确性[21.］．损失可以定义为: 因此，该鉴别器被用来模拟高频结构。为此，我们采用patchGAN作为鉴别器结构。在绝缘子分段实验的基础上，选择了贴片的大小 而不是 在[22.]，并在实验段进行了效果验证。patchGAN的映射 图片到A. 输出数组 ，其中每个表示是否补丁在图像中是真实的或假的。值得注意的是，我们只在训练期间使用鉴别器，因此实验中的效率不是初级初级。

２.４.客观的

网络的目标函数可定义为: 在哪里是权重参数， 为预测的分割图像，地面是真实的吗代表的损失。

随着公式的表明，它有两部分。第一的，试图最小化鉴别器的准确性这试图最大化它。此外，发电机训练，以实现欺骗鉴别者并产生更现实的图像，这与地面真相类似有意义的。

3.建立我们的数据集

3.1。数据收集UAV系统

要完成此任务，请在图中设计和示出了UAV数据采集系统2．数据采集​​系统由Zenmuse和DJI M200 UAV平台的PAN倾斜摄像机和待提出的绝缘体分段方法组成。相机捕获传输线上的绝缘体图像，包括各种类型，如瓷绝缘体和复合绝缘体。

３．２．数据集和实现细节

采用无人机数据采集系统和互联网两种方式采集绝缘子数据集。通过随机旋转、镜像、颜色扰动、模糊和调整大小来增强样本 前培训。数据集由6000张以上6种类型的绝缘子图像组成，每张图像包含1到10个绝缘子，平均每张图像包含4个绝缘子，总计24000个绝缘子。它们被分为5000张图像的训练集、500张图像的验证集和500张图像的测试集。值得一提的是，绝缘子标签采用覆盖绝缘子的整条连通域，忽略其边缘细节，因为绝缘子识别不需要标记形状。此外，这种标记方法不仅降低了网络复杂度，还提高了处理效率。

4.实验

在本节中，我们将进行几个实验来演示和验证以下目标。首先，我们描述了实验中使用的评价指标。接下来，我们展示了我们的模型与最先进的方法相比在分割精度和效率上的提高。然后，我们进行了一些实验，以验证我们的发电机容量。此外，我们还比较了在鉴别器中不同patch大小的分割结果。此外，还对训练集图像个数的影响进行了评估。最后，分析了不同尺寸绝缘子的分割结果。

所有的网络都是基于Keras框架使用TensorFlow后端实现的。该网络在英伟达特斯拉上检查V100服务器。在培训期间，我们设定了批量8，adam优化器 ， ，学习率为0．0001.

4．1.评价指标

mIoU (Mean Intersection over Union)是定义分割精度的一个标准。mIoU评估分割的预测精度。mIoU可以表示为 在哪里数据集类的数量是和吗是计算的类别的数量预计上课 ． 是类的像素数预计上课 ，和是类的像素数预计上课 ．

本文比较了不同模型的平均分割时间，这对实时性能有重要意义。

4.2。架构分析

为了验证改进后的网络的优越性，我们将我们的方法与Pix2pix [22]， SegNet [23.]，Un et [24.]和fcn [25.］．FCN使用完全卷积的网络将图像像素转换为像素类别的语义分割。分段配备的VGG16 NET [26.]作为本实验的前置结构。数字3.说明了五种模型的分割性能。桌子3.显示定量比较结果。我们可以看到unets表现为segnet，它具有最低的消耗时间。FCN略有增加Miou，但它具有最多的参数和最长的处理时间。由于采用GaN，PIX2PIX表现得比相似，这与我们的模型类似。GaN模型可以纠正生成的分割图像和地面真实图像之间的更高阶不一致。我们的方法优于其他方法，具有最高的MiOU，最少的参数和最低时间消耗。它表明，我们的模型不对称空间过滤器和PACKGANGAGAN提高了性能。

4．3．发电机结构的影响

要显示我们模型的时间消耗和分割准确性，我们比较了几种发电机型号。在该实验中，具有贴片尺寸的相同鉴别器模型 被杠杆化。我们称之为使用空间过滤器的模型 为方便起见，如33个Patch16。不对称的空间过滤器 和 在我们的模型中采用。此外，我们使用与Unet网络相同的生成器，我们称之为Unet patch16。Unet patch16和Pix2pix的区别在于它们有不同的补丁大小。对比结果见表4．该实验表明，我们的方法对Miou有点优势，参数远低于它们。可以看出，发电机中具有非对称空间过滤器的编码器解码器架构在其中起重要作用。

4.4。判别符号中的贴片尺寸的比较

我们的鉴别器的patch大小影响分割性能。桌子5显示定性结果。我们可以看到patchGAN 补丁大小在我们的所有实验中使用。明显地， 意味着PixelGAN和 意思是Gan。这 Pixelgan和 氮化镓获得的结果不是很令人满意。这 补丁尺寸表现为 补丁尺寸，但是 补丁大小参数更多。

4.5。训练集图像号对分段结果的影响

为了评估训练设置图像号的影响，随机选择1000,2000,3000,4000和5000图像来构成不同的训练数据集。我们使用这些数据集培训模型，并验证其在同一测试数据集上的性能。数字4显示Miou结果。结果表明，培训集数量越多，越高。但是，当训练套装达到3000或以上时，Miou慢慢地增长。

4.6。不同尺寸的绝缘子分割结果分析

验证我们模型在绝缘体图像中检测不同刻度的各种绝缘体的能力，图5显示分段结果。结果表明，尽管背景中的物体大于绝缘体，但我们的模型仍然可以以高质量分割绝缘体。我们的模型能够在实际检测过程中实现近绝缘子和远方绝缘体的分割。

4.7。噪声对分割结果的影响

为了模拟不同的天气条件，我们将盐和辣椒噪声添加到绝缘体图像中。在该实验中，设计了三种训练数据集：所有噪声数据集，半噪声和无噪音无噪声数据集和无噪声数据集。我们培养三种型号，称为模型噪音，模型半噪声，为方便起见没有噪音。然后，我们验证了与盐和辣椒噪声的图像相同的测试数据集上的分段性能。桌子6显示定量比较结果。数字6说明了分割的性能。我们可以看到培训过程中使用的嘈杂数据集提高了分段性能。因此，培训数据集的多样性对细分结果产生了重要影响。

结论

在本文中，我们介绍了一种具有改进的条件生成的对抗网络的像素级绝缘体分割网络。发电机中采用不对称空间滤波器以减少网络参数并提高计算效率。此外，我们探索了鉴别器中的PACKGAN分类器以模拟高频结构。与现有的端到端分割方法相比，网络可以生产具有高MIOU的绝缘子的高质量分割，并且与现有的端到端分割方法相比较少。此外，限制可训练参数，这使得建议的网络在未来嵌入式设备上适用于实时分割。另外，该方法也可以应用于电力检查中的其他检测任务。

数据可用性

用于支持本研究发现的数据可由通讯作者要求提供。

的利益冲突

作者声明他们没有利益冲突。

致谢

该项目得到了国家重点研发计划（2017年FFC0801）和国家自然科学基金会（U1713224）的支持。

参考文献

1. 王伟，“基于图像的绝缘子识别与脱落检测”，国家自然科学基金面上项目2016年第9届计算智能和设计国际研讨会（ISCID）， pp. 162-167，中国，杭州，2016。查看在：出版商网站|谷歌学者
2. D. Zuo，H Hu，R.Qian和Z. Liu，“一种基于计算机视觉的绝缘体缺陷检测算法”2017 IEEE信息与自动化国际会议，pp.361-365，中国澳门，2017年。查看在：出版商网站|谷歌学者
3. Y.王，R. Wang，S. Wang，M. Tan和J. Yu，“水下生物启发推进：从检查到操纵”，IEEE工业电子产品交易，p。1,2019。查看在：出版商网站|谷歌学者
4. Y. Han，Z. Liu，D.-J。Lee，G.张和M. Deng，“高速铁路杆绝缘子检测使用段聚类和可变形部件模型”2016 IEEE图像处理国际会议（ICIP），凤凰城，阿兹，美国，2016年。查看在：出版商网站|谷歌学者
5. Z. Zhao，N. Liu和L. Wang，“通过定向角度检测和二元形状的多个绝缘子本地化，”电介质和电绝缘的IEEE交易，卷。22，没有。6，pp。3421-3428,2015。查看在：出版商网站|谷歌学者
6. “基于自适应形态和显著性的绝缘子故障检测方法”，《中国机械工程》，2015年第4期，第1 - 7页。多媒体工具及应用，卷。76，没有。9，pp。12051-12064,2051-12064,2017。查看在：出版商网站|谷歌学者
7. 翟勇，陈锐，杨青，李旭东，“基于空间形态特征的绝缘子故障检测方法”，“基于空间形态特征的绝缘子故障检测方法”，IEEE访问，第6卷，第35316-35326页，2018。查看在：出版商网站|谷歌学者
8. S. Liao和J.an，“一种基于局部特征和空中图像空间订单的强大绝缘体检测算法”，IEEE地球科学与遥感通讯，第12卷，第2期5，pp。963-967，2014。查看在：出版商网站|谷歌学者
9. “基于视觉的自爆绝缘子定位与检测”，“基于视觉的自爆绝缘子定位与检测”，电子测量与仪器学报，卷。31，不。6，pp。844-849,2017。查看在：谷歌学者
10. T. Jabid和M. Z. Uddin，“使用局部方向模式和支持向量机的旋转不变电力线绝缘子检测”2016年科学，工程技术创新国际会议（ICISET）2016年，孟加拉国达卡。查看在：出版商网站|谷歌学者
11. Z. Zhao，G. Xu和Y.Qi，“二元特征汇集的表示，用于检测红外图像中的绝缘子串”，“电介质和电绝缘的IEEE交易，卷。23，不。5，pp。2858-2866,2016。查看在：出版商网站|谷歌学者
12. Y.Tiantian，Y.Guodong和Y.Junzhi，“空中检测的融合绝缘体检测”2017年36日中国控制会议（CCC），pp.10972-10977，大连，中国，2017年。查看在：出版商网站|谷歌学者
13. W. chang，G. Yang，J. Yu和Z. Liang，“使用生成的对抗网络实时分割各种绝缘体，”IET计算机愿景，第12卷，第2期5，pp。596-602,2018。查看在：出版商网站|谷歌学者
14. 苗学军，刘学军，陈建军，“基于多箱检波器的输电线路航测绝缘子检测”，IEEE访问，卷。7，pp。9945-9956,2019。查看在：出版商网站|谷歌学者
15. Z. Siddiqui，U. Park，S. -w。Lee等，“基于卷积神经网络的强大电力线设备检测系统”传感器，卷。18，不。11，2018年第3837号。查看在：出版商网站|谷歌学者
16. Z. Zhao，Z. Z. Zhen，L. Zhang，Y. Qi，Y. Kong和K. Zhang，基于改进的R-CNN的检查图像中的绝缘体检测方法，“能量，第12卷，第2期2019年第1204条。查看在：出版商网站|谷歌学者
17. A. Arnab, S. Jayasumana, S. Zheng，和P. H. S. Torr，“深度神经网络的高阶条件随空场”，在计算机视觉- ECCV 2016。2016年大会B. Leibe, J. Matas, N. Sebe, M. Welling，编。年第9906卷计算机科学课堂讲稿，pp.524-540，Springer，Cham，2016。查看在：出版商网站|谷歌学者
18. P. Luc, C. Couprie, S. Chintala，和J. Verbeek，“使用对抗网络的语义分割”，2016，https://arxiv.org/abs/1611.08408．查看在：谷歌学者
19. C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens，和Z. Wojna，“重新思考计算机视觉的初始架构”，在2016 IEEE计算机视觉与模式识别大会(CVPR)，第2818-2826页，拉斯维加斯，内华达州，美国，2016。查看在：出版商网站|谷歌学者
20. S. Ioffe和C. Szegedy，“批处理规范化:通过减少内部协变量移位加速深度网络训练”，2015，https://arxiv.org/abs/1502.03167．查看在：谷歌学者
21. D. Pathak, P. Krahenbuhl, J. Donahue, T. Darrell，和A. A. Efros，“上下文编码器:通过印画的特征学习”，在2016 IEEE计算机视觉与模式识别大会(CVPR)，pp。2536-2544，拉斯维加斯，NV，美国，2016年。查看在：出版商网站|谷歌学者
22. P. Isola，J.-Y.Zhu，T. Zhou和A. A. efros，“用条件对抗网络的图像到图像转换，”2017 IEEE计算机视觉与模式识别大会(CVPR)，pp.1125-1134，檀香山，嗨，美国，2017年。查看在：出版商网站|谷歌学者
23. V. Badrinarayanan, a . Kendall，和R. Cipolla，“Segnet:用于图像分割的深度卷积编码器-解码器体系结构”，模式分析与机器智能学报第39卷第3期12, pp. 2481-2495, 2017。查看在：出版商网站|谷歌学者
24. O. Ronneberger，P.Fischer和T.Brox，“U-Net：生物医学图像分割的卷积网络”医学图像计算与计算机辅助干预N. Navab, J. Hornegger, W. Wells, and A. Frangi, Eds。，第9351卷MICCAI 2015。计算机科学课堂讲稿， pp. 234-241，施普林格，Cham, 2015。查看在：出版商网站|谷歌学者
25. J. Long，E. Shelhamer和T. Darrell，“用于语义细分的完全卷积网络”2015 IEEE计算机视觉与模式识别会议(CVPR)，pp.3431-3440，波士顿，马，美国，2015年。查看在：出版商网站|谷歌学者
26. K. Simonyan和A. Zisserman，“用于大规模图像识别的非常深度卷积Vnetworks”，2014，https://arxiv.org/abs/1409.1556．查看在：谷歌学者

版权

版权所有©2019高子淑等人。这是一篇发布在知识共享署名许可协议如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。