基于深度学习算法的无人机电力线路杆塔巡检实时目标检测模型建构

发表时间:2020/6/17   来源:《中国电业》2020年5期   作者:夏立杰 孙阔腾 蔡玮辰 李辉
[导读] 无人机巡检已成为电力线路杆塔巡检的重要方式。
        摘要:无人机巡检已成为电力线路杆塔巡检的重要方式。然而,目前的无人机巡检仍主要通过人工方式评估线路灾损,不仅费时费力,而且准确率低。本文提出了一种基于深度学习算法的实时目标检测模型,通过无人机巡检视频实时检测电力杆塔的状态。通过对倒断类杆塔图像进行数据增广,解决了杆塔类别不平衡问题。通过使用K-means算法对杆塔数据集的目标框进行重新聚类,改进了深度学习算法参数。测试结果表明,该模型能有效检测多种环境下多种尺度的杆塔目标。改进后的模型在测试集上的召回率和交并比较改进前有所提高,且平均均值精度达到94.09%,检测速度达到20顿/s。此外,也对更快的简化版YOLO模型进行了测试,检测速度能达到30帧/s。
关键词:深度学习算法 无人机 电力线路 杆塔巡检 实时目标 检测模型

        为了能够及时发现电力线路的故障以便有效排除安全隐患,电力部门需要定期或不定期地对电力线路开展巡检。目前主要的电力线路巡检方式包括人工巡检、机器人巡检、载人直升机巡检、无人机巡检等。由于电力线路经常穿越崇山峻岭、江河峡谷、无人区等特殊地理环境,尤其是在台风、暴雨、地震等自然灾害发生后,进行人工徒步巡检和载人直升机辅助巡检非常危险,且效率低下。随着无人机技术的发展和无人机生产成本的下降,越来越多的电力公司开始开展无人机电力线路巡检。
一、基于深度学习算法的无人机电力线路杆塔巡检的作用
        随着我国电力行业的发展,对于电力线路的研究正在不断的深入。电力线路在使用的过程中可能会出现一些问题,从而而导致大面积停电。为了快速开展故障排查与抢修,许多电力公司使用搭载摄像装置的无人机进行电力线路巡检,获取现场数据,并根据现场数据的评估情况采取适当的抢修措施。在现场数据评估中,最重要的环节是从海量的无人机图像、视频数据中寻找并定位受损的电力杆塔,以便为电力线路的紧急维修提供辅助决策信息。然而,目前这项工作主要通过人工完成,不仅费时费力、效率低,而且准确性得不到保障。近年来随着人工智能技术的发展,基于巡检图像数据的电力线路状态智能评估已成为可能。

        表1 电力线路巡检内容
        通过深度卷积神经网络提取目标特征的目标检测算法可用于智能识别,并标注电力线路组件。目前应用较为广泛的深度学习目标检测算法可分为两类:一类为基于区域的目标检测算法,代表算法.有Faster?R-CNI0I、Mask?R-CNNII等,该类算法有较高的检测精度,但检测速度较慢;另一类为基于回归的目标检测算法,也被称为one-stage系算法,它们的特点是采用端到端的检测,具有较快的检测速度。这些算法均可用于无人机图像数据的智能分析,如电力线组件检测、电力线植被覆盖监测、电力线路冰.冻灾害监测等。本文提出了一种基于深度学习算法的实时目标检测模型。该模型可从无人机巡检视频数据中实时检测出正常和受损的线路杆塔,帮助电力运维部门开展电力线路灾损评估,快速确定受损杆塔的位置,从而为开展抢修提供辅助决策信息。本文主要针对低压配电网进行了杆塔图像的采集、训练与检测,但该模型也可推广用于高压输电网等一般电力线路的杆塔目标检测。
二、给予深度学习算法的实时目标检测模型
        深度学习算法是由Redmon和Divvala提出的一种实时目标检测算法。目前该算法已经更新至第3代。深度学习算法是一种属于one-stage系列的目标检测算法,它将目标检测视为一类回归问题,直接从输人的图像中预测目标包围框的坐标和类别概率,从而实现端到端的识别,因此它的检测速度非常快,可以在保持较高准确率的同时实现实时目标检测。而传统的电力线路组件检测方法主要是通过人工设计特征来识别,如HOG算法、SIFT算法、边缘检测算法等,相比于深度学习模型,存在精度低、鲁棒性差等缺点。考虑到原始的深度学习算法算法是为了检测动物、行人、汽车、植物等日常生活中的物体而设计的,本文根据其思路重新设计了该算法,提出了一种用于实时检测电力线路杆塔的深度学习算法模型。无人机拍摄的巡检视频将被处理成一帧帧图像输人到深度学习算法模型中,每帧图像首先按深度学习算法分辨率的要求放缩成608*608像素大小,然后将放缩后的图像输人到由53个卷积层构成的基础深度神经网络Darknet,该网络主要用于提取图像的深层特征和抽象特征。Darknet网络之后为深度学习算法神经网络的特征交互层,用于检测3个不同尺度的目标,每个尺度内,通过卷积,核的方式实现局部的特征交互。3个深度学习算法交互层分别输出19*19.?38*38?和76*76大小的特征图,然后在此基础上进行分类和位置回归。深度学习算法采用逻辑回归方式预测目标边框,同时在最新的类别预测模型中,原来的单标签分类被改进为多标签分类,用于处理标签重叠等问题。此外,本模型除目标包围框宽和高的损失函数采用均方和误差外,其他部分的损失函数使用二值交叉。
三、无人机电力唐安图像数据集预处理
        1. 数据集的增广。本文无人机电力杆塔图像数据集来源于相关企业的无人机输电线路巡检视频数据,以及从互联网上收集的电力杆塔图像数据。配电线路常见的杆塔类型有2种,将处于正常状态的电力杆塔按类型分为2类,而倒断受损的杆塔全部被划分为一类。由于电力线路杆塔通常都处于正常状态,只有在遭受人为或极端自然灾害后才可能出现倾斜、倒塌、断裂等非正常状态,因此无人机现场采集到的电力杆塔图像数据存在严重的样本类别不均衡问题,即受损的电力杆塔图像占整个数据集的比例过小。而理想情况下,不同类别的样本数据所占比例应基本相同。为了解决这一问题,本文通过对非正常杆塔图像应用图像增广的方法来扩充非正常杆塔数据集。图像增广技术通过对原始图像进行一系列随机改变,来产生相似但又有不同的训练样本,从而扩大训练数据集的规模,同时也可以降低模型对某些属性的依赖,从而提高模型的泛化能力。本文采用的图像增广方法包括平移、缩放、水平翻转、颜色变化等,每张增广后的图片都是原图经过多种随机组合变换得到的。图像变换过程中产.生的空白区域选用黑色填充,因为黑色的RGB值为0,在卷积等计算过程中对目标特征的影响最小。最终,增广后3种类别的电力杆塔图像的数量比例约为1:1:1。此外,为了提高模型的识别能力,还在数据集中添加了部分无目标标注的图像。
        2.数据集目标框的聚类分析。最初的深度学习算法采用回归的方法直接预测目标边界框的坐标值。为了简化问题,让神经网络学习起来更加容易,Faster R-CNN算法提出了锚机制,即事先确定一组大小、横纵比各异的矩形框作为选取目标包围框时的参照物,通过预测目标框的偏移量取代直接预测坐标,有效降低了模型训练的复杂度。最新的深度学习算法借鉴了锚的思想,并对Faster R-CNN算法中手动设置锚框的方式进行了改进,通过K-means聚类的方法获得训练集的锚框集合。K-means算法是一种经典的基于距离的聚类算法,一般采用欧式距离作为判别依据。但采用欧式距离聚类获得的错会使得大包围框产生的误差相比小包围框更大,而聚类的目的是为了获得更好的交并比,与包围框的大小无关。这里的交并比是指预测的目标框与真实目标框的重叠率,即检测结果与真实值的交集比上它们的并集。原深度学习算法中的锚参数是通过聚类图像识别、分类的标准数据集Pascal VOC数据集和COCO数据集得到的,适用于该数据集中汽车、人类、猫等各类不同尺寸的目标。而本文要识别的目标为电力线路杆塔,多数目标框长宽比大,为长矩形,因此直接使用原算法中的锚参数并不合理。

        表2 深度学习算法改进后参数前后模型性能对比
        3.模型训练。由于无人机拍摄的图像和视频分辨率较高,为了更好地检测小目标,选择较大的608*608分辨率作为统一的深度学习网络入口分辨率。训练阶段采用动量项为0.9的异步随机梯度下降算法,每批训练(即每个batch)包含64张图片,分16次送入训练器,权值的初始学习率设置为0.001,衰减系数设为0.0005。训练过程中,随着迭代次数的增加,损失值、类别准确率、平均交并比和阀值为0.5时召回率的变化趋势散点图。其中,召回率为被正确识别出来的目标数与目标总数的比值,用来衡量目标检测模型的漏检率。随着迭代次数的增加,损失值(即损失函数值)迅速降低,逐渐收敛于0;类别准确率和召回率最终趋近于1;平均交并比也逐渐增大,趋近于0.8。从上述各参数的训练过程来看,模型的收敛结果较为理想。

        表3 软硬件试验平台
四、总结
        本文基于最新的深度学习目标检测算法,提出了一种面向无人机巡检的电力线路杆塔状态实时检测模型。通过对非正常类杆塔的图像进行平移、缩放、水平翻转、改变颜色等数据增广变换,解决了杆塔样本类别不平衡的问题。通过使用K-means算法对杆塔数据集的目标框进行重新聚类,使得检测模型在测试集上的交并比和召回率有所提高,平均均值精度能达到94.09%。该模型可以检测多种环境下多种尺度下的杆塔目标,同时可以实现对无人机巡检视频的实时检测.检测速度约为20帧/s。此外,基于简化深度学习算法模型的杆塔检测算法速度更快,检测速度可达到30帧/s。



参考文献:
[1] 韩冰,尚方.面向无人机输电线路巡检的电力杆塔检测框架模型[J].浙江电力, 2016, 35(4);6-11.
[2] 王万国, 田兵,刘越,等.基于RCNN的无人机巡检图像电力小部件识别研究[J].地球信息科学学报,2017, 19(2); 256-263.
[3] 杨晓旭 温招洋.深度学习在输电线路绝缘子故障检测中的研究与应用[J].中国新通信, 2018, 20(10): 208-210.
[4] 苑律莎,棋克帐李宝树,基于ASIFT算法的绝缘子视频图像的识别与定位[J].电测与仪表, 2015, 52(7): 106-112.
投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: