数据压缩技术在电网航巡作业场景的应用剖析

发表时间:2021/8/6   来源:《中国电业》2021年11期   作者:吴建军1,白皓东2,白云灿3
[导读] 电网巡检方式逐渐多元化,巡检数据也随之大量增加
        吴建军1,白皓东2,白云灿3
        国网通用航空有限公司,北京 102216
        摘要:电网巡检方式逐渐多元化,巡检数据也随之大量增加,在特高压等电网装备使用直升机巡航过程中,同时产生了大量航巡成果数据,主要类型包括航巡可见光、红外视频数据,缺陷照片数据及激光扫描数据。航巡数据对存储空间和运行环境都提出了更高的要求。
        并且,在巡检分离模式下,需要采用航巡照片集中存储、分散阅查缺陷的方式,海量的航巡数据不益于在国网内网或者互联网实时访问,也对图片读取效率和缺陷识别速度造成一定程度的影响。如何解决航巡数据量多、存储压力大、网络传输慢的问题成了当前需要攻关研究的内容。
        本文主要从数据压缩的角度出发,论述图像视频压缩技术在电网航巡作业数据管理中的应用技术方案。对比分析压缩技术的优劣,分析图像压缩质量权值与生产环境应用的质量需求关系,分析压缩质量在实际作业数据的测试结果,同时论述视频压缩在处理时效上的硬件加速方案等。
        关键字:电网巡航数据、图像压缩、视频压缩、GPU加速
Abstract:The power grid inspection methods are gradually diversified, and the inspection data is also increasing. In the process of using helicopter cruises in UHV power grid equipment, a large amount of patrol results data are generated,include patrol visible light, infrared video data, defects photos data and laser scan data. The patrol data puts forward higher requirements on storage space and operating environment.
        In addition, in the separate inspection mode, it is necessary to use the method of centralized storage of aerial patrol photos and decentralized review of defects. Massive patrol data is not conducive to real-time access on the national network intranet or the Internet, and it also affects the image reading efficiency and defect recognition speed to a certain extent. How to solve the problems of large amount of patrol data, high storage pressure, and slow network transmission has become the content of current research.
        This article stands from the point of view of data compression, discusses the application of image and video compression technology in the data management of power grid navigation operations. Analyze the advantages and disadvantages of compression technology, and the relationship between image compression quality weights and the quality requirements of production environment applications, analyze the test results of compression quality on actual operating data, and discuss the hardware acceleration schemes of video compression in processing timeliness.
        Key Words:Power grid cruise data, Image Compression, Video Compression,
                         GPU acceleration

1引言
        我国目前已形成华北、东北、华东、华中、西北和南方电网共6个跨省区电网,电网的日益扩大,不仅明显增加了电网巡线人员的工作量,也逐渐暴露出传统巡线方式不具备有利交通优势、利用肉眼观测设施无法有效判断缺陷等问题。为了有效缓解以上问题,自2015年起,无人机巡检技术被应用于部分地区的电网巡检工作中,搭载了红外摄像头等遥感设备的无人机能够高效率检测电路的缺陷及隐患部位,在长时间的巡检工作中产生的大量航巡数据往往储存在无人机自带的存储介质中,在巡检分离模式下,存储压力和网络传输问题亟待解决,因此采用合适的数据压缩技术对于存储和网络传输是合理而有必要的[1]。
        当前的图像及视频压缩技术主要可分为无损压缩技术和有损压缩技术两种,其中无损数据压缩采用数据的统计冗余进行压缩, 使数据通过其压缩后信息没有受到损失, 均可还原到压缩前的原样[2],无损压缩方法包括Shannon-Fano编码、Huffman编码、游程 (Run-length) 编码、LZW (Lempel-Ziv-Welch) 编码和熵编码法等[3]。无损压缩虽然具有不受信号源影响、转换方便等优点,但是其缺乏硬件支持,压缩比不高,导致占用空间大、无法适应高速的数据传输[4]。相比之下有损数据压缩压缩速度快,能应用于各类流媒体和视频、电话领域[5],有损数据压缩一般通过变换编码方法实现, 比如JPEG这种基于离散余弦变换 (DCT) 的变换编码方法,还有例如JPEG2000、EZW、SPIHT、SCS等基于小波变换的编码方法[6]。
        本文面向电网巡检过程的数据存储与传输需求进行分析,采用便携设备 EngineBox对图像及视频数据进行SCS、SVS实时压缩和网络传输,满足电网巡检高效、实时和精确的工作需求。
2图像、视频压缩处理技术原理
        为实现高清图像大比率压缩的目标,技术方案采用高清高压缩比的SCS图像压缩技术,基于小波理论为指导的一种先进压缩技术。在图像压缩处理中,采用小波变化的图象分级、分形彩色图象压缩编码算法[7]。实验结果表明:它优于 SFC 方法及标准 JPEG 方法,其优点是压缩比高,传输和下载速度快,在传输过程中可随时结束编码而不影响图象质量,由于采用图像剥离技术,对图像压缩前,先对图像色块进行分析,把图像按不同颜色结构分离出来,这样得到了高倍率高压缩率的图像[8]。
        在实现高清视频的压缩方面,本方案采用SVS视频压缩技术。视频压缩编码技术在H264算法上进行优化,能够用更低的码率展现同等画质的视频,并保持视频的分辨率,帧率不变,适用于海量视频录像文件的压缩,能够达到降低数据存储成本,提高网络传输效率的目标。
        通过测试与验证,技术可以将航巡作业图像数据压缩平均压缩倍率可达到5-10倍左右。 而相同作业条件下的视频数据最高压缩倍率可以达到8-16倍左右,并且各类数据平均压缩时间为20分钟,能够满足实际巡航作业中对文件传送和技术稳定性的要求。
2.1图像压缩处理技术
        图片处理方面:为提高便捷性,降低耦合度,本技术方案,采用便携设备 EngineBox ( 压缩引擎)的方式接入到航巡作业中来。通过 EngineBox设备可实时处理高清摄像机产生的图像数据,压缩后通过网络方式传输到后台系统。大大提高传输时效性,也可大比例降低数据存储成本。压缩文件也可以转回JPG格式,并且还原后的JPG图像依然可以大幅度的保留SCS的压缩优势,在保证清晰度的前提下,依然实现5-10倍JPG原格式压缩。压缩设备具备多种数据接入、接口调用方式,可以很灵活的适应生产环境下不同的应用模式需求。
        
        图一 图像及视频压缩流程
2.2视频压缩处理技术
        视频处理方面:由于视频文件通常比较大,并且视频文件的压缩处理需求比较多的运算时间,所以在视频文件的压缩方面,本文技术方案采用SVS压缩引擎)来解决视频压缩问题。SVS压缩引擎将宏块的大小从H.264的16×16扩展到64×64,以便于高分辨率视频的压缩[9]。同时采用了更为灵活的编码结构来提高编码效率,在原来的基础上编码算法数据传输和码流效率将提高80%。针对网络传输流媒体的分辨率逐渐增大,导致带宽要求也随之提升的情况,可在更小码率的情况下提供近似质量的视频流。通过部署SVS-ST多路视频压缩设备,配合NVR、IPC等同一网络环境下设备即可配置通道并完成视频压缩工作。该版本支持绝大多数格式(.avi \.mov \.mp4 \.ts \.rmvb 等)视频的压缩处理、格式转换功能。视频压缩模块采用终端方式连接到引擎,并提供友好的参数配置界面,方便根据实际需求调整数据处理的效果。
        而考虑到实际工作中对便携性的要求,依然采用EngineBox设备对视频数据进行实时处理,压缩后通过网络传输至后台系统,在保证清晰度的情况下,仍然能实现6-20倍的原格式压缩,而EngineBox本身也支持多种数据接入、调用方式,可以很好适应各种应用场景。
2.3视频压缩硬件加速
        在视频压缩处理环节,利用GPU进行视频编码加速已成为一种通用的做法,通过CUDA (Compute Unified Device Architecture,统一计算设备架构)架构使得CPU与GPU进行协同工作,CPU负责逻辑性强的事务处理和串行计算,GPU负责高度并行化的计算任务,从而共同完成加速任务[10]。
        本方案采用Nvidia Geforce GTX 1080图形处理显卡进行硬件加速,可使用Nvidia NVENC编码器协助CPU进行H.264编码,进一步提高压缩效率,经实际测试可达到1080P@30f高清视频压缩并发路数大于20通道。
        
        图二 GPU加速视频编码流程
3图像视频数据批量压缩处理
3.1系统框架
        图像压缩识别服务系统从整体上由三大部分组成,分别是压缩识别引擎节点、接口服务及扩展功能组件以及图像压缩引擎集群管理平台。


        
        图四 图像压缩识别服务系统框架

3.2 批量压缩功能设计
        在图像压缩识别服务系统中,可以指定目录对以往的图像数据进行批量处理。当有大量历史数据在存储里,系统可以通过历史数据压缩功能对存量数据进行统一压缩识别处理。因此,数据中心可以通过第三方平台将存量数据上传至图像压缩识别服务系统,形成批量任务队列,在多个压缩引擎节点中进行并行压缩处理,进一步提升该系统利用率。
3.3航巡数据压缩实测结果分析
        此次测试为本系统数据压缩设备性能测试,目的在于检测该设备在实际业务中的应用能力,即通过EBoxClient客户端软件,来测试数据压缩设备EngineBox 在实际航巡数据压缩处理方面的性能和使用便利性。
        
       
        
        对表1航巡数据压缩实测结果表进行分析,设备可正常对可见光条件下的视频及图片数据进行压缩,但不能识别到红外视频的码流及时长,不能正确计算倍率,导致压缩不成功。此外根据不同质量权值设定的图像压缩时长变化不明显,总体保持在22-23分钟,但压缩后的数据大小受质量权值设定影响较大,平均变化率为3.1,考虑到实际航巡工作中的时间和传输数据的需要,应动态调整质量权值,对于普通航巡数据可采用 20-35权值进行压缩,对于包含明显缺陷数据,再动态调整质量权值40-50压缩传输对缺陷进行精确判别。
4结论
        随着电网规模的扩大,巡线工作智能化程度的提高,数据存储与传输的负荷明显提升,数据压缩技术可有效减轻网络运行的压力,减少设备存储用量。本文简要阐述了以EngineBox数据压缩设备为核心的航巡数据压缩识别服务系统构成,并对实际航巡数据进行了压缩测试,从结果来看,对红外视频的编码压缩和系统相关功能需要进一步优化,但系统整体能够稳定、准确的完成实际应用场景任务。这为未来的电力巡检工作结构优化提供了新的思路和解决方案。

参考文献
[1]马锐. 基于分类的图像压缩算法研究[D].西安科技大学,2009.
[2]覃凤清.数字图像压缩综述[J].宜宾学院学报,2006(06):88-90.
[3]韩青暖. 图像局部特征压缩算法的研究[D].北京邮电大学,2015.
[4]谭海艳.数字图像压缩综述[J].科技经济市场,2011(08):15-16
[5]王永臻,孙亮清. 数据压缩技术在船舶电力监控系统中的应用[J]. 上海船舶运输科学研究所学报,2020,43(01):55-60.
[6]孙日明. 几种图形图像压缩方法[D].大连理工大学,2013.
[7]张春成.高保真压缩技术的商用价值——论超高压缩技术在政府治理平台中的应用[J].电脑知识与技术,2018,14(04):220-222+228.
[8]刘敬. 基于小波变换的图像压缩算法研究[D].重庆大学,2012.
[9]贲海霞.H.265在卫星动中通图像传输中的应用[J].数字通信世界,2014(04):11-13.
[10]陈勇,吴晓民,杨坚,奚宏生.基于CUDA的H.264并行解码器设计与实现[J].计算机工程,2016,42(05):249-252+257.
投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: