(1 3 4 5 国网北京顺义供电公司 北京 101300;2国网北京市电力公司 北京 100031)
摘要：调度员需要对电网故障作出及时的调度措施，调度主站对设备放电或着火等原因造成的电网故障反应有一定的滞后过程，若能通过工业视频监控系统及时发现放电着火等故障现象，能够为调控人员提供反应时间，减小故障影响。由于监控摄像头数量众多，无法做到人工监视，利用人工智能算法对监控画面进行智能实时分析，是一个可行的技术路线。
关键词：调控、视频画面智能识别、视频监控、人工智能。
1、引言
电力在生产工作和日常生活中起到的作用不可或缺，稳定的电力传输是衡量电网安全的重要指标，起到枢纽作用的变电站就成为了安全生产的重要节点，无人值守变电站的智能监控工作对于保证变电站设备的正常工作和安全运行有着十分重要的作用。
目前，无人值守变电站由电力调度控制中心（以下简称电力调控中心）调控人员通过工业电视系统统一监控。在电网发生故障时，调控人员必须在十五分钟内决定故障设备是否试送，调度规程要求调控人员在决定设备是否试送前必须先确定设备状态，通过变电站工业视频监控系统查看故障时间点前后的监控画面是调控人员判断故障位置、事故类型、是否试送的重要手段。电网故障通常会涉及多个厂站多种设备的同时跳闸，人工查看少则几路多则十几路的视频监控实时和历史画面来发现异常现象效率不高，影响调控人员对事故情况的快速掌握。如果能够利用变电站工业视频监控画面着火现象分析算法，捕捉变电站工业视频监控画面中的着火、冒烟、放电、闪络等典型故障现象并推送告警信息给调控人员，不仅能够降低电网故障紧急处理时调控人员的工作强度，而且有助于电网故障的准确判断和快速处理。
2、技术难题
传统视频中烟火检测方法一般采用有监督机器学习，包括特征描述和机器学习两个部分。有监督学习主要存在以下缺点：(1)正常和异常样本需要人工标记，代价较大。对于长时间、大规模的监控视频而言，用于训练的标记样本十分有限，而事件的种类繁多，经常会有训练样本中不存在的新类型出现，因此有监督学习难以适应动态变化的场景。(2)异常样本很难获得，因为异常情况极少出现，而且异常情况彼此之间存在着不可预测的差异，所以有监督学习几乎不可能为所有类型的异常模式构建模型。对于烟火检测而言，主要问题在于：（1）颜色和运动特征是烟火检测的主要依据，然而，烟火颜色与具体场景、光学传感器等有关，不同情境下颜色变化无常，很难准确定义。（2）烟火运动形态复杂、变化无常，各类情境难以穷尽，难以获得具有普适性的统计规律。
无监督学习不需要标记训练样本，而是假设监控视频中的场景绝大多数情况下都是正常的，异常情况很少出现。通过对视频序列中不同的行为模式进行分析和统计，找出那些出现概率小的事件或行为作为异常。由于火灾是小概率事件，很难获得穷尽各种烟火形态的训练数据，我们可以只对正常数据建模，当烟火出现时，场景特征会偏离常态，如果判决其与常态模型不符，则报警。无监督学习有效避免了有监督学习需要人工标记训练样本和异常样本难获取的缺点，具有较高的实际应用价值。
综上所述，为了克服有监督学习样本稀疏和无监督学习无法区分异常类别的问题，本文拟采用如下解决思路：（1）对于有监督学习，由于可获得的烟火数据总是稀疏的，不能完全兼容未来可能发生的情况，因此我们提出虚实结合的思路，通过虚拟场景生成大量仿真数据，在虚实数据共同驱动下使得生成模型和判决模型协同进化。（2）如何融合无监督学习和有监督学习的模型进行判决是提高异常感知能力的关键。有监督模型的弱点在于无法判决与训练数据不兼容的新样本，此时需要启动无监督模型进行判决；相反情况下，有监督模型可以做出更精细的判决、给出异常类别。本文中我们将离群样本技术应用于异构模型的融合判决以实现烟火等异常事件报警。
3、异常事件检测及分类
针对变电站监控视频的冒烟、起火、异物入侵等小概率事件的数据稀疏且异常事件类型难以穷尽的问题，采用虚实结合的机器学习方法，通过机器学习建立虚实结合的场景生成和判决模型。如图1所示，通过生成模型产生冒烟、起火、异物入侵的虚拟场景，从而获得丰富的训练数据，通过判决模型的反馈提高生成模型的性能，获得更多接近真实的虚拟数据。最终将生成的虚拟场景数据与真实数据混合用于分类模型的训练。从而建立虚实模型相互驱动、协同进化的机制。
.png)
图1：虚实结合的场景分类
我们拟构建一个条件变分循环对抗生成模型，模型具体结构如图2所示。整个模型由编码器，生成器以及判别器构成，而编码器和生成器则构成了一个变分自动机，这有助于获得更好的隐变量表示，使其在推导过程中能够作为条件信息帮助生成器生成多样化的虚拟场景数据。生成器的输入M0采用的是真实视频数据的语义图像序列作为输入，使用语义图可以帮助网络更好的对前景和背景进行建模，构造出更为逼真多样的虚拟场景图像序列，图像的语义图可以通过成熟的语义分割模型DeepLabv3+【Chen L C, Zhu Y, Papandreou G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation, Proceedings of the European conference on computer vision (ECCV). 2018: 801-818】直接获得。
.png)
图2：条件变分生成对抗模型
.png)
图3：生成器
此模型进行学习的第一步是利用编码器对真实图像序列R0进行编码，编码产生的隐变量Z会与从标准正太分布中采样出来的噪声N(Z)计算KL散度，使同一类的样本都具有一个专属的均值，这样在图3所示的生成推导过程中，网络就可以利用修改的隐变量作为条件C并结合真实的语义图序列进行不同虚拟场景图像序列的生成。第二步便是数据的对抗（判别）生成，整个过程主要由生成器和判别器完成。对于生成器，如图3所示，为了提高图像的清晰度，采用了与Pix2PixHD【Wang T C, Liu M Y, Zhu J Y, et al. High-resolution image synthesis and semantic manipulation with conditional GANs, Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 8798-8807】相同的结构。生成器主要由一个全局生成器G0和局部生成器G1共同组成，其中G1的输入为经过两倍降采样的真实语义图序列，而与两个生成器的输出V0、V1所对应的目标为R0、R1(见图2)分别为真实像素图像序列和2倍降采样后的真实像素图像序列。高分辨率图像的合成为判别器的设计提出了一个很大的挑战，为了区分高分辨率真实图像和合成的图像，判别器需要有较大的感受野，大感受野意味着更深的网络和更大的卷积核，无形中增加了网络的容量和潜在的过拟合因素。为了解决这个问题，本模型采用了不同尺度的生成器，分别两个尺度的数据进行表征提取，并将由G1产生的局部表征与G0产生的全局数据进行了融合。不同尺度的生成器对应了不同尺度的判别器D0、D1（见图2），判别器皆由全卷积网络构成，采用最大最小值博弈损失和L1损失同时对生成器产生的虚拟图像序列进行监督。模型的输出都是图像序列数据，为了增加生成图像序列前后帧间的互相关联，使最后合成的视频更平滑逼真，在以上两个损失外引入了Flow光流信息作为额外的监督信号。
.png)
图4：融合判决
图1所示的有监督机器学习的优点是可以感知异常状态类型，缺点是数据依赖，在训练数据包含的场景中表现好，但是场景迁移较难；因此，同时采用无监督机器学习增加系统的普适性，使得两种方法在不同场景下发挥各自优势，这里采用信息融合的判决方法。如图4所示，数据分别送入无监督学习和有监督学习得到的判决模型、以及一个自适应路由模型，自适应路由模型对输入数据进行判别，如果输入数据相对于训练数据属于离群样本，则以无监督学习的判决结果作为最终输出，否则输出有监督学习的判决结果。这里自适应路由模块采用数据挖掘中的离群样本检测技术(Outlier Detection)以判断是否有“新型样本”出现，这里采用复旦大学提出的LDBOD方法；有监督学习模块则是基于卷积神经网络的深度学习；对于无监督学习，视频流在运动估计基础上提取统计特征，再采用隐马尔可夫模型对视频特征序列建模，用于判断视频流各帧的特征组成的序列是否为小概率事件，对于小概率事件进行异常报警。
4、大数据风险预测
基于大数据分析挖掘社会-物理-自然变量与风险事故之间的时空关联规律并建立预测模型，具体地，将设备开关状态、风扇转速、变电站三维空间模型的区域邻接图（Region Adjacent Graph）描述子、气象分类结果、楼盘户数、区域内商户的大众点评数量（商业活力指标）、出租车上下客量、区域内POI数据的直方图、基于深度神经网络的遥感图像地貌分类结果构造一个时空特征向量，建立上述多模态数据到事故风险的线性预测模型、以及神经网络/支持向量回归等非线性预测模型，通过稀疏表达技术得到各情境变量对事故风险的影响权重。
.png)
图5：情境感知动态加权神经网络
.png)
图6：基于情境感知神经网络集成的多通道融合预测
此外，还可以将各类情境数据组成不同的视图，采用各视图单独判决、多视图信息融合的方法得到最终的预测结果，这里采用复旦大学提出的情境感知的神经网络集成技术对各视图信息进行动态加权。该方法的原理为：不同模型得到的判决结果的可信度随情境而变，这里的情境定义为给定输入下的输出，预测器对于给定激励的响应体现了预测器的行为特征，是对预测器在不同情境下的行为可信度进行画像的关键。为了评估预测器在不同情境下判决的可信度，如图5所示，这里采用两个神经网络耦合的结构，一个神经网络是常规的预测器，另一个神经网络是对预测器的判决行为进行评估的评估器，其输入为预测器的“输入-输出”，即情境，其输出是对预测器判决结果的加权，随着情境而变；双通道判决的集成如图6所示，A、B两个通道的预测器的预测结果OA、OB分别经过所在通道的评估器评估后得到加权WA、WB，最后得到的总输出为O=OAWA/(WA+WB)+ OBWB/(WA+WB)，总的损失函数为L=LA+LB+LO，即单通道输出的损失和总输出的损失之和，通过以端到端的方式优化L，自动得到不同情境下各个通道的判决结果的自适应加权。
最后基于故障风险预测结果的空间分布绘制风险热力图，标示出风险等级的地理分布，将原始数据和预测结果提交给主控中心。
5、实验与分析
软件执行分析任务时，会在屏幕上方显示视频，下方同步输出风险曲线；当帧数超过预先设置的帧数时，会显示一条直线，表示正常情况的平均风险指数，同时停止显示帧号；当风险指数超过设定值时，软件通过显示文字和发出提示声音报警，每次报警的100帧之后才会再次报警。
当异常出现前，算法学习检测曲线趋于平坦，当异常出现时，检测曲线也随之发生变化，并把可疑画面保存到告警图片区。
.png)
图7：设备出现冒烟现象
.png)
图8：调度大厅试运行
结论：
变电站工业视频监控画面着火现象分析算法在调控领域主要应用于调控人员电网故障及异常处置，可应用于国家电网省调、地调的调控中心，通过视频图像处理技术结合当前设备的异常信息，实现电网设备故障及异常的自动分析及预警，提高故障处置效率和准确性，具有实际意义。可推广至全国各级调度，应用前景广阔。
参考文献：
[1] Cetin A E , Dimitropoulos K , Gouverneur B , et al. Video fire detection - Review[J]. Digital Signal Processing, 2013, 23(6):1827-1843.
[2] Töreyin, B.U, Dedeoǧlu, Y, Çetin, A.E. Flame detection in video using hidden Markov models[C]. IEEE International Conference on Image Processing. IEEE, 2005, pp. II-1230.
[3] Chunyu Y , Jun F , Jinjun W , et al. Video Fire Smoke Detection Using Motion and Color Features[J]. Fire Technology, 2010, 46(3):651-663.
[4] Dimitropoulos K , Barmpoutis P , Grammalidis N . Spatio-Temporal Flame Modeling and Dynamic Texture Analysis for Automatic Video-Based Fire Detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(2):339-351.
[5] Han X F , Jin J S , Wang M J , et al. Video fire detection based on Gaussian Mixture Model and multi-color features[J]. SIViP , 2017, 11:1419–1425.
[6] Hu Y , Lu X . Real-time video fire smoke detection by utilizing spatial-temporal ConvNet features[J]. Multimedia Tools and Applications, 2018, 77:29283–29301.
[7] Wang H , Zhang Y , Fan X . Rapid Early Fire Smoke Detection System Using Slope Fitting in Video Image Histogram[J]. Fire Technology, 2019:1-20.
[8] Pundir A S , Raman B . Dual Deep Learning Model for Image Based Smoke Detection[J]. Fire Technology, 2019:1-24.
[9] Barmpoutis P, Dimitropoulos K, Kaza K, et al. Fire Detection from Images Using Faster R-CNN and Multidimensional Texture Analysis[C]. 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 8301-8305， 2019.