基于分布式关联规则挖掘的告警关联分析方法的研究

发表时间:2020/12/15   来源:《科学与技术》2020年22期   作者:张媛 刘广旭 董子奇 蒋一凡 邓春雪
[导读] 随着电网系统覆盖范围的扩展,监控设备前端呈现的告警数量也呈骤增状态
        张媛 刘广旭 董子奇 蒋一凡 邓春雪
        国家电网有限公司信息通信分公司 北京市 100761
        摘要:随着电网系统覆盖范围的扩展,监控设备前端呈现的告警数量也呈骤增状态,其中包括各网管系统中的大量重复或者无用告警,直接妨碍调度、运维人员对故障高效、准确的处理。关联分析技术可有效地过滤重复和无用告警,但规则系统缺乏记忆性,告警关联分析系统中的规则提取主要依赖于专家经验,为避免问题的重复查找及确保特殊情况的及时处理,设计一种基于分簇的分布式关联规则挖掘的告警相关性分析方法,通过缩小告警数据库中告警量及其告警频繁项集,提高规则系统的性能和健壮性,提升告警关联分析的效率。
        关键词:告警关联分析;分簇;告警频繁项集;分布式关联分析
1. 引言
        随着电力通信网络的发展,网络的结构逐渐复杂,因此系统中产生的告警数量也日益增多,其中也包含根告警引发的一系列重复无用的设备告警。当无用告警将根告警信息淹没时,运维人员的故障处置工作难度增加,无法在短时间内从监控系统内判断和分析骤增的告警。关联分析方法的出现,过滤掉了重复和无用的告警信息,解脱了前端监控处人工的查询和分析。这一技术将系统产生的所有告警集中至告警信息库中进行数据挖掘。
        电力系统具有非常广泛的覆盖范围,告警信息库中的告警多是通过一种集中式的处理方式,即海量告警的分析处理都是在一个主服务器上完成的。但将传统关联分析方法直接应用到规模逐渐增加的智能电网系统中,将会面临着的低下的关联分析效率问题,无法满足运维需求。因此,需研究适用于电力系统的告警信息的高效关联分析方法,保障网络的稳定运行和实行有效维护。本文设计了一种基于分簇的分布式关联规则挖掘的告警相关性分析方法,通过缩小告警数据库中告警量及其告警频繁项集,提升告警关联分析的效率。
2. 告警关联分析研究现状
        较典型的告警关联分析方法主要有以下五类[1]:基于规则推理的分析方法、基于范例推理的分析方法、基于模型推理的分析方法、基于贝叶斯网络的分析方法和基于关联规则挖掘的分析方法。前四种方法中的规则库的生成主要依赖于专家经验,因此这些方法仅够满足规模较小网络的规则库的维护需求。基于关联规则挖掘的分析方法能从告警库中挖掘出潜在的相关规则,并对告警数据进行压缩过滤和分析,实现故障的定位和处置,因此可用于规模较大的电力通信系统。
        为高效的进行告警关联分析和故障定位处理,对产生的海量告警进行增加预处理流程,达到压缩告警数据库的目的,进而提升告警数据库信息挖掘效率。文献[2]提出了一种基于互信息理论的变量选择方法,去除弱相关变量提高了电力数据质量。文献[3]利用灰色关联分析(Grey Relational Analysis, GRA)[4]和信息熵的思想对关联度模型进行改进,新的加权关联度模形的应用提升了故障诊断的准确性。文献[5]提出了一种基于事件树模型的告警过滤策略,通过次要告警信息的过滤,减小告警数据库中的告警量。以上方法都能有效的压缩告警数据库,并采用集中式处理方法对告警进行关联分析,但算法效率低,难以满足运维实际需求。为避免这一问题,本文侧重于对告警信息的进行高效关联性分析的研究。
3. 高效关联分析方法设计
        告警存在数据量大、数据类型及格式多样性、数据属性间具有关联性等,为提高调度员告警处理效率,将系统节点进行分簇,通过各簇内告警间的关联分析首先寻找出每个簇内的告警频繁集,再进行进一步关联分析筛选出整个系统的告警频繁集,具体流程如图1所示。这一告警分析方法从告警信息预处理与告警关联分析这两个方面展开介绍。

图1:告警信息处理流程
3.1 告警预处理
        由故障之间的关联性,即两节点同时发生故障的频率及时间间隔,判定系统节点之间的关联性。同时发生故障的频率高于阈值,且时间间隔越短的节点则被认为是关联性强,将关联性强的节点分为一簇,并对簇内的告警集进行关联规则挖掘。
        基于2项集支持度,节点与节点之间的相关性表达式为:

        当两节点间的关联值大于某一阈值时,规定两节点间的相关性强,否则,则认为两节点间的相关性弱。为便于分簇处理,将节点间的关联值统一用二值数值表示。
        定义节点与节点之间的关联度程度函数为

        当的值为0时,节点为零度节点。
        具体步骤如下:
        1、建立关联度矩阵。基于系统所有节点集合,构建关联度矩阵,初始化迭代因子。
        2、筛选出零度节点。找出系统中的所有零度节点,构建集合,除零度节点外的节点集合
        3、分簇。
        (a)判断是否为全零矩阵,是则转向步骤(c)
        (b)不为全零矩阵时,找出具有最大关联度的节点,将关联度矩阵中的行和列的值置0,生成集合
        (c)生成第s个簇
        4、更新关联度矩阵。基于节点集合构建关联度矩阵,满足且,,跳转至步骤3,否则,
        5、更新簇。在生成的每个簇中添加集合中的孤立节点,构成最终的簇。
        系统节点分簇的流程图如图2所示:


图2:节点分簇的流程图
3.2 基于分布式关联规则挖掘的告警相关性分析方法
        在电力通信系统中的告警数量庞大,传统的告警关联分析算法效率很低,因此设计一种分布式的关联分析算法提升告警的关联性分析的效率,其框架结构如图3所示。在每个簇所在的子系统内进行独立的关联分析,即每个簇都在自己告警数据库内根据Apriori算法[6]进行数据挖掘。再基于每个子系统的关联规则来分析全系统的告警关联规则。
        基于子系统与全系统告警信息之间的存在的关系[7],可得出这一分布式算法减少了数据库中告警信息的数量,实现了高效的告警关联分析。但子系统内的告警频繁项集并不能直接代表全网的频繁告警项集,如何通过各个簇的告警数据库的局部告警频繁项集得到全系统的全局频繁项集,是分布式告警关联算法需解决的主要问题。
        基于概率论集合之间的关系,局部告警和全局告警之间存在以下关系:
        1、若告警项集在某一子网中是局部频繁的,则项集的所有子集都是子网中的频繁告警项集;
        2、若告警项集在全网内是频繁的,则存在一个子网,满足项集和其所有子集在内是频繁的;
        3、若告警项集是全局频繁的阶项集,则存在子网,满足项集与其阶子项集在子网内繁复。

图3:基于分簇的分布式告警关联分析框架
4. 结束语
        为避免问题的重复查找及确保特殊情况的及时处理,本文设计一种适用于电力系统的告警信息相关性高效分析方法,通过对系统节点分簇缩小告警数据库中告警量,及分布式关联方法缩小告警频繁项集,提升告警关联分析的效率。
        参考文献:
        [1] 王淼.智能配用电通信网络告警关联分析方法的设计与实现[D].北京邮电大学,2015.
        [2] 杨立业.智能电网大数据融合方法研究及应用[D].华北电力大学, 2016.
        [3] 李硕.基于信息熵—灰色关联度法的电力变压器故障诊断研究[D]. 兰州交通大学, 2014.
        [4] Shi Jie, Ding Zhaohao, Lee Wei-Jen. Hybrid forecasting model for very-short term wind power forecasting based on grey relational analysis and wind speed distribution features[J]. IEEE Transactions on Smart Grid,2014,5(1):521-526.
        [5] 徐鹏,吕海军,李明伟.基于事件树模型的电力通信网告警过滤机制[J].电网技术,2008,32(8):91-94.
        [6] 陈则芝,李冬梅. 数据挖掘关联规则 Apriori 算法的优化[J]. 山西大同大学学报(自然科学版),2008.
        [7] 杨帆. 异构网络中告警信息的聚类融合与关联分析研究[D]. 西安电子科技大学, 2015.
投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: