栗松
国网通辽供电公司 内蒙古通辽 028000
摘要：电网企业由于大数据平台已接入多个业务系统数据，借助数据资产的监控可以全方位提升数据管理技术支撑能力，数据资产运营管控系统的开发，有利于完善大数据运营体系，有效进行数据云平台的运维监控。
关键词：电网企业；电网数据资产运营监控系统；设计
1电网公司运营监测管理现状及问题
1.1完善管理机制，落实国网运监业务体系建设的需要
2013年底，国网总部、省、地市三级运监中心建成以来，国网公司逐步在总部、省公司、市公司建立全面覆盖公司经营活动的运监业务体系，完善组织机构、工作机制和保障机制，但在落地实践过程中仍存在较多的问题和困难，特别是在市公司层面，存在“运监业务管理体系和工作机制不完善、专业间横向协同不足、市县公司业务纵向联动不强”等问题，导致国网运监业务体系执行落地进度缓慢、业务监控深度不够，亟待基层单位在实践中探索完善工作机制、方法，切实落实执行国网公司运监业务规划。
1.2加强数据管理，支撑省公司大数据战略实施的需要
随着国家大数据战略推进，国家电网公司及河南省电力公司分别作出部署和要求，相对照之下，郑州公司数据管理精益化水平仍有差距。一是数据整合不足，公司约125套信息系统相互隔离，信息冗余、离散、碎片化，众多数据资源成为“信息孤岛”；二是数据管理基础薄弱，运监系统部分数据由线下提供、人工事后补录，数据真实性、准确性、及时性仍有差距；三是数据分析应用不够，对数据异动核查、问题分析等环节精益管理不足，对数据资产价值挖掘不深，无法有效支撑大数据战略落实执行。
1.3深化专业融合，促进公司经营管理改进提升的需要
随着公司管理逐步向业务前端、管理末梢延伸，向揭示底层业务运行和基层管理执行情况深化，运监中心作为公司数据分析监控平台，可以及时诊断、弥补公司运营管理体系的不足，通过全面整合各专业信息资源，借助数据优势，加强对公司量价费损、设备运维等明细数据和底层业务跟踪监控及分析，增强跨专业、跨部门、跨单位协同能力，强化与专业管理融合，实现公司经营管理监测即时化、在线化、闭环化的管理链条，使公司运营管理水平再上新台阶。
2数据资产运营监控系统的模块设计
2.1整体看板
整体看板服务于管理层，可以宏观监控数据云平台的整体情况，包括平台看板、数据资产看板、数据应用看板和租户看板四方面的内容。平台要对整个数据云平台监控，包括集群大小、总CPU、总内存、用户总数、应用总数等平台型指标加以监控，实现对平台一手动态的掌握。数据资产看板，展示了整个数据云平台的数据资产情况，包括主数据、元数据、指标、模型和集市等维度的数据资产情况。数据应用看板展示数据云平台的价值成果，如应用商品、数据商品、指标的上线情况和使用情况。租户看板对应展示数据云平台的租户服务体系，要求展示整个平台的租户的资源使用情况，活跃度等情况。
2.2租户监控
租户监控要求服务于一级租户管理员，辅助租户管理员监管项目开发情况、应用上线情况、用户活跃度、调度任务执行情况等，方便一级运维工作，实现各租户间的独立管控。租户概览要求对某一租户情况进行统计，监控指标包括租户活跃度排名、租户应用排名、租户创建应用分布、租户数据专题分布、租户调度任务分布、用户活跃度、数据访问次数、应用访问次数。用户行为监控要求对某一租户下所有用户的行为进行监控，监控指标包括用户登录次数、系统操作次数、数据访问次数、应用访问次数、发布应用数、用户访问应用趋势、用户操作次数趋势、用户访问数据趋势、登录次数分布。
项目整体监控要求对某一租户下的项目整体情况进行监控，监控指标包括项目总数、上线项目数、在途项目数、延期项目数、项目状态分布、项目启动计划、项目交付计划。调度监控要求对某一租户的调度情况进行监控。
2.3平台监控
平台监控模块要求分为租户概览、租户行为监控，项目监控，集群监控和调度监控五个子监控功能，站在整个数据云平台的视角，对所有租户，所有用户，所有项目实现全视角监控。租户概览要求监控所有租户的情况，监控指标包括租户总数、用户总数、用户分布情况、新增用户趋势、登录用户数趋势、内存使用情况、磁盘使用情况、CPU情况、离线用户/登录用户。租户行为监控要求监控各租户使用大数据平台的情况，对应用商城下各租户应用的上线情况、数据商城下各租户对公共集市、指标集市的应用情况进行监控。项目监控要求监控数据云平台上所有项目的开展情况，对于重点关注项目的启动计划、交付计划、项目状态、租户的项目分布、在途项目及延期项目等情况进行监控。集群监控要求监控大数据平台的底层集群环境，包括HDFS分布式文件系统的使用情况、计算节点状态、Hbase的连接情况等。
3系统功能模块的设计
2.1针对数据应用管理模块
管理模块的作用是对数据挖掘生成的数据加以管理。能够基于大数据平HDFS、HIVE、HBASE等进行数据的存储落地。并基于数据分析工具的可视化数据集构建、SQL数据集构建功能按照业务查询条件和数据查询结果的应用需求，进行营销明细查询服务的构建，可基于自助化工具构建的营销明细数据查询应用，亦可通过大数据分析工具的WebService、Rest等技术接口为其他业务应用系统提供数据服务支撑。系统数据借助分类管理，依据功能将数据划分为多种类型，系统授权用户对数据应用类型可以自定义，确定数据应用分类的权限，根据默认状态下建立的ID顺序显示。
3.2数据审核模块的设计
基于大数据分析工具对大数据平台HDFS、HIVE等服务上的数据进行组合，根据业务需求梳理可能用到的统计分析、自助可视化分析需求和分析的维度、常用参数，进行营销业务主题集市的构建，可直接通过大数据分析工具的业务主题构建功能进行业务主题的构建，并基于大数据分析工具的自助可视化、空间可视化等图形化探索工具进行数据探索，亦可通过大数据分析工具的WebService、Rest等技术接口为其他业务应用系统提供数据服务支撑。数据审核是针对数据应用，如果用户拥有审核权限，进入数据管理模块，筛选后可以列出数据应用信息。若通过审核，数据应用列表会显示该数据应用，并向其他用户分享。
3.3数据处理模块详细设计
数据处理模块包括了两个子模块，分别用于数据基本处理与去隐私化处理。数据基本处理模块一是清除无效数据，还用于处理不同来源的数据，并加以统一化转化变为同样的格式。数据去隐私化操作内容具有隐私的数据，依据去隐私算法，去除有隐私的字段进，再存储为统一格式。去隐私操作执行后，可以确保数据安全。其方法为，选择要去除的字段；分析隐私数据编码规则；基于编码规则去除隐私字段。在操作层面，采用了删除、替换、扰乱等方式。原始数据通过用户处理，采用ELT实施数据处理。处理中依据预定规则去除数据格式标准不符的数据，然后完成存储操作。基础处理与隐私处理要将数据形式统一。
结束语
在“互联网+电网”、“互联网+能源”背景下，电网数据资产体现出新的特点。由于大数据服务能力持续提升，内外部数据的汇聚，数据分析服务持续丰富，数据更新频率从日提升到分钟级，具备准实时数据应用的能力。为了保证电网安全运行，提升电网服务能力和水平，电网企业电网数据资产运营监控系统的建立可以发挥多方面的作用，借助监控系统可以实时全方位分析数据资源的变化情况，全方位提升数据管理技术支撑能力。
参考文献
[1]华坤,谢璜,高亮,郑曦.电网企业运营监控平台建设与应用[J].数字技术与应用,2019,37(11):106-107.
[2]赵剑慧,于洋,崔振辉,马草原.电网企业战略运营监控体系建立[J].中国科技信息,2018(24):96-97+99.
[3]衡星辰,张诗军,陈丰,季胜鹏.基于SOA架构的电网数据资产管理平台[J].计算机系统应用,2016,25(09):67-72.
[4]林海.电网运营监控体系建设与实践[J].大众用电,2014,29(04):47-50.