国网长子县供电公司 山西省长治市 046600
摘要:随着智能电网推进的深入,电力系统信息化、智能化的不断发展,其运行时产生的状态监测数据、电能计量数据、历史运行数据等信息数量庞大、增长快速,体现出大数据特征。故在电力系统数据爆炸式增长的新形势下,传统的数据治理体现遇到瓶颈,不能满足电力行业从海量数据中快速获取知识与信息的分析需求。电力大数据治理是在明确数据责任的前提下,建立规范的数据应用标准,提高组织数据质量,实现数据广泛共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产的商业价值。在大数据时代如何构建和完善数据治理体系,规范工作流程,从而有效治理结构化、半结构化和非结构化的海量数据,挖掘分析其中潜在的业务价值,已经成为电力行业面临的新课题。
关键词:电力企业;大数据环境;数据治理
1电力大数据治理面临的挑战
电力系统的大数据源类型覆盖了配变、配电变电站、配电开关站、电表、电能质量等配用电自动化和信息化数据、用户数据和社会经济等数据。这些信息的充分利用可为电力客户制定个性化、智能化的服务模式,也可通过大数据挖掘分析,提取可用信息,评估潜在价值,了解电力客户的消费习惯和行为特征,优化运营流程,提高风险模型的精确度,设计开发出更贴近用户需求的新产品。电力大数据正逐渐改变电力行业的经营决策和业务发展的模式,促进公司由“业务驱动”向“数据驱动”转型。
利用电力大数据获得全面准确的电力公司运营决策支持可统计出具有指导意义的结论,结合政府、评级机构、第三方支付等合作机构的外部数据源,可有效对经济形势和市场趋势进行分析预测,指导商业银行进行业务创新,或为经营管理提供更加全面及时的决策支持信息。电力大数据的应用与治理是电力公司临的良好发展机遇,但同样也面临以下严峻的挑战:
1)对非结构化数据处理能力较弱。传统的关系型数据库对数据的处理只局限于某些数据类型,而对非机构数据(图片、音频等)的支撑较差。然而,随着智能电网的深入发展,系统日志、智能电表数据传输、视频监控图像存储、克服音频记录等大量非结构化数据迅速增长,这些数据大多保存在本地系统中,且不易被检索分析。如何更好地存储、分析非结构化数据给电力企业带来的巨大挑战。
2)企业级数据管理基础依然薄弱。数据可用性不高、数据之间难以集成等问题依旧在电力企业中存在,数据质量还亟待提升。这些问题将会导致在大数据应用的过程中,难以获取合适的数据或得不到准确的分析结果,从而无法从大数据中攫取价值,浪费投资。
3)数据深层次挖掘分析有待加强。从数据价值挖掘上看,还停留在浅层学习阶段,出现了“数据丰富,信息缺乏”的情况,数据资产价值体现上和电力行业目前的发展现状一样停留在粗放型阶段。对数据利用的手段还主要停留在对表格、报告等基础资料的表面价值的统计、分析阶段,对跨专业数据的关联分析、横纵对比则较薄弱。目前缺乏对数据进行深层挖掘和探索的高级分析手段,跨部门之间未形成有效的信息沟通,各种数据挖掘技术还尚处在试用阶段,未全方面进行推广运行,因此制约了电力企业从数字化向智能化的发展,严重阻碍电力事业的前进的脚步。
2基于电力企业大数据环境下的数据治理策略
2.1创建电力大数据质量评价模型
因为电力数据的收集包括电力运行、供电售电、业务维护等方面数据,所以对电力数据质量造成影响的主要因素就是工作人员自身素质及能力、后期数据维护体系、数据分析算法、数据管理机制等。以数据定性、定量、可比性及实用性的原则,实现以下指标考察纬度的定义:
(1)电力数据数量性。基于指标历史数据、数据应接入量、实际接入量等实现考察。
(2)电力数据时间性。将各源业务系统数据接入、上报的及时性作为基础进行等查。
(3)电力数据完整性。主要是基于数据业务纬度、指标值完整、单位纬度完整等方式核查。
数据质量完整性主要包括数据业务纬度组合完整、指标值完整、单位完整等,通过月指标、周指标及日志表等数据完整率。
(4)电力数据精准。主要指的是数据之间业务逻辑精准及数据纬度、字段及频度之间业务逻辑精准性。
在电力数据指标纬度划分之后,为了降低人为主观因素对于各个指标权重的影响,能够利用信息熵使数据不精准性进行消除,从而使质量评价数据更加的精准。
2.2创建电力大数据治理体系
企业要使数据治理作为专门业务对待并且管理,以企业实际情况实现相应数据自理目标的制定,从而创建专业化数据治理体系、保障机构,从而创建高效率、全方位的数据治理体系。此数据治理体系要企业各个组织、部门及技术等全面配合。
(1)实现相应数据治理组织机构的创建。能够在企业顶层创建数据治理委员会,包括业务部门、信息管理部门及高等管理人员等主要负责人。在中间层创建通过各个业务部门、数据库管理、信息部门技术及培训等专家构成的数据治理工作组。(2)实现相应标准规范的创建。基于企业角度创建统一化数据标准,和数据治理工作相互结合,创办技术标准工作组,实现工作计划及标准的制定,主要包括业务标准、技术标准、数据质量标准及管理标准等。(3)在实现数据治理的过程中,和数据技术支撑具有密切的关系,企业要通过数据技术实现企业信息数据管控及支撑,使元数据管理、收集及应用作为主要核心,结合规范数据标准及高质量信息,充分使用企业已经创建的元数据管理平台、数据分析技术,从而创建完善数据治理体系。
2.3使数据质量管理水平得到提高
以企业的实际情况实现目前额数据质量管理现状的改进,实现完善数据质量管理体系的完善。选择和企业相关指标作为基础,对数据成熟度进行分析,并且实现集中抽取。从而实现编码、标准、数据及模型的统一管理,避免出现数据多头管理及冲突,将数据冗余进行消除,实现数据集中管理、共享的目的。逐渐实现事前防范、事后管理及集中监控的闭环管理,对企业级数据质量管理规范、制度的创建,从而对高价值数据属性的识别,保证能够提高数据质量,从而使其支撑业务运营及经营分析。
2.4结合大数据处理功能
定义大数据架构,使其能够使多数据、高速度、多样性等需求得到满足,实现独特分布式并行处理结构的创建,解析大数据集。其次,具备使不同技术策略实现实时处理需求的满足。存储实时键值,实现高性能的索引。此过程就是MapReduce技术处理,就是将制定数据作为基础删选数据,之后实现数据的全面分析,使其能够加载到其他非结构化数据库中,然后发送到移动设备中,和结构化数据相互关联。
不仅具备全新非结构化数据种类,大数据的优势还包括:
(1)因为具有小量数据集,无法实现原始数据存储到移动仓储中。利用Map实现处理,从而使缩减结果集成到数据仓储环境中,便于实现常规BI报告、统计、语义和关联的功能。结合传统BI平台与大数据可视化的功能,能够提高分析功能的效果。(2)为了能够使Hadoop环境分析功能得到提高,可以创建沙盒环境实现。
3结束语
目前为深化改革的时代,在全新能源改革、工业改革及互联网+行动计划导致社会改革中,电网企业具有重要角色,并且还面临转型发展机遇。在大数据演化模式及价值功能重构,能够为全球能源及智能电网互联发展提供全新思路、解决方法及解决方案,也为我国电网企业超过国际先进水平提供了机遇。但是,在电力大数据库中,要通过数据治理解决大数据数据多、杂的问题,从而有效促进大数据能够通过概念走向现实,提高大数据在电力企业中的作用。
参考文献
[1]杨苗新,张东霞,孙德栋.在配电网中应用大数据的机遇与挑战[J].电网技术,2015,39(11):3122-3127.
[2]刘科研,盛万兴,张东霞.智能配电网大数据应用需求和场景分析研究[J].中国电机工程学报,2015,35(2):287-292.