(国网河北省电力有限公司涉县供电分公司 河北邯郸 056400)
摘要：随着信息技术在电力企业各方面的普及，电力调控系统的服务范围较以往而言有了大幅增加，数据来源不断增多，数据种类也随之多样化；同时也带来了数据处理压力与规模的突增。基于此，笔者结合实际工作经验，以实际案例讨论电力调控大数据集成及管理技术的重要性，并以此为基础对电力调控大数据集成及管理技术展开详细分析与讨论，望借此为相关工作提供参考依据。
关键词：电力调控；大数据集成技术；大数据管理技术
引言
就实际状况而言，当前电力企业的数据源通常来自于电能使用以及电力生产过程中的调度、用电、配电、变电、输电以及发电等不同环节；从总体上来看，一般能够划分成三大类；其中包括：（1）电力企业日常管理过程中的相关数据；（2）电力企业日常营销过程中的相关数据，包括用电客户、售电量以及交易电价等不同方面的数据；（3）电网日常运行过程中与设备监测或者监测过程中产生的相关数据。借助各种智能终端设备，如智能电表等能够收集电力系统日常运行过程中相关的实时数据信息，并能够自动对收集的电力大数据实施全面的分析、处理与管理，从而实现电网实时监控的目标。
1电力调控大数据集成及管理技术在电力调控中的重要性
1.1提高运营效率，优化客户体验
大数据集成及管理技术能够显著提高电力企业的运营效率并优化客户体验。对于电力企业而言，运营效率主要涉及支撑功能优化、资产管理、需求预测、产品与网络管理以及收益保证等方面的内容。而通过大数据集成及管理技术对客户关系进行优化、定制优惠服务政策、创新主动营销策略，能够优化客户体验。
1.2大数据集成及管理技术显著提高电力企业营销服务水平
用电客户可以通过永洪一站式大数据分析平台，把大量详细的数据信息上报给电力企业业务部门，之后由业务部门自动完成数据分析、管理、应用等工作。通过对电能信息采集、电能计量、电费管理、客户服务、市场和综合管理、新兴业务以及有序用电等不同方面的分析，企业管理人员能够全面掌握电力营销服务工作落实的实时状况，从而有效监测营销稽查工作指标、新兴业务工作质量指标、有效用电落实、能效管理成效、智能电表、电费管理以及客户服务等各项营销服务工作实施状况。
1.3大数据技术在精益调控中的作用
电力系统安全智能预警广泛应用在电力调控中心中，能够对预案过程进行科学评估。随着大数据技术的应用，其能够借助数据分类处理以及储存技术，进一步提高数据处理的时效性；同时还能够构建先进的智能预警系统，从而实现全网的一体化方针，并能够对各种类型的故障问题实施定位与追踪，还能够对电网运行安全实施合理科学的评估，为当前电力调控系统的全面发展奠定了良好的基础。
2电力调控大数据集成及管理技术分析
针对当前电力调控系统具备的安全性要求高、高效访问、多种类以及数据大容量等特征，笔者结合相关工作经验，将研究对象定位以调控海量数据管理为中心的数据集成及管理技术；具体包括研究满足智能电网大容量、多种类数据存储需求的不同数据库存储技术以及研究分布式存储与管理技术。
2.1电力调控大数据存储需求
电力调控大数据往往包括模型数据、历史数据以及实时数据等结构化数据；语音数据、DTS教案、波形文件、电网综合故障报告、CASE断面等非结构化数据以及高频变化的时间序列数据。不同的业务对数据访问性能的要求也存在差别。一个数据一般不能满足全部需求；因此，应当研究将不同种类数据库技术相结合的数据库管理技术，使其能够适应各类特点与场景，相互补充。数据存储的设计关键在于保证使用高效、科学、正确的数据存储结构，确保不同种类的运行数据能够正确划分到与之对应类型的数据库中，符合相对应的设计原则。
2.2分布式存储技术
2.2.1Hadoop系统结构
在分布式系统中，Hadoop是一个基础结构；其实现了分布式的文件系统（下文简称为HDFS）。HDFS可以为巨量数据提供存储空间，其是Hadoop结构中至关重要的一项核心设计。HDFS具有诸多优点，其中包括：（1）能够通过用流的形式对文件系统中的数据进行访问；（2）其提供了高吞吐量，从而实现了应用程序数据的访问；（3）具有较高的容错性。除HDFS之外，对于Hadoop结构而言，其核心设计还包括MapReduce。
2.2.2Hive工具
Hive是以Hadoop为基础的一种数据仓库工具；Hive日常运行过程中需要得到Spark、TEZ、MapReduce的支持，同时使用HDFS当作是数据存储。其主要优势在于：（1）支持数据的优化与挖掘；（2）支持扩展与输入格式的耦合；（3）能够提供与SQL相似的查询功能，并当作是标准的分析工具；（4）能够在不用的文件或者数据格式上直接进行查询；（5）兼容maps、lists以及sturcts等不用种类结构化数据。
2.2.3HBase数据库
作为开源数据库的一种，HBase主要用来存储非结构化的数据，其主要特征包括面向列以及分布式。HBase通常是以Hadoop分布式文件系统为基础，从而实现了读写数据的实时性，具有较高的可靠性。而HBase的优点在于：（1）不含有确定的索引，能够自动分区，并可以自动处理新节点或者线性扩展，具有较高的容错率；（2）因为是以HDFS文件系统为末班，所以具备高并发读写操作功能；（3）能够对数据进行自动切分，显著提高数据存储的水平可伸缩性。
2.3电力调控大数据存储方式
2.3.1电力调控大数据系统中分结构化类型数据的存储
针对前文所述的非结构化类型的数据，这些数据除必须的存储之外，部分数据还要求能够进行数据备份或者数据共享。基于此，需要利用HDFS分布式文件系统来对这类非结构化类型的数据进行存储。其一方面能够切实满足巨量数据存储的实际需求，另一方面也可以提供较高的吞吐量来对这部分非结构化类型的数据进行访问。
2.3.2电力调控大数据系统统一数据仓库数据
对于电力调控大数据系统而言，其所包含的数据仓库通过需要借助HDFS分布式文件系统进行存储，同时通过Hive工具实现数据仓库中相关数据的管理与查询。这是因为HDFS文件系统可以实现巨量数据的存储，同时使用Hive如同使用普通的关系型数据库相同，数据操作十分便捷。
3结论
综上所述，首先分析了大数据集成及管理技术的重要作用；然后，阐述了电力调控大数据集成及管理技术中电力调控大数据的存储需求；接着详细讨论了电力调控大数据集成及管理技术中几个关键基础；最后，介绍了不同类型数据的对应存储方法。望通过本文的探究，给同行一些启发与参考。
参考文献：
[1]肖伟.电力调控大数据集成及管理技术分析[J].电子元器件与信息技术,2018,000(011):88-90.
[2]夏泓靖,毛冬梅.浅论电力调控大数据集成及管理技术应用[J].通讯世界,2019,026(004):212-213.
[3]郑强,高群.电力大数据关键技术分析[J].数字化用户,2018,024(048):180
[4]安立东,李威,王孝春,等.电网调控运行大数据存储与处理技术[J].名城绘,2018(6):673-673.
[5]申建建,曹瑞,苏承国,等.水火风光多源发电调度系统大数据平台架构及关键技术[J].中国电机工程学报,2019,39(01):45-57+321.