张丽莉
国网昔阳县供电公司 山西晋中 045300
摘要：随着时代的进步，电力企业的发展也举世瞩目，信息技术在电力企业中的应用也越来越广泛，和以往相比，电力调控系统的数据源与日俱增，范围也在不断增加，数据的种类也多种多样，使得电力企业在处理数据规模方面的问题开始增多。基于此，本文对电力调控大数据集成及管理技术应用进行了深入探讨，希望可以对有关部门的相关工作提供帮助。
关键词：电力调控;大数据集成;管理技术应用
引言
根据我国的实际情况分析发现，电力企业的数据一般主要来源于在生产电力过程中的用电、调度和配电等相关环节和电能使用环节。根据这些环节，电力企业的数据来源可以分为三类，分别是在营销过程中电力企业的相关数据，其中有销电量、用电客户和交易电价等数据；在对电力企业进行管理过程中收集到的数据；在运行过程中电网和设备监测以及监测过程中的数据。
1电力调控大数据集成和管理技术的重要性
1.1可以有效提高电力企业营销服务水平
用电客户可以将详细的数据信息通过相关数据分析平台呈报给电力企业的相关部门，实现对数据的管理、分析和应用。通过对电能计量、客户服务、有序用电等不同方面的了解，可以使得企业人员对电力营销服务的实时情况进行及时了解，从而落实好有效用电、对电费的管理、达到新兴业务的质量指标以及满足客户的服务需求等。
1.2不断完善客户体验，保证运营效率
在电力企业使用大数据集成和管理技术后，电力企业的运营效率可以有效得到提高，客户体验也能不断优化。电力企业的运营效率主要有资产管理、产品与网络管理、收益保障等内容，采用大数据集成和管理技术对营销策略进行创新时，可以使客户体验得到保障、客户关系得到优化。因此，大数据集成和管理技术在电力企业中的应用可以有效降低客户的流失率，从而降低电力企业的损失成本。
2电力调控大数据集成及管理技术应用分析
2.1电力调控大数据存储需求
电力调控大数据往往包括模型数据、历史数据以及实时数据等结构化数据；语音数据、DTS教案、波形文件、电网综合故障报告、CASE断面等非结构化数据以及高频变化的时间序列数据。不同的业务对数据访问性能的要求也存在差别。一个数据一般不能满足全部需求；因此，应当研究将不同种类数据库技术相结合的数据库管理技术，使其能够适应各类特点与场景，相互补充。数据存储的设计关键在于保证使用高效、科学、正确的数据存储结构，确保不同种类的运行数据能够正确划分到与之对应类型的数据库中，符合相对应的设计原则；这样就能够最大限度对程序应用的有关工作进行简化，包括代码、报表以及查询等。电力调控系统中的数据类型大致可以划分成四大类，其中有文档资料、基础数据、电网模型以及运行数据；这些数据都存储在分布式文件库、关系数据库以及时序数据库中。
2.2分布式存储技术
2.2.1 Hadoop系统结构
在分布式系统中，Hadoop是一个基础结构；其实现了分布式的文件系统（下文简称为HDFS）。HDFS可以为巨量数据提供存储空间，其是Hadoop结构中至关重要的一项核心设计。HDFS具有诸多优点，其中包括：（1）能够通过用流的形式对文件系统中的数据进行访问；（2）其提供了高吞吐量，从而实现了应用程序数据的访问；（3）具有较高的容错性。除HDFS之外，对于Hadoop结构而言，其核心设计还包括MapReduce。
2.2.2 Hive工具
Hive是以Hadoop为基础的一种数据仓库工具；Hive日常运行过程中需要得到Spark、TEZ、MapReduce的支持，同时使用HDFS当作是数据存储。其主要优势在于：（1）支持数据的优化与挖掘；（2）支持扩展与输入格式的耦合；（3）能够提供与SQL相似的查询功能，并当作是标准的分析工具；（4）能够在不用的文件或者数据格式上直接进行查询；（5）兼容maps、lists以及sturcts等不用种类结构化数据。针对大量结构化数据的存储问题，MapReduce在及时解决SQL查询问题方面，难度较大。这是由于Hive的操作接口通常使用SQL语法，提供了快速开发的能力，省去了编写MapReduce的程序，大幅降低了开发技术人员的学习成本，并使Hive的功能得到一定的扩展。
2.2.3 HBase数据库
作为开源数据库的一种，HBase主要用来存储非结构化的数据，其主要特征包括面向列以及分布式。HBase通常是以Hadoop分布式文件系统为基础，从而实现了读写数据的实时性，具有较高的可靠性。而HBase的优点在于：（1）不含有确定的索引，能够自动分区，并可以自动处理新节点或者线性扩展，具有较高的容错率；（2）因为是以HDFS文件系统为末班，所以具备高并发读写操作功能；（3）能够对数据进行自动切分，显著提高数据存储的水平可伸缩性；（4）列动态数据增加，同时只有在存储数据之后，空间容量才会变化。而其缺点也十分明显，包括：（5）当HRegion在进行分裂或者压缩的过程中，会出现暂时性读写堵塞的现象；（6）不具备条件查询功能，智能通过RowKey进行查询。
2.3电力调控大数据存储方式
2.3.1电力调控大数据系统中分结构化类型数据的存储
针对前文所述的非结构化类型的数据，这些数据除必须的存储之外，部分数据还要求能够进行数据备份或者数据共享。基于此，需要利用HDFS分布式文件系统来对这类非结构化类型的数据进行存储。其一方面能够切实满足巨量数据存储的实际需求，另一方面也可以提供较高的吞吐量来对这部分非结构化类型的数据进行访问。
2.3.2电力调控大数据系统统一数据仓库数据
对于电力调控大数据系统而言，其所包含的数据仓库通过需要借助HDFS分布式文件系统进行存储，同时通过Hive工具实现数据仓库中相关数据的管理与查询。这是因为HDFS文件系统可以实现巨量数据的存储，同时使用Hive如同使用普通的关系型数据库相同，数据操作十分便捷。
2.3.3电力调控大数据系统的指标管控应用相关数据
就当前实际状况而言，电力调控大数据指标一般涉及同业对标指标、专业管理指标、关键绩效指标以及电网运行分析指标等。指标定义的数据通长包括业务处室、计算周期、计算公式以及维度等方面，存储对象一般为MySQL数据库，其优势在于查询效率较高。指标计算所涉及的分钟级量测数据往往存储最近一年内的全部数据。量测数据的典型特征就是数据量大，同时指标计算应当对量测数据实施查询操作。基于此，一般需要通过HBase数据库对量测数据进行储存。这是由于HBase数据库是以HDFS文件系统为基础，具有存储巨量数据的功能。不仅如此，HBase数据库和Hive工具相比，前者数据查询的效率显著高于后者。
结束语
综上所述，随着社会的发展，电力企业早已开始引进大数据集成和管理技术。大数据集成和管理技术的应用，更加能满足客户的需要，可以有效将电力设备和电力生产进行整合，使得电网规划有数据可进行支撑，从而不断提高电力生产水平，从而实现降低电气企业的成本损失，保障电力企业的利益。
参考文献
[1]马贵波，张旭，郑雯泽.大数据技术在电力调控中的应用研究[J].南方农机，2018，49（19）：216+230.
[2]李光珍.大数据技术在电力调控中的应用方向分析[J].低碳世界，2016（33）：71-72.
[3]张秀东.电力调控大数据集成及管理技术研究与应用[D].哈尔滨工业大学，2016.