济南清河电气有限公司 山东济南 250116
摘要：大数据为智能电网的发展注入新的活力，掌握电力大数据的关键技术对电力行业的可持续发展和坚强智能电网的建立具有重要意义。在分析大数据、云计算、智能电网三者关系的基础上，给出具有通用性的电力大数据平台总体架构，并从电力大数据的集成管理技术、数据分析技术、数据处理技术、数据展现技术 4 个方面深入探讨符合电力企业发展需求的大数据关键技术的选择。最后通过 3 个典型案例，分析了电力大数据关键技术在新能源并网、风电机组安全评估、电网灾难预警上的应用。大数据关键技术在电力行业的广泛应用必将带来行业的变革，将智能电网的发展推向新的阶段
关键词：大数据；云计算；智能电网；数据集成；数据分析；数据处理；数据展现
随着我国电网技术的不断发展，信息通信技术作为智能电网的中枢系统，其对于电网生产以及管理方式的发展也起到了良好的促进作用，并迎来了电力大数据时代。为了对日益增长的电力数据量跟信息量进行有效的处理，也就要求各电力企业恩能够够在智能电网数据处理系统中进行电力大数据关键技术的积极应用，借此获得良好的电力数据处理效果。
一、智能电网电力大数据概述
新阶段电网基础设置很难满足信息资源日益增长的技术性要求，其中智能电网的应运而生能让数据信息的搜集、分析和存储等得到发展，但是要想让信息资源的利用效率增大，构建大数据平台能是实现其科学合理决策的关键。在这方面具十分成功的案例是 Hadoop 服务平台的系统构建情况，需要将大数据与这一平台进行更为有效的融合和对接，进而能更为大数据的关键新技术的作用发挥起到良好的保障作用。例如，在进行海量的信息搜集与处理的时候，能够提供电子表格数据，并利用信息分类技术，将其实用性更好的发挥出来，进而能在用户信息出来效率方面有所提升。另外，智能电网大数据平台主要是以分布式的文件处理方式为主，为能更好的实现 Pb和 Zb 级别的数据存储功能，可以在分布式计算机技术实现的过程中，实现 P6 和 Zb 的数据查询功能。现阶段的大数据平台涵盖的内容十分广阔，其中有功能性的模块数据，包括大数据访问与调度框架、商业智能应用模块、数据仓库等相关的数据模块。因此，大数据平台的构建需要在数据关键技术运行效果持续升高的情况下对电力领域内企业的智能化电网的实现提供有效的保障，用以提升企业的自身结构发展也能让营销服务模式的优化创新能力得到极大的提升，进而能让电力企业持续稳健的发展下去。
二、智能电网大数据特征
智能电网在运行的过程中会不断产生庞大的数据，对数据按照来源进行划分，可以分为电力企业内部和外部数据，其中内部数据包括数据采集与监控系统、生产管理系统、配电管理系统、客户服务系统等，数据大多来源于关键应用系统；外部数据则一般来自于互联网、气象信息系统、地理信息系统等，外部的数据较为分散，数据管理单位也各不相同。可以看出智能电网数据具有多样性、来源多样的特征，半结构化、非结构化的数据数量在不断增加，比如：客户服务系统中的语音数据、在线监测系统中的视频、图像数据，这些都属于非结构化数据，这些数据价值密度不高，每种数据在采样、生命周期、频率方面都各不相同。
三、智能电网、云计算以及大数据技术之间的联系
科学技术发展日新月异，电力系统中已经实现了信息化技术的使用，希望能够在电力系统中加入信息技术，来有效进行信息共享，进而有效的控制电网，让电网能够稳定的运行。但图 1 简要描述了智能电网、云计算、大数据三者之间的相互关系。 是当前电网中基础设施还不完善，不能有效的对相应信息资源进行搜集、分析和存储，要解决当前现状，需要在电力系统中加入智能电网应用 [1] 。要对电网中的数据信息资源进行合理的使用，为决策提供有效的依据，就需要构建大数据平台，实现科学决策。在构建的过程中，还需要加入云计算技术，将云计算技术和大数据技术进行有机结合，这样可以提高计算机在数据计算和处理方面的能力，利用计算机高容错的能力，去有效解决大数据技术使用中可能遇到的难题，实现企业对智能电网下各类数据信息的有效分析、计算与存储，为更好的控制智能电网提供技术支撑。智能电网、大数据技术、云计算之间具有紧密联系，在构建大数据平台时，要将云计算加入其中，靠其功能对智能电网下各项数据信息进行计算以及分析，云计算技术具备很大的信息存储功能，而电网运行又会不断产生庞大的数据，因此在搭建平台时，可以利用这一功能，来满足智能电网运行的实际需求，为实现智能电网数据在线分析功能提供技术支撑。另外，应用这一技术，还可以加强对智能电网的实时监控与管理，为其经济合理的运行提供支持。
.png)
图1 大数据技术、云计算、智能电网三者的相互关系
四、智能电网中电力大数据关键技术的运用
（一）ETL 关键技术
电力领域智能电网在数据分布上具有分散的特点，数据数量很多，数据类型也较多，这些都为数据处理工作带来了一定的困难。在这种情况下，进行数据处理工作应该要按照标准流程进行规范操作，即“数据集成-抽取-转换-剔除-修止“ 。电力企业通常将数据仓库技术应用到数据集成上，ETL 是“Extract-Transform-Load”的缩写，从中可以看出其包括三个部分，即 Extract、Transform 和 Load，首先是 Extract，被叫做数据抽取，就是要将目的数据源系统需要的有关数据从数据源系统中抽取出来；Transform 被叫做数据转换技术，用数据抽取技术抽取出的数据根据相关的要求进行转换，将数据变为另一种形式，在这个过程中要对数据源中出现的偏差和错误数据进行处理，要清洗或者加工数据；Load 是数据加载技术，就是将上一环节处理好转换好的数据进行加载，之后保存到目的数据源系统内。
（二）数据处理技术
电力数据当中，数据处理技术需要对采集到的多种多样且数量庞大的数据进行分区、分表、分库的合理处理。首先，对数据进行分区处理时，需要对不同文件进行同表数据载入，从而有效减小工作压力，使得数据访问的性能能够得到有效提升。进行分表处理时，需要以一定的数据处理原则做为工作基础，进行多种数据表的创造，从而减少表单压力。其次，进行分库处理时需要按照固定的处理原则进行不同数据库中的数据进行处理，将利用率低下的数据进行输入，从而提高数据利用率。另外，进行并行式或者纵列式的数据库构建，能够有效地强化数据本身的加载性能，对于实时查询功能的使用非常有力。例如，SQL 与MapReduce 进行有效结合，能够非常有利于对数据处理能力进行强化，从而增强整体工作的抗压弹性。
.png)
图 5 大数据处理技术适用的对象
（三）数据分析技术
对于大数据技术而言，其根本驱动力在于直接将电力运行信号转变为数据，然后将数据分析为信息，在通过数据信息来保障电力决策的科学性跟合理性。通过电力大数据分析技术的应用能够在智能电网运行过程中的海量数据中找出其潜在的模态跟规律，来给该电力企业的管理人员提供足够多的决策支持。在大数据研究过程中较之于传统的逻辑推理研究还存在有一定的区别，其需要就巨大数量的数据进行统计性的搜索跟分类，因为也继承了统计学科的相关特征。在相关分析的过程中，其目的在于找出各种数据集中所隐藏的关系网，并能够用来进行支持度、可信度以及兴趣度等参数相关性的有效反映。很大的应用价值。
结束语
我国智能电网发展迅速，其在运行过程中会不断产生大量的数据，传统的数据处理方法已经无法满足当前发展的需求，因此在大数据时代背景下，企业应该不断优化，搭建出更完善的电力大数据平台，能够充分挖掘出数据的价值，通过利用一些关键技术，可以提高智能电网中电力大数据的处理水平，为企业带来更多的经济利益，提高企业的竞争力，保证电网的运行。
参考文献
[1]张东霞，苗新，刘丽平，等.智能电网大数据技术发展研究[J].中国电机工程学报，2015（01）.
[2]邓博.面向智能电网应用的电力大数据关键技术研究[J].工程技术:文摘版,2016(09):00136-00136.
[3]王孝亮.面向智能电网应用的电力大数据关键技术应用[J].工程技术:全文版,2017(02):00189-00189.
作者简介：
蒋芹芹（1989-），女，工程师，从事变电二次安装及试验工作。
丁国华（1990-），男，工程师，从事配电成套设计及电力工程施工工作。
夏信胜（1978-），男，工程师，从事配电技术工作及配电检修工作。