陈石天
中国南方电网有限责任公司超高压输电公司百色局 广西百色533000
摘要：经济的发展，促进社会对电力的需求也逐渐增加，这有效地推动了电力企业的发展。在电力大数据时代的背景下，人们对信息的获取以及甄别需求愈加趋向规模性、多样性以及高速性，因此，信息通讯体系已经成为智能电网的重要应用系统，大数据关键技术的应用能为多种领域的发展提供关键信息，符合当前社会发展需求，推动电网规划建设与服务呈上升趋势发展。本文就智能电网大数据处理技术应用现状及困境展开探讨。
关键词：大数据；智能电网；应用
引言
大数据被认为是促进现代社会发展的智力“石油”，越来越受到人们的重视，早期主要应用于商业、金融等领域，后来逐渐扩展到交通、医疗、能源、电力等行业。大数据技术在智能电网中的应用被看做是电力行业发展的重要技术领域之一。
1智能电网
智能电网以基本的物理电网为基础，整合应用当前的现代信息、通信、计算机处理、传感测量等诸多技术，打造出一种高度集成的新型电网工程。和传统电网相比较，智能电网在电网运输安稳性、可靠性方面均有很大保障；站在功能层面上分析，其也具备动态化处理、分析、集成、呈现电网信息等功能。智能电网的特征有：（1）规模大：智能技术融合至电力系统内，会产生大量数据。智能电网发展阶段，伴随其负荷与电机节点增加过程，以及电网与负荷间交互作用，也会促成智能电网运行阶段形成海量数据。（2）速度快：电网运作阶段，因负荷的改变，会形成较大的随机性，这也预示着电网系统的实时监测工作有随机性特征。智能电网任何节点均可能出现故障，且容易产生连锁反应，形成较大损失与危害性。（3）多样性：智能电网正常运转阶段，接触面较宽广，形成的数据较多，包括内部、外部数据，有结构化、非结构化数据，这决定了电网数据的多样性。
2智能电网应用的电力大数据的平台架构
电力大数据平台是保障大数据技术应用以及智能电网工作顺利进行的基础，其是以MapReduce软件架构为基础而搭建的电力大数据平台，可以有效对于PB、ZB级别数据在查询以及相应的储存方面均可以达成相应的功能，在此基础上整体框架结构的数据访问调度时，原始数据与备份都可以输入到相应储存系统，在保证操作系统与服务器之间作用得到充分发挥的同时，还要保证硬件设施的性能得以进一步拓展。在电力大数据平台构建过程中，除了要将技术展示出来，还要将关键的框架部位也要体现出来，预防意外情况出现，保障信息的安全性能。在此基础上还要根据实际情况，注重不用网络层次之间的连接，切实体现出其储存的作用和性能，保证电力大数据的平台组成模块之间的沟通联系。
3应用分析
3.1数据生成
整个电网中安装的智能电表和传感器会产生大量数据，包括发电侧数据(风电场和光伏电站)、消费侧数据(住宅，工厂和电动汽车充电站)、用户数据(住宅、光伏电池板和电动汽车)。天气和自然灾害数据也可以包含在智能电网系统中，此外还有一些可用于停电调查的图像和视频数据。智能电网数据体积大，速度快，种类繁多，当智能电网大数据在分析环境中与多源现有智能电网数据集成时其价值变得更大，且可以潜在地增强智能电网的功能。
3.2集成管理技术
电力大数据的集成管理技术指的是对特定的数据结构以及有关应用程序所构建数据的中央储存库进行统一的、严格的、科学的有效管理。其应用实质指的是合并两个或两个以上应用系统的数据内容，将不同来源、格式、特点以及性质等相关数据在逻辑上和储存介质上进行有机的综合集中，在此基础上将数据系统中的具有相对稳定性，并能充分反映出历史实质性变化的数据进行有效集合，为整体系统提供全面的数据共享。电力数据集成管理技术的应用不仅能解决电力企业内部系统之间的数据交换，还能融合其他层面的技术对数据信息进行有效应用和管理。比如非关系型数据库技术、数据融合集成技术等。针对大数据的管理，必须要对数据源数据进行在抽取的基础上加以优化集成，提取相应的实体以及周围关系，确保进一步提升数据质量和应用效率。在储存管理中应用NoSQL数据库技术，其分布式数据储存方式能有效保证数据储存的简化性、灵活性，同时也突出了数据库技术拓展性的特点，增加了数据的内存，使电力数据库集成管理技术全面发展。
3.3批量处理
本文采用Hadoop Map-Reduce数据处理模型，通过将非常大的数据集分成许多小集合进行处理，计算在所有这些微小的数据单元上并行完成。例如，可以使用Map-Reduce作业来获得所有智能仪表中的最小读数，“地图”任务的每个实例都会获取一小部分智能仪表读数，并在其中找到最小值。这些较小的结果通过减速器工作“减少”到总体最小值。Map-Reduce可用于计算客户使用情况分析，因此，Map-Reduce专门用于定期批处理，但不适合频繁重新处理大量动态数据集。它不能用于实时传感器数据和流数据处理，因此，该模型不适用于许多智能电网实时分析流程，如需求响应、短期负荷预测、AMI(高级计量基础设施)运营、实时使用和定价分析、实时客户分析、在线网格控制和监控等领域。除了传统的批处理技术(Map-Reduce)之外，无法执行在线和流数据分析是 Apache Hadoop 的主要缺点。Apache Hadoop提供的一组机器学习算法也不足以满足智能电网数据分析的要求，因此，Apache Hadoop不是智能电网系统上大数据分析的合适选择。Apache Sp-ark 是另一个通用集群计算平台，它提供灵活性、可扩展性和实时性，以应对智能电网中大数据的挑战。除了通常的批处理之外，Apache spark还具有执行迭代和流处理的能力，Apache spark拥有更多有效的机器学习算法和增强的线性代数库。
3.4数据分析
数据分析是智能电网大数据分析系统中最重要的阶段，这一阶段的主要目标是提取有用的信息，帮助运营商做出能够提升电网稳定性和运行效率的的明智决策，此外该阶段通过使用反馈回路来观察决策对智能电网实际的影响。在此分析系统中，使用了3种数据分析工具: Rapid Miner Radoop，MATLAB 和Tableau 软件，其中 Radoop 用于数据挖掘，MATLAB中的 Tall 数组提供处理分布式数据存储支持的数据，Tableau 用于可视化分析。这些工具涵盖了数据挖掘、数据统计、表格操作以及可视化分析应用等方面。可以在本分析系统上使用其他分析工具，但这3 种工具已能够执行整个智能电网大数据的分析功能，包括使用反馈观察决策的影响结果。
结语
综上所述，要想在大数据时代背景下有效实现我国电力系统的优化配置，则必须不断提升对大数据、云计算等技术的研发和引进力度，保证信息的复杂性和多样性，进一步提高了电网运行的质量和效率，切实发挥出电力大数据技术价值的最大化，实现社会效益和经济效益的双重统一。
参考文献
［1］李俊楠，李伟，李会君，等．基于大数据云平台的电力能源大数据采集与应用研究［J］．电测与仪表，2019，56(12):104－109:56－98．
［2］张东霞，苗新，刘丽平，等．智能电网大数据技术发展研究［J］．中国电机工程学报，2018，35(1):2－12．
［3］刘学军，俞伟，何颋，等．基于大数据的配电网运行状态评估与预警［J］．浙江电力，2018，36(12):75－80，90．