孙毓鸿1 赵佳琦2
1 北京送变电有限公司 北京 102401
2 冀北电力有限公司 北京 100054
摘要：如今，大数据技术实现了高速发展，其在电力系统运维中得到广泛应用。本文分析大数据的电力系统运维技术，将众多开源的大数据分析工具和软件集成为分析引擎的模块，并设计了自主开发的先进算法。该框架包括数据接口、大数据管理、分析引擎以及应用程序和显示模块，大数据的电力系统运维技术呈现出大数据平台的有效性和巨大潜力，数据资源可以充分发挥其在电力系统运维中的潜在价值。
关键词：大数据；电力系统；运维技术
随着计算机和通信智能设备的快速安装，电力行业也在经历着电网规模和系统复杂性的巨大变化。为了充分利用海量的非结构化文本、音频和视频格式的异构数据，迫切需要合适、高效的数据管理和分析系统。在电力系统运维环节，还需要提取和共享有用的信息，以满足现代电力和能源对高精度和实时性能的快速增长的需求系统。传统的电力系统运维方法无法有效的提升电力系统的运行效率，因此，对大数据的电力系统运维技术的研究十分迫切。
一、电力系统与大数据
监控和数据采集设备主要用于传统电力行业，以收集数据和保护电力系统运行，提供冗余测量，包括有功和无功功率流和注入以及母线电压幅值。然而，监控和数据采集设备的采样率很慢，与传统的监控和数据采集设备系统不同，相量测量单元（PMU）能够测量所安装母线的电压相量以及与该母线相连的所有线路的电流相量。因此，需要以每秒钟100个样本的速度采集大量数据。中国国家电网公司拥有240多万台智能电表，每年采集的数据总量达到200万TB，而信息中心的数据总量可达15PB。在许多应用中，大数据在数据量、种类、速度和价值方面非常突出。从电力系统大数据中获取信息，有助于提高电力效率，了解电力系统状态的潜在影响因素，了解电力消费模式，预测设备使用状况，制定竞争性营销策略。
二、大数据的电力系统运维技术
随着数据记录设备种类的不断增加，越来越多的非结构化电力系统数据在增加。一些特定的数据需要在不同的尺度下收集或分析，或者投影到另一个维度来描述这些数据。因此，在将异构数据投影或转换为统一形式时，需要解决数据结构或语义之间的一些冲突，数据融合还应考虑到数据的不确定性和动态性。基于这些考虑，大数据的电力系统运维技术根据数据对象之间复杂的逻辑关系，设计通用的管理模型，通过规范化和主信息提取来表示数据。
（一）大数据的电力系统运维技术现状
在大数据管理的分布式结构方面，最流行的设计是Hadoop和Spark。Hadoop成立于2005年，由Apache软件基金会联合开发的Map/Reduce、Google Lab开发的Google File System（GFS）和非关联大容量数据结构Bigtable等关键技术，形成了一种新颖的计算分布模型。
基于以上技术，Hadoop和Hive、Pig等开源项目构成了整个Hadoop系统。Hadoop基于分布式结构思想，具有高扩展性、高容错性等优点，能够高效、低成本地处理异构海量数据。在Haddop生态系统中，存储在HDFS（Hadoop Distributed File System）中的文件采用下级结构，分为多个块，每个块都有一个或多个副本分布在不同的数据节点上，这样的冗余可以防止因硬件故障造成的数据丢失。MapReduce是用于处理和生成大型数据集的编程模型实现。计算可以由map和reduce函数指定，底层运行时系统会自动将计算跨大型机群并行化。采用高并发处理方式，同时组织多个计算过程，使数据处理能力从TB级提高到PB级，提升电力系统运维环节中数据的收集与分析效率。
（二）数据流与价值管理
实时数据流是形成大数据的重要途径之一，它是以时间序列连续记录的。数据流是无限的，这给数据管理系统存储和处理流数据带来了严峻的挑战。流数据被认为是一个有序的序列，只能被读取一次或几次。因此，数据流管理技术是处理大数据存储和处理的关键问题。对于传统的数据库来说，数据存储是静态的，不经常进行查询和更新。用户发送数据操作语言（DML）语句作为查询，系统在数据库中搜索后返回结果。因此，不可避免地会产生I/O交换，这会降低搜索效率。在电力系统运维过程中，对于海量流数据的实时处理，传统的方法已不能满足要求。与传统模型相比，只存储概要数据结构而不存储整个数据集，数据量更小，查询更简单。
（三）大数据分析开源工具在电力系统运维中的应用
数据分析方法在电力系统中扮演着重要的角色，因为算法可以使用一段时间内收集的历史数据进行训练，为系统操作员提供有用的信息。由于历史数据正在以越来越快的速度大量收集，因此迫切需要有效的机器学习方法来发现有价值的信息并提供给电力系统操作员。大数据以分布式方式存储在多台计算机上，所以并不是所有的机器学习方法都适合处理。在电力系统运维过程中，如果数据分析需要在一台计算机上完成，那么数据量可能太大，无法装入主内存。大多数传统的数据库通过设计，实现了单线程的机器学习算法，分析大量的分布式数据。近年来，为了实现高效率，先进的现代大数据处理平台被设计和实现了并行机器学习算法。
随着计算机技术的快速发展，机器学习在电力系统运维中得到广泛的应用，应用趋势从传统的单机算法设计向分布式、海量数据发展。Octave是最早开发的机器学习包，使用与Matlab基本兼容的语言进行数值实验，通过集成通用机器学习包，其综合的统计计算和图形软件环境，在电力系统运维中得到了广泛的应用。Octave、Weka是为单线程计算而设计的，能够有效地处理大量电力系统数据，在电力系统运维环节，可以将海量的运维数据进行有效地整合与分析，提升了电力系统运维的实效性。大数据处理的软件包能够对大数据进行线性回归，在电力系统运维过程中采用随机森林算法，实现海量运维数据的整合，为电力系统的运维提供科学的数据。
结语：
在电力系统运维环节，融入大数据技术，通过海量数据的分析，使电力系统运维更加顺利，及时找到设备故障并排除，实现电力系统的高效运行。
参考文献：
[1]江疆,梁盈威,彭泽武,冯歆尧,谢瀚阳.基于大数据的电力系统数据集成管理平台设计[J].电子设计工程,2020,28(14):163-166.
[2]奚超超,王军,晏腾.一种基于大数据的调控运行数据分析系统建设[J].科学技术创新,2020(19):90-91.
[3]李颖杰,郑筠,杨光.大数据平台配电网智能化运维管控平台的设计和应用分析[J].微型电脑应用,2020,36(06):141-143.