国网安徽省电力有限公司界首市供电公司 安徽省阜阳市 236500
摘要：近年来，经济快速发展，网络及述发展迅速，随着能源互联网、数字电网和泛在物联网的建设和推进，传统电网正在发生深刻的变化，智能测量设备所产生的海量数据使得电网不仅能对设备进行实时监测，集成各类分布式能源，还能为用户提供最优的能源解决方案，对智能电网大数据技术的发展现状进行综述，讨论智能电网的特点和能源数据的多源性，总结大数据在智能电网中的应用，分析机器学习，数据挖掘等技术在电网大数据分析中的应用及特点，归纳提升大数据分析能力的主流平台与知识提取方法，并对智能电网大数据中存在的挑战和机遇进行展望。
关键词：智能电网；电力；大数据；技术
引言
随着信息和通信系统新兴技术的不断发展，当今的电网运行正逐渐演变成以传感器嵌入式的网络(即智能电网)，它能够控制电网运行的整个过程。各种类型的传感器部署在智能电网运行的各处，所有这些传感器产生不同类型的数据(异构数据)，然后在电网专用数据中心进行数据的采集。造成在数据管理存在数据量大、数据类型繁杂等情况，按照传统的数据处理模式无法满足。因此提出采用大数据手段，对所收集的数据进行分析，以挖掘隐藏在大数据中并可用于制定战略、战术及运营决策的数据支撑。
1智能电网、大数据技术与云计算之间的关系
我国电网建设已经逐步实现与信息化技术的高度融合和应用，因此，智能电网的发展与大数据间的关系愈加紧密。智能电网主要依靠计算机技术、信息技术、通信技术等多种技术相互结合应用，在互相制约控制的同时，还能起到一定的促进作用，在此基础上，不仅有助于提高能源使用效率，还能最大限度的减少电能消耗，实现信息资源的合理利用，为各项决策提供科学性、合理性、有效性的依据，从而保障了供电的安全。在实现大数据平台的基础过程中，必须要引入云计算技术，两者的高效结合不仅能提高计算机对数据储存和管理能力，还能有效提升数据处理的质量和效率，确保解决实际信息难题的同时，方便提供相应的信息服务，为电力企业的发展与服务打造良好的基础。必须明确智能电网、云计算、大数据技术三者之间的紧密性和关联性，确保在总体的实际应用中满足智能电网的运行需求。
2面向智能电网的电力大数据分析技术探讨
2.1批量处理
本文采用HadoopMap-Reduce数据处理模型，通过将非常大的数据集分成许多小集合进行处理，计算在所有这些微小的数据单元上并行完成。例如，可以使用Map-Reduce作业来获得所有智能仪表中的最小读数，“地图”任务的每个实例都会获取一小部分智能仪表读数，并在其中找到最小值。这些较小的结果通过减速器工作“减少”到总体最小值。Map-Reduce可用于计算客户使用情况分析，因此，Map-Reduce专门用于定期批处理，但不适合频繁重新处理大量动态数据集。它不能用于实时传感器数据和流数据处理，因此，该模型不适用于许多智能电网实时分析流程，如需求响应、短期负荷预测、AMI(高级计量基础设施)运营、实时使用和定价分析、实时客户分析、在线网格控制和监控等领域。除了传统的批处理技术(Map-Reduce)之外，无法执行在线和流数据分析是ApacheHadoop的主要缺点。ApacheHadoop提供的一组机器学习算法也不足以满足智能电网数据分析的要求，因此，ApacheHadoop不是智能电网系统上大数据分析的合适选择。ApacheSp-ark是另一个通用集群计算平台，它提供灵活性、可扩展性和实时性，以应对智能电网中大数据的挑战。除了通常的批处理之外，Apachespark还具有执行迭代和流处理的能力，Apachespark拥有更多有效的机器学习算法和增强的线性代数库。
2.2电力大数据处理技术
数据处理技术的主要作用是将收集到的数据信息通过相应的技术手段进行有效处理，然后对已经经过处理的数据进行按照种类、性质、适用状况进行区分，具体则有分库、分表和分区三个处理环节。在分库环节，根据实际分类情况，按照一定要求将重复利用的数据传输到不同的数据库中，提高数据的利用效率；在分表环节，根据数据处理的不同种类，对数据表的需求也较为不同，为了缓解单表压力，可采用建设并行式和纵列式数据库的方式，促使数据的加载速度得以有效提升，为人们对数据的查询提供便利；在分区环节，主要将数据及时载入不同的文件中，在降低数据表压力的同时，提升了数据的访问速度，保障了通表的正常运行。在进行应用电力大数据处理技术过程中，需要和MapReduce软件构架进行有机结合，不仅能有效提升数据处理的整体效率，而且还提高了数据应用的质量水平。
2.3迭代处理
除了批处理和流处理方法之外，还存在许多大数据分析问题，这些问题不属于这些技术的范围，迭代处理是用于解决此类问题的另一类处理方法。迭代处理的主要特征是频繁处理各种数据类型。通常，迭代处理是耗时的，这是由于频繁的进行读取和写入操作(每次迭代)，这涉及更多的I/O传输。ApacheSpark是当前用于迭代处理的领先框架。它具有在群集中处理和保存内存中数据的能力，将数据加载到框架后，只有在完成所有迭代过程后才会写回数据。这确保ApacheSpark比MapRe-duce框架快10倍至100倍。
2.4集成管理技术
电力大数据的集成管理技术指的是对特定的数据结构以及有关应用程序所构建数据的中央储存库进行统一的、严格的、科学的有效管理。其应用实质指的是合并两个或两个以上应用系统的数据内容，将不同来源、格式、特点以及性质等相关数据在逻辑上和储存介质上进行有机的综合集中，在此基础上将数据系统中的具有相对稳定性，并能充分反映出历史实质性变化的数据进行有效集合，为整体系统提供全面的数据共享。电力数据集成管理技术的应用不仅能解决电力企业内部系统之间的数据交换，还能融合其他层面的技术对数据信息进行有效应用和管理。比如非关系型数据库技术、数据融合集成技术等。针对大数据的管理，必须要对数据源数据进行在抽取的基础上加以优化集成，提取相应的实体以及周围关系，确保进一步提升数据质量和应用效率。在储存管理中应用NoSQL数据库技术，其分布式数据储存方式能有效保证数据储存的简化性、灵活性，同时也突出了数据库技术拓展性的特点，增加了数据的内存，使电力数据库集成管理技术全面发展。
2.5电力大数据展现技术
数据展现技术作为智能电网中重要的技术类型，主要包括历史信息流、空间信息流和可视化技术三个有效类型。这些类型都有助于提高电力大数据技术的应用质量和水平。展现技术主要应用于系统内部，通过相关管理人员对电力系统实际情况的明确，对电网的运行状态进行实时监测，继而进行展示，可视化技术的应用有助于将系统自动化程度发挥到最大限度。空间信息流在电网参数和已经存在的地理信息系统共同结合下，与GIS技术相结合，通过相关管理人员对设备的掌握程度和实际操作，为决策提供精准的地理信息服务，切实提高了工作质量和效率。
结语
综上所述，要想在大数据时代背景下有效实现我国电力系统的优化配置，则必须不断提升对大数据、云计算等技术的研发和引进力度，保证信息的复杂性和多样性，进一步提高了电网运行的质量和效率，切实发挥出电力大数据技术价值的最大化，实现社会效益和经济效益的双重统一。此外，由于大数据分析的平台和方法最初来自信息，计算机科学领域，需要对其进行修改和定制。最后，总结了大数据在智能电网中的应用所面临的挑战，以及未来的发展前景。
参考文献
[1]吴凯峰,刘万涛,李彦虎,苏伊鹏,肖政,裴旭斌,虎嵩林.基于云计算的电力大数据分析技术与应用[J].中国电力,2015,48(2):111-116,127.
[2]李亚.智能电网大数据在线分析与决策系统研究[D].北京:华北电力大学,2017.
[3]王德文?杨力平.智能电网大数据流式处理方法与状态监测异常检测[J].电力系统自动化.2016.40（14）:122-128