李灿辉
国网福建省电力有限公司龙岩市永定区供电公司 福建龙岩 364100
摘要:云计算相关技术已在电力领域中得到广泛的应用,基于云计算的输配供电系统、数据容灾备份管理和智能营销管理系统等方面的研究较为深入。但是云计算在用电信息采集系统的研究有一定的局限性,缺乏其在用电信息采集系统应用的可行性及安全性分析。本文通过对用电信息采集系统的现状进行分析,指出当前系统的不足之处。对云计算技术进行阐述,并基于云平台构建数据中台。
关键词:云计算;用电信息;采集系统
1用电信息采集系统现状分析
随着用电信息采集系统主站对外服务日益增多,给采集系统主站存储、性能带来较大影响,对采集数据的实时性、准确性及处理分析能力都提出了更高的要求,导致现有用电信息采集系统支撑力不足,具体表现如下:
1提供服务的能力不足。现有采集系统数据核查只能在采集数据入库之后进行,无法实现数据实时核查,不能支撑一些实时性要求较高的业务,如变压器、计量设备异常监控等实时分析。
2计算分析能力不足。现有采集系统大数据分析性能瓶颈越来越严重,不能在业务规定时间完成统计分析工作,严重制约业务应用的开展,如台区同期线损功能后台统计时间过长,无法满足快速查询的需求。
3存储可扩展性差。现有采集系统仅能针对系统应用做整体扩容来满足业务高并发的要求,无法满足未来业务的并发线性扩容。随着采集系统用户规模及业务量增长、功能项增加、考核指标增加、对外接口增加,使用分布式架构更易于服务弹性扩容。
4系统在线开发、测试和发布能力不足。系统应用集中部署,每次系统发布都要停机且耗时较长,影响公司系统业务的开展。
基于以上现状,分析云计算技术特点,将其应用在用电信息采集系统,可以为企业信息技术发展提供强有力的支撑,使其更好的适应公司业务发展。
2云计算和数据中台关键技术
2.1 云计算和数据中台概述
数据中台是提供数据共享和分析应用服务,沉淀共性数据服务能力的数据处理平台,能够满足横向跨专业间、纵向不同层级间数据共享、分析挖掘和融通需求。对于业务系统而言,数据中台将提升以下几方面的能力:数据接入整合能力、数据资产管理与分析能力和基础组件支撑能力。
2.2 云计算关键技术及数据中台的构建
云计算技术是目前处理大数据存储、分析与计算最有效的方式。可提供基础的平台框架,在平台上搭建数据中台,实现海量数据的有效运作。云计算技术在一定程度上弥补了现有用电信息采集系统的不足。
云平台主要的应用技术包括如下几个方面。
1)IaaS层主要基于OpenStack云平台管理系统,为用户提供弹性计算、负载均衡、弹性伸缩、虚拟网络和开放存储等基础设施部署服务。
2)PaaS层可以为用户提供应用的全生命周期管理和相关的资源服务,在对海量数据进行分析与处理时,采用Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)保证数据存储的安全可靠性。采用NoSQL(Not only SQL)非关系型数据库满足云计算环境下海量数据高并发读写的需求。以Docker容器为基础,对于微服务场景和海量数据的多种计算服务提供一站式开发运行平台等。以Hadoop和Spark集群为基础,提供海量数据存储和计算能力。采用集群资源调度管理系统动态地进行CPU和内存分配,提高系统资源的使用效率和可靠性,实现应用的弹性伸缩和高可用服务等功能。同时,Paas层核心服务可以提供分布式集中总线服务来支持业务应用的运行。
3)SaaS层可提供相关服务接口,可有效兼容技术之间的异构性,微服务程序可弹性改进、扩展,通过轻量级机制进行通信,更适合当前需求变更频繁、迭代速度快、交付周期短的业务应用。
3云计算技术在用电信息采集系统的应用
3.1 数据中台在用电信息采集系统的应用
基于云计算环境构建的数据中台,可随时按需加入功能组件进行能力的扩展与升级。
根据数据中台所提供的功能,使用关系型数据库(Relational Database Service,RDS)和操作数据存储(Operational Data Store,ODS)管理元数据。元数据可以对数据及信息进行解释描述,使其更加方便检索和使用。
用电信息采集系统的元数据主要包括电能数据、交流模拟量和工况数据。元数据经过物联数据解析服务对数据进行格式处理,采用Kafka消息队列,进行数据缓存、汇聚及实时推送写入,实现数据集成ETL服务。
实时分析平台采用分布式数据流计算Flink,对解析后的数据及户表信息数据进行初步计算,实现数据的异步交互功能,如95598、供电服务指挥、扫码用电均需对运行电能表当前示值、开关状态进行实时状态召测,与不同的业务进行异步交互。分布式数据库HBase存放计算后的数据,并对数据信息进行展示,如每15 min收集一次的电流、电压数据,并绘制成图表。
海量数据分析平台使用HDFS存放全部的用电信息采集数据,Hive On Spark根据用电信息采集数据进行离线计算,如线损分析计算功能、电网运行监测等。CDM则在数据分析平台上进行数据复制功能,主要将近期数据同步至应用中台的GaussDB100,其主要存储近期数据(半年至1年),微应用平台根据这些数据,将高频度数据结合其他业务应用,聚合成微型服务应用,供应用快速调用。
数据中台在用电信息采集系统中的应用将数据存储与计算分离,提升系统整体计算能力,降低数据库压力,解决不同平台之间数据传输问题、降低数据分离延时问题。
3.2 云服务中心在用电信息采集系统的应用
云服务中心主要包括分布式应用集成(分布式服务总线、统一权限、统一流程等)、部署配置和监控调度。部署配置和监控调度配合IaaS层分布式云操作系统提供资源负载均衡、应用部署和故障恢复功能。
其中分布式服务总线是事件驱动架构与面向服务体系架构的思想结合,主要实现服务的注册、调用、路由和管理等功能,面向分布式应用和微应用,提供分布式框架,实现“去中心化”的服务统一管理,支撑微服务架构下不同服务间的可靠高效调用。统一权限和统一流程提升分布式环境下服务交互的鉴权认证及流程编排能力,可以满足用电信息采集系统与其他系统之间的交互需求。
部署配置通过脚本引擎技术,提供应用运行环境的部署编排功能,满足系统的负载均衡服务调度以及系统监控调度动态部署,提升自动化运维能力。
监控调度实现数据全链路监控数据,结合给定的调度策略,提供资源与上层平台服务的弹性调度能力,进而实现对资源的分配和回收,提升业务应用性能。根据服务运行方式,对故障的资源进行恢复,提升业务应用可用性。
通过云服务中心的建设,云平台各组件将统一对外服务,实现应用的自动部署、故障快速定位和资源自动在线伸缩。通过对业务应用资源的冗余编排和访问链路的灵活配置,为业务应用不停机发布和检修奠定基础。在故障恢复方面,通过云平台直接对应用进行还原,数据的完整性和一致性得到保障。
4结语
为了解决现有用电信息采集系统在信息系统中的支撑力不足问题,本文将云计算技术应用到用电信息采集系统中,通过设定业务流程验证场景模拟用电信息采集并入库实验,验证了业务迁移上云的可行性及云平台的性能优势,并且对云平台架构安全性进行了分析。结果表明,云计算技术能够为现有用电信息采集系统提供一定程度的支撑。改造后的用电信息采集系统可以有效保证与其他业务系统在业务间的协作,确保业务系统的各项指标考察合格,为用电信息采集系统的下一步建设提供了理论可行的研究方案。
参考文献
[1]王军.用电信息采集系统加强运维管理的要点[J].中外企业家,2017(32):77-78.
[2]陈新武.加强用电信息采集系统运维管理要点分析[J].通讯世界,2019(20):198-199.
[3]任秀萍.电力用户用电信息采集系统运维要点分析[J].中国高新技术企业,2018(36):122-123.