摘要:研究并应用适用于多业务需求的用电信息采集数据共享平台。研究用电信息采集系统相关业务平台的数据类型及相关属性、信息共享模式、信息存储方式、数据挖掘和信息交互技术,分析各业务平台间的相互关联关系,提出适合不同业务平台实际情况的信息处理与智能分析方法,建立支持多业务数据共享的平台,并实施应用,为用电信息的实时高效处理提供保障。
关键词:用电信息采集系统;大数据;应用
1基于大数据的用户配用电信息特征提取方法
1.1我国电力用户用电数据特征
一是数据体量大、数据维度多,电力用户群体相对庞大,各种数据采样率要求较高,比如美国天然气电气公司月度采集的用户数据(900w户)就多达3TB,为实现多样数据分析以及精确分析,采样数据必然还会成倍增长,在海量信息数据中,也会显示出一些大数据的关联性基础特征。二是电力用户用电数据表现出的关联性极为复杂,这些数据来源于分散布置的数据源以及不同的数据管理采集系统,想要从复杂数据中提取用户行为特征信息,必须应用相关性分析以及主成分分析法来判断各类数据和特征量之间的相互关系。三是用户用电行为分析数据体量大,单个数据的价值密度低,必须采用数据挖掘方法来有效提出用户的用电行为,通常采用的方法为聚类分析法、回归分析法、决策树分析法等;四是电力用户的异常用电行为会同时受到社会因素、技术因素所影响,电力计量设备本身也可能存在误差,这就有可能导致出现判断失误等现象。
1.2基于负荷用电监测的用户配用电信息提取
电力企业可实现的用户配用电信息提取方法可大致分为非侵入式、侵入式两种类型,简而言之,侵入式就是在用户室内空间中安装传感器,直接获取用电空间,非侵入式则是“LoadDisaggregationandMonitoring”,该项技术无需单独为电气设备安装传感器,只需要通过采集电力计量设备提供的电流信息、用户端电压信息,结合电气设备的用电特征,并采用机器学习法或者模式识别法,就能够实现用户配用电信息的有效提取。LoadDisaggregationandMonitoring表现出成本低廉、可靠简单等优势,为大数据技术的应用创造了基本条件。
1.3用户配用电信息数据聚合
伴随智能传感器在电力行业广泛应用,国家电网在相关政策的指导下,截止2016年年底,已经实现了1.55亿用户的信息采集,初步建立了一个测量体系框架。智能电表的广泛应用,为大数据信息采集奠定了坚实的设备基础。通过数据采集、数据储存、数据分析处理技术,可将用户的配用电信息数据进行分布式储存,然后根据分析要求形成更新队列,并实时对信息数据进行更新,以降低对储存容量的实际需求。然后,对不同维度的异构化数据进行统一处理,形成差异化数据库,最后应用大数据技术对数据进行融合。
2数据共享方案
2.1采集数据共享构架
通过用电信息采集系统数据共享服务平台,构建采集系统数据服务器与其他系统之间的数据、信息共享渠道,提供静态数据共享、实时数据信息共享、特定共享等应用。
静态数据共享:提取用电信息采集系统的各项指标数据、冻结电量,并按需求进行统计分析推送到共享服务平台。还可根据预设进行灵活配置,完成各种定制需求。
实时数据共享:通过在线及时获取采集系统的各种上报异常事件及信息数据,实时为其它业务系统提供所需的数据信息,满足提出的各类服务要求。
特定共享:为满足营销业务应用系统等与用电信息采集系统之间复杂业务数据信息交互要求,特设置特定共享专为营销业务应用系统提供服务。
共享服务平台在实现数据信息共享的同时,必需具备在线监控和规范管理。主要包括需求管控、配置管控、服务管控等基本管控功能。“需求管控”用于完成对采集系统数据共享所需要的申请、审批、执行等流程进行规范管控。“配置管控”主要对配置共享服务平台访的问权限、配置平台运行参数、配置数据发布模型等权限进行管控。
“服务管控”用于对共享服务的运行状态、调用情况、交互流量、共享日志、采集数据质量等信息进行在线监测管控。
2.2数据共享逻辑架构
数据共享服务平台在逻辑上分为数据层、服务层和应用层三个层级。其中数据层将需要共享的数据在构接口数据库上进行存储和统一管理,接口数据库通过ETL、OGG等方式从在线运行的用电信息采集系统生产库中按照自己的需求进行获取。接口库中的数据信息根据外部系统需要的设置,保留到所设定的时间,超过了设定的保存期则系统自动进行清理。
平台的服务层由计算集群和服务集群组成。其中:服务集群又包括接口服务集群和文件服务集群两部分内容;接口服务集群则按照分布式负载均衡的模式完成对其它系统的各项共享服务,同时还以文件方式为其它业务系统提供大数据下载的服务。
平台的应用层分为三个层级,具体包括:需求管控、配置管控、服务管控等支撑业务。这些管控业务功能在平台设计时可以作为采集系统的功能模块来实现,也可设计在用电信息采集系统的技术框架上来完成。
3数据共享流程
3.1静态数据共享
静态数据包括计量资产的档案数据、各类冻结数据、电压电流功率等电参数的曲线数据、各类合格率的统计数据、各项技术指标数据等,其对外部系统数据、信息共享服务的具体方式如下:
1)数据对象配置。首先按照外部业务系统所需采集系统静态数据的不同需求,将其所需数据分解为各个最小数据对象,通过数据对象预定共享服务,以便及时从用采系统的生产数据库中将所需的数据获取后,直接提前放置到接口数据库中,为后续的数据共享服务做好准备。
2)数据共享配置。根据数据共享请求的数据类型、所需频度、所需的数据项内容组合等方面,考虑数据共享的模式是基于面向对象的交互方式。采用配置方式能对接口库中的最小数据单元根据不同的请求结合成其所需的数据集合,按需索取,卑职·配置快捷方便。
3)静态数据共享实施。在收到外部系统的数据请求后,静态数据共享接口服务解析外部系统的请求对象,按照动态方法模型首先从接口数据库中获取所需的数据对象,并进行集合。若返回的只是少量数据,则直接回送数据本身;若需要回送的数据量较多,则应按照所需的时间生成数据集合放置在文件的服务节点上,同时通知外部业务系统可以采用下载方式获取该数据的最早时间和最晚时间。外部业务系统需按共享服务平台的技术规范要求,获取所需的数据,并在相应的时间内取走所需的数据,如过期不取,则平台会对过期数据自动清理。
3.2实时数据共享
1)数据订阅配置。首先根据外部系统的实时动态数据需求,为外部系统配置订阅模式,主要有订阅项目、订阅时间频度要求、订阅内容等,并存放到共享数据库中。
2)实时数据获取。要求采集系统采集前置机集群在收到采集终端实时数据后,通过采集系统前置机分2路分发,或采集系统通过抓取等技术,为统共享服务平台提供实时数据。
3)实时数据共享。将实时数据按需组织,通过接口服务分别推送给相应的外部业务应用系统。
结束语
用电信息采集系统已基本实现了全覆盖,目前正在深化应用,为其他系统应用提供数据信息共享资源。通过对目前采集系统与其他系统的数据共享交互进行统计分析,用电信息采集系统已为与关口电能量管理系统、电能质量监测系统、PMS、调度管理系统、供电电压自动采集系统、远程实时费控系统、计量生产调度平台、营销业务系统、电能服务管理平台等25个业务系统提供信息及数据支撑。
参考文献
[1]许明伟.基于大数据的智能用电信息采集与分析系统研究[D].天津职业技术师范大学,2019.
[2]李浒,尚云飞,马云鹏,路夏甲,刘晓焜,肖海涛.大数据背景下的用电信息采集系统建设研究[J].电力设备管理,2019(08):86-87.
[3]徐伟,荣旭东,张蓓,高伟,翁同洋.基于用电采集系统大数据分析应用[J].科技创新导报,2019,16(18):4+6.