摘要:随着中国大数据技术的不断发展,数据作为一种资源已经成为社会共识。目前,中国电力企业已经在开展统一数据模型的设计和应用,对数据资源进行标准化管理,并取得了较大的成果。随着业务的不断发展和管理的变革,结合数据中台概念,需要不断地对数据模型进行优化完善。结合数据模型管理方面的经验,探索基于数据中台、具有电力企业特色的企业级数据模型优化完善及应用方法,为解决数据共享、实现数据价值再造提供借鉴。
关键词:数据模型;数据中台;大数据;优化完善
引言
当前环境形势日益严峻,为了提高能源的利用率,更好地保护环境、节约资源,新能源开发和利用技术不断提升,创造更多的新能源并进行应用,尤其是在电力行业,新能源应用更加广泛。新能源电力企业发展前景非常广阔,不仅有更多的新能源资源可以利用,在市场开发、技术创新等方面也有很大的优势。当前蛋糕非常大,但是如何新能源,需要电力企业根据市场形势和实际情况对数据进行全面收集、整理、分析、更新和整合,并运用现代集成技术进行整合,才能更好地提高资源利用率和适用性。
1、数据模型优化完善思路
①业务驱动、问题导向:以解决目前电力企业横向业务协同面临的突出问题为切入点,以支撑重点业务以及纵向业务数据贯通为重点,基于数据中台建设开展模型设计工作。②业务驱动、问题导向:继承现有成熟的企业级端到端业务的流程设计和核心业务应用系统的设计成果,进行全域核心业务数据模型设计,实现成果复用。③示范应用、迭代完善:统一组织集中开展模型设计,在企业总部和下属单位开展试点示范应用,迭代完善模型设计成果,提升模型可用性。充分考虑可持续性,确保成果根据业务变化的适应性与扩展性,不出现体系性的重大颠覆,且保证现有业务系统持续稳定运行。④质量优先、实用可控:充分考虑任务的复杂性,模型设计应采用先进的方法论,遵循先进的技术架构,建立阶段性输出成果评审机制,对成果进行严格的质量把控;分期分批对接试点示范单位开展实用性验证与评价工作,确保模型设计成果实用可控。
2、企业数据模型
2.1、引进模型与自建模型
数据模型的设计关系到信息系统建设的成败。数据建模的方式脊数据驱动和需求驱动两种。前者按照数据的本质来组织数据,一般有一定的数据积累,建设企业级数据仓库采取这种模式。后者按照上层分析对数据的需求来组织数据,是从数据集市到数据仓库的过程采取此模式。单纯地选择某个模式都存在一定弊端,综合考虑两者,找到合适的平衡点才是最优方案。数据建模有自建模型和引进模型两种。叫者区别在于,自建模型基企业自身的数据积累,是从业务系统变化而来,短期成效明显,但长期风险高;而引进模型是引入行业的标准和成功经验,可以指导现有的业务系统应用,但要承担起初模型不适用企业实际情况的问题。就国内信息系统的实施现状来看,能够引进模型并成功实现本地化是项目成功的标志。成功与否通常取决于企业现有业务系统的数据模型与引进模型的相似度以及数据的质量和完整性。如果二者模型相差过大,会导致现有的业务模型不支持引进模型,引进模型也不能很好的描述企业信息,最终放弃单纯的引进模型。
2.2、企业数据模型规划
在已有业务建模成果基础上,基于中标准,进一步扩展数据模型,扩展数据标准规范,实现企业范围内数据的唯一性与共享性,持续改进数据标准规范。模型设计具体研宄内容:设计并逐步完善统一的共享交换数据模型,为企业应用间数据的共享交换提供统一信息视图。在共享交换模型基础上设计并逐步完善统一的数据仓库模型,以支撑专业辅助决策和综合分析等高级应用。在共享交换数据模型与数据仓库模型基础上,建立一个关于整个企业需要信息的全局数据模型架构。
为建设符合电力行业业务特色的企业数据模型,需大量、深入的研究学习国际上开放、成熟的电网企业数据标准体系成果:包括的理论研究、国际电网企业应用项目的研宄之上,遵循“模型统一化、接口标准化、管控规范化、应用持续化”的四化建设原则,最终形成公共信息模型、数据仓库模型、全局数据模型。
3、电力大数据数据模型设计
3.1、概念模型设计
在计算机领域概念模型也被称为领域模型,概念模型不应该与逻辑模型和物理模型等相混淆,它是面向数据库用户的现实世界的数据模型,主要用来描述世界的概念化结构,它使数据库的设计人员在设计的初始阶段,摆脱计算机系统及数据库管理系统的具体技术问题,集中精力分析数据以及数据之间的联系,与具体的数据库营理系统无关,概念数据模型必须换成逻辑数据模型,才能在数据库管理系统中实现,概念模型的设计独立于数据存储等具体数据实施阶段。概念模型设计的目的是与相关领域专家进行讨论研究出具体业务概念或术语的准确表述,发现不同概念直接的内在关系。概念模型设计是使用统一的表示方法对业务领域中庞大而复杂的术语进行描述,方便后续逻辑模型与物理模型的设计,便于系统开发人员与业务需求人员之间的交流。一旦设计好了相关的概念模型,后续所有的开发与研究均是以此模型作为基础。
3.2、逻辑模型设计
逻辑模型是用户在数据库中看到的数据模型,是具体的数据库管理系统所支持的数据模型,在非大数据的时代,逻辑模型主要有网状模型、层次模型和关系模型兰种类型。逻辑模型既要面向用户,又要面向系统,主要用于数据库管理系统的实现,在数据库中用逻辑数据模型來抽象、表示和处理现实世界中的数据和信息,主要是硏究数据的逻辑结构。对于大数据的逻辑数据模型,是在其概念模型的基础上,设计基于列存储的逻辑视图。逻辑视图主要是将概念模型中的属性分别映射到行关键字(RowKey)、时间戳(TimeStamp)、列簇(ColumnFamily)、列Column等关键字上。大数据的逻辑数据模型是一种简单模型,主要是对相关数据进行列簇的划分,相同列簇的数据存储在相同的服务器节点上。
3.3、物理模型设计
所谓的大数据的物理模型就是大数据的逻辑模型在数据库的物理系统中的实现模式,其中包括了逻辑模型中各种实体表的具体化,例如表的数据结构、索引策略、数据存放的位置W及数据的存储分配等。大数据的物理数据模型主要设计其所用数据库系统的基本元素,由于大数据是采用基于列模式的分布式数据库,所W物理数据模型主要是设计大数据的物理视图,即大数据在数据库中的具体存储方式。在HBase等大数据数据库中,一个列簇的数据是存储在同一个节点上,分割数据也是将同一个列簇的数据划分到新的节点上。因此电力企业大数据的物理数据模型就是将大数据按照列簇进行划分,本课题的大数据物理模型设计只设计到表的层次,更底层的存储相关的数据库会按照相应的列簇自动进行节点分配。
结语
统一的数据模型,是企业信息化标准体系尤其是数据架构方面趋于完整的产物,在数据架构体系构建的不同阶段,都需要统一数据模型标准的支撑。围绕企业关键指标体系,结合企业数据模型,构建企业级的数据仓库及辅助决策系统,快速、有效的为企业管理者提供企业级管理信息的全方位视图,对提高企业的竞争力和管理水平尤为重要,也是电力信息化势在必行的趋势。
参考文献:
[1]樊福宝. 基于大数据的电力企业数据中心数据模型的研究与分析[D].华北电力大学,2013.
[2]付立辰. 电力企业中数据仓库模型的研究与应用[D].华北电力大学,2012.
[3]余炳宏.电力企业数字营销系统数据模型的设计研究[J].福建电脑,2010,26(08):127-129.
[4]王继业.电力企业数据中心建立及其对策[J].中国电力,2007(04):69-73.