摘要:终端设备发送信息,通过窄带物联网信息提供商电信邮局完成数据发送到云端服务器,云端服务器把数据保存到数据库中,同时开放数据接口给各个应用,用户可以在移动终端访问终端设备,并且发送相关指令到终端设备中去。基于此,本文主要分析了电网企业数据中台的研究与设计。
关键词:电网企业;数据中台;研究与设计
中图分类号:F270.7文献标识码:A
引言
数据中台建设是电网发展必不可缺的一环,是各业务系统数据共享与交换的桥梁。随着电力企业不断发展,业务系统和业务数据都在快速增加。因此,打造数据中台对内可贯通多个业务系统,对外可快速支撑新业务拓展。
1数据中台的概念
数据中台是中台的一种存在形态,其他形态还包括技术中台、业务中台、组织中台等。企业利用数据分为三个阶段:运营支撑、业务响应、业务创新;当前处于业务响应阶段,数据中台为响应业务而产生的一个时代产物,目前有狭义和广义之分。狭义的数据中台是指通过数据技术,对海量数据进行采集、存储、加工、服务。数据中台依据数据标准进行存储,形成数据资源池,进而为客户提供高效服务。数据服务形成企业业务有较强的关联性,且在行业领域是可以快速复制的。
2数据中台的架构设计
数据中台的目的在于为各个系统提供数据共享和数据分析。以数据资产管理为基础,沉淀数据通用能力,通过对数据进行采集、加工、存储、共享以满足不同专业间、不同领域之间的数据共享、数据挖掘、数据分析的需求。
首先,在建立数据中台时,必须建立严格的信息模型,对涉及到的各个部门、各专业的数据进行汇集,采用统一的标准对数据中台的数据进行管理和建设,从而更好地实现数据的价值。其次,在构建数据平台的时候需要将数据进行融合,以实现数据的价值二次利用,促进数据信息的快速响应,实现企业实现数据经营决策[1]。
数据中台需要按照统一的标准体系,对数据进行有效整合和加工。数据中台主要包含三层数据资源,即贴源层、基础层和主题层,通过对信息数据之间的相互迭代,建立起提供服务与检索于一体的展示门户,帮助各个部门及企业打造属于自己的数字产品和服务。数据中台的贴源层主要是指按照部门或者企业的相关要求,在数据中台系统的物理外层结构实现整个信息数据系统的汇集;基础层主要是按照依据贴源层数据资源进行数据清洗和业务整合,构建企业基础数据资源模型;主题层主要是根据企业应用需求开展数据画像及设备画像等主体结构之间的相互融合,深化数据中台数据服务价值,从而方便于中台数据的管理和应用,全面开展数据接入转换和整合贯通,实现数据融通。
3构建数据中台的关键模块
3.1数据抽取
数据抽取模块是数据中台的第一步,主要为API数据接入、数据库数据接入、文件(图片、视频、文档)等。其抽取模式主要分为全量抽取和增量抽取,全量抽取是每次都将所有数据全部接入到数据中台中,而增量抽取只接入数据中台中没有的部分数据,增量抽取数据量更小,性能更好。
增量数据抽取模式主要有基于触发器的增量数据抽取、基于日志文件的增量数据抽取、基于时间戳的增量数据抽取和基于全文比对的增量数据抽取。
3.2数据治理服务
数据治理服务依托于主数据平台完成,主数据平台以教育部《教育部2012版教育信息化数据标准》为基础。按照面向对象设计理念,主数据库模式是按照对象和高校核心活动进行划分的,从总体上对高校上层应用及数据进行梳理,由应用来推导模式的设计,由模式反向衍生、扩展上层应用。
3.3数据交换服务
构建数据交换平台,保障数据层的互联互通。
通过商用的数据交换平台完成学校基础数据库、业务数据库、主题数据库和文件数据之间的数据交换作业设计、调度、管理和监控的软件系统,为建立学校数据仓库的铺垫基础。
3.4数据总线服务
构建校园服务总线平台,保障应用系统间互联互通。通过专业的商用服务总线产品来保障学校应用系统之间在消息、事件和服务的级别上动态的互连互通,消除校园服务总线异构系统间技术差异,实现不同服务之间的通信与整合,推动学校业务部门间的业务协作。
3.5数据治理规范标准设计
学校信息标准是学校范围内的数据字典,为信息交换、资源共享提供基础性条件。是学校信息化建设的重中之重,对推进学校信息化建设,保证各类信息的交流与共享,有着重要意义。信息标准需要在保证采集、处理、交换、传输过程中有统一、科学、规范分类和描述,能够使信息有序流通、最大限度地实现信息资源共享,使学校信息系统得到协同发展,发挥信息资源综合效益[2]。
3.6数据应用建设
数据应用中心建设价值主要包括:快、准、省;概括来说就是快速、准确的对学校信息化相关需求进行回应,同时在最少可控的成本内完成。
3.7数据展示(人员画像)应用建设
通过图形化手段清晰地传达数据,促进信息的传递与沟通,是数据可视化的基础要素,也是设计美学和功能相结合的具体表现形式。在可视应用平台理论的背景下,围绕“数据视图”和“可视组件”两个核心概念设计,支持多种可视化功能以及支持各种不同的数据源对接。
4数据中台的实施探讨
我们知道,数据实施一直强调整体规划、分步实施的原则,这是由数据的全局价值性和实施复杂性决定的,这个原则对于数据中台的建设同样适用:面向业务全景制定数据中台的整体规划,包括数据、资产和服务以及对应的技术选型,梳理探索数据创新业务场景,从具体的业务场景出发,从可实现性高的小场景落地入手,逐步完成业务和数据的沉淀。虽然不同的企业应采用适合于自己的实施模式,但是基于数据中台和业务的强关联共性,如驱动业务价值创新、提供更高的业务响应力等,在数据中台具体落地过程中,数据团队不可避免地会遇到两个共性问题:数据模型设计、数据资产治理和业务优化的协同问题和团队的业务能力和工程能力的协同问题。这些问题因其会带来组织架构的调整,进而影响企业的全局,已经引起了高度重视,在此做一简单探讨。
随着新的业务场景、新的数据需求进入数据中台,必然会对依据前一个业务场景构建的数据模型和资产模型提出修正。同时随着数据的不断规范,也会带来原有业务本身的优化调整,从而影响模型的稳定性。因此,需要根据全景规划对包括数据、资产和服务的各种模型和规则进行统一维护更新,否则会导致其他新的类似数据模型产生,形成新的数据孤岛。为此,一个具备全局业务视角的整体设计和维护团队显得非常重要。
另外,数据中台出现以前,数据是为分析服务的,业务人员和数据人员的工作界限相对清晰的和独立;而数据中台是为业务价值服务的,是用更高效、更协同的方式实现数据到业务的价值转换,提供数据实时响应能力。因此对传统的数据人员的业务能力和对传统业务人员的工程能力提出了更高的要求的同时,更需要两种能力协同工作[3]。
结束语
在数据中台的牵引下,一场组织变革的风暴席卷了阿里、腾讯、百度、京东等国内互联网公司,在未来的转型计划中,都把数据中台作为企业组织架构调整的核心方向。但是否所有的企业都要如此照搬呢?笔者认为需要进一步探讨。
参考文献
[1]林鸿,方学民,袁葆,等.电力物联网多渠道客户服务中台战略研究与设计[J].供用电,2019(6):39-45,66.
[2]赵冠东,张才俊,欧阳红,等.基于业务中台的全渠道运营支撑平台架构设计研究[J].供用电,2019(6):67-71,61.
[3]李炳森,胡全贵,陈小峰,等.电网企业数据中台的研究与设计[J].电力信息与通信技术,2019(7):29-34.