陈立
华东勘测设计研究院有限公司 浙江杭州 310014
摘要:随着大数据技术与数字经济的快速发展,数据已成为企业一项重要的资产,正得到企业越来越多的重视,以数据驱动管理创新已成为众多企业数字化转型时的一个重要目标。以数据采集、数据集成、数据治理等为典型特征的数据中台技术正是在这样的信息化发展大趋势下应运而生。本文通过对数据中台和数据仓库、数据平台的特征进行对比,阐明了数据中台应该具备的能力和作用,并结合企业自身的有关数据中台体系的实践,指明了数据中台建设需关注的关键指标,以期为企业数据中台建设提供了一定的借鉴和启示。
关键词:大数据;数据驱动;数据中台
引言
伴随着移动互联网和物联网的迅猛发展,大数据技术逐步推广应用,在大数据方面,国内60%以上的企业开展了包括数据挖掘、机器学习、数据资产管理、智能决策等大数据技术研究与应用,企业对数据分析的重视程度进一步提高。数据时代带来的挑战不仅仅是数据量的爆发式增长,更重要的是如何管理好、治理好、利用好这些数据,显然,传统的大数据建设方法论无法满足需求。大数据应用的意义不在于收集庞大的数据信息,而在于对数据的专业化处理。我们需要经由不同渠道将数据采集进来,基于存储技术将这些数据快速、安全、分类、有序地存储起来,再基于计算技术对这些数据进行加工、处理,提炼数据的应用价值,从数据中得到事务发展趋势与规律。其中,数据采集是大数据应用的基础,而数据计算则是大数据应用的关键。
从本质上看,数据应用的核心是解决效率和决策问题。在瞬息万变的市场环境中,以数据驱动为基础的信息化架构,必须具备对公司经营变化和业务创新的快速响应能力,进而让企业变得更灵活、更敏捷、更智能,决策更科学。数据中台的出现,很好地满足了企业精细化管理对IT系统所提出的上述诉求。
1 数据中台的概念
中台概念来源于阿里。其产生的核心思想是“共享”和“复用”。中台概念与前台和后台相对应,它是介于前台和后台之间的一个综合能力平台,可以有效地连接前后台,具备对于前台业务变化及创新的快速响应能力。中台的提出和落地,将企业信息化架构由不同平台下分散的烟囱式系统集群变革为部署在同一平台下基于服务的应用系统集群。
所谓数据中台,可以理解为是数据界面的一种架构,通过数据技术将数据从应用界面复制出来,然后通过数据计算、加工,进而为上层数据应用提供统一标准和口径的支撑。数据中台主要是构建规范的、数据全域化的、智能的数据处理架构,进而为前台提供高效的数据分析和应用服务。数据中台主要涵盖了数据资产、数据治理、数据模型、全域数据中心、数据服务等多个层次的体系化建设方法。
2数据中台的数据能力
企业所需要具备的数据能力可以简单概括为六种。企业具备了这六种能力,才具备成为数据驱动的智能企业的基础,而这些能力的承载平台,就是数据中台。
(1)数据资产的获取和存储:数据中台要为企业提供强大的数据资产的获取和存储的能力。
(2)数据资产的规划和治理:做中台之前,首先需要知道业务价值是什么,从业务角度去思考企业的数据资产是什么。数据资产不等同于数据,数据资产是唯一的,能为业务产生价值的数据。对于同一堆数据,不同业务部门所关注的数据指标可能完全不同。这就需要让各个跨域的业务有统一的标准,为此也就需要规划企业的数据全景图,将所有可能用上的、对企业可能有价值的数据都规划出来,最终梳理出企业的数据资产目录。在这个阶段只需要关注哪些数据是对企业业务有价值的。
(3)数据的共享和协作:企业的数据中台一定是跨域的,需要让所有的人都知道数据资产目录在哪里?不能为了保障数据安全,就不让大家知道企业有什么数据。没有共享和开放,数据就没有办法流动起来,如果没有流动,数据的价值产生速度就会非常慢。所以在数据安全的基础上,企业的数据资产目录要对授权人、相关干系人、价值创造者开放。
(4)业务价值的探索和分析:数据中台不仅要建立到源数据的通路,还需要提供分析数据的工具和能力,帮助业务人员去探索和发现数据的业务价值。一个好的数据中台解决方案中需要针对不同业务岗位的用户提供个性化的数据探索和分析的工具,并且在此基础上生成数据服务,以多样化的方式提供给前台系统。
(5)数据服务的构建和治理:数据中台需要保证数据服务的性能和稳定性,以及数据质量和准确性,还需要具备强大的服务治理能力。数据中台是一个生态平台,在数据中台上面会不断延伸出各种数据服务,所以从一开始就构建好数据服务的治理结构是非常重要的,数据服务需要可以被记录、跟踪、审计和监控,保障数据的质量,提升数据价值的挖掘。
(6)数据服务的度量和运行:如果数据中台最终只是做到把数据给到业务分析人员,那它就只是一个搬运工的角色。数据中台还需要具备度量和运营数据服务的能力,能够对中台上提供的数据服务及相关行为持续跟踪和记录,包括哪些数据服务被哪个部门用了多少次等,通过这些去度量每一个数据服务的业务价值。
3建设数据中台的关键点
建设数据中台的关键点可以简要概括为两方面。
一方面,数据中台一定要与业务价值对齐。构建数据中台,最重要的不是技术,也不是数据质量的高低,而是数据思维和数据文化。数据思维就是要建立起从数据的视角去思考问题的方式;数据文化就是要把数据和业务看作一个整体,而不是只将数据当作一个支持工具。想清楚业务对于数据的诉求是构建数据中台的第一步。不要在业务场景还没有明确、优先级还不清晰、价值度量体系尚未建立起来的时候,就建立大而全的数据平台,并且把所有的数据都存起来。企业都是追求投入产出比的,大而全的数据平台往往会面临分析工作无从下手的尴尬局面,大量功能看上去很有用,但缺乏实践的考量,缺乏实际应用场景。
另一方面,数据中台应该从小数据、小场景做起。数据中台是面向场景而非面向技术的,这种与具体业务、企业的结构和信息化发展阶段有着紧密的相关性的业务基础架构,是很难通过购买一个大而全的产品来一劳永逸地解决的。
一开始的时候需要进行顶层设计,面向业务愿景制定中台的整体规划,全面梳理数据创新全景蓝图,通过业务愿景驱动出所有的业务场景探索,从而推导出数据中台的全景架构、技术支撑。但是在实施的时候,要从具体的业务场景出发。从高价值数据集场景做起,然后顺着这个场景分层递进,找到数据全景图中的一个或多个数据集合,从小数据场景落地,这样才能快速验证价值。从大局思考,全局管控,避免后续的数据孤岛,从小数据集切入,从可实现性高的场景启动,然后将一个个的场景做起来,业务价值和中台能力也就可以同步地建立起来。
4 企业中的应用实践
华东院是中国最早成立的勘测设计院之一,为国家大型综合性甲级勘测设计研究单位,业务范围包括水电与新能源、城乡建设、生态与环境等领域,努力打造具有工程全过程智慧化服务能力的一流国际工程公司。近年来,以大数据、物联网、云计算、区块链、人工智能等为代表的新一代技术快速崛起,并向企业逐渐渗透。对华东院这样的科技型企业来说,在这一轮数字化浪潮中,如何跟上时代步伐,运用新的技术手段支撑业务拓展、促进管理创新,成了IT部门不得不考虑的事情。经综合评估,华东院认为要想提高效率,做到管理的精细化,提升IT部门对业务变化的响应速度,就必须建立一套能实现敏捷、实时、智能、场景化数据应用的数据赋能体系。经过多年信息化建设,华东院基于数据中台的企业数据赋能体系目前已经基本成熟。
华东院数据赋能体系的构建,主要经历了三个阶段:
(1)数字化
华东院于2000年开始进行企业信息化建设,发展至今已全面取消了纸质的信息传递。特别是通过信息化3.0的建设,华东院业务的系统化率得到大幅提升。目前,企业信息系统基本覆盖了所有的业务和数据:如企业人力资源、企业经营管理、企业采购管理、企业财资管理、企业综合服务和公共数据资源管理等。
(2)标准化
对华东院而言,数据的标准化主要包含两个层面。
其一,是底层数据的标准化和规范化,即要建立统一的数据和业务标准化体系,如业务分类、管理标准等,都要分别有统一的标准,从立项到项目执行、采购到付款流程、开票到收款流程等相关财务和业务流程要进一步梳理并实现规范化。
其二,建立一套统一的管理标准体系。建立统一管理标准体系的核心是要解决信息标准化的问题。在实际运营过程中,由于职能定位的差异,企业不同层级间所关注的指标往往是不一致的,管理层和业务部门,二者评价业务和运营往往具有不同的维度。在这种情况下,就必须围绕业务价值重新构建指标体系,将各体系关键专业指标按管理视角归纳汇总形成面向管理者的经营结果、履约能力及专项分析指标,如将业务角度的一些专业指标,如新签项目增长率、考核利润增长率,转化为管理维度的经营结果指标。还有一些重点项目或重点工作指标,比如某年可能特别关注“战略突破”这一指标,此指标就会被特别纳入进来进行专项分析。在信息化3.0阶段,华东院通过BI及数据仓库实施,数据治理流程得到了较大程度的完善。
(3)服务化
在完成数据治理后,企业要想快速提升IT部门对业务变化的响应能力,实现数据场景化应用,就需要由数据整合进一步向数据中台演进,实现数据的服务化。数据中台的搭建,能推动数据的深入挖掘和应用。在数据中台上,经加工整理后的有用数据将直接输出到具体业务场景的应用端,帮助企业解决业务问题。
华东院的数据中台体系主要包括数据采集、数据计算、数据服务、数据应用几个层次。如上文所提及,在数据采集层和数据计算层,数据仓库等技术的应用,主要意在对数据进行治理,实现数据的标准化。在传统的信息化架构下,企业的IT体系由一系列套装软件系统构成,比如PDM系统、FSSC系统、HR系统等。每一个系统都有一套完整的结构,包括用户管理、权限管理、表单管理、流程管理、报表管理等。这些系统彼此独立,大量财务数据和业务数据重复、凌乱地散落于企业的各类信息系统平台中,形成了大量数据孤岛。多年来积累的数据缺乏标准的体系梳理,缺乏有效的数据管理机制,数据结构混乱,数据质量低下。在数据中台体系下,首先会将存在于企业ERP、SRM、FSSC、BPM、HR等系统中的分散、凌乱、标准不统一的数据收集,通过应用ETL技术、内存计算等新技术,对数据进行抽取、清洗和转换,通过实时的分类、整理、加工,使其成为清晰有序、有条理、有脉络的有用信息,加载到数据仓库中,并经过数据集市/加速,进行数据建模,以此形成服务化的数据应用。
数据应用层主要聚焦于对数据的应用和展现,数据模型可以共享到这个层级中并实现复用,帮助企业展开主题分析,赋能企业业务、赋能产业链发展。企业可将数据融入企业具体的业务经营场景中,基于丰富的数据模型开展场景化应用,如投资分析、采购分析等。
从本质上来看,场景化分析是通过从数据采集和计算层级中实时接入的有用数据,基于丰富的业务模型开展数据应用。不是所有的业务场景都需要场景化分析。企业可基于对业务场景的深刻理解和对业务痛点的清晰洞察,选择一个或多个场景开展场景化分析,并随着业务的开展随时调整或拓展场景化分析的领域。
5结论
一个企业的数据要能够充分发挥价值,很重要的一个前提条件就是这个企业的数据结构和数据资产目录是对整个企业开放的。所有人都能够通过这个资产目录了解公司有哪些类别的数据、包含什么属性、源数据由谁管理。但数据本身可以不开放,因为数据是有隐私信息和安全级别的。同时,面向短时间尺度的动态需求响应,可结合5G技术,采集海量多元化数据提升全息感知、广泛连接、开放共享能力,实现行业与信息的互联互通,“网聚人的力量”,最终实现共建、共治、共享。
参考文献:
[1]王珊,王会举,覃雄派,等.架构大数据:挑战、现状与展望[J].计算机学报,2011,34(10) :1741-1752.
[2]张旭,戴丽,闫赛华.数据中台架构企业数据化最佳实践 ISBN 978-7-121-38636-7.
作者简介:陈立(1981-3-5--),男,汉,浙江省湖州市,高级工程师,大学本科。主要研究方向 :企业信息化, 数据库技术及其应用,软件工程。