轨道交通工程造价数据仓库搭建技术研究谭文 --中国期刊网

字体：大中小

首页> 原创作品> 正文

轨道交通工程造价数据仓库搭建技术研究谭文

发表时间：2021/7/12 来源：《建筑模拟》2021年第3期作者：谭文曹明华王志清

[导读]

        广州地铁集团有限公司广东中建普联科技股份有限公司
        摘要：多年来，轨道交通建设积累的大量造价历史数据呈分散管理，尚未形成造价数据库。本文介绍了广州地铁在搭建轨道交通工程造价数据仓库相关实现过程，为造价数据采集、清洗、存储与分类提供了一套解决方案。
        关键词：轨道交通工程造价数据仓库

        一、前言
        目前轨道交通工程的估算价、概算价、招标控制价、中标价、合同价、结算价、采购价格数据、承包商分包价格数据等造价数据均呈现分散管理，或在档案部存档，或在个人计算机中存档，数据由各部门分散保管。各部门对历史项目造价信息的查询与查索主要通过人工对历史数据文档，如合同文档、概算文档等进行肉眼识别与查找，效率低下；涉及跨部门数据的查询，需要通过办公协同，流程冗长。
        随着国家大数据战略的不断推进，必须建立一套应用计算机手段从而实现对轨道交通工程建设相关的造价成果文件数据的数字化采集分类存储归集管理。本文就广州地铁在轨道交通工程造价数据仓库搭建过程进行了全面介绍。
        二、轨道交通工程造价数据仓库搭建过程
        本文采用大数据数仓技术搭建轨道交通工程造价数据仓库，其实现过程主要为三个步骤即收集数据、数据存储技术、造价数据库分类，详情如下：
        1、数据采集
        主要通过以下途径进行数据采集，形成基础数据源：
        1）收集既往的估算价、概算价、最高投标限价（控制价）、中标价、投标价、合同价、结算价、采购价格数据、承包商分包价格数据等对数据进行加工整理，并以这些数据作为系统启动的数据来源，将积累的大量数据盘活利用起来。
        2）与现有的管理系统进行对接，打通获取源数据路径，将积累的数据利用起来，并实现与造价数据相关的系统对接。
        3）通过互联网连通外部数据交互接口，实现面向轨道交通工程造价等特定对象的部分数据共享，杜绝项目造价成本数据库成为数据孤岛的现象。
        4）通过计算机手段将各种工程类型的造价数据进行标准化编码及数据加工、清洗、转换、归集，形成基础数据源。
        2、数据存储技术
        底层由各类数据源分析处理基础技术架构构成，如Hadoop，包括HDFS、Hive、HBase等，同时通过OpenSpark云计算实现内存及数据挖掘计算，各类数据的批处理、实时采集分析等，形成GreenPlum数据仓库。通过ETL方式采集和同步相关数据，通过数据抽取、分发、清洗、转换和装载等过程，进行数据的共享和初步处理，根据数据源的类型将数据存储到数据平台，实现对各种数据源的整合、汇总、分析，提供数据。数据库使用包括分布式、关系型数据库MySQL、搜索引擎Elasticsearch、内存数据库在内的数据以及分布式FastDFS文件数据存储能力。以确保大数据量情况下系统的存储能力及性能。
        MySql数据库扩展性设计：
①         主从复制：系统建立MySQL数据库主从，通过主从复制来扩展从库，主库可以读写，从库只读，减轻主库的负担，从而提升读性能。

         图-数据库架构
②         分库分表：采用垂直拆分的方式，系统根据不同的业务划分为不同的库表，如项目库，指标库，源数据库等，确保随着业务的发展，数据库的承载能力。
        ③ 数据库中间件：使用数据库中间件（例如：Arkproxy或Mycat）来达到读写分离的目的，解决数据库耦合问题，同时起着承前启后的作用。建立数据库集群：建立MySQL数据库高可用集群，来确保数据库性能的稳定性。
        3、造价数据库分类
        不同的业务数据清洗，存储归集形成包括材价库、综合材价库、项目库、指标库、清单库、定额库、文档库、品牌库等数据仓库，用以支撑工程造价应用。
        各数据库之间的数据流转关系如下图所示。

        图-数据库数据流转关系图
        说明：
        文档库：原文件导入，或者使用接口获取的数据，存放到所有原始文件的文档库。
        项目库：存放解析后的数据，从造价文件中获取原始数据。
        指标库：存放清洗标准化及特征关联的造价指标数据，数据源从项目库、文档库中获取。
        品牌供应商库：从项目库、文档库中获取。
        材价库：从项目库、文档库、材料库中获取。
        三、结语
        通过大数据数仓搭建技术的应用，可以实现将大量原始的、分散的、不同渠道的造价数据进行清洗、归集入库、存储为不同的造价分类数据库，为轨道交通工程造价数据平台功能应用开发提供数据支撑，为造价数据采集存储与分类提供了一套数字化解决方案。
        参考文献：
        [1] 汪灏，陈丹敏，杨建豪，基于极限编程方法的教育软件项目开发[J].软件导刊，2012
        [2] 林锐，软件工程与项目管理解析[M].北京：电子工业出版社，2003
        [3] 钱学森，关于软件思维科学[M]，上海：上海人民出版社，1987
        [4] 秦楷，JAVA语言特点及其在计算机软件开发中的运用[J]，中国新通信，2019