基于云计算技术的高速公路建设项目档案管理与分析刘元昊赵庆超--中国期刊网

字体：大中小

首页> 原创作品> 正文

基于云计算技术的高速公路建设项目档案管理与分析刘元昊赵庆超

发表时间：2021/7/28 来源：《基层建设》2021年第14期作者：刘元昊赵庆超

[导读] 通过研究高速公路建设项目档案数据结构的科学性、数据的价值密度、共享性和可操作性等诸多因素，在高速云基础上构建高速公路建设项目档案大数据分析系统

        山东高速建设管理集团有限公司山东济南 250014
        摘要：通过研究高速公路建设项目档案数据结构的科学性、数据的价值密度、共享性和可操作性等诸多因素，在高速云基础上构建高速公路建设项目档案大数据分析系统，搭建高智能的基础设施框架和采取科学、合理的方法，对价值密度低、分散、无序、海量的数据资源进行有效采集、清洗、转换和整合，使其结构合理、价值密度高、易于管理和应用。系统采用移动端进行数据采集第一手原始数据，规范统一用表，预设部署档案分类方案，实现虚拟预组卷，探索项目电子文件和电子档案“单轨制”管理模式。利用系统档案资料数据归集的可分析特性，通过建立大数据道路可视化模型，为后期预防性养护的开展，专项维修方案选定，精准的病害预判等运营养护工作提供依据和支撑。
        关键词：高速云；大数据；电子档案

        在当前的社会环境下，创新已经成为行业发展的一个基本要求，传统的高速公路建设项目档案管理，已经很难适应社会发展的需求，所以能够合理的利用当前的信息技术，在大数据环境下实现高速公路建设项目档案管理，是行业发展的一个必要选择[1]。
        1基于“高速云”的大数据分析系统总体设计
        云计算主要关键技术主要包括：分布式并行计算、分布式存储、分布式数据管理等技术，而Hadoop就是Google实现云计算的一个开源系统平台。高速公路建设项目档案大数据分析系统将采用Hadoop为基础进行实现。
        基于“高速云”的建设项目档案大数据分析系统包括4个层次：云数据存储层、云分析计算层、云业务应用层与云终端层。云数据存储层将采用HadoopHDFS，解决海量数据的可靠存取问题；云分析计算层将采用Hadoop技术路线的MapReduce作为并行编程模型，解决海量数据的高性能计算问题；云业务应用层将采用基于服务的体系架构建设，从而保证应用系统的可靠性和稳定性（如图一所示）。

        图一：系统体系框图
        高速公路建设项目档案大数据分析系统采用B/S结构设计。采用云业务应用，将把各个系统的资源进行整合，从而可以极大地增加系统稳定性，提高系统的扩展性。在实现过程中，采用了基于服务的体系架构，将高速公路建设项目档案大数据应用分离成数据应用层、分析建模层、数据存储层、数据整理层、数据源层，另外还有数据治理模块与平台运维模块为系统提供管理与运维支持。
        2高速公路建设项目档案数据收集
        大数据是巨量数据集合，所涉及到的资料量具有巨大规模，指在一定的时间范围无法利用常规的软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
        高速公路建设项目档案与传统意义上的档案有着明显的区别，涵盖了高速公路设计相关的水文、地质地貌、气候、经济、人文地理、设计图纸等设计资料，也涵盖高速公路建设期的模组型号、材料标号、施工组织及方案等建设资料，其形式表象呈现多样化。而高质量的档案数据和信息获取渠道，包含已有局域网中各类系统运行产在的业务数据；通过网络交互、传感器、RFID射频等多种渠道获取运行状态数据；由扫描、摄影而输入计算机获得的纸质文档等；基于大数据的ETL采集技术，实现数据库、日志、API接口和网络抓取等多样化采集手段。实现结构化数据与非结构化数据多样数据的收集与处理，并通过图像识别、自然语言处理、语义识别等处理手段，实现半结构和非结构化数据变更为结构化数据存储。
        具体方法包括但不限于：建设基于文档一体化的高速公路建设项目电子档案管理平台，加强高速公路建设项目电子档案的接收与管理；建设基于数据库、日志、API、网络抓取和图像识别等多样化的数据收费理平台，集中管理各单位有长久保存价值的业务档案数据库；建设基于高速公路建设项目的数字文献资源收集和管理平台，有计划地大规模积累高速公路建设项目数字文献资源[2]。
        3高速公路建设项目档案数据的存储
        数据存储层是各类异构数据源存储形式的抽象。高速公路建设项目中数据源有多种存储形式，例如关系数据库、半结构和非结构化文档、多媒体数据等，因而数据存储层具有巨量、异构、分散的特征。作为数据存储层，主要有两种数据存储形式：一是存储在各类数据库中的结构化数据；二是以文件形式存储的半结构或非结构化数据。建立大数据数据源的重要基础是档案的数字化。在做好该项工作的同时，要完善电子文件和档案数字化成果管理服务体系，为服务器集群的大数据数据整合和处理做好准备工作。
        4高速公路建设项目档案数据的转换
        根据数据过滤和清洗规则，对已经采集到的大数据源实施可用性检查和质量分析，对数据实施过滤与清洗，使数据整合时具有较高的可操作性和价值密度。避免出现巨量数据传输中的拥挤、塞堵及产生冗余空间等现象。
        利用云计算的分布式系统制作档案大数据源的转换层，能够具备足够的数据传输和存储能力，达到档案大数据的智能交互，进而构成由方法库、知识库及模型库共同组成的多维数据模型。针对不同的数据类型，数据转换层主要利用两种技术手段：对于结构化数据（主要是指关系型数据）利用RDB至RDF映射技术（RDB2RDF）；对非结构化数据（主要是指多媒体数据）利用数据语义标注标签对数据实施RDF标注。
        5高速公路建设项目档案数据的分析应用
        针对高速公路建设期的路面结构以及桥梁基础、下部结构、上部结构及桥面铺装等基础建设数据，包括结构化和非结构化数据，进行数据清洗、数据集成、数据变换、数据规约等数据预处理手段进行处理，使用hadoop，spark，storm等大数据存储与处理技术，通过大数据机器学习的监督学习与非监督学习的多种算法，包括深度学习和强化学习，以及自然语言处理，图与网络分析等，建立大数据路面结构、桥梁基础及结构、桥面铺装的可视化模型。为后期预防性养护的开展，专项维修工程维修方案的选定，实施精准的病害判定，采用合理的维修方案，科学利用养护资金提供依据和支撑[2]。
        运用大数据思维，在对公路路网及养护历史数据进行分析与建模（路面使用性能衰减预测模型、养护施工效果预测模型、养护决策分析模型等）基础上，对建设档案数据进行充分的、深度的挖掘，利用大数据分析技术，实现“关口前移”、变被动养护为主动预测、做到从事后补偿到事前干预，提出具有针对性的养护建议与规划，使整个公路养护管理更具有科学性、追溯性。
        6结论
        通过大数据采集、处理、存储、分析等技术，使我们能够做到深入挖掘高速公路建设项目档案资源、扩展档案库藏，实现有效管理、组织和利用，发挥高速公路建设项目档案社会服务功能和作用的时代效能。

        参考文献：
        [1]冯兴兰. 浅谈大数据时代下的档案管理信息化[J]. 菏泽学院学报，2016（03）：138-139.
        [2]刘刚，侯宾，翟周伟．Hadoop 开源云计算平台[M]．北京：北京邮电大学出版社，2011：217．