基于大数据云架构的三调数据库管理及共享系统设计--中国期刊网

字体：大中小

首页> 原创作品> 正文

基于大数据云架构的三调数据库管理及共享系统设计

发表时间：2020/11/24 来源：《基层建设》2020年第22期作者：孔维江

[导读] 摘要：土地调查是我国法定的一项基本制度，是查实查清土地资源的重要手段。

        长安大学测绘工程陕西西安 710061
        摘要：土地调查是我国法定的一项基本制度，是查实查清土地资源的重要手段。自改革开放至今，我国已经经历了三次土地调查。但由于当时技术有限，前两次土地调查并不能让各级用户享用到调查成果。所以为了实现三调数据、遥感影像数据、历史专项数据等规划数据的统一管理，实现国土调查数据前所未有的共享应用服务功能，完成传统单项数据服务向多元空间大数据分析服务的转变，本文将采用大数据技术和云架构设计数据库管理及共享系统从而让每个部门、每一个用户都能享用到三调成果，从而真正意义上实现三调成果的共享。
        关键词：土地调查；大数据；云架构；数据库管理系统；共享系统
        0 引言
        第三次全国土地调查作为一项重大的国情国力普查，是国土资源系统深入贯彻党的十九大精神，不断推进国土资源事业向前发展的重要抓手。1984年开展的第一次调查正处于计算机应用刚刚起步时代，大部分内业工作完全人工操作，但是如何做到数据格式统一并建立数据库是当时面临的主要问题。2007年开展的第二次土地调查正处在 3S 技术广泛应用的时期，内业工作通过 GIS技术建立数据库已经完全成熟，但是如何将调查成果进行共享却成为一直未解决的难题。然而当今第三次全国国土调查正处在大数据和云计算高速发展的时代，借用大数据技术和云架构设计共享服务平台，让各种规划数据实现进行统一管理和土地调查成果共享的梦想成为可能。
        1 总体框架设计
        第三次全国国土调查的主要成果是数据库，而数据库成果是重要的国土基础数据，本文在此基础上利用大数据技术并采用云架构设计数据库管理系统和共享系统，充分利用私有云和公有云，全面细化和完善全国土地利用基础数据，掌握准确的土地利用现状和土地资源变化情况，向自然资源内部、政府机关、科研机构以及社会公众提供分级分类的三调成果，实现各类数据的互联互通。系统整体构架括基础设施层IasS、数据服务层DaaS、平台服务层PaaS和应用层。整体框架图如图1所示。

                       图1 系统总体框架图
        （1）设施层IaaS：基础设施层主要包含支撑自然资源部门平台运行和应用的基础设施。应用网络互联互通、存储资源池化、计算资源虚拟化等技术整合形成，主要用于支撑自然资源对政府职能部门和社会公众提供的信息服务。
        （2）数据层DaaS：数据层汇总各省各区县第二次土地调查数据、年度变更数据、第三次国土调查数据、其他专项数据并整合建库，根据应用和管理的需要划分为多个逻辑数据库，主要包括土地利用数据、权属数据、专项调查数据、遥感影像数据等。
        （3）平台层PaaS：在第三次国土调查成果数据库基础上，搭建数据库管理系统、数据共享系统。通过数据库管理系统实现数据的管理，提供数据入库、查询、成果输出、质检等等功能。系统明确自然资源与横向部门间的数据共享内容和共享方式，调查数据深度分析挖掘，完善第三次全国国土调查数据分析及共享应用服务体系，为第三次国土调查成果数据库的统一管理和应用提供更加全面的技术支撑。
        （4）应用层SaaS：面向各类用户，包括自然资源管理机构，各级政府部门、相关职能部门以及社会公众。通过不同用户业务需求，设置对应的应用层系统访问权限，为不同用户提供应用服务。
        2 数据库管理系统设计
        三调数据库管理系统对第三次全国国土调查成果数据进行集中统一管理，支撑国土资源统一、集中管理、应用。面向国土用户，提供数据处理、入库更新、综合查询、统计汇总、数据分析、成果展示、数据分发等功能，满足三次调查数据、专项数据、共享数据产品的综合管理，实现历史调查数据的集成衔接；提供与厅信息中心相关系统的互访问接口，在符合网络安全要求的前提下，实现三调数据与自然资源政务数据与相关数据的互联互通。本文采用云平台、大数据分析等先进技术设计第三次全国土地调查数据库管理系统和共享系统，该系统共有二个功能模块，分别是数据库管理分析能力模块和自然资源调查管理数字化展示模块。
        （1）数据库管理分析能力设计
        围绕各级用户需求，本文设计了具备数据流量查询、专题分析、辅助分析、综合查询等一系列功能的数据管理分析系统。为用户提供基础分析、专题分析功能和报告生产及导出功能模块，为用户进行各种在线分析操作和成果导出功能提供途径。

                 图2 数据应用分析能力设计图
        （2）自然资源调查管理数字化展示能力设计
        设计自然资源调查管理数字化展示系统，让用户可以从电子屏幕上全面直观了解自然资源的分布、结构和变化趋势；也可以让系统可以从宏观、中观、微观三个维度分别展示各类自然资源的情况，实现资源广度和深度的全面管理和监控。
        3数据共享系统设计
        围统三次调查数据服务共享需求，基于互联网公有云环境，设计三调数据共享系统，其框架如图3所示。系统包含数据产品浏览、成果数据查询、数据服务推送、数据在线分析、元数据查询等一系列功能，实现三调数据共享成果的网络化应用；设计与厅信息中心和测绘局相关共享平台的互访问接口，进一步丰富自然资源部共享数据成果。

图3 三调数据共享系统架构设计图
本文设计的三调数据共享系统将会通过私有云向国土资源内部、通过公有云向政府机关与科研院所、社会公众提供第三次国土调查成果，包括矢量数据、遥感影像数据、统计表格数据等，同时根据其需求负责数据产品的加工生产。另外此系统会面向不同对象提供不同的三调成果如图4所示；面向自然资源局内部管理及部分政府机构：提供第三次国土调查土地利用现状数据、遥感影像数据、等所有原始矢量数据，统计数据；面向一些政府机关及科研机构：提供基于国土调查加工后的数据产品；面向社会公众：提供各种脱敏后的图集数据。

            图4 共享服务平台系统服务对象设计图
        4 关键技术
        （1）虚拟化技术：本次所设计的土地调查数据库管理及共享系统将会采用基础设施虚拟化技术，实现了存储虚拟化、服务器虚拟化等应用，为用户提供软硬件资源弹性的、可扩展的、易于管理的能力。提升了软硬件资源利用率，实现了软硬件资源的动态调度，加强了各类平台应用的兼容性，减少了基础设施运行维护的成本。
        （2）基于混合式储存架构的大数据一体化存储技术：因为历年土地调查数据其类型不同、格式不统一和标准不统一，针对这些问题，本次设计将会采用多源异构空间数据的有效集成来实现对现有数据的整合处理，将已有的数据资源按照不同来源、类型、尺度等进行分类、分层抽取，实现差异化、有针对性的处理与管理，转换成标准化的文本、表格、图像、矢量等类型的数据，实现数据资源的分析、挖掘和可视化展示。
        （3）空间大数据并行处理框架：因为土地调查数据库管理统及共享系统所涉及到的数据量大、数据类型多样、结构复杂、分析能力要求高，属于海量数据的存储与管理的范畴，所以传统的数据库空间引擎以及难以适用，故而采用基于大数据框架（Spark/Hadoop）的空间大数据并行处理框架如图5所示，将海量空间数据、非空间数据进行分布式存储，从而提高计算效率。

                            图5 并行处理框架图
        5 结束语
        设计一个全面的数据管理及共享系统是一项非常复杂的系统工程，需要研究人员和管理人员以及政府相关部分的共同努力以全面处理各个领域的工作。但是限于实际情况，本文仅理论的角度对第三次全国国土调查数据库管理及共享系统进行一个简单的设计，系统的稳定性和性能有待进一步检验。
        参考文献：
        [1] 张晓艳.云计算环境下大数据处理对电子商务发展的作用探析[J].无线互联科技，2016，（20）：139-140.
        [2] 党翠萍.基于云计算的数据库技术应用研究[J].电脑迷，2016，（4）：71-72.
        [3] 叶春蕾.基于Hadoop的高校图书馆大数据关键技术研究[J].数字图书馆论坛，2017，0（5）.
        [4] 王映月，杜娜，大数据背景下的国土空间规划[J].农业科技与信息，2018（16）：34-37，40.