规划院建设大数据平台的思路和实施路径 赵超

发表时间:2020/9/17   来源:《建筑模拟》2020年第10期   作者:赵超
[导读] 经济的发展,人们生活水平的提高,促进城镇化进程的加快。在传统城市规划建设发展过程中,已经形成了一套完善成熟的城市规划体系,在近些年城市规划建设当中做出了巨大贡献,并取得了丰硕的成果,而如今人工智能和大数据时代的到来为为城市规划注入了新的活力,使城市规划的发展面临更大的机遇和挑战。本文就规划院建设大数据平台的思路和实施路径展开探讨。
        徐州市规划设计院  江苏省徐州市  221000
        摘要:经济的发展,人们生活水平的提高,促进城镇化进程的加快。在传统城市规划建设发展过程中,已经形成了一套完善成熟的城市规划体系,在近些年城市规划建设当中做出了巨大贡献,并取得了丰硕的成果,而如今人工智能和大数据时代的到来为为城市规划注入了新的活力,使城市规划的发展面临更大的机遇和挑战。本文就规划院建设大数据平台的思路和实施路径展开探讨。
        关键词:大数据平台;城乡规划;数据标准
       
        引言
        随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网和移动应用等技术为核心的“新技术”浪潮风起云涌,信息化应用进入一个“新常态”。市城乡规划设计研究院为了积极应对“互联网+”和大数据时代的机遇和挑战,适应规划行业发展的需要,大数据平台应运而生。通过对城市自然地理、经济、人口、建筑、设施和环境等现状信息数据进行挖掘与分析,利用大数据的思维及技术方法提高规划编制效率和水平,推动城乡规划行业的工作流程变革,是发展的必然趋势。大数据给规划编制、实施、统计评价带来发展机遇,同时大数据的应用面临如下挑战:数据体量大、信息采集协调困难、周期长、辅助分析模型没有统一标准需与实践相结合、可持续发展机制不健全。
        1人工智能与大数据的概念及主要概述
        对于大数据一词的概念来说,很多地方对其标准不一,很难有一个标准的界定。从广义上来说,大数据就是指人为的无法在一定的时间范围和空间内用常规的软件对其进行捕捉、管理、和处理的数据集合,是需要一种采用新型处理模式才能具有更强的决策力,洞察发现力和流程优化能力的信息资产。而在麦肯锡全球研究所给出的大数据的定义就是指一种规模极其庞大,以至于在获取、存储和管理分析方面都超出传统的数据处理软件及工具范围的数据集合。从技术上来看,大数据无法用单台的计算机对其进行数据的处理,必须要采用分布式的架构,它的特色在于对海量的数据进行分布式数据挖掘。对于大数据的构成来说,它主要包括结构化,半结构化和非结构化的数据,而非结构化的数据则是大数据当中最主要的组成部分。所以大数据就是多方面多领域,多技术,多理论结合的一种数据集合。接下来说一下人工智能,简单地说,就是指研究、开发用以模拟和延伸人的智能的理论、方法、技术的一门新兴的技术科学。它以理解和模拟人类智能为本质目的,其涉及领域包含机器人研发设计、语言识别、图像识别等等,所谓人工智能,不是真的人的智能,而是对人的智能进行模拟,可以像人一样思考,但不可能超过人的智能的一种科学。
        2国土空间规划语境下的新要求
        国土空间规划强调对所有国土空间和全要素自然资源的用途管制和生态保护修复,通过整体保护、系统修复、综合治理,实现优化国土空间格局、提高资源利用效率、改善生态环境质量、提升国土空间品质。国土整治与生态修复作为国土空间规划实施的重要抓手,要落实好国土空间规划的相关要求,需要强化3类思维、实施4种主要路径,以推动国土空间规划的有效和高效实施。
        3规划院建设大数据平台的思路和实施路径
        3.1大规模土地数据多态云存储模型
        在土地基础数据统一存储管理中,项目突破了“大规模土地数据多态云存储模型”关键技术。随着海量土地基础数据不断累积,部分图层要素可能会达到百万、千万甚至亿级别,仅仅依赖传统的文件模型无法应对海量数据的快速检索与统计分析需求,因此项目中采用一种基于传统空间文件格式和分布式文件格式的混合时空数据存储模型,该模型能够很好的解决海量数据的可扩展性存储与高效处理需求。
        3.2建设内容
        (一)城乡规划数据库建设。

数据库建设:在梳理城市建设数据成果及相关标准积累的基础上,建立市城乡规划数据库框架体系,制定相关数据建设和维护规范标准,并为建立市城乡规划综合数据库提供技术支撑。(二)城乡规划数据库建设及数据库管理与发布系统建设。(1)数据库管理系统建设:建立“市城乡规划数据库管理系统”,实现空间数据入库与管理。(2)数据库发布系统建设:建立“市城乡规划数据库发布系统”,实现空间数据共享发布、数据检索、统计和输出,实现档案项目空间共享发布。
        3.3空间大数据并行处理技术
        为了满足海量空间、属性数据的大数据分析需求,实现大规模数据的高性能计算,系统基于Hadoop及相关技术搭建云计算平台,利用MapReduce分布式计算模型实现高性能的批处理计算,并扩展ESRIgeometryAPI实现空间数据的分析处理。并在整个基础的计算框架上衍生出了针对海量空间数据的属性数据查询统计、矢量数据查询统计、空间分析与处理的并行处理工具集。基于分布式海量矢量数据并行处理框架,矢量数据并行处理工作流程如下:将业务数据库组织存储的矢量数据(OracleSpatial)、文件形式存储的矢量数据(如MDB、SHP、FGDB)和属性数据(如Oracle、MDB,XLS),利用Sqoop或系统提供的MapReduceETL工具,通过执行分布式并行导入任务,将数据按照指定的组织方式迁移至HDFS分布式存储。系统提供基于MapReduce的索引构建工具,执行分布式索引构建任务,创建海量矢量数据分布式空间索引,索引按相应的组织格式存储在HDFS上。针对HDFS上的属性数据,构建HIVE外部数据仓库,并利用SharkSQL执行属性复杂查询、统计;对于实时性要求高的属性查询(如元数据库检索),将属性数据迁移至HBase分布式数据库,利用Phoenix在Hbase基础上执行类SQL的简单属性查询。针对HDFS上的空间数据,利用已部署的MapReduce并行处理模型,在SparkonYARN分布式内存计算环境中,执行空间分析、空间统计、空间数据处理等并行任务,处理结果分别写入HDFS或者指定存储设备。在YARN框架下,并行计算任务将产生监控计算进度、计算资源使用情况、任务运行异常等日志,利用Flume日志监控工具,对日志进行监控、分析和统计。
        4建设成果
        城乡规划数据库的建设工作可分为资源梳理、标准制定、数据制作三个阶段。在分析城乡规划建设信息资源的内容、类型、流转、应用等方面的特点和要求的基础上,结合地理信息技术、数据库技术、工作流技术等相关技术现状和发展趋势,参考相关行业数据资源梳理与协同涉及的工作经验,并制定出了空间数据库建设标准及规范。通过数据梳理和数据标准制定,最终全部纳入大数据平台,数据主要来源于院各所、各委办局,包含26大类179小类数据,主要包括规划局、国土局、环保局、林业局、文物局、交通局、发改委、经信、住建局、地震局、卫生局、水利局、气象局、人口、教育局、民政局、体育局、旅游局、城管委、煤炭工业局、管网普查、历版城市建设用地、国民经济等数据。平台基于WebGIS技术实现,主要应用为数据展示、汇总统计和多屏查看,平台的上线实现了数据整合、数据展示、数据查询、数据挖掘、数据应用、数据回溯六大目标。同时通过大数据平台数据的梳理,我们也认识到数据的缺失,平台数据80%为规划数据,缺少对现状数据的沉淀和积累,现状数据在规划中是基石,也为我们下一步数据收集的重心指明了方向。
        结语
        人工智能和大数据不是无故产生的,它是由国家经济发展以及社会经济状况同计算机将结合的必然产物。人工智能简称AI,是计算机科学的一个分支,是一门具备极大发展潜力与挑战的科学技术,对于从事人工智能的人来说,要求工作者掌握较强的计算机知识,还要有一定的心理学和哲学基础。我们要通过大数据平台的实施,弥补规划数据缺陷,大数据驱动规划;改善传统技术方法,规划编制科学化;深化研究结果尺度,以人为本的规划。
        参考文献:
        [1]姜鹏,曹琳,倪砼.新一代人工智能推动城市规划变革的趋势展望[J].规划师,2018,3411:5-12.
        [2]张巍方.大数据时代北京市流动人口治理研究[D].首都经济贸易大学,2018.
        [3]黎海波,陈明辉,陈通利,黄滢冰,吴非,黄燕.基于“遥感、大数据、互联网+城乡规划”的“智慧规划”创新模式的探索——以东莞市为例[J].地理信息世界,2018,2306:52-56+60.
投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: