大数据在气象服务中的研究与应用

发表时间:2021/4/14   来源:《中国科技信息》2021年4月   作者:鞠炜
[导读] 如今,大数据已经在社会各个领域得到广泛应用。本文首先介绍大数据的内涵和气象大数据的主要内容,并重点阐述了大数据在气象服务中的具体应用措施,以供同行参考。

湖北省气象服务中心  鞠炜    430205

摘要:如今,大数据已经在社会各个领域得到广泛应用。本文首先介绍大数据的内涵和气象大数据的主要内容,并重点阐述了大数据在气象服务中的具体应用措施,以供同行参考。
关键词:大数据;气象服务;应用;发展
        引言
        随着互联网技术的普及应用,社会信息化水平的不断提升。社会各个领域利用大数据、互联网+等现代技术促进社会经济发展,改善社会管理,提高服务和监督能力,已成为世界各行各业的重要新发展方向。在气象部门的各项业务中,气象数据的不断增加,大数据的典型特征逐渐凸显。在科学技术发展的形势下,气象部门也需要与时俱进,将其集成到工作实践中,以使“气象大数据”更好地服务于人们在各个相关领域的生产、生活以及经济发展。通过研究大数据在气象服务中的应用和发展,将有利于进一步扩大气象服务领域,为社会大众带来更全面、更优质的服务。
        1大数据的内涵
        大数据主要指的是因为信息量较大、实时性较强而没有办法采用常规技术手段在一定时间内对其进行加工处理的数据集合,大数据具备量大、产生速度快和多样化、价值高等特点[1-3]。在现代信息技术迅猛发展的21世纪,云计算、物联网、人工智能等现代科技开始渐渐在社会大众日常生活和工作中应用,各类数据呈井喷式增长态势。目前已步入了大数据时代。而如何抓住大数据时代带给我们的机遇,成为气象部门如何更好的为大众提供更为优质的气象服务的关键所在。
        2气象行业大数据内容
        气象行业的大数据包括与气象部门的各项任务有关的,由气象部门生成的所有数据,包括:全国专业水平最高的气象监测系统生成的气象专业监测数据。其他部门本身收集的气象要素监测数据,通过数据共享或者数据交换等方式收集到气象部门的,并由气象部门进行质量控制的各种气象要素数据,通过气象业务部门和业务系统生成的气象服务产品数据,职能部门的各种管理系统生成和管理的数据,以及各种业务和管理系统的状态数据和日志数据[4]。从气象服务的具体业务角度来看,大数据分析应用主要分为5个部分:数据集成、数据存储、数据计算、数据分析以及可视化服务。
        2.1数据集成
        数据集成采用各种技术手段,例如消息队列、数据导入、数据复制、数据提取等工具,以实现地理空间、非机构后、结构化、历史数据、实时数据等相关数据的访问。据相关资料统计,2014年,中国气象局总体保存的数据约为4至5 PB,每年增加约数百TB。这部分数据涉及到地面气象观测站、多普勒天气雷达、气象卫星等观测仪器设备观测到的气象数据产品。
        2.2数据存储
        数据存储是依据统一的数据规范和标准化的格式存储各种访问数据,并结合应用需求将它们存储于分布式数据仓库、分布式文件系统、关系型数据库、非关系型数据库中,以实现对各种访问数据的集中存储以及集约化管理,以满足大容量和多种数据的低成本存储需求。数据存储管理使用基本数据管理、数据流监测、数据质量管理、数据权限管理以及数据操作和维护辅助管理。
        2.3数据计算
        气象大数据的数据计算主要选取内存计算、流计算、查询计算以及批量处理等分布式计算技术,可以满足不同时间性的计算需求。流计算支持实时处理,内存计算支持交互式分析,批处理支持离线分析大量数据以及支持计算类查询分析。



        2.4数据分析
        气象大数据分析在整合以往数据挖掘算法的前提下,对分布式挖掘算法进行改进,从而构成了基础的数据挖掘算法库,并基于此建立了支持气象行业的大数据分析算法模型。建模算法的选择通常取决于要处理的问题,也就是大数据分析应用程序的实际业务需求。针对预测问题,主要涉及到包括回归与分类预测。该算法能够选择决策树、逻辑回归、神经网络以及机器深度学习应用程序等;针对描述类的问题,能够选择聚类分析、关联分析以及优化分析等方式,最终结合所采用的建模算法来对建模工具进行分析,然后再构建相应的模型。
        3.大数据在气象服务中的主要应用
        3.1预报预测
        气象大数据的重要核心是“预测”。大数据能够对未来趋势进行预测,通常是依靠相关性的掌握,对具有相关性的过去展开分析,然后预测未来。预报准确性的提高一直是公众对气象部门的需求,同时也是气象工作者努力工作、探索的重要助推力。关于天气预报,特别是恶劣天气的预报预测,其主要目标之一是准确预测复杂天气现象的发生时间、影响区域,类型以及强度等信息。大数据数据处理技术可以为气象服务提供多种功能,统一的格式,高度的细化和更全面的内容。相关的实践研究显示,多模式集成平均的效果要好于单模式。与单模式相比,多模式集成预测能够大大减少单模式的预测误差,提高预测精度。在这个阶段,多模式集合预报能够大大提高天气预报的水平,这是大数据技术应用的经典例子。
        3.2防灾减灾
        防灾减灾作为气象部门最为重要的任务之一。气象数据现已纳入国家发展以及经济和社会方面。特别是在防灾减灾应急管理中,例如在暴雨、冰雹、强降雨、雷电等灾害性天气监测中发挥了极其重要的作用。在大数据探究中,“防灾”是灾害性天气响应的关键。因此,天气预报信息非常重要。气象预警的确定往往需要一系列大量、系统的气象数据分析,然后再基于地理区域地貌情况和其他相关数据进行分析以及获取。然而,防灾减灾的主要方向不仅是改善气象灾害预警系统,提高预警的准确性,而且是制作广大市民都能理解的预警服务产品。气象大数据可以说在这些任务中发挥了尤为重要的作用。依托大数据技术可以做出有效的数据融合和数据挖掘,能够更好地指导群众防灾避灾[5]。例如,我们可以使用某个地方的历史灾害情况和历史气候数据,以及森林覆盖率、地理信息、居民人口数据等,来提前了解何时会在哪个范围内出现暴雨洪涝灾害,如何疏散受影响的人等,然后指导灾害恢复建设,从源头上来预防以及减少灾害性天气。
        3.3商业价值
        气象部门是高科技部门,已经累积了大量的气象数据。这些气象数据是极其宝贵的资源,应充分利用有效的资源与政府部门、社会组织和企业进行研究以及紧密合作,为各个领域提供更加精确和针对性的天气服务产品。气象大数据在创造商业价值,提升经济效益、社会效益方面具有极大的意义。例如,在饮料产业方面,销量与气象要素之间的相关性可以掌握销量变化,从而做出科学决策并获得最佳经济效益。在生产方面,经济数据加上气象条件可以在一定条件下做出宏观经济判断。在旅游业中,可以利用气象数据来分析风景名胜区游客人数的变化趋势,从而以更加科学、合理的方式进行经营,推动旅游业实现良好的经济效益。
        4结语
        总之,随着大数据应用的逐渐涌现,社会各个领域对气象数据和信息的需求也不断增多。气象部门可以借助于大数据不断扩大以及创新,生产出更多种类和更丰富的气象产品,且第一时间分发给有需要的客户,以更好地满足社会各个领域的精细化服务需求。
参考文献:
[1]维克托·迈尔—舍恩伯格,肯尼斯·库克耶. 大数据时代[M]. 杭州:浙江人民出版社,2013.
[2]李学龙,龚海刚 . 大数据系统综述 [J]. 中国科学:信息科学, 2015 , 45 ( 1 ): 1-44.
[3]林子雨.大数据技术原理与应用——概念、存储、处理、分析与应用[M].北京:人民邮电出版社.2015.
[4]大数据概念与发展[J].中国科技术语,2017,19(04):43-50.
[5]李梓贤.大数据时代的气象服务应用分析[J].决策与信息,2016(5):145.
作者简介:鞠炜(1983.10),男,汉族,本科学历,工程师,,从事专业气象服务工作。

投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: