唐洪世
西藏自治区日喀则市气象局 西藏日喀则 857000
摘要：近年来，按照中国气象局要求，气象业务呈现自动化、智慧化特点，全国自动化气象探测设备布点越来越密集，数据量每年以PB级增长，传统的数据分析技术的劣势不断凸显。如何利用高效的方法或算法挖掘隐藏在海量数据背后的价值，是目前气象人需要着重关注的点。本文通过介绍数据挖掘和可视化技术在气象业务中应用，进一步分析未来的发展前景。
关键字： 气象数据；数据挖掘与可视化；气象业务
前言
随着互联网技术的发展，数据量爆炸式增长，大数据研究和应用渗透到各行各业，并对生活和生产模式产生巨大影响。气象部门近几十年积累了大量历史数据，并利用气象数据（地面数据、高空数据、雷达数据以及遥感等数据）进行科学分析为人民生活和政府决策提供气象依据。随着气象部门现代化程度提高，形成了海量了气象数据，如何挖掘海量数据的价值是我们面临的难题之一，挖据技术不断的应用到各项气象业务中。王丹妮等研究基于气象数据挖掘的广东省农业高温灾害预测，黄杰飞研究基于大数据处理的农业气象灾害评估模型，措姆等利用数据挖掘方法探索流域尺度气象干旱预报，褚希等研究数据挖掘在气象服务市场的应用，史静等利用聚类分析数据挖掘技术在气象站点布局管理中的应用。国内外都对大数据挖掘技术在气象预报、服务等方面做了不少研究。
1、数据挖掘与可视化技术
数据挖据（data mining）是在大型数据仓库中，自动地发现有用的信息过程，是用来探寻先前未知但又有潜在价值信息的模式，一般被称为“数据库中知识发现”（Knowledge Discovery in Databases,KDD）[1]。数据挖掘一词从二十世纪八十年代在美国提出至今，一直服务于人工智能，学术研究和企业工程项目领域，国内发展时间较晚，主要应用在电商平台以及金融服务行业等。 数据挖掘技术主要分为数据准备、数据预处理、模型设计、数据挖掘、模式评估五个阶段[1]。经过几十年的研究，逐渐发展出十大经典算法。主要的研究方法有聚类分析、分类分析、关联规则分析、流数据分析和时空序列分析法，常用Apriori算法，K-means算法、K-medoids算法以及贝叶斯分类、决策树、人工神经网络等方法。随着存储和运算能力的不断提高，人们也不断的在对这些算法进行改进，适应气象行业的需求。在大数据，人工智能的基础上，现在数据的可视化并不仅仅局限于将数据原原本本的呈现为表格、饼状图、柱状图等，而是通过信息的获取、筛选、分析、加工等形成更符合人类视觉特点的图像，比如卫星云图、雷达组网图等。
2、数据挖掘技术在气象行业的应用
2.1在数据存储方面应用
面对海量的气象数据，数据挖掘任务在于：拟合模型、确立数据关系。正是由于数据量大，数据存储是突出的问题。为了解决这个问题，中国气象局建立了全国综合气象信息共享平台（CIMISS）,CIMISS数据包括全国常规站点建站以来的地面资料、高空资料、海洋资料、农气资料、服务资料等14个大类147种资料[2]，在全国建立31个分中心。为了压缩数据存储量以及便于处理，对数据采用分布式存储和分布式处理，同时系统进行气象要素的统计，例如做了1981-2010年日、旬、月、年值等不同类别的统计，为数据价值挖掘和分析提供了便利。
基于CIMISS，国省气象业务部门进行了许多研究，开发了国家级气象业务内网、公服中心一体化产品加工系统、公服中心气象数据服务系统等，西藏气象局建设实时业务集约化监控和应用平台。为便于支持社会对气象数据的需求，国家气象局开发了中国气象数据网（www.data.cma.cn）。为进一步提高气象数据价值挖掘的效率，从国家到地市气象局积极研究气象大数据云平台，开展多源气象数据融合研究及应用。
2.2在预测预报方面应用
现如今气象预测预报的方法主要有：数值预报方法、天气学预报方法、统计预报方法，国内外研究学者将数据挖掘技术应用到气象预测中，取得了丰硕的成果。Guo Z等运用关联规则挖掘技术建立了高原环境物理量场及其MCS东移传播之间的模型，实验证明这种模型的使用，提高了长江流域暴雨灾害天气的预测预报准确率。徐会明等决策树算法生成对雷电趋势预测取得较好的效果。汪春秀等根据浙北地区5-9月的气象资料建立SVM模型，并对汛期降水量进行预测。很多研究成果表明将数据挖掘技术应用到气象预测预报的领域是可行的，对降水、气温、雷电、农业自然灾害等方面预测能力提高[3]。结合西藏特殊的地理条件，基于历史数据，运用人工智能、机器学习等方法，发展高原预报预测模式，研究气候变化和对人们生产生活产生的影响。
2.3在气象服务方面应用
所有气象资料都是为气象服务这个功能所准备，气象服务可以概括为为政府决策服务、公众气象服务，专业气象服务等。近年来，各种气象服务资料的发布模式由单一的电视及广播逐渐向互联网转型，人们对服务产品要求也越来越精细化。数据挖掘技术在气象服务方面研究也在推进，例如利用大数据分析不同的气象条件下，人们对各种商品的购买量规律，使商家根据结果做出商品生产销售的策略，利用气象大数据分析，为城市建设、农业生产、防灾救灾等提供决策服务，利用问卷调查，python网络爬虫等来获取公众对气象服务的需求资料，使气象部门可以制作更有有针对性、更让人喜闻乐见的服务产品。数据挖掘技术在气象服务方面的应用直接展示了数据之美，服务形式和效果更加进步。
3、展望
目前、云计算、大数据、物联网等现代技术方兴未艾，人工智能、机器学习等技术蓬勃发展，气象业务在数据管理与加工、共享服务等方面有着迫切的需求，基于数据挖掘的技术与气象业务的深度融合，将会给整个业务格局带来革命性的发展[4]。
首先基于分布式存储和计算的原理，构建更优化的国省气象大数据平台，实现对多源气象数据资料的高效管理和加工运用，打破行业信息壁垒，整个诸如林业、水利、地震等部门的数据。同时通过建立国省大数据平台，实现数据的互联互通、互为备份、互为服务，为进一步挖掘气象数据价值做好准备。其次基于数据挖掘技术，提高气象数据的基础支撑能力，为诸如MICAPS、CIPAS、 一体化业务平台提供直接支撑和创新方式，同时建立高效便捷的气象预报预测和服务产品制作模式。最后基于数据挖掘、多源数据分析、智能算法等，为精细精准预警预报、防灾减灾、工农业服务决策研判以及跨行业的数据挖掘、共享提供数据、算法、软硬件支持，为构建智慧气象发挥积极作用[4]。
4、结语
气象业务的蓬勃发展离不开数据的支撑，但是近年来气象数据量急剧增长给存储和处理带来了挑战，因此将数据挖掘技术用于气象业务中势在必行。本文首先简要的介绍了大数据、数据挖掘及可视化技术，然后分析了数据挖掘技术在存储、预报预测、服务等方面的应用，最后分析了数据挖掘技术在气象业务发展的前景。可以看出未来的气象业务离不开大数据，数据挖掘技术会对整个行业带来翻天覆地的变化。
参考文献
[1] 李伟能. 数据挖掘在昆明气象数据分析中的应用[D].云南大学,2015.
[2] 冀刚.数据挖掘在气象业务中的应用研究[J].内蒙古科技与经济,2017(19): 55-56+59.
[3] 赵蕊娟. 数据挖掘技术在气象预测中的应用[D].天津工业大学,2017.
[4] 马渝勇,向筱铭,王可耀.四川省气象信息化历程回顾及发展展望[J].气象科技进展,2018,8(01):283-286.