顾忠顺1 厉爱丽2 白宇嘉1
1.西藏自治区气象信息网络中心 西藏拉萨 850000 2.西藏高原大气环境科学研究所 西藏拉萨 850000
摘 要：近年来，西藏气象信息化快速发展，西藏气象大数据云平台已经建成，为用户提供数算一体的平台化服务，平台不仅仅是各业务系统的数据源，也是业务应用的数据分析和计算平台。全面支撑“云+端”的气象业务。
关键词：大数据；云平台；数算一体；云+端
信息化建设是我国乃至世界各地经济社会进步与发展的巨大趋势，也是推进经济社会转型的重要动力。新一轮的信息化主要指的是以广泛存在的互联网为传播纽带，以流通的各种大数据作为其战略性资产，开启的一轮面向整个社会的科学技术革命和行业变化。在我国，如果没有了气象信息化，气象的现代化就无从谈起。气象信息化可以说是我国各级气象部门内部进行的一场信息技术的革命,，更是一场以全方位服务于"业务现代化、服务社会化、工作法治化"为主要特征的新一轮气象信息现代化，以"互联网+"的理念促进了气象与我们党和国家发展战略、社会经济发展、百姓衣食住行等领域的深度交叉融合，气象信息化赋予了我国现代气象发展“智慧”的特征。气象信息化是一种发展的手段，推进"智慧气象"才真正是一个目标。气象管理技术信息化既打破了大量的数据壁垒，整合了大量的信息和资源，简化了大量的业务流程和环节，推进了大量的业务交叉融合和协作相互的协同，将使得我们在业务运作中提高效率、公共服务中提高效益、管理决策中提高效能，也将有利于促进我们在业务管理体制和其他方面带来更多的改革和创新。
1 西藏气象大数据云平台的需求
西藏气象信息化工作按中国气象局印发的《气象信息化行动方案（2015-2016年）》 稳步进行，又以西藏特色的个性需求为推手，在基础网络建设、广域网建设、计算存储基础设施上持续投入，建成相对统一的数据环境，为气象预报预测服务及气象科研活动提供重要的数据支撑。
1.1 西藏气象通信网络持续发展
根据全国气象信息化总体布局，推进西藏气象业务系统集约化、扁平化、标准化流程改造，实现业务系统一级部署、三级应用，西藏气象宽带网（广域网）已经由区-市-县三级架构过渡到了区-市、区-县两级架构，区-市带宽提升至150Mbit/s,区-县带宽提升至50Mbit/s，国-省带宽提升至400Mbit/s以上，且全部实现多运营商线路负载均衡；区局数据中心核心区全部实现万兆以上接入，用户端千兆接入，基于北斗卫星的数据传输、应急通信能力也趋于完善。
1.2 西藏气象基础设施资源池建设初显成效
西藏气象基础设施资源池为用户提供计算资源900核+，内存8TB，存储600TB的虚拟服务资源，目前运行虚拟服务器200余台，全区70%以上的业务系统已迁移至基础设施资源池运行，实现硬件资源的集约整合、统一管理、集中运维。
1.3 CIMISS数据环境
2015年，全国气象信息共享平台（CIMISS）全面正式业务化运行，构建了集约化数据环境，带动数据资源整合和业务应用集约，初步支撑区、市、县三级气象业务系统向标准数据环境的流程再造，并为气象云建设做好准备工作。
1.4 数据使用需求不断升级
西藏气象系统目前共有气象台站近1000个，以1分钟、5分钟、10分钟每次的频率收集气象数据，并秒级回传至数据中心，通过卫星广播系统接收的数据日数据量接近450 GB。气象数据数据丰富多样，但缺少顶层设计和统一标准的数据基础，CIMISS系统基于相对传统的架构，在数据管理能力和数据服务效率上逐渐不能满足大规模的业务数据应用需求，许多业务系统都是基于CIMISS数据源获取数据，然后采用数据本地数据存储的方式重建数据库，受限于数据同步的效率和各业务系统的算法差异问题，频繁出现业务数据、产品结果不一致的情况，从而导致信息孤岛丛生。为解决CIMISS能力不足的问题，综合考虑气象“十三五”规划与全国气象信息化重点工程工作安排，西藏气象大力推进“云化”建设，以提升西藏气象业务现代化水平为目标，西藏气象业务水平、科研服务、政务管理等方面都有了新的提升。
2 西藏气象大数据云平台的功能设计
西藏气象大数据云平台按照中国气象局统一部署建设，全网数据协调互联、信息实时互通，于2020年10月完成系统建设并进行试运行，西藏气象大数据云平台已经具备了海量大数据存储能力、全业务全流程贯通、全数据资源高效应用的能力，平台足够开放，能直接支撑西藏气象天气预报、气候预测、基础探测、气象服务、人影作业等各种气象业务的“云化”融入，逐渐形成了“云+端”的应用生态。数据种类覆盖CIMISS全集，数据质量更高，性能大幅提升，具备直接支撑应用云化改造的能力。根据应用需求，西藏气象大数据云平台仍在持续改进，不断完善和新增功能。
2.1提供数算一体的平台化服务，全面支撑“云+端”的气象业务
数据种类覆盖新一代雷达数据共享平台全集，实现了数据的统一管理和服务，包含 观测数据、业务数据、政务信息、分析产品、数据集等，另外也对行业社会数据、多媒体、出版物、设备信息、监控日志等进行收集整理。开放的平台提供了云上计算能力，除了数值预报，平台支撑各种数据资料产品的加工、挖掘和分析服务，且能够直接应用，推动了西藏气象信息化的全面发展，构建了集约化、标准化的气象业务流程。
2.2气象特色的大数据云平台架构
根据前期中国气象局对主流云平台架构的调研，商业公司的平台多为整体输出，应用门槛高，包括阿里、曙光、浪潮、华为在内的几大商业公司的大数据平台均不能满足气象大数据的业务需求。在综合吸收各大平台的优点，通过自主设计，采用先进的信息技术手段，结合实用的气象业务模型，形成了颇具气象特色的大数据云平台架构。
气象大数据云平台由1个国家级数据中心、1个数据备份中心、31个省级数据节点和 1个公共云数据节点构成，各节点和中心均采用相同的架构，只是建设规模不同，西藏气象大数据云平台也是31个省级数据节点中的一个，其中包含交换及质控系统、产品加工系统、存储与服务系统、业务监控系统、基础设施资源部分，提供应用业务产品的存储、 业务算法加工处理、众创接口等。交换及质控系统针对气象基础观测数据、气象产品服务数据、行业共享数据等众多种类的数据产品进行规范统一、快速收集汇聚、质控和解码入库，产品加工系统建立了气象算法库以及加工流水线，实现了产品的加工算法集中管理和调度流水式，逐步、持续累积集成各种气象算法，丰富统计、网格、 组网拼图、 多源融合数据产品和为气象预报预测服务及气象科研活动支撑的各种业务产品。存储与服务系统实现规范的实时、历史一体化在线存储，基于分布式存储技术，结合应用需求对整个气象大数据云平台合理进行资源组织，完善归档备份机制，提供统一、丰富、便捷的数据服务接口。
2.3西藏气象大数据云平台的数据服务能力提升
（1）数据覆盖更为全面
数据种类较之CIMISS系统完成全面覆盖，同时，在资料种类、数据质量和时间序列等方面都有了进一步的提升，中国气象局通过对历史资料整理、多源数据融合、数据会叫等手段，补齐核心数据历史序列，延长了数据资料的时间跨度。特别是全球地面、高空、 雷达基数据等，西藏气象大数据云平台已全部纳入这部分数据，增强了地面资料的数据完整性，提高了数据的正确率和可用率。对实时数据的解码更加严谨，实时历史数据的质量明显高于CIMISS系统。
（2）数据处理应用的时效性能提高
利用流式数据处理、消息传输、分布式存储等技术，有效减少了资料从基础观测到数据服务的延时，气象服务资料应用的性能得到大幅度提升。如雷达基数据的观测应用从7分钟以上提升至45秒，地面自动站的观测应用从4分钟左右提升至41秒。实时数据的访问延时低于1秒，历史资料在线数据分析也达到了秒级相应。（图1）
.png)
（3）大数据云平台算力显著提升
西藏气象大数据云平台提供了可视化的算法编排能力，从算法的注册、发布、管理到算法的任务调度策略，大数据云平台将算法转换成了流水式任务运行。通过智能调度的加工流水线，有效的把上下游的业务流程全部串联，提升了运行时效。用户只要关注算法研发、配置，运行算法所需要的各类计算资源和数据资源、回写的存储资源、算法任务的管理监控等都由平台提供。加工算法可以按授权由其他用户调度，统一的算法实现了计算资源的统一管理，增加了资源的重复利用，带来了更高的数据一致性。
.png)
加工流水线的计算环境和大数据云平台的存储资源，利用内部的高速互联网络进行链接，算法更向数据靠拢。计算节点能力不足以满足业务需求时，可以根据需要进行扩充。计算框架不足以满足业务需求时，也可以按需进行计算方式扩充。（图2）
2.4西藏气象大数据云平台服务接口
西藏气象大数据云平台面向气象基础探测、天气预报、气候预测、公众服务、防灾减灾等气象业务和科研工作，提供标准、统一、丰富的访问服务和编程接口，为各类应用系统提供权威的、唯一的数据接入服务。西藏气象大数据云平台服务接口（MUSIC）的主要特点与功能如下：
（1）服务功能强大。MUSIC可以提供国家站、区域站、气候站等地面高空站点的资料查询、统计，模式预报产品等格点资料的解析抽取，卫星资料、各种雷达产品的检索和下载，所有台站信息数据的查询，数据写入等功能。
（2）服务方式多样。针对气象业务应用系统，MUSIC提供了多种服务方式，如REST服务、脚本服务和客户端调用服务等。
（3）支持跨平台、多语言。REST服务支持目前所有平台和各种语言的使用。脚本服务和客户端调用服务，支持所有的主流操作系统，包括AIX、Linux32/64bit、Windows32/64 bit、HP-UX等，提供了多种语言开发包，包括了Java、Python、C#、C/C++等。
（4）固定精简的客户端。客户端的开发包，用来自动实现对查询参数的传入以及对数据检索结果的返回，无其他多余的业务逻辑，功能只会在服务端进行，客户机可以完全免受任何影响。因此,精简易行而不变的业务客户端可以更好地保证了用户的业务系统连续稳定，music 接口中的功能加强对于业务用户完全透明。
（5）调用方法标准统一。对不同的数据资料服务方式，接口提供了标准统一的数据调用方法。用户自行使用调用方法，通过选择合适的数据接口、资料清单和数据返回格式，来获取所需要的气象数据。
（6）返回格式选择多用。数据接口返回数据支持的格式包含：数据文件（即JSON/HTML/ XML/ TEXT/JSONP）、序列化字符串（即JSON/HTML/ XML/ TEXT/JSONP）和内存对象（结构体/类对象）等，用以满足不同业务用户的应用需求和习惯。
此外，服务接口提供了几乎所有的气象资料与产品的数据服务，可以针对不同业务个性化的配置访问接口，对于每种资料，均有详细的说明，对于每种编程语言、服务方式与功能，均有示例代码。
3 西藏气象大数据云平台的服务流程
西藏气象大数据云平台通过服务接口（MUSIC）提供数据服务。西藏气象大数据云平台的实名账户与政务系统进行了对接，气象系统内用户的所有账户相关信息会自动进行同步，内部员工统一采用政务系统证书登录平台，避免重复注册认证流程。非内部员工可根据网站页面介绍进行用户注册，经过审核之后继续使用。
.png)
用户接入流程中新增了申请资料的步骤，用户需要根据需求申请资料的访问权限，不受限制的数据资料，申请之后立即通过，申请访问控制的数据资料，经过管理员审核通过之后可以进行访问。（图3）
4 小结
西藏气象大数据云平台已经成为西藏气象部门信息化的核心支撑平台，能够直接支撑起气象业务“云+端”的应用，平台新增加的产品加工和数据挖掘能力，使得西藏气象大数据云平台不仅仅是各业务系统的数据源，也是业务应用的数据分析与计算平台。