海量数值天气预报产品存储系统研究与实现

发布时间：2025-06-21 02:44

　　随着数值天气预报研究和应用的扩展和深入,不断增加的预报产品数据已达到数十P的海量数据级。每天都有通过不同数值预报模式获取的大量数值预报产品数据,并且随着预报分辨率的提高,产生的预报产品数据量也以几何方式增长,同时随着预报模式的不断增加而不断产生新的数据类型。如何有效的组织、存储、管理和发布这些海量的预报产品数据,使预报产品数据能够更迅速、更准确地为研究和应用提供服务,成为目前急需解决的问题。 为有效的管理数海量数值天气预报产品数据和支持复杂数据类型增加和变化,本文的工作包括:1、对当前大规模科学数据存储领域相关的存储网络、对象存储、元数据、面向对象技术进行研究分析,结果表明采用对象存储系统可以综合NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的数据共享等优势,提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构,同时在应用层,面向对象数据库是管理海量数据的最佳方案。2、分析了数值预报产品数据的特点,数值预报产品数据是场的集合,场可以抽象成独立的对象。3、提出了在lustre文件系统上,结合元数据服务,设计面向对象数据管理模块,将该模块替换原有管理系统下以文件形式进行管...

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

图1.1不断增加的数值预报产品种类

图1.1不断增加的数值预报产品种类1.2研究现状数值天气预报产品既是现代天气预报活动的产物，又是支撑科学研究及科技的基本资源。近几十年来，随着科学技术的进步，特别是日新月异的高性能技术的大大促进了数值天气预报突飞猛进的发展，产生的产品数据总量以前有的速度在增长。1.2.1国....

图1.2CMA存储形式

国防科学技术大学研究生院硕士学位论文ARS基本上处于24小时运行提供服务状态。支持批处理和交互模式，的数据的交互（包括较大的单个文件和较多的文件数量）。满足大量要求。满足某些用户频繁检索特定大型数据集的，或者其他用户频繁的需求。行于异构环境中，涉及到超级计算机、用户工作站和....

图1.4国家气象局参与TIGGE项目的相关系统构架初步实现了资料的实时接收传送,目前已能接收欧洲中期天气预报中心、美国环境

图1.3TIGGE数值预报产品数据管理在中国气象局的大力推动支持下，2007年中国建立了TIGGE资料库，我国在参与TIGGE项目相关的系统构架如下图1.4所示。

图1.5国家级气象资料存储检索系统

资料公共服务，非在线6TB进行资料准备。ECMWF资料归档中心收集家的全球集合预报资料，每日有3037个文件，1587102个预报场，资料目前ECMWF保存的资料量超过了100TBytes)。目前中国资料归档中个资料提供者的资料，至今已有资料近60T，文件....

本文编号：4051791