海量数值天气预报产品存储系统研究与实现
随着数值天气预报研究和应用的扩展和深入,不断增加的预报产品数据已达到数十P的海量数据级。每天都有通过不同数值预报模式获取的大量数值预报产品数据,并且随着预报分辨率的提高,产生的预报产品数据量也以几何方式增长,同时随着预报模式的不断增加而不断产生新的数据类型。如何有效的组织、存储、管理和发布这些海量的预报产品数据,使预报产品数据能够更迅速、更准确地为研究和应用提供服务,成为目前急需解决的问题。为有效的管理数海量数值天气预报产品数据和支持复杂数据类型增加和变化,本文的工作包括:1、对当前大规模科学数据存储领域相关的存储网络、对象存储、元数据、面向对象技术进行研究分析,结果表明采用对象存储系统可以综合NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的数据共享等优势,提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构,同时在应用层,面向对象数据库是管理海量数据的最佳方案。
2、分析了数值预报产品数据的特点,数值预报产品数据是场的集合,场可以抽象成独立的对象。3、提出了在lustre文件系统上,结合元数据服务,设计面向对象数据管理模块,将该 ...