分布式重复数据删除系统中路由方法的研究
随着数据中心的数据呈指数级增长,为了保障系统的高吞吐率、高重删率和负载平衡,分布式重复数据删除存储系统面临巨大挑战。分布式重复数据删除存储系统主要通过改进路由方法和改善指纹查找的效率来优化系统性能。
现有的分布式重复数据删除存储系统,主要采用无状态和有状态的路由方法。其中无状态路由方法,由于不考虑节点已存储数据的历史信息,整体重删率低、存储失衡;而有状态的路由方法,需要将备份数据流的全部指纹在每个节点上查询,系统吞吐率较低。
针对以上问题,本文设计并实现了一种结合指纹抽样和减少数据碎片(Fingerprint Sampling and Fragmentation Reduction,FSFR)的路由方法,该方法与已有的路由方法相比,保证了系统的重删率和负载平衡,提高了恢复吞吐率。该方法具体为:首先在客户端对数据进行预处理,将分块数据合并生成超块(Super-Chunk),提取抽样指纹序列;其次在节点服务器端,采用布隆过滤器对指纹进行查找,考虑重删率和存储利用率,初步筛选出部分节点服务器;然后客户端发送超块全部指纹给筛选出的部分节点进行碎片查找;最 ...