分布式存储中基于纠删码的数据容错技术研究
大规模分布式存储为现代的商业计算、科学计算等应用提供底层的数据存取服务,已经成为现代社会的信息基础设施。随着数据规模的急剧膨胀,现代分布式存储系统中节点的规模往往达到百万级以上,数据的规模也达到PB级甚至EB级。
数据失效已经成为大规模存储系统常态化的行为,因此如何提高容错能力已经成为分布式存储系统所面临的严峻挑战。分布式存储主要通过数据冗余提高数据的容错能力。
常用的容错技术包括基于复制的容错技术和基于纠删码的容错技术。基于复制的容错技术通过为每个数据对象创建多个副本来提高容错性,存储开销巨大,难以适应大数据时代的数据规模。
基于纠删码的容错技术能够在保持相同容错能力的基础上,极大地降低存储开销,成为当前分布式存储领域研究的热点。基于纠删码的容错技术面临的主要挑战在于:(1)现有的串行编解码方法效率较低,极大的阻碍了纠删码在分布式存储中的应用;(2)在有数据块失效的情况下,数据的读取效率急剧下降,难以满足用户的数据访问请求;(3)修复失效数据块时需要传输大量的数据,修复成本高。
本文围绕上述挑战,针对基于纠删码的容错技术进行了深入研究。目前已 ...