基于纠删码的HDFS的优化方法的设计与实现
Hadoop分布式文件系统,即HDFS,通过三备份存储方式保障了数据的可靠性,存储空间的利用率却比较低。随着数据规模的飞速增长,尤其对于冷数据而言,HDFS传统存储方式造成的额外开销也会越来越大。
因此,HDFS亟需一种新的优化存储机制,在保障数据可靠性的同时,又能节省存储空间。HDFS Erasure Coding项目应用而生,它使用纠删码技术来存储HDFS文件并恢复丢失的数据。
基于HDFS传统存储方式及HDFS RAID技术现有的问题,在HDFS EC中引入了纠删码、条状布局和分层命名协议等技术。结合对现有问题的分析,提出了HDFS EC的优化指标。
通过对比HDFS EC编码时条状布局和连续布局的特点,选择了条状布局,并针对条状布局设计了新的文件存储单位。在此基础上,采用分层命名协议来定位内部块,减轻Name Node端的内存压力。
针对HDFS EC设计了专门的读写类和辅助类,既能够复用HDFS中部分已有的读写逻辑,又能实现HDFS EC基本的读写流程。为了保障HDFS EC中编解码技术的丰富性和将来的扩展性,设计了耦合性低、可插拔 ...