大数据平台下基于类型的小文件合并方法

发布时间：2024-01-05 08:45

　　Hadoop存储海量小文件将导致存储和计算性能显著下降。本文通过分析HDFS架构提出了一种基于文件类型的小文件合并方法,即根据文件类型将相同类型的小文件合并为大文件,并建立小文件到合并文件的索引关系,索引关系存储于HashMap中。为了进一步提高文件读取速度,建立了基于HashMap的缓存机制。实验表明该方法能显著提高HDFS在存储和读取海量小文件时的整体性能。

【文章页数】：4 页

【文章目录】：
1 引言(Introduction)
2 HDFS存储小文件的不足(The lack of HDFS to store small files)
3 相关研究工作(Related research work)
4 解决方案(Solution)
    4.1 合并文件
    4.2 索引机制
    4.3 缓存机制
    4.4 文件读取
5 实验验证(Experimental verification)
    5.1 写入速度测试
    5.2 Name Node内存占用测试
    5.3 读取速度测试
6结论(Conclusion)



本文编号：3877034