当前位置:主页 > 科技论文 > 计算机论文 >

面向小文件的分布式文件存储管理系统的设计与实现

发布时间:2024-02-07 03:10
  进入21世纪,随着移动通讯网络环境的不断完善以及智能手机的迅速普及,移动互联网迅猛崛起。移动互联网每天产生海量的文本、图片、音视频等小容量文件,而当前以GFS和HDFS为代表的分布式文件存储系统主要针对大文件存储进行设计,缺乏对小文件存储管理的针对性优化,因此在存储小文件时存在元数据服务器容量受限、系统访问效率低下以及存储资源利用率不高等问题。此外,当前分布式文件系统中大多采用的周期性动态反馈负载均衡算法存在一定缺陷。在该算法中,存储节点周期性的向调度节点反馈负载信息,但反馈周期的长度难以确定。反馈周期过短,会造成额外的网络开销,增大网络负载;反馈周期过长,调度节点获取负载信息的实时性降低。为此,本论文提出了一种新的可用于分布式文件系统的负载均衡算法;并设计实现了一个面向小文件的分布式文件存储管理系统,该系统基于FastDFS实现底层存储,结合Elasticsearch的强大检索功能实现文件的多维度搜索。本论文的主要工作:(1)为解决当前分布式文件系统中负载均衡算法存在的问题,提出一种新的基于QoS的自适应动态反馈负载均衡算法——QoS-ADFLB算法。(2)以FastDFS作为底层存...

【文章页数】:99 页

【学位级别】:硕士

【部分图文】:

图2-1分布式文件系统架构图??分布式文件系统大都采用M/S架构,如图2-1所示

图2-1分布式文件系统架构图??分布式文件系统大都采用M/S架构,如图2-1所示

I??图2-1分布式文件系统架构图??分布式文件系统大都采用M/S架构,如图2-1所示。分布式文件系统一般由控制服??务器、存储服务器和客户端三部分[18]构成。控制服务器主要负责整个分布式文件系统??9??


图2-2?GFS系统架构图??GFS将文件分割为若干数据块(Chunk),每个数据块的大小是固定的,一般为64MB

图2-2?GFS系统架构图??GFS将文件分割为若干数据块(Chunk),每个数据块的大小是固定的,一般为64MB

担并恢复那些失效的组件;针对大文件存储进行设计,保证多用户并发操作时数据追加??的原子性。??GFS的系统架构如图2-2所示。GFS集群由三个角色构成,分别为控制节点(Master)、??数据块节点(Chunk?Server)以及客户端(Client)。控制节点负责存储管理文件元....


图2-3?HDFS系统架构图??在HDFS中,NameNode节点是中心服务器,其不存储原文件数据

图2-3?HDFS系统架构图??在HDFS中,NameNode节点是中心服务器,其不存储原文件数据

HDFS是Apache软件基金会根据GFS的论文概念模型进行设计实现的开源分布式??文件系统,用于作为Hadoop[19]的存储系统。HDFS作为GFS的一个最重要的实现,??HDFS与GFS的设计目标高度一致。HDFS架构如图2-3所示,系统整体由NameNode??节点、Da....


图2-6文件下载过程??下载文件时,Client将下载请求发送至Tracker,?_F载请求中包含文件标识符

图2-6文件下载过程??下载文件时,Client将下载请求发送至Tracker,?_F载请求中包含文件标识符

I?I??I?I??图2-5文件上传过程??上传文件吋,Client将上传请求发送至Tracker,Tracker通过查询各Storage?Server??的状态信息并根据一定的负载均衡策略选取可用的存储服务器,然后将相应信息返回给??Client。Client收到信息后直接与相....



本文编号:3896659

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3896659.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户71d47***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com