当前位置:主页 > 科技论文 > 计算机论文 >

基于HBase的QAR数据存储设计与实现

发布时间:2024-04-19 02:12
  为解决传统关系数据库存储QAR数据可扩展性低、可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法。根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储。真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能。

【文章页数】:8 页

【部分图文】:

图6实验2结果

图6实验2结果

图5实验1结果图7实验3结果


图7实验3结果

图7实验3结果

图6实验2结果3.4查询对比实验


图1Value表行键结构

图1Value表行键结构

根据QAR参数的主题划分及2.2.1节HBase表结构设计对Value表的行键结构进行了设计,其结构如图1所示。Value表的行键设计中包含了以下信息:航班号、航班日期、参数及参数所属主题、参数取值对应的时间。由于在设计行键时应保证行键的长度应尽量短,尽可能占用较少的存储空间,本....


图2行键计算

图2行键计算

现以2017年7月19日的某航班的名为GROUNDSPEED的参数在4∶46分的数据为例说明Value表行键结构及数据存储形式。该航班的fid为0018,参数的pid为0179,将时间4∶46以0446表示,将一分钟内的数据存入Value表,其存储形式如图2所示。2.2.3预....



本文编号:3958075

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3958075.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户e880a***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com