海洋大数据管理与应用技术研究

发布时间：2020-04-11 11:43

【摘要】：海洋是人类生命的摇篮,世界商业的重要交通要道,更是人类的重要资源宝库。随着现代电子信息技术和通信技术的高速发展,推动了航天遥感器、自动浮标、多波束回声仪器、水下探测装备等多样化海洋监测技术的广泛应用,导致了海洋大数据的数据量成爆炸式增长。面对多样化的海洋大数据,如何建立一个具有高效管理、分布式计算、弹性化存储、快速分析和显示制图的海洋大数据云平台已成智慧海洋建设和发展的重要课题。本文运用云计算技术在分布式计算、弹性存储特性,以及现有大数据平台在数据存储管理和数据分析、挖掘等技术方面的优势开展集成研究,构建高效海洋大数据综合信息管理平台,以服务海洋经济建设。重点开展对云计算平台OpenStack虚拟化技术和分布式计算技术尤其是对分布式对象存储组件Swift组件的弹性可伸缩、高可用性进行详细研究,构建具有高效计算和弹性存储能力的海洋大数据基础设施(IaaS)平台。同时,对Hadoop大数据平台在OpenStack上高效部署问题进行分析,给出了基于OpenStack和Hadoop集成应用的海洋大数据管理与应用解决方案,实现了海洋大数据的弹性存储与高效计算问题。该平台从基础设施资源优化和平台框架构建两方面出发进行优化设计。在基础设施资源的优化方面,主要依靠虚拟化技术将标准的存储硬件先整合成一个大的资源池,实现资源按需分配;在海洋大数据平台框架构建方面,根据海洋数据的特殊性优化Hadoop在OpenStack平台上的高效部署,解决分布式计算和弹性存储问题,同时,将Hadoop与WebGIS进行有机集成,以实现海洋大数据的分析和展示。
【图文】：

海洋水文数据

图 3-2 海洋温度统计数据Fig. 3-2 ocean temperature statistics半结构化数据，一般是可识别可解析的文本数据文件。例如海洋数据集中具有定义模式的 XML 数据文件。准结构化数据多为网站地址字符串。这两种结构的数据在海洋大数据中所占的比例非常少，因此对于海洋数据的存储管理只需着重考虑结构化数据和非结构化数据。结构化数据和非结构化数据是两种完全不同的数据类型，但是在海洋数据实实际采集中，这些数据在采集之初，有时候会被混合在一起。人们通常非常熟悉了解结构化数据的分析，对于非结构化数据的分析管理比较陌生。结构化数据的分析管理一般使用 MySQL 就可以很好地满足用户的所有需求，而非结构化数据则不同。非结构化数据又可以细分为图片数据、视频数据、流数据等等，用户对于不同的非结构化数据又有不同的需求，因此非结构化数据要使用不同的技术进行分析管理。海洋遥感数据和海洋气象资料，大多为 DECIMAL，NUMBER 和 String。数据格式为图像数据（IMG 格式，TIF 格式，BMP 格式），，属性数据（TXT 格式，CSV 格
【学位授予单位】：浙江海洋大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：P715.7

【参考文献】

相关期刊论文 前7条

1 李健;王铮;史浩;臧琦;;海洋环境突发事件的大数据协同治理体系研究[J];海洋环境科学;2015年06期

2 黄冬梅;随宏运;贺琪;赵丹枫;杜艳玲;苏诚;;云计算环境下基于数据关联度的海洋监测大数据布局策略[J];计算机工程与科学;2015年11期

3 杨锐;;大数据时代海洋管理模式创新的思考[J];商;2015年39期

4 黄冬梅;季丽伟;袁小华;王振华;;基于时空一体化的海洋大数据快速展示平台[J];海洋环境科学;2015年05期

5 黄冬梅;孙乐;赵丹枫;;基于ADMD融合策略的海洋大数据索引技术研究[J];中国科学技术大学学报;2015年10期

6 李健;赵世卓;史浩;;考虑海洋环境突发事件的大数据海陆协同治理体系研究[J];科技管理研究;2015年17期

7 李小恕,李继龙,贾静,王立华,葛常水,黄其泉;数据库技术在海洋生物资源与生物栖息环境数据管理中的应用[J];上海水产大学学报;2002年04期

相关会议论文 前5条

1 韩中含;徐白山;陈敬东;杨成林;孙永进;杨旭;;基于Argo浮标的海洋大数据平台构建[A];国家安全地球物理丛书（十四）——资源·环境与地球物理[C];2018年

2 张蔺廉;陈淑琴;;大数据分析在海洋气象风浪关系研究中的应用[A];第35届中国气象学会年会 S14 大数据、互联网、融媒体时代气象服务的创新与变革——第八届气象服务发展论坛[C];2018年

3 陈友淦;蔡岳儒;许肖梅;万磊;;基于Python语言的水声通信与大数据处理[A];中国声学学会2017年全国声学学术会议论文集[C];2017年

4 孟春霞;李桂娟;车树伟;王东梅;白金;;SOM算法在海洋大数据挖掘中的应用初探[A];2016年全国声学学术会议论文集[C];2016年

5 袁道伟;高振会;卜志国;李忠强;曲亮;高晓慧;;VB数据库访问技术在海洋水文气象观测数据管理中的应用[A];中国环境科学学会2009年学术年会论文集（第四卷）[C];2009年

相关重要报纸文章 前1条

1 杨洁;;大数据时代的海洋科技[N];中国海洋报;2016年

相关硕士学位论文 前10条

1 汤伟;海洋渔业地理格网模型研究与设计[D];浙江海洋大学;2018年

2 杨凯云;基于大数据旅游需求预测的舟山海洋旅游业发展研究[D];浙江海洋大学;2017年

3 随宏运;强关联海洋监测数据存储的布局研究[D];上海海洋大学;2017年

4 费文e

本文编号：2623550