当前位置:主页 > 科技论文 > 交通工程论文 >

智能公交轨迹数据质量评估模型及实现

发布时间:2020-10-17 07:33
   2015年8月,国务院颁发的《促进大数据发展纲要》中大力鼓励推动大数据的发展和运用,明确了大数据给我们整个社会带来的飞速改变和巨大效益。随着每天数据量的增长,也进一步衍生出了数据交易市场。但是,目前数据交易市场缺乏完善的交易机制,导致数据交易价格不合理,很多企业频繁发生数据断交等事件。2017年9月,随着国家发改委及国资委的《公共交易平台数据规范》的颁布及实施,使得其成为了公共数据交易的技术标准,不仅打破了信息的壁垒,而且推动了数据的共享。面对大量的数据交易,交易双方必须有基本的交易参考标准,有规范的数据定价,而不是单一的依靠数据量的大小作为定价的标准。如此看来,研究数据的质量问题变成公平数据交易的首要问题,如果交易双方能够对数据的价值有基本的判断,那么将会降低数据交易的成本。因而,对交易的数据进行质量评估对规范数据交易市场、数据定价具有十分重要的指导意义。传统对数据质量评估方法是基于ISO9000系列标准提出一些数据评估的维度,或是研究某些数据质量特征。面对如今大量的数据应用,这种研究方法已经不能满足当下实质性的需求。我们每天生活出行都产生很多的轨迹数据,所以本文选择基于智能公交IC卡刷卡和公交GPS轨迹两类数据进行数据质量评估方法的研究,从数据接入到清洗,提出不同的指标算法对数据进行评估,每个指标都利用熵值法进行权重的计算,最后得出数据的质量评分,进而将数据的质量评估结果量化,得出比较直观的评估结果。为了对所提出的质量评估模型进行准确性的验证,本文分别计算OD客流量和准点到站率来对两类评估后的数据进行验证。经验证,数据评估得分为90~100分的数据集所算出的OD客流量和准点到站率达到真实值的95%以上,正确率明显提高了10%以上。而得分在70分及以下的数据集所算出的OD客流量和准点到站率只有真实值的60%左右。可以发现,本文所提出的质量评估模型对数据具有很好的评价效果,得分越高的数据有效提高了数据运用的正确率,也证明了本方法对数据的质量评估是非常有效的。为了将数据质量评估的结果更好的展示,本文进一步将评估过程一体化,将评估结果进行可视化的展现,这样更直观、形象的展现评估结果,将整个数据质量评估的过程和结果进行了很好的整合,真正方便、快速的实现对接入数据进行质量评估。
【学位单位】:中国科学院大学(中国科学院深圳先进技术研究院)
【学位级别】:硕士
【学位年份】:2018
【中图分类】:TP311.13;U495
【部分图文】:

工作流图,公交IC卡,工作流,数据指标


第 5 章 质量评估系统实现存放的位置、数据清洗的规则、数据指标的算法、指标权重的计算都统统使用 Kettle 进行封装,使整个评估的过程只需要简单的更改数据的位置就可以实现,一个完整的质量评估Job 如下。

工作流图,质量评估,工作流,GPS数据


存放的位置、数据清洗的规则、数据指标的算法、指标权重的计算都统统使用 Kettle 进行封装,使整个评估的过程只需要简单的更改数据的位置就可以实现,一个完整的质量评估Job 如下。图 5.3 公交 IC 卡数据质量评估工作流

界面图,界面,数据单位,数据导入


图 5.5 系统登录界面3)数据导入将事先已经评估好的数据直接进行 Web 的可视化展现,首先选择需要进行结果展示的数据,数据单位以天为基础单位进行导入。导入界面如下图所示。
【相似文献】

相关期刊论文 前10条

1 李志华;;论基础数据质量在电网企业ERP实施的重要性[J];经济师;2017年12期

2 李斐斐;张建华;朱孟帅;韩书庆;吴建寨;;农业数据质量及评估方法探讨[J];安徽农业科学;2017年36期

3 赵冰;李平;代明睿;;铁路大数据质量评估与优化方法研究[J];中国铁路;2018年02期

4 蔡莉;梁宇;朱扬勇;何婧;;数据质量的历史沿革和发展趋势[J];计算机科学;2018年04期

5 閤成国;;高速公路交调数据质量管理系统设计[J];中国交通信息化;2018年05期

6 戚斌;;大数据时代下数据质量的挑战[J];信息记录材料;2018年06期

7 徐志伟;;油田数据质量监督与控制模型研究[J];信息系统工程;2018年06期

8 张晓冉;袁满;;通用数据质量评估模型及本体实现[J];计算机研究与发展;2018年06期

9 中国残联"动态更新第三方评估"课题组;陈功;江海霞;郑翩翩;李佳怿;胡乔文;耿燊;;社会调查及数据质量评估研究进展[J];调研世界;2017年10期

10 仝方平;;人力资源管理信息系统数据质量治理研究[J];信息化建设;2016年01期


相关博士学位论文 前10条

1 卜擎燕;定量评价临床研究数据质量方法的理论与实践研究[D];南京中医药大学;2007年

2 樊茗玥;网络调查数据质量控制研究[D];江苏大学;2011年

3 袁文龙;BESⅢ数据质量检查和弱衰变及重子激发态研究[D];南京大学;2015年

4 刘杰;面向数据集成的数据清理关键技术研究[D];中国科学技术大学;2010年

5 于鹏华;数据数量与质量敏感的推荐系统若干问题研究[D];浙江大学;2016年

6 陈卫东;数据质量模型及关系代数运算下质量传递理论与方法研究[D];国防科学技术大学;2007年

7 朱笑尘;异质过程数据集成与修复[D];清华大学;2015年

8 朱文龙;社会化媒体调查的适用性与模式效果研究[D];电子科技大学;2014年

9 徐辰;键值存储系统中的质量感知调度[D];华东师范大学;2014年

10 杨莎;多源环境下实体一致性建模与真值发现[D];武汉大学;2017年


相关硕士学位论文 前10条

1 王运帷;陆基与星基ADS-B系统数据质量研究[D];中国民航大学;2018年

2 张锡安;基于数据质量的群智感知网络参与者与选择方法研究[D];天津工业大学;2018年

3 宋平华;大型ERP软件实施与运用过程中的数据质量控制与改进[D];浙江工业大学;2017年

4 肖华丽;智能公交轨迹数据质量评估模型及实现[D];中国科学院大学(中国科学院深圳先进技术研究院);2018年

5 曹娜;基于海量实测的ADS-B数据质量分析[D];中国民航大学;2017年

6 雷蕾娟;陕西省“科技云”中数据质量的验证方法[D];西安电子科技大学;2017年

7 蒋诗敏;增城供电局营配信息集成方案研究[D];华南理工大学;2017年

8 唐继仲;数据质量评估与提升方法及应用研究[D];上海交通大学;2015年

9 张凌宇;灾害数据质量评估研究[D];南昌大学;2017年

10 王雪珊;数据质量校验规则提取技术的研究[D];东北石油大学;2017年



本文编号:2844483

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/jiaotonggongchenglunwen/2844483.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户60d98***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com