政府采购信息多源聚合与关联分析的研究与实现

发布时间：2021-03-20 22:23

　　随着政府采购工作的不断深入,其信息化水平得以快速提升,在此过程中也沉淀了大量的政府采购相关数据,如何对这些数据进行合理充分利用,进而为政府采购工作的决策与监管提供有益帮助,是本文研究探索的目标。本文研究内容主要包含以下三个方面:首先,研究如何获得大量公开的政府采购信息,本文中使用Python编写了网络爬虫程序,并爬取了陕西、甘肃两省的政府采购网站相关数据;其次,研究了中文文本分词、文本向量化、文本聚类以及数据降维等数据处理技术,并通过这些技术将政府采购数据的文本型信息转换成数值型数据,之后通过K均值算法对其进行聚类分析;最后,为了方便对分析结果进行展示,本文还研究了数据可视化的相关技术。为体现文本研究的工程性,以上述研究为基础,本文开发了一个政府采购信息多源聚合与关联分析平台,通过平台可以将多源信息获取、数据关联分析以及分析结果可视化这些孤立的研究联结成一个完整的数据处理系统,实现了政府采购数据多源聚合与关联分析的研究目标,能够为政府在采购方面的决策提供一定参考。 

【文章来源】：西安石油大学陕西省

【文章页数】：60 页

【学位级别】：硕士

【部分图文】：

政府采购数据处理过程图

图 2-2 可视化实现流程据分析平台中的技术分析平台的开发应用 JavaEE 相关技术来实现。设计招标单位、代理机构、中标公司、评审专家等方面示，实现了对陕西省和甘肃省政府采购项目的招投标性的全面掌握。性备方面：为了进行政府采购信息多源聚合与关联分备和调研工作，而且本人的导师具有超过 10 年以上经历，熟悉政府采购业务流程，了解政府采购信息行性。政府采购数据的分析和可视化过程中，从数化，主要使用的开发语言是 Python、Java 较为主流可视化，使用 Python 实现网络爬虫程序，这些技术务的完成奠定了良好的技术基础。

它具有强大丰富的库以及很多开源组件，同时，Python 的 re 模块提供了各种正则表达式的匹配操作，这使得它在数据爬取方面有天然的优势，这为爬虫程序的设计和实现提供了极大的便利。3.1 目标网站结构分析由于陕西、甘肃两省的省政府采购系统（网站）的后台数据库的结构和数据无法通过正常的途径获取，所以本次研究过程中采用反向分析的方式对两个网站分别进行分析，推测两个网站信息的结构规律和网页结构，从而得到所需要资源的有效信息，以便设计爬虫程序。3.1.1 网站结构解析通过Chrome浏览器打开并访问陕西、甘肃两省的省政府采购系统，通过查看Request界面观察分析该系统的组成结构。从网站首页上发现，这两个网站的采购信息公告主要分为若干个大模块，包含了招标公告（公开招标）、中标公告、谈判公告、成交公告、询价公告、磋商公告等模块。主页结构如图 3-1 所示。

【参考文献】：
期刊论文
[1]我国政府采购制度及其变革吁求[J]. 丁会芬,孟彬.  广西政法管理干部学院学报. 2019(01)
[2]政府采购绩效评价研究[J]. 王金秀,邹良禹.  中国政府采购. 2018(10)
[3]关于可视化数据挖掘技术及其应用的研究[J]. 李嘉恩.  科学技术创新. 2018(28)
[4]中国农产品阶段出口划分——基于Kmeans聚类分析[J]. 朱伟林,刘合光,陈珏颖.  世界农业. 2018(09)
[5]面向空间信息网络的多特征可视化方法综述[J]. 于少波,吴玲达,张喜涛,李超,马海娇.  中国电子科学研究院学报. 2018(02)
[6]基于Python的网络爬虫程序设计[J]. 郭丽蓉.  电子技术与软件工程. 2017(23)
[7]大数据可视化的挑战与最新进展[J]. 崔迪,郭小燕,陈为.  计算机应用. 2017(07)
[8]主题网络爬虫抓取策略的研究[J]. 刘清.  科技广场. 2017(04)
[9]基于K-均值算法的数据挖掘技术研究及应用[J]. 穆荣斌,仲梁维.  软件导刊. 2017(04)
[10]语义与统计相结合的中文微博相似度计算方法[J]. 李楚贞.  数字技术与应用. 2017(03)

硕士论文
[1]基于Hadoop和Django的大数据可视化分析Web系统[D]. 吴义.东华大学 2016
[2]数据新闻的数据可视化研究[D]. 孙艳萍.南昌大学 2016
[3]大数据时代下的数据可视化研究[D]. 李希娟.河北大学 2014



本文编号：3091774