个性化小说推荐系统的设计与实现
发布时间：2020-10-23 18:48
随着网络文学在互联网中的快速传播,越来越多作者签约小型小说网站寻求发展,然而小型小说网站使用传统的推荐后台,推荐能力差且不易快速迭代升级,无法有效挖掘优质作品来吸引阅读流量。所以在该小说网站接入个性化小说推荐系统,能个性化推荐,快速拓展推荐策略,并且能验证推荐效果。本文设计并实现了该个性化小说推荐系统,采用分布式架构保证了系统的可用性、一致性、健壮性和可扩展性。经过对该系统的全面分析,将其分为在线推荐引擎模块、阅读流量调度模块、离线计算模块、冷启动评级模块四个模块。作者独立设计并实现了上述四个模块:(1)在线推荐引擎模块:该模块可以向读者个性化在线推荐小说。运营人员和开发者可以配置推荐策略,还可以实时监控引擎性能排查系统隐患。(2)阅读流量调度模块:该模块可以调度阅读流量,寻找最优推荐策略。运营人员配置流量调度策略,该模块在线对阅读流量按比例分组,对各组使用不同的推荐策略,之后运营人员对比推荐效果得出最优推荐策略。(3)离线计算模块:该模块可以计算出读者可能感兴趣的小说。实现了基于物品的协同过滤算法(Item CF),每日处理读者阅读数据,利用大数据计算框架离线计算得出小说的相似小说集合。(4)冷启动评级模块:该模块可以为没有阅读记录的读者提供建议阅读的小说,每日定时执行小说评级任务,根据该等级排列出冷启动推荐列表。功能测试、压力测试和A/B测试的结果表明个性化小说推荐系统完全满足用户要求。随着后期对推荐策略的拓展和管理,本系统一定能够进一步提升推荐效果,更加有效地利用阅读流量,发掘更多优质作品,创造更多商业价值。
【学位单位】：北京交通大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：I207.4;TP391.3
【部分图文】：
本论文从以下几个方面对该系统论述，各章节的内容如下。??第一章：引言，首先介绍了课题的项目背景，接着分析了课题相关背景的发展现状，最后说明作者在项目中的工作及本文的组织结构。??第二章：相关理论及技术综述，对协同过滤算法、Ｓｐａｒｋ、ＭｏｎｇｏＤＢ、技术进行简要论述。??第三章：个性化推荐系统需求分析，先对系统用户特征、功能要求、性
北京交通大学专业硕士学位论文???ＩＩ对物品ｉ的兴趣（在隐式反馈中ｒｕｉ都等于１）?［２６］。??．２大数据计算框架Ｓｐａｒｋ??在Ｓｐａｒｋ的体系结构中，整个集群的核心组件是资源管理器ＣｌｕｓｔｅｒＭａｎａｇｅｒ，??负责资源分配和管理，本地节点的资源管理器是Ｗｏｒｋｅｒ，它负责本地资源的分??与管理，当Ｗｏｒｋｅｒ获取到ＣｌｕｓｔｅｒＭａｎａｇｅｒ分配的资源后，首先创建执行进程??ｘｅｃｕｔｏｒ，并将资源和子任务分配给Ｅｘｅｃｕｔｏｒ，它负责任务的执行与其他进程的同??，ＤｒｉｖｅｒＡｐｐ是客户端应用程序，用于将应用程序转化为ＲＤＤ的有向无环图ＤＡＧ，??与集群资源管理器进行通信与调度。ＤｒｉｖｅｒＡ＾负责整个应用程序，负责作业的??动与调度。??＾００＊?ｍｗｘｒｎｍｕ??
ｐａｒｔｉｔｉｏｎ???？?ｐａｒｔｉｔｉｏｎ??ｐａｒｔｉｔｉｏｎ???ｐａｒｔｉｔｉｏｎ??图２－２?ＲＤＤ之间窄依赖关系??Ｆｉｇｕｒｅ?２－２?Ｎａｒｒｏｗ?Ｄｅｐｅｎｄｅｎｃｉｅｓ?Ｂｅｔｗｅｅｎ?ＲＤＤｓ??如图２－２所示，ＲＤＤ间窄依赖的关系就是父ＲＤＤ的ｐａｒｔｉｔｉｏｎ仅被子ＲＤＤ的??一个?ｐａｒｔｉｔｉｏｎ?使用。??ＰａｒｅｎｔＲＤＤ?ＣｈｉｌｄＲＤＤ??ｐａｒｔｉｔｉｏｎ?＾?ｐａｒｔｉｔｉｏｎ??图２－３?ＲＤＤ之间宽依赖关系??Ｆｉｇｕｒｅ?２－３?Ｗｉｌｄ?Ｄｅｐｅｎｄｅｎｃｉｅｓ?Ｂｅｔｗｅｅｎ?ＲＤＤｓ??如图２－３所示，ＲＤＤ间宽依赖的关系则是一个父ＲＤＤ的ｐａｒｔｉｔｉｏｎ会被多个子??ＲＤＤ?的?ｐａｒｔｉｔｉｏｎ?使用。??２．３?分布式存储数据库ＭｏｎｇｏＤＢ??ＭｏｎｇｏＤＢ是一个介于关系数据库和非关系数据库之间的产品，是非关系数据??库当中功能最丰富，最像关系数据库的数据库。ＭｏｎｇｏＤＢ是分布式文件存储的数??据库。使用Ｃ＋＋语言。提供可扩展的高性能数据存储解决方案。它支持的数据结??构非常松散，是类似ｊｓｏｎ的ｂｓｏｎ格式，因此可以存储比较复杂的数据类型。??９??
【参考文献】
本文编号：2853407
【学位单位】：北京交通大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：I207.4;TP391.3
【部分图文】：
本论文从以下几个方面对该系统论述，各章节的内容如下。??第一章：引言，首先介绍了课题的项目背景，接着分析了课题相关背景的发展现状，最后说明作者在项目中的工作及本文的组织结构。??第二章：相关理论及技术综述，对协同过滤算法、Ｓｐａｒｋ、ＭｏｎｇｏＤＢ、技术进行简要论述。??第三章：个性化推荐系统需求分析，先对系统用户特征、功能要求、性
北京交通大学专业硕士学位论文???ＩＩ对物品ｉ的兴趣（在隐式反馈中ｒｕｉ都等于１）?［２６］。??．２大数据计算框架Ｓｐａｒｋ??在Ｓｐａｒｋ的体系结构中，整个集群的核心组件是资源管理器ＣｌｕｓｔｅｒＭａｎａｇｅｒ，??负责资源分配和管理，本地节点的资源管理器是Ｗｏｒｋｅｒ，它负责本地资源的分??与管理，当Ｗｏｒｋｅｒ获取到ＣｌｕｓｔｅｒＭａｎａｇｅｒ分配的资源后，首先创建执行进程??ｘｅｃｕｔｏｒ，并将资源和子任务分配给Ｅｘｅｃｕｔｏｒ，它负责任务的执行与其他进程的同??，ＤｒｉｖｅｒＡｐｐ是客户端应用程序，用于将应用程序转化为ＲＤＤ的有向无环图ＤＡＧ，??与集群资源管理器进行通信与调度。ＤｒｉｖｅｒＡ＾负责整个应用程序，负责作业的??动与调度。??＾００＊?ｍｗｘｒｎｍｕ??
ｐａｒｔｉｔｉｏｎ???？?ｐａｒｔｉｔｉｏｎ??ｐａｒｔｉｔｉｏｎ???ｐａｒｔｉｔｉｏｎ??图２－２?ＲＤＤ之间窄依赖关系??Ｆｉｇｕｒｅ?２－２?Ｎａｒｒｏｗ?Ｄｅｐｅｎｄｅｎｃｉｅｓ?Ｂｅｔｗｅｅｎ?ＲＤＤｓ??如图２－２所示，ＲＤＤ间窄依赖的关系就是父ＲＤＤ的ｐａｒｔｉｔｉｏｎ仅被子ＲＤＤ的??一个?ｐａｒｔｉｔｉｏｎ?使用。??ＰａｒｅｎｔＲＤＤ?ＣｈｉｌｄＲＤＤ??ｐａｒｔｉｔｉｏｎ?＾?ｐａｒｔｉｔｉｏｎ??图２－３?ＲＤＤ之间宽依赖关系??Ｆｉｇｕｒｅ?２－３?Ｗｉｌｄ?Ｄｅｐｅｎｄｅｎｃｉｅｓ?Ｂｅｔｗｅｅｎ?ＲＤＤｓ??如图２－３所示，ＲＤＤ间宽依赖的关系则是一个父ＲＤＤ的ｐａｒｔｉｔｉｏｎ会被多个子??ＲＤＤ?的?ｐａｒｔｉｔｉｏｎ?使用。??２．３?分布式存储数据库ＭｏｎｇｏＤＢ??ＭｏｎｇｏＤＢ是一个介于关系数据库和非关系数据库之间的产品，是非关系数据??库当中功能最丰富，最像关系数据库的数据库。ＭｏｎｇｏＤＢ是分布式文件存储的数??据库。使用Ｃ＋＋语言。提供可扩展的高性能数据存储解决方案。它支持的数据结??构非常松散，是类似ｊｓｏｎ的ｂｓｏｎ格式，因此可以存储比较复杂的数据类型。??９??
【参考文献】
相关期刊论文 前5条
1 张如云;;A/B测试在软件项目开发中的应用探析[J];电脑开发与应用;2014年05期
2 朱郁筱;吕琳媛;;推荐系统评价指标综述[J];电子科技大学学报;2012年02期
3 王国霞;刘贺平;;个性化推荐系统综述[J];计算机工程与应用;2012年07期
4 谢锐;姜吉玲;;网络如何影响了小说[J];新闻天地(论文版);2008年04期
5 王改芬;;推荐系统研究综述[J];软件导刊;2007年23期
相关博士学位论文 前1条
1 蒋伟;推荐系统若干关键技术研究[D];电子科技大学;2018年
相关硕士学位论文 前4条
1 度冉;大数据时代网络文学的版权保护[D];河南大学;2018年
2 宋婷;智媒时代：个性化推荐对传播生态的影响[D];烟台大学;2018年
3 姜崇;基于数据挖掘的网络小说价值预测分析[D];沈阳航空航天大学;2018年
4 薄奇;基于IoC和AOP的轻量级框架研究[D];天津大学;2006年
本文编号：2853407
本文链接：https://www.wllwen.com/gudaiwenxuelunwen/2853407.html
