电商推荐系统关键技术研究
发布时间：2021-06-24 19:24
得益于电子商务和移动互联网的快速发展,买家在电商平台中可以随时随地购买任何的商品,同时电商平台中海量的商品为买家带来了“商品过载”的困扰。在买家严格条件筛选下,呈现给买家的商品仍然令买家目不暇接。所以电子商务迫切的需要一个“导购员”,推荐系统通过挖掘买家与商品之间的二元关系,为买家提供个性化推荐服务。电子商务是推荐系统重要应用领域之一,电商推荐系统是一个复杂的系统工程,需要综合考虑运行环境、系统架构和算法模型。本论文的主要贡献以及优化创新工作为如下几点:（1）分析了当前大数据技术下的分布式存储和资源管理,介绍了当前HDFS的主节点单点隐患问题,HDFS的高可用改进方案,并详细介绍了如何对计算资源进行弹性管理。（2）对当前主流推荐系统架构和触发流程进行了研究,分析并指出传统推荐系统架构和触发流程存在的诸多缺陷,并提出一种改进的推荐系统架构和触发流程来提高推荐服务的性能。（3）针对传统的矩阵分解模型忽略负向反馈数据,导致推荐准确率无法继续提高的问题,提出了一种利用负向反馈数据集的矩阵分解模型。该模型通过使用AB Testing方法度量隐式反馈评分构建隐式反馈评分矩阵,并在数据集中加入了负向...
【文章来源】：山东科技大学山东省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
图２．１ＨＤＦＳ架构图??Ｆｉｇ２．ｆ?Ｔｈｅ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??，
?＼ｊａ＾Ｂ??Ｊ４＂＾?ｒＨ?ＩＫＩ??图２．１ＨＤＦＳ架构图??Ｆｉｇ２．ｆ?Ｔｈｅ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??ｒｏＦＳ通过从节点之间的数据块相互复制保证了数据的容错性，即使出现从??节点异常也不会导致数据丢失。但ＨＤＦＳ的主节点却存在单节点隐患，ＴＯＦＳ的设??计者提供了?ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ机制为主节点的内存状态保存磁盘备份，ＨＤＦＳ??通过将主节点的内存状态实时的复制到ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ节点的物理磁盘上??进行持久化，在主节点异常后运维人员通过读取磁盘中的日志记录恢复主节点??的状态。这种方案存在明显的弊端，那就是运维人员可能无法及时的发现主节??点异常并且恢复主节点状态需要一定时间，Ｈａｄｏｏｐ生态系统几乎都依赖于ＨＤＦＳ，??包括ＭａｐＲｅｄｕｃｅ？、Ｓｐａｒｋ、Ｈｉｖｅ、Ｐｉｇ以及ＨＢａｓｅ等在这段时间都无法使用，??影响业务进度。??２．?１．２高可用ＨＤＦＳ架构??为了解决ＨＤＦＳ的主节点单点隐患
高可用的弹性大数据生产环境??ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ中进行漫长的状态恢复，架构可以自动进行主备切换减少了??运维人员的工作量［１３］，自动修复过程过程图２．?３所示：???▼???監视泛点发煺讨常Ｗ戍???????是???Ｙ???从备川打点中选够新的ｎ办???ｙ???Ｉ－：备ｗ換??ｉ３ｉ５３：２！ｏｏｋ？ｐｅｒ史新?Ｖ？点地Ｊ！Ｊ：???Ｉ??????ＤｒＺｏｏｋｅｅｐｅｒｆｉｉ斜匕节点地???Ｈ．????５???通知代砰??＜????ｊｒ???（、）??图２．３ＨＤＦＳ异常自动修复过程??Ｆｉｇ?２．３?ＨＤＦＳ?ａｕｔｏｍａｔｉｃ?ｒｅｓｔｏｒａｔｉｏｎ?ｐｒｏｃｅｓｓ??２．?２弹性计算资源管理??ＣＰＵ内存等计算资源一直是大数据平台中最为珍贵的资源，因为他们价格昂??贵。在大数据平台中有效的资源管理可以最大化的利用好这些计算资源，本节??将介绍大数据平台下计算资源管理出现的问题以及如何进行弹性计算资源管??理。??２．?２．?１大数据平台资源管理面临的难题??电商平台中推荐系统是典型的密集数据计算、功能复杂多变的场景，推荐??７??
【参考文献】：
期刊论文
[1]面向隐式反馈的推荐系统研究现状与趋势[J]. 陆艺,曹健. 计算机科学. 2016(04)
[2]大数据环境下的推荐系统[J]. 孟祥武,纪威宇,张玉洁. 北京邮电大学学报. 2015(02)
[3]一种基于Hadoop的个性化推荐系统架构[J]. 张永霞,王洪波,程时端. 新型工业化. 2012(08)
[4]基于矩阵分解的协同过滤算法[J]. 李改,李磊. 计算机工程与应用. 2011(30)
[5]一种改进的Slope One协同过滤算法[J]. 王毅,楼恒越. 计算机科学. 2011(S1)
[6]推荐系统中显式评分输入的用户聚类方法研究[J]. 崔春生. 计算机应用研究. 2011(08)
[7]基于推荐完整性的电子商务推荐系统架构的设计[J]. 黄宏寅,徐德华. 计算机应用研究. 2010(12)
[8]关联规则挖掘Apriori算法的研究与改进[J]. 刘华婷,郭仁祥,姜浩. 计算机应用与软件. 2009(01)
[9]最小二乘法的创立及其思想方法[J]. 贾小勇,徐传胜,白欣. 西北大学学报(自然科学版). 2006(03)
[10]用初等变换进行矩阵的QR分解[J]. 燕列雅,于育民. 数学通报. 1998(09)
博士论文
[1]面向推荐系统的关键问题研究及应用[D]. 刘士琛.中国科学技术大学 2014
[2]推荐系统关键技术研究[D]. 任磊.华东师范大学 2012
[3]电子商务推荐系统关键技术研究[D]. 邓爱林.复旦大学 2003
硕士论文
[1]基于Hive的离线数据处理方法与实现[D]. 朱燕燕.东南大学 2016
[2]Hadoop平台运维关键技术研究与实现[D]. 万家雪.北京邮电大学 2015
[3]基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D]. 梁彦.中山大学 2014
[4]基于Web服务可信性的用户反馈度量研究[D]. 高楊.北京邮电大学 2014
[5]基于Slope One改进算法推荐模型的设计与实现[D]. 林德军.北京邮电大学 2013
[6]基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现[D]. 李元洪.南京理工大学 2012
本文编号：3247694
【文章来源】：山东科技大学山东省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
图２．１ＨＤＦＳ架构图??Ｆｉｇ２．ｆ?Ｔｈｅ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??，
?＼ｊａ＾Ｂ??Ｊ４＂＾?ｒＨ?ＩＫＩ??图２．１ＨＤＦＳ架构图??Ｆｉｇ２．ｆ?Ｔｈｅ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??ｒｏＦＳ通过从节点之间的数据块相互复制保证了数据的容错性，即使出现从??节点异常也不会导致数据丢失。但ＨＤＦＳ的主节点却存在单节点隐患，ＴＯＦＳ的设??计者提供了?ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ机制为主节点的内存状态保存磁盘备份，ＨＤＦＳ??通过将主节点的内存状态实时的复制到ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ节点的物理磁盘上??进行持久化，在主节点异常后运维人员通过读取磁盘中的日志记录恢复主节点??的状态。这种方案存在明显的弊端，那就是运维人员可能无法及时的发现主节??点异常并且恢复主节点状态需要一定时间，Ｈａｄｏｏｐ生态系统几乎都依赖于ＨＤＦＳ，??包括ＭａｐＲｅｄｕｃｅ？、Ｓｐａｒｋ、Ｈｉｖｅ、Ｐｉｇ以及ＨＢａｓｅ等在这段时间都无法使用，??影响业务进度。??２．?１．２高可用ＨＤＦＳ架构??为了解决ＨＤＦＳ的主节点单点隐患
高可用的弹性大数据生产环境??ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ中进行漫长的状态恢复，架构可以自动进行主备切换减少了??运维人员的工作量［１３］，自动修复过程过程图２．?３所示：???▼???監视泛点发煺讨常Ｗ戍???????是???Ｙ???从备川打点中选够新的ｎ办???ｙ???Ｉ－：备ｗ換??ｉ３ｉ５３：２！ｏｏｋ？ｐｅｒ史新?Ｖ？点地Ｊ！Ｊ：???Ｉ??????ＤｒＺｏｏｋｅｅｐｅｒｆｉｉ斜匕节点地???Ｈ．????５???通知代砰??＜????ｊｒ???（、）??图２．３ＨＤＦＳ异常自动修复过程??Ｆｉｇ?２．３?ＨＤＦＳ?ａｕｔｏｍａｔｉｃ?ｒｅｓｔｏｒａｔｉｏｎ?ｐｒｏｃｅｓｓ??２．?２弹性计算资源管理??ＣＰＵ内存等计算资源一直是大数据平台中最为珍贵的资源，因为他们价格昂??贵。在大数据平台中有效的资源管理可以最大化的利用好这些计算资源，本节??将介绍大数据平台下计算资源管理出现的问题以及如何进行弹性计算资源管??理。??２．?２．?１大数据平台资源管理面临的难题??电商平台中推荐系统是典型的密集数据计算、功能复杂多变的场景，推荐??７??
【参考文献】：
期刊论文
[1]面向隐式反馈的推荐系统研究现状与趋势[J]. 陆艺,曹健. 计算机科学. 2016(04)
[2]大数据环境下的推荐系统[J]. 孟祥武,纪威宇,张玉洁. 北京邮电大学学报. 2015(02)
[3]一种基于Hadoop的个性化推荐系统架构[J]. 张永霞,王洪波,程时端. 新型工业化. 2012(08)
[4]基于矩阵分解的协同过滤算法[J]. 李改,李磊. 计算机工程与应用. 2011(30)
[5]一种改进的Slope One协同过滤算法[J]. 王毅,楼恒越. 计算机科学. 2011(S1)
[6]推荐系统中显式评分输入的用户聚类方法研究[J]. 崔春生. 计算机应用研究. 2011(08)
[7]基于推荐完整性的电子商务推荐系统架构的设计[J]. 黄宏寅,徐德华. 计算机应用研究. 2010(12)
[8]关联规则挖掘Apriori算法的研究与改进[J]. 刘华婷,郭仁祥,姜浩. 计算机应用与软件. 2009(01)
[9]最小二乘法的创立及其思想方法[J]. 贾小勇,徐传胜,白欣. 西北大学学报(自然科学版). 2006(03)
[10]用初等变换进行矩阵的QR分解[J]. 燕列雅,于育民. 数学通报. 1998(09)
博士论文
[1]面向推荐系统的关键问题研究及应用[D]. 刘士琛.中国科学技术大学 2014
[2]推荐系统关键技术研究[D]. 任磊.华东师范大学 2012
[3]电子商务推荐系统关键技术研究[D]. 邓爱林.复旦大学 2003
硕士论文
[1]基于Hive的离线数据处理方法与实现[D]. 朱燕燕.东南大学 2016
[2]Hadoop平台运维关键技术研究与实现[D]. 万家雪.北京邮电大学 2015
[3]基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D]. 梁彦.中山大学 2014
[4]基于Web服务可信性的用户反馈度量研究[D]. 高楊.北京邮电大学 2014
[5]基于Slope One改进算法推荐模型的设计与实现[D]. 林德军.北京邮电大学 2013
[6]基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现[D]. 李元洪.南京理工大学 2012
本文编号：3247694
本文链接：https://www.wllwen.com/jingjilunwen/dianzishangwulunwen/3247694.html
