基于Self-Attention机制的音乐推荐算法研究
发布时间：2021-06-24 22:53
伴随着信息技术的快速发展,音乐作品也走上了信息化的道路,如今,越来越多的人选择在互联网上收听自己喜欢的音乐,同时互联网也是海量音乐作品的载体,而面对音乐种类和数目如此巨大的互联网,如何快速找到人们喜欢的音乐就显的尤为重要。音乐推荐系统可以很好的解决这个问题,实现由人找音乐到音乐找人的转变,提高音乐的传播效率,同时提高用户的收听体验。本文正是在这种技术背景和需求的推动下,对音乐推荐算法做了深入的研究。由于在不同的场景下用户的会话行为具有极强的关联性,因此本文提出了基于会话记录的的音乐推荐算法,利用self-attention机制提取会话记录特征。使用音乐推荐领域常用的Last.fm数据集对本文提出的音乐推荐模型进行性能评估。实验的主要设计为模型超参数的设定、时间因素及长期偏好对推荐效果的影响、与传统算法的对比分析等,实验结果显示本文提出的算法在音乐推荐方面具有良好的性能。论文基于用户对音乐喜爱的时段性以及易受时间因素影响的特性,提出了基于会话及引入了时间因素和长期偏好的self-attention机制的音乐推荐算法,以有效对音乐及用户偏好进行建模,加强模型对音乐收听记录的短期特征抽取能力...
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图２．５人类的视觉注意力??如图２．５所示，展示了人类在视觉方面的一种注意力机制，当人们的任务是要??分辨图中的小孩是谁时，便会主动把注意力集中在小孩的脸部特征
常大，此为梯度爆炸。??梯度爆炸很好解决，只需要在计算导数的过程中进行梯度裁剪（Ｇｒａｄｉｅｎｔ??Ｃｌｉｐｐｉｎｇ）?［４＼限制梯度的大小即可。然而梯度消失却无法使用梯度放大来解决，因??为当模型训练到最优解时，梯度也会消失，因此解决梯度消失的问题就比较困难。??？、－?§?，０????Ｊ？）ｃｒ??｜?ｉ??￣?２０＊—??心?ｖ．?１?：?？?４?＾?ｆｔ?１?：?＇?＊，?＇?（？??ｉｔｅｒ．?（Ｉｃ４）?ｉｌｅｒ．?（Ｉｅ４）??图３．２网络退化??此外，当使用神经网络解决同一个问题的时候，随着网络的加深，模型的最终??效果会出现先增大后减小的趋势。如图３．２所示，即便在同样轮数的训练中，无论??是训练误差还是测试误差，５６层的深层网络都要比２０层的浅层网络拥有更大的误??差，此现象即为网络退化。这是一个非常奇怪的现象，因为如果前２０层己经是模型??２２??
颂士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２５??—■?Ｉ?Ｉ?—?Ｉ??Ｉ?Ｉ??Ｉ?Ｉ??ｉ議園?＿?＿??１０?＾?＿＋？?Ｐ２?■精确率??■?ＩＩＩ??ｕ?ｕ?ｙ?ｊｕ??４８?９６?１９２?３８４??隐层维度??图４．１不同隐层维度下的指标值变化状态??由上图可知隐层维度对于算法效果的影响，当隐层维度较小时，模型无法承载??或者挖掘到足够多的音乐信息和用户偏好信息，无法准确预测用户下一首收听的音??乐，当隐层维度增大到３８４时，模型总体效果开始下降，说明过多的隐层节点导致??了用户音乐偏好特征变得稀疏，并且其中掺杂了噪声信息，从而对最终结果造成负??面影响。因此，隐层维度的最优值为１９２，在后续对其他超参数进行调优时，将隐??层维度固定为１９２。??（２）不同学习率对比实验分析??本实验的目的是为了探索不同学习率对模型的影响，学习率决定模型每次训练??的学习幅度，一个好的学习率可以使得模型快速稳定的收敛到最优解，而一个坏的??学习率，可能需要很长时间才能收敛到最优解，甚至造成模型无法收敛。学习率过??大会造成模型在最低点震荡，无法到达全局最优，过小又会造成导致收敛太慢或者??陷入局部最优。在寻找最优学习率时，将学习率分别设置为０．１、０．０１、０．００１、０．０００１??进行实验，以十的倍数进行放缩，可以更快找到最优学习率，这也是学习率调优的??常用做法，实验结果如图４．２所示。??３８??
【参考文献】：
期刊论文
[1]混合贝叶斯个性化排序与内容的推荐算法研究[J]. 文晓棠,吴少强. 现代计算机. 2019(30)
[2]会话推荐系统[J]. 赵海燕,赵佳斌,陈庆奎,曹健. 小型微型计算机系统. 2019(09)
[3]信息过载时代的信息焦虑与新媒介素养[J]. 胡毓靖. 新闻传播. 2019(15)
[4]基于会话记录的Word2Vec音乐推荐算法研究[J]. 周航帆,周莲英. 通信技术. 2019(04)
[5]深度学习优化算法研究[J]. 仝卫国,李敏霞,张一可. 计算机科学. 2018(S2)
[6]MN-HDRM:长短兴趣多神经网络混合动态推荐模型[J]. 冯永,张备,强保华,张逸扬,尚家兴. 计算机学报. 2019(01)
[7]结合改进的CHI统计方法的TF-IDF算法优化[J]. 马莹,赵辉,李万龙,庞海龙,崔岩. 计算机应用研究. 2019(09)
[8]基于注意力机制的音乐深度推荐算法[J]. 张全贵,张新新,李志强. 计算机应用研究. 2019(08)
[9]基于深度卷积神经网络的遥感图像超分辨率重建[J]. 王爱丽,张小妹,韩闯,刘源. 黑龙江大学自然科学学报. 2018(01)
[10]深层网络中的梯度消失现象[J]. 周祥全,张津. 科技展望. 2017(27)
博士论文
[1]基于协同过滤的推荐算法研究[D]. 刘青文.中国科学技术大学 2013
硕士论文
[1]基于CNN自动标注用户偏好的音乐推荐算法[D]. 叶展鹏.华南理工大学 2018
本文编号：3247972
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图２．５人类的视觉注意力??如图２．５所示，展示了人类在视觉方面的一种注意力机制，当人们的任务是要??分辨图中的小孩是谁时，便会主动把注意力集中在小孩的脸部特征
常大，此为梯度爆炸。??梯度爆炸很好解决，只需要在计算导数的过程中进行梯度裁剪（Ｇｒａｄｉｅｎｔ??Ｃｌｉｐｐｉｎｇ）?［４＼限制梯度的大小即可。然而梯度消失却无法使用梯度放大来解决，因??为当模型训练到最优解时，梯度也会消失，因此解决梯度消失的问题就比较困难。??？、－?§?，０????Ｊ？）ｃｒ??｜?ｉ??￣?２０＊—??心?ｖ．?１?：?？?４?＾?ｆｔ?１?：?＇?＊，?＇?（？??ｉｔｅｒ．?（Ｉｃ４）?ｉｌｅｒ．?（Ｉｅ４）??图３．２网络退化??此外，当使用神经网络解决同一个问题的时候，随着网络的加深，模型的最终??效果会出现先增大后减小的趋势。如图３．２所示，即便在同样轮数的训练中，无论??是训练误差还是测试误差，５６层的深层网络都要比２０层的浅层网络拥有更大的误??差，此现象即为网络退化。这是一个非常奇怪的现象，因为如果前２０层己经是模型??２２??
颂士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２５??—■?Ｉ?Ｉ?—?Ｉ??Ｉ?Ｉ??Ｉ?Ｉ??ｉ議園?＿?＿??１０?＾?＿＋？?Ｐ２?■精确率??■?ＩＩＩ??ｕ?ｕ?ｙ?ｊｕ??４８?９６?１９２?３８４??隐层维度??图４．１不同隐层维度下的指标值变化状态??由上图可知隐层维度对于算法效果的影响，当隐层维度较小时，模型无法承载??或者挖掘到足够多的音乐信息和用户偏好信息，无法准确预测用户下一首收听的音??乐，当隐层维度增大到３８４时，模型总体效果开始下降，说明过多的隐层节点导致??了用户音乐偏好特征变得稀疏，并且其中掺杂了噪声信息，从而对最终结果造成负??面影响。因此，隐层维度的最优值为１９２，在后续对其他超参数进行调优时，将隐??层维度固定为１９２。??（２）不同学习率对比实验分析??本实验的目的是为了探索不同学习率对模型的影响，学习率决定模型每次训练??的学习幅度，一个好的学习率可以使得模型快速稳定的收敛到最优解，而一个坏的??学习率，可能需要很长时间才能收敛到最优解，甚至造成模型无法收敛。学习率过??大会造成模型在最低点震荡，无法到达全局最优，过小又会造成导致收敛太慢或者??陷入局部最优。在寻找最优学习率时，将学习率分别设置为０．１、０．０１、０．００１、０．０００１??进行实验，以十的倍数进行放缩，可以更快找到最优学习率，这也是学习率调优的??常用做法，实验结果如图４．２所示。??３８??
【参考文献】：
期刊论文
[1]混合贝叶斯个性化排序与内容的推荐算法研究[J]. 文晓棠,吴少强. 现代计算机. 2019(30)
[2]会话推荐系统[J]. 赵海燕,赵佳斌,陈庆奎,曹健. 小型微型计算机系统. 2019(09)
[3]信息过载时代的信息焦虑与新媒介素养[J]. 胡毓靖. 新闻传播. 2019(15)
[4]基于会话记录的Word2Vec音乐推荐算法研究[J]. 周航帆,周莲英. 通信技术. 2019(04)
[5]深度学习优化算法研究[J]. 仝卫国,李敏霞,张一可. 计算机科学. 2018(S2)
[6]MN-HDRM:长短兴趣多神经网络混合动态推荐模型[J]. 冯永,张备,强保华,张逸扬,尚家兴. 计算机学报. 2019(01)
[7]结合改进的CHI统计方法的TF-IDF算法优化[J]. 马莹,赵辉,李万龙,庞海龙,崔岩. 计算机应用研究. 2019(09)
[8]基于注意力机制的音乐深度推荐算法[J]. 张全贵,张新新,李志强. 计算机应用研究. 2019(08)
[9]基于深度卷积神经网络的遥感图像超分辨率重建[J]. 王爱丽,张小妹,韩闯,刘源. 黑龙江大学自然科学学报. 2018(01)
[10]深层网络中的梯度消失现象[J]. 周祥全,张津. 科技展望. 2017(27)
博士论文
[1]基于协同过滤的推荐算法研究[D]. 刘青文.中国科学技术大学 2013
硕士论文
[1]基于CNN自动标注用户偏好的音乐推荐算法[D]. 叶展鹏.华南理工大学 2018
本文编号：3247972
本文链接：https://www.wllwen.com/wenyilunwen/yinlelunwen/3247972.html
