网络信息传播及高性能计算研究

发布时间：2025-06-24 06:15

　　如今,随着智能终端的普及和互联网的快速发展,互联网已经成为人们分享知识和在线交流的重要场合。尤其是网络新闻平台的迅速发展,某些新闻在互联网中被大量转发与评论,并且不断更新,在互联网中留下了海量的数据信息。这些数据中既存在正面的有利的信息,也隐藏着不利的言论,对网络空间的安全和现实社会的稳定产生着重要的影响。因此,有必要对网络新闻话题进行追踪,从而实时掌握网络舆情的发展趋势。本文对话题检测与追踪的相关技术进行了研究,在前人的研究成果之上进行改进,以提高话题追踪效果。本文的工作主要有以下3个方面:1.随着时间的推移,话题的演变,后续新闻报道的特征也在发生变化,通过初始新闻报道训练的话题模型,无法有效捕捉后续新闻报道特征。本文提出了一种基于朴素贝叶斯分类的并行自适应话题追踪算法(PATT-NB)。算法提出了一种自适应话题更新策略,使用最小属性可信度阈值截取后续相关新闻报道更新训练集,丰富话题的特征表达。实验表明,本算法有效地缓解了话题漂移现象并可以有效地对大数据进行并行处理。2.设计了一种基于N-Gram的并行话题追踪算法(PTT-Gram)。该算法使用N-Gram语言模型充分利用词语间的语序...

【文章页数】：59 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景
    1.2 国内外研究现状
    1.3 本文主要内容和组织结构
2 相关技术
    2.1 话题追踪相关技术
        2.1.1 话题追踪基本概念
        2.1.2 话题追踪基本实现思想
    2.2 传统分类算法介绍
        2.2.1 k NN分类
        2.2.2 决策树分类
        2.2.3 朴素贝叶斯分类
    2.3 N-Gram语言模型
        2.3.1 N-Gram语言模型语言单元切分法
        2.3.2 基于N-Gram语言模型的文本表示
    2.4 Hadoop平台概述
        2.4.1 HDFS文件系统
        2.4.2 MapReduce计算模型
    2.5 小结
3 基于朴素贝叶斯分类的并行自适应话题追踪算法PATT-NB
    3.1 基于朴素贝叶斯分类的话题追踪
    3.2 自适应话题追踪系统
    3.3 话题模型更新策略
    3.4 PATT-NB算法设计
        3.4.1 PATT-NB算法的训练阶段
        3.4.2 PATT-NB算法的验证阶段
        3.4.3 PATT-NB算法的测试阶段
    3.5 实验结果与分析
        3.5.1 度量标准
        3.5.2 实验和结果
    3.6 小结
4 基于N-Gram的并行话题追踪算法PTT-Gram
    4.1 基于N-Gram语言模型的话题追踪
    4.2 PTT-Gram算法设计
        4.2.1 训练阶段
        4.2.2 测试阶段
    4.3 实验结果与分析
    4.4 小结
5 基于N-Gram的并行自适应话题追踪算法PATT-Gram
    5.1 背景及意义
    5.2 PATT-Gram算法设计
        5.2.1 算法的验证阶段
        5.2.2 算法的测试阶段
    5.3 实验结果与分析
    5.4 小结
6 总结与展望
参考文献
致谢
攻读硕士期间发表的论文
攻读硕士期间参与的会议
附录一 表目录
附录二 图目录



本文编号：4052609