基于隐变量模型的深度学习特征泛化研究

发布时间：2025-07-03 04:38

　　深度学习作为机器学习技术的研究热点,其核心是特征学习,通过多层神经网络结构在大量数据中获得不同层次的特征信息,从而有效地解决分类、回归等问题。然而对于部分应用场景,可采集的训练样本集规模较小,若直接进行训练,得到的模型可能产生严重的过拟合现象。因此我们希望利用小规模数据集训练一个高性能的深度神经网络分类/回归模型,尽可能消除由于训练数据量不足带来的拟合缺陷。针对上述问题,本文首先提出了一种基于隐变量模型的特征泛化算法,解决训练数据不足导致模型过拟合的问题;其次提出了两种基于特征泛化层的网络优化方法,用于提升模型的训练效率以及分类准确率。特征泛化算法的核心在于生成模型的构建以及优化目标的确立。基于隐变量模型,本文在深度神经网络中构建一个特征泛化层作为生成模型,此层结构包含一对双向的参数化映射,构成数据空间与隐变量空间的变换关系。算法采用多目标协同优化的思路定义两个目标函数,分别最小化特征泛化层的生成误差与整个网络的分类误差,反向传播阶段两个目标函数分区域对参数进行更新。本文选取不同规模的样本对网络进行训练,实验结果显示添加特征泛化层后,DNN模型的分类准确率在MNIST数据集上的增幅为0....

【文章页数】：65 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 图像数据的泛化方法
        1.2.2 生成模型的优化结构
            1.2.2.1 单目标函数统一优化
            1.2.2.2 多目标函数联合优化
    1.3 本文主要工作
第2章 基于隐变量模型的特征泛化算法
    2.1 引言
    2.2 特征泛化层构建原理
        2.2.1 隐变量模型
        2.2.2 特征泛化层的结构
        2.2.3 重构随机节点
    2.3 特征泛化算法的双重目标函数
    2.4 特征泛化算法的实现方案
    2.5 实验结果及分析
        2.5.1 手写数字图像
        2.5.2 自然图像中的字符
        2.5.3 计算机合成的字符图像
    2.6 本章小结
第3章 基于特征泛化层的网络优化方法
    3.1 引言
    3.2 多分支并行前向传播优化方法
        3.2.1 深度神经网络中特征图的数据结构
        3.2.2 多分支并行结构
        3.2.3 生成误差目标函数的优化
    3.3 特征图的双通道自适应矫正优化方法
        3.3.1 双通道矫正结构
        3.3.2 加权系数的自适应取值
        3.3.3 目标函数中增添约束项
    3.4 实验结果及分析
        3.4.1 优化前后模型的性能比较
        3.4.2 不同样本数量下两种优化结构适用性的验证
        3.4.3 两种优化结构的训练耗时对比
    3.5 本章小结
第4章 总结与展望
    4.1 总结
    4.2 展望
致谢
参考文献
附录 作者在读期间发表的学术论文及参加的科研项目



本文编号：4055782