深度学习中三步加速梯度算法研究

发布时间：2025-03-15 03:33

　　在训练机器学习和深度学习的模型时,梯度下降算法是一个用得非常广泛的优化方法。然而梯度下降算法收敛速度非常慢,因此许许多多的加速算法被提出用来加快收敛速度,比如动量法(momentum)。基于梯度下降算法、Polyak动量算法和Nesterov加速梯度算法的研究,本论文发现当目标函数是比较简单的二次函数情形时,它们都可以由同一初始点收敛到最优点,只是收敛步数不同而已。结合二次函数收敛性质,Nesterov加速梯度算法迭代步骤中的姐妹序列,以及神经网络中的平行切线法,我们提出了三步加速梯度算法。同Nesterov加速梯度算法不同的是,我们的算法拥有三个序列而不是姐妹序列。通过二次函数的实验我们得出三步加速梯度算法比其它三种算法收敛步数都要少。我们又将二次函数的维数增高许多来验证我们算法的优越性。我们还将其扩展到非二次函数情形,采用了 CUTE函数集中的FLETCHCR函数,结果显示我们算法的收敛速度更快,动量参数的取值范围也更广,即算法更稳健。然后我们将三步加速梯度算法融入到深度学习反向传播算法和随机梯度算法中,重写了 R软件包neuralnet,命名为supneuralnet。利用supn...

【文章页数】：103 页

【学位级别】：博士

【文章目录】：
摘要
ABSTRACT
主要符号对照表
第一章 引言
    1.1 背景概述
    1.2 研究现状
    1.3 本文内容
第二章 三步加速梯度算法
    2.1 梯度下降算法
    2.2 Polyak动量算法
    2.3 Nesterov加速梯度算法
    2.4 三步加速梯度算法
    2.5 案例研究
        2.5.1 高维二次函数
        2.5.2 FLETCHCR函数
第三章 深度学习中三步加速梯度算法
    3.1 深度学习简介
        3.1.1 深度学习发展历程
        3.1.2 XOR问题
    3.2 前馈神经网络
    3.3 反向传播算法
    3.4 反向传播三步加速梯度算法
        3.4.1 三种反向传播加速算法
        3.4.2 R语言程序包supneuralnet开发
第四章 基于BPTAG算法的案例研究
    4.1 鸢尾花数据分析
        4.1.1 数据准备
        4.1.2 算法训练
        4.1.3 算法预测
        4.1.4 结果分析
    4.2 螺旋数据分析
        4.2.1 数据准备
        4.2.2 算法训练
        4.2.3 算法预测和结果分析
第五章 深度学习中三步加速随机梯度算法
    5.1 随机梯度算法简介
    5.2 反向传播三步加速随机梯度算法
    5.3 基于BPTASG算法的鸢尾花数据分类
        5.3.1 算法训练
        5.3.2 算法预测
        5.3.3 结果分析
    5.4 基于BPTASG算法的螺旋数据分类
        5.4.1 算法训练
        5.4.2 算法预测和结果分析
结论
参考文献
致谢
在学期间的研究成果及发表的论文



本文编号：4035093