基于模型集成深度强化学习的智能车决策控制研究
发布时间：2021-04-29 11:43
随着计算机运算性能的持续提升,人工智能得到了极大发展,在很多领域的应用中表现不俗。智能车是目前车辆发展的方向,而决策控制是其最重要的关键技术之一,实现智能车的普及,必须解决其决策控制问题。在智能车决策控制领域中,深度强化学习（DRL）相比较于传统的基于规则的方法具有很多优点,基于规则的决策控制策略制定相当繁琐,并且难以考虑复杂驾驶环境中的所有问题,因此其适应性差,而DRL算法可以避免这些问题。本文将DRL算法应用于智能车技术研究,旨在解决智能车在连续动作空间的决策控制问题。首先设计了可以应用于智能车决策控制领域的经验分类深度确定性策略梯度（ECDDPG）算法。分析人类在驾驶过程中如何对当前驾驶环境进行决策,并比较其与DRL算法在决策表现中的异同性。基于深度确定性策略梯度（DDPG）的算法框架,针对其训练过程不稳定,训练时间长,收敛速度慢的缺点,进行了相关改进。引入了车辆动力学模型,用于判断智能体在与环境交互过程中产生样本的合理性。对经验回放池进行了分类,分别存放不同种类的经验样本,智能体也会从中学习,学习后的策略会避免产生不合理的和危险的动作。对产生的经验样本进行优先级排序,优先学习质...
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：97 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
abstract
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 深度强化学习技术研究现状
1.2.2 深度强化学习应用在智能车的研究现状
1.3 本文主要研究内容
1.3.1 主要研究内容
1.3.2 章节安排
第二章 深度强化学习与车辆建模
2.1 强化学习
2.1.1 强化学习基本概念
2.1.2 基于值函数的算法
2.1.3 基于策略梯度的算法
2.2 深度学习
2.2.1 人工神经网络
2.2.2 训练方法
2.2.3 深度神经网络
2.3 深度强化学习算法
2.3.1 深度Q网络算法
2.3.2 深度确定性策略梯度算法
2.4 车辆动力学模型
2.4.1 纵向动力学分析
2.4.2 横向动力学分析
2.5 本章小结
第三章 模型集成深度强化学习算法设计
3.1 智能车决策控制问题的分析
3.2 智能车运动控制
3.2.1 车辆动力学模型集成的经验分类
3.2.2 经验优先级回放策略
3.2.3 智能车运动控制算法的具体设计
3.3 复杂环境下智能车决策控制
3.3.1 分层决策控制架构
3.3.2 智能车决策算法的具体设计
3.4 本章小结
第四章 智能车决策控制仿真系统架构设计
4.1 仿真环境
4.1.1 TORCS仿真平台
4.1.2 交互通讯设计
4.1.3 状态空间
4.1.4 动作空间
4.2 智能车仿真系统架构
4.3 本章小结
第五章 仿真实验与结果分析
5.1 实验环境信息
5.2 策略网络设计
5.3 奖励函数设计
5.4 实验结果分析
5.4.1 算法效率分析
5.4.2 奖励函数分析
5.4.3 泛化性能分析
5.5 驾驶行为决策模型效果验证
5.5.1 奖励函数分析
5.5.2 模型降维分析
5.6 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
参考文献
攻读硕士学位期间的学术活动及成果情况
【参考文献】：
期刊论文
[1]基于DDPG的无人车智能避障方法研究[J]. 徐国艳,宗孝鹏,余贵珍,苏鸿杰. 汽车工程. 2019(02)
[2]改进DDPG算法在自动驾驶中的应用[J]. 张斌,何明,陈希亮,吴春晓,刘斌,周波. 计算机工程与应用. 2019(10)
[3]基于值函数和策略梯度的深度强化学习综述[J]. 刘建伟,高峰,罗雄麟. 计算机学报. 2019(06)
[4]基于MAS的驾驶行为决策模型的研究[J]. 徐亮,张自力. 计算机工程与科学. 2010(05)
博士论文
[1]从虚拟到现实的智能车辆深度强化学习控制研究[D]. 杨顺.吉林大学 2019
[2]强化学习样本效率理论研究[D]. 张良鹏.中国科学技术大学 2018
[3]极限工况下自动驾驶车辆的轨迹规划与运动控制[D]. 张放.清华大学 2018
[4]智能驾驶车辆自主决策与规划的增强学习方法研究[D]. 左磊.国防科学技术大学 2016
[5]无人驾驶车辆运动障碍物检测、预测和避撞方法研究[D]. 辛煜.中国科学技术大学 2014
硕士论文
[1]融合时空特征的端到端驾驶决策算法及仿真实现[D]. 梁黄黄.电子科技大学 2019
[2]基于人工神经网络的智能汽车循迹控制研究[D]. 李子龙.合肥工业大学 2019
[3]基于深度强化学习的无人驾驶智能决策控制研究[D]. 左思翔.哈尔滨工业大学 2018
[4]基于连续空间强化学习的类人纵向速度规划控制研究[D]. 陈昕.北京理工大学 2017
本文编号：3167465
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：97 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
abstract
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 深度强化学习技术研究现状
1.2.2 深度强化学习应用在智能车的研究现状
1.3 本文主要研究内容
1.3.1 主要研究内容
1.3.2 章节安排
第二章 深度强化学习与车辆建模
2.1 强化学习
2.1.1 强化学习基本概念
2.1.2 基于值函数的算法
2.1.3 基于策略梯度的算法
2.2 深度学习
2.2.1 人工神经网络
2.2.2 训练方法
2.2.3 深度神经网络
2.3 深度强化学习算法
2.3.1 深度Q网络算法
2.3.2 深度确定性策略梯度算法
2.4 车辆动力学模型
2.4.1 纵向动力学分析
2.4.2 横向动力学分析
2.5 本章小结
第三章 模型集成深度强化学习算法设计
3.1 智能车决策控制问题的分析
3.2 智能车运动控制
3.2.1 车辆动力学模型集成的经验分类
3.2.2 经验优先级回放策略
3.2.3 智能车运动控制算法的具体设计
3.3 复杂环境下智能车决策控制
3.3.1 分层决策控制架构
3.3.2 智能车决策算法的具体设计
3.4 本章小结
第四章 智能车决策控制仿真系统架构设计
4.1 仿真环境
4.1.1 TORCS仿真平台
4.1.2 交互通讯设计
4.1.3 状态空间
4.1.4 动作空间
4.2 智能车仿真系统架构
4.3 本章小结
第五章 仿真实验与结果分析
5.1 实验环境信息
5.2 策略网络设计
5.3 奖励函数设计
5.4 实验结果分析
5.4.1 算法效率分析
5.4.2 奖励函数分析
5.4.3 泛化性能分析
5.5 驾驶行为决策模型效果验证
5.5.1 奖励函数分析
5.5.2 模型降维分析
5.6 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
参考文献
攻读硕士学位期间的学术活动及成果情况
【参考文献】：
期刊论文
[1]基于DDPG的无人车智能避障方法研究[J]. 徐国艳,宗孝鹏,余贵珍,苏鸿杰. 汽车工程. 2019(02)
[2]改进DDPG算法在自动驾驶中的应用[J]. 张斌,何明,陈希亮,吴春晓,刘斌,周波. 计算机工程与应用. 2019(10)
[3]基于值函数和策略梯度的深度强化学习综述[J]. 刘建伟,高峰,罗雄麟. 计算机学报. 2019(06)
[4]基于MAS的驾驶行为决策模型的研究[J]. 徐亮,张自力. 计算机工程与科学. 2010(05)
博士论文
[1]从虚拟到现实的智能车辆深度强化学习控制研究[D]. 杨顺.吉林大学 2019
[2]强化学习样本效率理论研究[D]. 张良鹏.中国科学技术大学 2018
[3]极限工况下自动驾驶车辆的轨迹规划与运动控制[D]. 张放.清华大学 2018
[4]智能驾驶车辆自主决策与规划的增强学习方法研究[D]. 左磊.国防科学技术大学 2016
[5]无人驾驶车辆运动障碍物检测、预测和避撞方法研究[D]. 辛煜.中国科学技术大学 2014
硕士论文
[1]融合时空特征的端到端驾驶决策算法及仿真实现[D]. 梁黄黄.电子科技大学 2019
[2]基于人工神经网络的智能汽车循迹控制研究[D]. 李子龙.合肥工业大学 2019
[3]基于深度强化学习的无人驾驶智能决策控制研究[D]. 左思翔.哈尔滨工业大学 2018
[4]基于连续空间强化学习的类人纵向速度规划控制研究[D]. 陈昕.北京理工大学 2017
本文编号：3167465
本文链接：https://www.wllwen.com/guanlilunwen/lindaojc/3167465.html
