城市交通路口信号灯自适应控制研究

发布时间：2023-09-29 00:45

　　城市交通拥堵带来诸如空气污染、效率低下、出行成本提高等一系列社会问题,如何提高通行效率一直是交通管理部门面临的重要课题。目前,城市中多数交通信号系统仍停留在单个红绿灯固定时间交替变换阶段,缺乏实时感知交通现状能力和交通网全局智能控制手段。已有的解决方法存在算法学习时间长,控制效果不佳的问题。针对这些问题,本文提出了一种自适应的交通信号灯网智能控制模型。该模型采用基于异步多智能体的深度强化学习算法,使用多个智能体同时学习城市交通路口信号控制,以提高多交通控制节点构成的全局交通网络自动控制模型的训练效率。该模型的优点还有,改进了自适应交通控制系统当中所使用的深度强化学习的奖励函数,是的奖励函数在刚开始训练的时候较为关注单个交通路口的学习情况,随着训练的进行,自适应交通控制系统更加倾向于优化整个交通路网的通行效率,从而最大程度提高整个交通网覆盖地区的通行效率。利用开源的交通模拟软件sumo作为仿真实验平台,将本文提出的基于异步多智能体深度强化学习算法的模型与传统的深度Q学习的算法进行了对比实验。实验结果表明,本文使用的异步多智能体深度强化学习算法相比于深度Q学习算法在算法的收敛速度和交通路网...

【文章页数】：56 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 固定信号阶段
        1.2.2 使用传感器阶段
        1.2.3 人工智能控制阶段
    1.3 主要研究内容及结构安排
        1.3.1 主要研究内容
        1.3.2 结构安排
    1.4 本章小结
第2章 相关技术
    2.1 交通信号控制方式
    2.2 自适应控制方法
    2.3 深度强化学习
        2.3.1 强化学习
        2.3.2 深度学习
        2.3.3 深度强化学习
    2.4 本章小结
第3章 交通信号网智能控制模型
    3.1 问题描述
        3.1.1 城市交通信号控制系统
        3.1.2 多信号网控制的马尔可夫决策过程
    3.2 基于异步多智能体深度强化学习的控制模型
        3.2.1 自适应控制模型结构
        3.2.2 模型的实现过程
        3.2.3 异步多智能体强化深度学习算法(A3C)描述
    3.3 本章小结
第4章 异步多智能体交通信号控制实验
    4.1 实验原理
    4.2 深度Q学习
    4.3 实验环境
        4.3.1 硬件配置
        4.3.2 软件配置
        4.3.3 仿真平台sumo
    4.4 实验组织
        4.4.1 单路口交通路网
        4.4.2 多路口交通路网
    4.5 实验流程
    4.6 对比实验方案
    4.7 实验结果分析
    4.8 本章小结
第5章 改进奖励函数的交通信号网控制模型
    5.1 问题描述
    5.2 奖励函数的改进
    5.3 实验与结果分析
        5.3.1 多路口交通路网
        5.3.2 实验结果分析
    5.4 本章小结
总结与展望
参考文献
攻读硕士学位期间所发表的学术论文
致谢



本文编号：3848947