基于强化学习的半主动悬架控制策略研究

发布时间：2020-05-31 02:51

【摘要】：随着人们对汽车的舒适性与安全性的要求不断提高,汽车智能化与人性化成为汽车的发展趋势之一。汽车的智能化依赖于汽车控制、交通、人工智能、通信及网络技术等领域融合,解决汽车的舒适性问题首先要从汽车悬架控制方向入手,为更好的实现衰减和隔离振动,实现不同路况下的舒适性与个性化的驾驶乘坐需求。随着人工智能在汽车领域内的更多应用,为半主动悬架控制系统提供了新的思路和解决方案,因此有必要对半主动悬架控制展开新的探索。本文根据强化学习的基本概念,研究了强化学习控制策略。应用MTS850试验台进行减振器的示功特性和速度特性研究。目前主要的半主动悬架控制算法包含经典的控制算法,智能控制算法以及现代控制算法,但仍未解决半主动悬架模型的非线性特性造成的动力学描述不够精确等问题,即使描述精确,也需要大量的状态观测量,这些都是制约半主动悬架控制系统发展的困难。本文采用机器学习算法,减少了状态观测量,减少了模型中的参数,从大量的数据中构建模型,因此有效的避免了模型表达的不精确等问题。悬架半主动控制面向传统控制算法改进难度较大。本文根据汽车悬架性能评价,设计了应用于强化学习的半主动悬架控制系统评价方法。研究不同路面输入模型的特征,将这些路面输入模型应用于半主动悬架控制仿真与实验路况。悬架的特性参数,设计了基于强化学习的半主动悬架控制策略,实现了半主动悬架控制的优化。本文主要研究内容与结论如下:1.分析强化学习主要的原理及主要的控制算法,对比不同种类的强化学习控制算法,建立基于强化学习的半主动悬架控制策略。2.对磁流变减振器的外特性使用减振器测试试验台进行试验,研究试验方法及实验操作。根据测试曲线分析磁流变减振器特性。在外特性测试的基础上,根据减振器的正模型模拟外特性曲线,使用强化学习控制算法搭建减振器逆模型并进行验证。3.建立了半主动悬架系统的模型,根据不同的悬架参数分析对悬架传递特性的影响,引入到强化学习控制算法中。研究不同控制算法的半主动悬架控制策略,包含了传统的控制算法以及强化学习控制策略,分别这几种强化学习控制算法。分析不同的参数对强化学习算法的影响,及控制效果。进行半主动悬架控制策略仿真,在不同路面的激励下,包括随机路面和凸块路面的仿真输入,并对仿真结果进行时域和频域分析。4.设计四分之一悬架模拟试验台,减振器夹具,传感器定位等原件,并对对应的元件进行标定等。通过试验台对不同算法进行试验,对比不同的控制算法对控制效果的影响,包括天棚控制算法、地棚控制算法以及强化学习控制算法。可以得到基于强化学习的半主动悬架控制策略性能要优于经典控制算法。实验结果表明基于强化学习的半主动悬架控制策略能有效的提高车辆的舒适性和操纵稳定性。
【图文】：

机器学习,动态规划方法,性学,智能控制算法

1.1 机器学习与强化学习之间的关复执行，经验的积累会带来计算机性学习已在自适应控制、调度管理、，，受到了众多学者的重视[1]。模型未知的复杂线性系统最优控制结合形成了自适应动态规划理ADP 使用 Actor-Critic 结构，以神经有学习和优化能力的智能控制算法领域有丰富的理论研究成果。实际应立摆系统，而且在复杂的机器人规划例。出了关于动态规划方法，再有 Bell

策略改进,伪代码,策略,新策略

图 2.3 策略评估伪代码（2）策略改进根据状态价值得到新策略，被称为策略改进 (Policy Improvement)。对于每一个状态s，让策略选择一个动作 a,使得到当前状态的价值 ( ), ,ss a s a ts SR T V s + 最大，即( )( )( ), ,1, ,1 arg max0 arg maxss a s a tas Siss a s a tas Sa R T V ss aa R T V s + + + + ………………(2.10)这种新策略优于旧策略，策略改进算法图 2.4 所示。
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：U463.33

【参考文献】