基于深度强化学习的旋翼无人机端到端伺服控制研究

发布时间：2021-08-01 16:28

　　无人机集群在军民领域中具有巨大的应用前景,吸引了越来越多的研究人员对其关键技术进行攻关。集群中无人机数量众多,在诸如无人机群自主续航、自主回收等场合,无人机自主降落是集群高效管理的核心技术之一。本课题针对无人机自主降落问题,采用深度强化学习实现鲁棒的无人机自主降落,即在深度强化学习的框架下,以图像作为模型的输入,设计端到端的无人机自主降落伺服控制方法,以提高无人机自主降落的智能化水平。课题的主要研究内容如下:（1）在深度强化学习框架下,设计并实现用于解决无人机自主降落问题的值函数Q-learning学习算法。首先将无人机的降落问题描述为马尔科夫决策过程,将无人机下视图像直接作为无人机状态,离散化动作作为无人机行为,并利用无人机位置信息构建奖励回报函数。借助无人机与环境的交互迭代,完成深度强化学习神经网络的训练,实现无人机自主降落的端到端控制。训练过程包括原始Q-learning算法,3DQN（Dueling-Double-Deep Q-learning Network）算法等。为提高训练速度,加速模型收敛,算法进一步引入外部控制器、使用数据库预训练等方式。仿真验证表明,提出的端对端控制... 

【文章来源】：国防科技大学湖南省 211工程院校 985工程院校

【文章页数】：117 页

【学位级别】：硕士

【部分图文】：

无人机

国防科技大学研究生院硕士学位论文第4页图1.2系留无人机平台(a)AtlasNEST智能无人机场及AtlasPro机场专用无人机(b)Airobotics公司用于续航的机场平台图1.3两种无人机续航管理平台产品示意图无人机集群的回收，是无人机系统在实际应用过程中需要考虑的重点问题，因为无人机的损毁事故80%发生在起降阶段[4]。一般有有遥控降落回收、伞降、空中捕获、跑道滑跑着陆、拦阻网或“天钩”回收、垂直着陆等方法。图1.4是四种经典的回收方式。其中遥控降落回收、跑道滑跑着陆的最后阶段，还需要飞手接管、遥控操作，对于飞机数量众多的无人机集群来说，势必会占用大量人力、物力。伞降、撞网、或者挂索回收过程复杂，操作控制难度大，容易造成无人机损坏。其中垂直降落回收只需要小面积回收场地，不受回收区地形条件的限制。

国防科技大学研究生院硕士学位论文第4页图1.2系留无人机平台(a)AtlasNEST智能无人机场及AtlasPro机场专用无人机(b)Airobotics公司用于续航的机场平台图1.3两种无人机续航管理平台产品示意图无人机集群的回收，是无人机系统在实际应用过程中需要考虑的重点问题，因为无人机的损毁事故80%发生在起降阶段[4]。一般有有遥控降落回收、伞降、空中捕获、跑道滑跑着陆、拦阻网或“天钩”回收、垂直着陆等方法。图1.4是四种经典的回收方式。其中遥控降落回收、跑道滑跑着陆的最后阶段，还需要飞手接管、遥控操作，对于飞机数量众多的无人机集群来说，势必会占用大量人力、物力。伞降、撞网、或者挂索回收过程复杂，操作控制难度大，容易造成无人机损坏。其中垂直降落回收只需要小面积回收场地，不受回收区地形条件的限制。

【参考文献】：
期刊论文
[1]深度学习优缺点的剖析[J]. 孙晖.  电子制作. 2018(18)
[2]深度强化学习研究综述[J]. 赵星宇,丁世飞.  计算机科学. 2018(07)
[3]未来触手可及——AlphaZero学棋记[J]. 陈轶翔.  世界科学. 2018(02)
[4]深度强化学习进展:从AlphaGo到AlphaGo Zero[J]. 唐振韬,邵坤,赵冬斌,朱圆恒.  控制理论与应用. 2017(12)
[5]从监督学习到强化学习,四种深度学习方式原理知多少[J]. 房晓楠.  机器人产业. 2017(04)
[6]深度学习研究与进展[J]. 孙志远,鲁成祥,史忠植,马刚.  计算机科学. 2016(02)
[7]基于Q学习的无人机三维航迹规划算法[J]. 郝钏钏,方舟,李平.  上海交通大学学报. 2012(12)
[8]基于Q学习的变体无人机控制系统设计[J]. 徐小野,李爱军,张丛丛,姚宗信.  西北工业大学学报. 2012(03)
[9]一种基于强化学习的UAV目标搜索算法[J]. 张晶晶,周德云,张堃.  计算机应用研究. 2011(10)
[10]机器学习的主要策略综述[J]. 闫友彪,陈元琰.  计算机应用研究. 2004(07)

硕士论文
[1]多旋翼无人机视觉引导降落研究[D]. 樊珑.哈尔滨工业大学 2016
[2]基于视觉引导的无人直升机自主着舰技术研究[D]. 陈银军.南昌航空大学 2015
[3]基于红外探测器的无人机地基视觉引导着陆关键技术研究[D]. 张宇.国防科学技术大学 2013



本文编号：3315857