基于深度强化学习的异构云无线接入网自适应无线资源分配算法

发布时间：2025-08-12 14:41

　　 为了满足无线数据流量大幅增长的需求,异构云无线接入网(H-CRAN)的资源优化仍然是亟待解决的重要问题。该文在H-CRAN下行链路场景下,提出一种基于深度强化学习(DRL)的无线资源分配算法。首先,该算法以队列稳定为约束,联合优化拥塞控制、用户关联、子载波分配和功率分配,并建立网络总吞吐量最大化的随机优化模型。其次,考虑到调度问题的复杂性,DRL算法利用神经网络作为非线性近似函数,高效地解决维度灾问题。最后,针对无线网络环境的复杂性和动态多变性,引入迁移学习(TL)算法,利用TL的小样本学习特性,使得DRL算法在少量样本的情况下也能获得最优的资源分配策略。此外,TL通过迁移DRL模型的权重参数,进一步地加快了DRL算法的收敛速度。仿真结果表明,该文所提算法可以有效地增加网络吞吐量,提高网络的稳定性。

【文章页数】：10 页

【部分图文】：

图1 H-CRAN下行传输场景

控制器是智能资源管理架构的关键部分，其核心是DRL和TL算法，DRL将强化学习(ReinforcementLearning,RL)与深度学习(DeepLearning,DL)联合起来。如图2所示，控制器根据RL与环境进行交互，再通过DL的非线性近似特征，利用存储的样本对神经网....

图2 系统架构

图1H-CRAN下行传输场景2.3物理层模型

图3 DQN算法框图

其中，分别1阶矩和2阶矩的偏差修正项，再根据偏差修正项来更新估值网络的参数w其中，ψ的取值为10–8，为了获得估值网络的最优权重参数，利用表1所示的算法1训练DQN模型的估值网络。

图4 迁移学习场景图

根据文献[12]中对迁移学习的研究，为了使DRL模型快速地帮助新接入网络的基站处理业务队列拥塞问题，本文采用迁移学习来加速学习的进程。如图4所示，首先，迁移学习将源基站与环境进行交互得到的训练样本迁移到目标基站上，减少了训练时间，同时避免了目标基站由于样本不足导致的过拟合问题；其....

本文编号：4058705