基于强化学习的植入式脑机接口神经信息解码：算法设计及应用

发布时间：2017-03-21 22:00

  本文关键词：基于强化学习的植入式脑机接口神经信息解码：算法设计及应用，，由笔耕文化传播整理发布。

【摘要】：脑机接口直接将大脑的运动信息解析成外部设备的控制指令,实现了大脑与外界环境的直接交互,为残障患者重建运动功能提供了一种新的途径。目前主要的神经解码算法分为基于监督学习和基于强化学习两大类。相比于基于监督学习的解码模型,基于强化学习的神经解码的特点在于：(1)无需实际的用户肢体行为数据；(2)允许用户通过试错的方式学会动态地操控外部设备。这类解码算法可以追踪到时变的神经活动,并实现用户和解码器的相互适应,能够保持长期稳定的解码性能。目前,该方向的研究主要集中在离散、简单的任务上。但是,脑机接口任务日益复杂多样,传统的强化学习算法难以满足其解码要求,而尚无针对复杂任务的强化学习解码算法的相关研究报道。本文研究基于强化学习的神经解码关键技术,聚焦于连续、复杂任务中状态-动作空间大而探索困难,时间信用分配导致学习速度慢,以及神经信号中混有噪声导致自适应解码性能降低等存在的难点问题。针对上述挑战,本文采用高效的强化学习算法探索复杂的神经状态-动作空间,重建连续的运动轨迹；结合核自适应滤波器理论,设计新的解码算法实现非线性解码的全局最优解；引入相关熵抑制噪声对自适应解码性能的影响,从而实现鲁棒、稳定的神经解码。本文的主要研究内容及创新点如下：1.针对复杂神经状态-动作空间中探索困难的问题,本文提出采用attention gated reinforcement learning (AGREL)算法预测center-out任务中连续的2D摇杆轨迹。AGREL利用即时奖赏更新参数而不易受初始值影响,以及softmax策略依据概率选择最优与次优动作以避免解码性能的波动。与传统的Q学习算法相比,AGREL将预测轨迹和真实轨迹之间的相关系数提高了5.88%,均方误差则降低了41.66%,平均总目标到达率提高了28.01%。此外,相比于静态模型,自适应的AGREL保持多数据段的解码精度在85%以上,延长了脑机接口系统的使用时间。2.针对以往方法只分配时间信用而导致训练时间过长的问题,本文提出空间信用分配,实现在多物体的复杂环境中区分潜在目标。结合AGREL高效的误差信号机制与核自适应滤波器理论,本文首次设计了quantized attention gated reinforcement learning (QAGKRL)算法,实现非线性神经解码的全局最优解。该算法还利用量化方法压缩神经网络的拓扑结构以降低计算复杂度。与AGREL相比,QAGKRL在避障任务中的平均成功率显著提高,保证了解码的准确性和稳定性。3. 针对由神经信号中噪声降低解码精度的问题,本文引入最大相关熵准则作为AGREL和QAGKRL的优化函数,能够降低解码模型对异常值等噪声的敏感性,从而提高解码性能。基于最大相关熵准则的AGREL和QAGKRL在避障任务中的平均总成功率分别提高了12.56%和6.08%。综上所述,本文尝试解决了基于强化学习的脑机接口中连续、复杂任务的神经状态-动作空间探索困难问题、空间信用分配问题以及神经信号的降噪问题。本文深入探索了一系列基于强化学习的解码算法,并应用于复杂多样的任务,实现了稳定、鲁棒的神经解码,为脑机接口的未来发展打下了坚实的基础。
【关键词】：脑机接口 神经解码 强化学习算法 空间信用分配 最大相关熵准则
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：R318;TP181
【目录】：

• 摘要5-7
• Abstract7-15
• 1. 绪论15-37
• 1.1 脑机接口简介15-21
• 1.1.1 脑机接口概述15-17
• 1.1.2 研究现状17-21
• 1.2 互适应脑机接口21-33
• 1.2.1 大脑神经元的可塑性22-25
• 1.2.2 适应脑机接口系统25-33
• 1.3 研究内容与目标33-35
• 1.4 论文结构安排35-37
• 2. 实验设计及信号采集及处理37-57
• 2.1 动物行为学实验37-41
• 2.1.1 实验对象37-38
• 2.1.2 基于大鼠的离散行为学实验38-39
• 2.1.3 基于猴子的连续行为学实验39-40
• 2.1.4 基于猴子的复杂行为学实验40-41
• 2.2 神经/行为信号采集41-49
• 2.2.1 微电极阵列41-42
• 2.2.2 信号采集42-45
• 2.2.3 神经信号预处理45-49
• 2.3 基于强化学习的BMI解码49-56
• 2.3.1 强化学习简介49-53
• 2.3.2 基于Q学习的BMI仿真53-56
• 2.4 本章小结56-57
• 3. 针对空间高效探索的AGREL研究及连续追踪任务应用57-79
• 3.1 AGREL介绍57-59
• 3.2 网格追踪任务应用59-62
• 3.3 基于AGREL的在线解码系统62-66
• 3.4 AGREL在center-out任务连续预测66-78
• 3.4.1 连续解码预处理67-70
• 3.4.2 连续轨迹的预测及分析70-78
• 3.5 本章小结78-79
• 4. 基于空间信用分配的QAGKRL设计及避障任务应用79-103
• 4.1 QAGKRL80-88
• 4.1.1 核方法简介80-81
• 4.1.2 QAGKRL学习框架81-87
• 4.1.3 系数变化的均值和方差分析87-88
• 4.2 QAGKRL在仿真实验的应用88-91
• 4.2.1 异或和计数任务88-89
• 4.2.2 网格追踪任务89-91
• 4.3 QAGKRL在避障任务的应用91-102
• 4.3.1 神经网络设置91-95
• 4.3.2 预测及分析95-102
• 4.4 本章小结102-103
• 5. 基于相关熵降噪的RL算法设计及避障任务应用103-117
• 5.1 CAGREL和C-QAGKRL103-107
• 5.1.1 相关熵及最大相关熵准则103-105
• 5.1.2 CAGREL和C-QAGKRL105-107
• 5.2 网格追踪任务应用107-110
• 5.2.1 核宽度的选择107-108
• 5.2.2 实验结果分析108-110
• 5.3 避障任务的解码及分析110-115
• 5.4 本章小结115-117
• 6. 总结与展望117-121
• 6.1 工作总结117-119
• 6.2 工作展望119-121
• 参考文献121-135
• 攻读博士学位期间主要研究成果135-137
• 致谢137-138

【参考文献】

中国博士学位论文全文数据库 前1条

1 张巧生;基于猴子M1区的腕部解码系统研究[D];浙江大学;2012年

  本文关键词：基于强化学习的植入式脑机接口神经信息解码：算法设计及应用，由笔耕文化传播整理发布。

本文编号：260332