动态系统参数辨识中的奇异性研究

发布时间：2017-04-23 18:03

  本文关键词：动态系统参数辨识中的奇异性研究，由笔耕文化传播整理发布。

【摘要】：诸如神经网络在内的层次网络中普遍存在奇异性。奇异性问题的研究已经成为当前的一个重要发展方向。层次网络中的奇异性导致许多奇异现象发生：Cramer-Rao定理不再成立,极大似然估计不再具有渐近高斯性,收敛速度变得极为缓慢,平坦区现象出现等等。如何降低奇异性影响,加快学习动态中的收敛速度是一项非常有意义的研究课题。本文围绕径向基函数神经网络(MLPs)学习和非线性系统辨识中的奇异性问题,以信息几何方法为基础,提出了应用于RBFs学习和非线性系统辨识中的自适应自然梯度算法。下面将全文的主要工作进行总结：(1)研究了线性系统辨识和非线性系统辨识中的奇异性是否存在的问题。将非线性系统分为两类,并分别对它们辨识中的奇异性存在问题进行研究。就线性系统和关于参数线性的非线性系统辨识而言,在假设噪声是高斯白噪声的情况下,得到这两类系统的Fisher信息矩阵,并证明该信息矩阵在信号是充分激励的条件下始终正定。对关于参数非线性的非线性系统,因为这类系统中包含系统的种类比较多,只能选择常见的某类系统进行分析。通过对噪声信号的假设,得到其Fisher信息矩阵,以及该矩阵退化的区域。对所研究系统,作出了误差变化曲线,观察该曲线中是否存在平坦区现象,以及平坦区现象出现的区域,以验证理论推导。(2)提出了一种应用于RBFs学习的自然梯度学习算法。在假设输入信号是高斯变量的情况下,得到了Fisher信息矩阵。利用Sherman-Morrison公式得到了Fisher信息矩阵的逆矩阵的具体表达式。在隐节点数目较多的情况下,Fisher信息矩阵及其逆矩阵的计算非常困难。本文结合Kalman滤波技巧和一个等式提出了能够应用于RBFs的自适应自然梯度算法。并且将这种方法应用于非线性函数拟合,Mackey-Glass混沌时间序列预测,非线性时变系统辨识等等,与文献资料中的结果对比发现,所提算法能够取得好的学习效果。(3)针对关于参数非线性的非线性系统辨识中出现的奇异性,研究了自然梯度学习算法在该类非线性系统辨识中的应用。在假设输入信号是均匀变量的情况下,得到了Fisher信息矩阵。并利用Sherman-Morrison公式得到了Fisher信息矩阵的逆矩阵的具体表达式。在系统项数较多的情况下,Fisher信息矩阵及其逆矩阵的计算非常困难。另外,在实际问题中,输入信号的概率分布未知,本文结合Kalman滤波技巧和一个等式提出了能够应用于这类关于参数非线性的非线性系统辨识的自适应自然梯度学习算法。通过数值仿真发现,所提算法能够有效降低奇异性影响,加快学习动态,取得好的辨识结果。(4)针对混合高斯模型中出现的奇异性,本章研究了自然梯度学习算法在该类模型中的应用。在假设x是高斯变量的情况下,得到了Fisher信息矩阵,利用Sherman-Morrison公式得到了Fisher信息矩阵的逆矩阵的具体表达式。在高斯分量较多的情况下,Fisher信息矩阵及其逆矩阵的计算非常困难。为了克服自然梯度学习算法的执行困难,本文提出了能够应用于混合高斯模型的自适应自然梯度学习算法。
【关键词】：奇异性 平坦区现象 学习机器 层次模型 非线性系统辨识 自然梯度算法 自适应自然梯度法 Mackey-Glass混沌时间序列 混合高斯模型
【学位授予单位】：东南大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：N945.14
【目录】：

• 摘要4-6
• Abstract6-11
• 第一章 绪论11-25
• 1.1 课题的研究背景、目的和意义11-15
• 1.1.1 研究背景11-13
• 1.1.2 研究目的和意义13-15
• 1.2 动态系统辨识中的奇异性问题的发展概况15-21
• 1.2.1 动态系统辨识中的奇异性问题的研究现状15-18
• 1.2.2 加速动态系统学习问题的研究现状18-21
• 1.3 本文的主要研究内容与结构安排21-25
• 1.3.1 论文的主要研究内容21-22
• 1.3.2 论文的结构安排22-25
• 第二章 动态系统辨识中的奇异性25-43
• 2.1 引言25-28
• 2.2 参数动态系统的分类28-31
• 2.2.1 线性动态系统28-29
• 2.2.2 非线性动态系统29-31
• 2.3 学习模式和FISHER信息矩阵31-33
• 2.3.1 学习模式和梯度下降法31-32
• 2.3.2 Fisher信息矩阵32-33
• 2.4 各类动态系统辨识过程中的奇异性33-38
• 2.4.1 线性动态系统辨识中的奇异性33-34
• 2.4.2 非线性动态系统的奇异性34-38
• 2.5 数值仿真38-40
• 2.6 小结40-43
• 第三章 应用于径向基函数神经网络的自然梯度学习算法43-65
• 3.1 引言43-45
• 3.2 径向基函数神经网络和Fisher信息矩阵45-48
• 3.2.1 径向基函数神经网络模型45
• 3.2.2 Fisher信息矩阵45-48
• 3.3 自然梯度学习算法48-53
• 3.4 自适应自然梯度学习算法53-54
• 3.5 仿真结果54-63
• 3.5.1 非线性函数拟合(一)54-56
• 3.5.2 非线性函数拟合(二)56-58
• 3.5.3 Mackey-Glass混沌时间序列预测58-61
• 3.5.4 非线性时变系统逼近61-63
• 3.6 小结63-65
• 第四章 应用于非线性系统参数辨识的自然梯度学习算法65-75
• 4.1 引言65-66
• 4.2 一类典型非线性系统和FISHER信息矩阵66-70
• 4.2.1 一类典型的非线性系统66-67
• 4.2.2 Fisher信息矩阵67-70
• 4.3 自然梯度学习算法70-72
• 4.4 数值仿真72-74
• 4.5 小结74-75
• 第五章 应用于混合高斯模型的自然梯度学习算法75-87
• 5.1 引言75-77
• 5.2 Fisher信息矩阵77-80
• 5.3 自然梯度学习算法80-84
• 5.4 数值仿真84-86
• 5.4.1 仿真实例(一)84-86
• 5.5 小结86-87
• 第六章 结论与展望87-91
• 6.1 本文的主要工作87-88
• 6.2 展望88-91
• 参考文献91-107
• 致谢107-109
• 攻读博士学位期间发表的学术论文109

【相似文献】

中国期刊全文数据库 前10条

1 屈超纯,唐鸣放;一类拟线性双曲型方程初始问题的奇异性[J];云南大学学报(自然科学版);1989年02期

2 牛焱洲;张水文;;具有任意阶奇异性的有限单元的研究[J];华北水利水电学院学报;1992年02期

3 金栋平,陈予恕;滞后非线性系统的分岔和奇异性[J];天津大学学报;1997年03期

4 V.I.Arnol'd,朱照宣;数学和力学中的分叉和奇异性[J];力学进展;1989年02期

5 朱星星;论一个生成的电磁解的奇异性和视界[J];湘潭师范学院学报;1996年03期

6 云中客;太阳光的奇异性能[J];物理;2005年01期

7 王晶囡;郭爽;;综合国力模型的Bogdanov-Takens奇异性[J];哈尔滨理工大学学报;2012年04期

8 刘生春,白少民;分布源模型下源区电场的奇异性探析[J];延安大学学报(自然科学版);1996年04期

9 赵芬霞;广义Fuzzy数值测度的绝对连续性和奇异性探讨[J];中国民航学院学报;2003年03期

10 胡岗;;积分核的奇异性和反问题(英文)[J];北京师范大学学报(自然科学版);1993年04期

中国重要会议论文全文数据库 前5条

1 秦志英;陆启韶;;非光滑分岔的规范形映射及C-分岔分析[A];第十一届全国非线性振动学术会议暨第八届全国非线性动力学和运动稳定性学术会议论文摘要集[C];2007年

2 秦志英;陆启韶;;非光滑分岔的规范形映射及C-分岔分析[A];第十一届全国非线性振动学术会议暨第八届全国非线性动力学和运动稳定性学术会议论文集[C];2007年

3 黄锦辉;夏云庆;;中文聊天语言的奇异性与动态性研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

4 胡宝群;吕古贤;王方正;孙占学;李满根;白丽红;;一种孕育模式:岩石圈中水的临界奇异性与断裂的耦合[A];中国科学技术协会2008防灾减灾论坛论文集[C];2008年

5 陈梦成;平学成;朱剑军;;压电-异材结合材料切口/接头端部反平面奇异性[A];第二届全国压电和声波理论及器件技术研讨会摘要集[C];2006年

中国博士学位论文全文数据库 前1条

1 赵军圣;动态系统参数辨识中的奇异性研究[D];东南大学;2015年

中国硕士学位论文全文数据库 前4条

1 路凯;实扩张矩阵下一些自仿测度的非谱性与奇异性研究[D];陕西师范大学;2014年

2 祁陆乔;正交各向异性压电楔形结构反平面变形状态下电弹场的奇异性[D];石家庄铁道大学;2013年

3 郑冬云;次线性Liénard方程和具有奇异性Duffing方程周期解的存在性[D];首都师范大学;2005年

4 孙慧贤;图的零度和奇异性的进一步研究[D];江西师范大学;2011年

  本文关键词：动态系统参数辨识中的奇异性研究，由笔耕文化传播整理发布。

，

本文编号：322775