有限精度信息熵的性质及其应用的研究

发布时间：2017-10-26 14:00

  本文关键词：有限精度信息熵的性质及其应用的研究

  更多相关文章： 不确定性 微分熵 有限精度信息熵 测量信息 模糊集合 证据理论

【摘要】： 信息论是人们在长期通信工程的实践中,由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。自1948年Shannon发表了著名的论文“通信的数学原理”为信息论奠定了理论基础以来,信息论作为通信系统的理论基础,指导着通信理论的发展。以通信理论为核心的经典信息论所涉及的内容早已超越了狭义的通信工程范畴,进入了新兴的信息科学领域。 信息熵是信息理论的基本概念之一,并有离散信息熵和连续信息熵之分。离散信息熵具有良好的性质,如非负性、量纲一致性、坐标变换不变性等;但是连续信息熵是发散的,而去除了无限大项所得到的微分熵,则不具有离散信息熵的良好性质。针对微分熵的不足,许多学者作出了改进工作。有限精度的信息熵是改进微分熵的一种尝试。它消除了微分熵的不足并实现了连续与离散信息熵的统一。 本文首先介绍了鉴别信息、基于方差的连续信息熵、Renyi熵、Kolmogorov复杂度和加权熵等对Shannon信息熵的改进工作。接着,介绍了有限精度函数理论以及有限精度的概率和信息熵的定义。进而,研究了有限精度信息熵的基本性质以及有限精度测量信息系统中的数学建模,导出了平均互信息的表达式并揭示了有限精度的信息传输理论的基本内涵。最后,讨论了有限精度信息熵与不确定性分析理论如证据理论、模糊集合理论和可能性理论中对不确定性度量的区别与联系。阐述了有限精度的概率与信息理论中的概率关联和非概率关联与其它不确定性理论中的冲突和非特异性之间的某种对应关系。 本文的结果将为基于概率的经典信息论以及广义信息论的进一步的研究工作提供一定的参考与借鉴的作用。
【关键词】：不确定性 微分熵 有限精度信息熵 测量信息 模糊集合 证据理论
【学位授予单位】：东华大学
【学位级别】：硕士
【学位授予年份】：2008
【分类号】：F224;F062.5
【目录】：

• 摘要5-7
• ABSTRACT7-10
• 目录10-13
• 第一章 绪论13-19
• 1.1 引言13-14
• 1.2 课题研究的背景14-17
• 1.2.1 信息熵概念的提出14-15
• 1.2.2 信息熵定义的改进15-16
• 1.2.3 有限精度的概率与信息熵16-17
• 1.3 本文主要研究内容17-18
• 1.4 论文组织结构18-19
• 第二章 信息熵19-43
• 2.1 信息与不确定性19-22
• 2.1.1 信息19-20
• 2.1.2 不确定性20-22
• 2.2 信息论的基本概念22-31
• 2.2.1 信息熵及其性质22-27
• 2.2.2 联合信息熵27-28
• 2.2.3 条件熵28-29
• 2.2.4 互信息29-30
• 2.2.5 信道容量30-31
• 2.3 微分熵的不足31-32
• 2.4 微分熵的意义32-33
• 2.5 信息熵定义的改进工作33-41
• 2.5.1 鉴别信息33-35
• 2.5.2 基于方差的连续信息熵35-37
• 2.5.3 Renyi熵37-38
• 2.5.4 Kolmogorov复杂度38-40
• 2.5.5 加权熵40-41
• 2.5.6 其它改进的信息熵41
• 2.6 本章小结41-43
• 第三章 有限精度信息熵性质的研究43-55
• 3.1 有限精度函数理论43-46
• 3.2 有限精度的概率46-51
• 3.2.1 连续随机变量的非概率关联46-48
• 3.2.2 有限精度的概率定义48-51
• 3.3 有限精度信息熵的定义51
• 3.4 有限精度信息熵的性质51-54
• 3.4.1 连续和离散信息熵的统一性53
• 3.4.2 不确定性参数的物理意义53-54
• 3.5 本章小结54-55
• 第四章 有限精度的测量信息系统55-65
• 4.1 测量系统的模型56-60
• 4.1.1 有限精度的测量系统模型57-59
• 4.1.2 测量系统的取值精度59-60
• 4.2 测量过程的熵分析60-61
• 4.3 测量的算例61-63
• 4.3.1 算例62
• 4.3.2 结果分析62-63
• 4.4 本章小结63-65
• 第五章 广义信息熵与有限精度信息熵的关系65-81
• 5.1 证据理论中的不确定性测度65-71
• 5.1.1 基本概念66-67
• 5.1.2 非特异性的度量67-68
• 5.1.3 冲突的度量68-69
• 5.1.4 总体不确定度69
• 5.1.5 与有限精度信息熵之间的关系69-71
• 5.2 模糊集合上的不确定性测度71-75
• 5.2.1 基本概念71-72
• 5.2.2 模糊集合论中的不确定度72-74
• 5.2.3 模糊测度与有限精度信息熵的关系74-75
• 5.3 可能性理论中的不确定性测度75-79
• 5.3.1 基本概念75-77
• 5.3.2 非特异性不确定度77
• 5.3.3 可能性测度与有限精度信息熵的关系77-79
• 5.4 本章小结79-81
• 第六章 结束语81-83
• 参考文献83-89
• 附录89-93
• 附录1 凸域89
• 附录2 凸函数89-90
• 附录3 詹森不等式90
• 附录4 微分熵不具有坐标变换不变性的证明90-91
• 附录5 基于方差的连续信息熵坐标变换性的证明91-93
• 攻读硕士学位期间已发表或录用投稿的论文93
• 攻读硕士学位期间参加的科研项目93-95
• 致谢95

【参考文献】

中国期刊全文数据库 前10条

1 陈丽英;略论信息论在误差理论中的应用[J];长春邮电学院学报;1999年02期

2 肖明珠;陈光(礻禹);;测量信息的计算[J];电子测量与仪器学报;2005年02期

3 李龙根,刘桂雄;基于熵概念的现代精度评价方法研究[J];佛山科学技术学院学报(自然科学版);2003年03期

4 刘金福;于达仁;胡清华;;基于加权熵的重要性不对等样本学习的知识约简[J];广西师范大学学报(自然科学版);2006年04期

5 李龙根,刘桂雄,易静蓉,胡存银;熵概念的发展及其在工程测试中的应用[J];机床与液压;2003年03期

6 谷文祥,殷明浩;数据挖掘中决策树加权模糊熵算法[J];计算技术与自动化;2002年03期

7 徐从富;耿卫东;潘云鹤;;Dempster-Shafer证据推理方法理论与应用的综述[J];模式识别与人工智能;1999年04期

8 陈光;离散时空中的非塌缩的尘埃球解[J];物理学报;2005年07期

9 肖明珠,陈光(衤禹);测量的熵分析[J];系统工程与电子技术;2004年03期

10 肖明珠,陈光，

本文编号：1098958