当前位置:主页 > 管理论文 > 统计学论文 >

基于模型平均的充分降维

发布时间:2021-08-09 08:28
  充分降维是非参数回归领域中的一个重要问题,主要目的是对自变量进行降维,通过寻找自变量的少量线性组合,用这些线性组合去替代原始变量且不损失有效信息。经典的充分降维方法,都是通过估计核矩阵,选取较大的特征值对应的特征向量,通过这些特征向量对原始数据进行降维。本文提出基于模型平均的充分降维方法。相比于传统的充分降维方法,本文不采用特征值分解的方法,而是先通过经典的充分降维方法估计核矩阵,之后将估计中心降维子空间的问题等价于求解目标函数最小值问题,再通过模型平均方法对目标函数进行迭代求解,进而对中心降维子空间进行估计。这个目标函数适用于大多数经典的降维方法,通过引入模型平均方法可以提高对中心降维子空间的估计精准度。本文采用Mallows模型平均方法和Jackknife模型平均方法作为方法基础。本文在多种模型上进行模拟实验,并采用迹相关系数作为的评价指标。将基于模型平均的算法和经典的充分降维方法进行了比较。本文采用三种核矩阵估计方法,分别是切片逆回归方法、切片平均方差估计方法和方向回归方法。在模拟的大部分情况下,基于模型平均的算法要优于经典的充分降维方法。同时,本文探究了数据量n和维数p的变化对... 

【文章来源】:华东师范大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】:59 页

【学位级别】:硕士

【部分图文】:

基于模型平均的充分降维


模型一:SIR_MMA的loss变化图

变化图,变化图,模型,正态分布


§5.1基于SIR核矩阵的模拟实验为-0.5,其余元素都是0。这样形式的向量的稀疏性会随着维数p的增大而增大。X由多元正态分布N(0,Σ)产生,为考虑不同的协方差矩阵Σ对各算法的影响,我们考虑以下三种协方差矩阵:(i)Σ=Ip,(ii)Σij=0.25|ij|,(iii)Σij=0.5|ij|。ε表示随机影响因素,服从N(0,0.2)的正态分布,且ε与X相互独立。模型二:Y=eγTX+ε(5-4)X的维数为p,X=(x1,x2,x3,···,xp)T。γ=(2,2,0.5,0.5,0,0,···,0,0)T为稀疏向量,除前四个元素外都为0。x1,x1,···,xp都独立同分布,我们设置了三种分布函数F(x)(i)F(x)表示自由度为5的t分布,(ii)F(x)表示参数n=10,p=0.3的二项分布,(iii)F(x)表示参数λ=1的指数分布。ε表示随机影响因素,服从N(0,0.2)的正态分布,且ε与X相互独立。模型三:Y=eγTX+ε(5-5)X的维数为p,X=(x1,x2,x3,···,xp)T。X服从N(0,Ip)的多元正态分布。γ=(γ1,γ2,···,γp)T表示非稀疏的向量,但是其中会有很多权重较小的元素,我们设定了三种情况(i)γi=1i,(ii)γi=sin(i)i,(ii)γi=1i!,i=1,2,3,···,p。ε表示随机影响因素,服从N(0,0.2)的正态分布,且ε与X相互独立。图5-1模型一:SIR_MMA的loss变化图图5-2模型一:SIR_JMA的loss变化图为研究基于模型平均算法的收敛性,在模型一(i)条件下,我们设定数据量N为100,维数p为20。为观察在迭代过程中式(4-11)和式(4-12)的值的变化,即迭代过程中loss的变化。我们画出了SIR_MMA方法和SIR_JMA方法在迭代过程中loss的变化图,如图5-1、图5-2所示。观察图片,发现算法在第一次迭代的时候loss会下降很快,之后就快速收敛了。-19-

变化图,降维,维数,变化图


第五章模拟仿真和实例分析图5-3模型一在条件(i)下的降维结果随维数p变化图图5-4模型一在条件(ii)下的降维结果随维数p变化图图5-5模型一在条件(iii)下的降维结果随维数p变化图图5-6模型二在条件(i)下的降维结果随维数p变化图图5-7模型二在条件(ii)下的降维结果随维数p变化图图5-8模型二在条件(iii)下的降维结果随维数p变化图-24-

【参考文献】:
期刊论文
[1]分段逆回归与神经网络组合建模方法[J]. 黄薇,王惠文,张志慧.  系统工程. 2004(04)

硕士论文
[1]SIR降维方法与半参数可加回归的应用研究[D]. 李岩岩.重庆工商大学 2016



本文编号:3331733

资料下载
论文发表

本文链接:https://www.wllwen.com/guanlilunwen/tongjijuecelunwen/3331733.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户1c372***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com