一种广义的个人拟合指标的开发与比较

发布时间：2020-05-23 06:58

【摘要】：随着心理测量学和认知心理学的发展,认知诊断测验越来越受到人们的重视。但是在认知诊断测验中,由于种种原因被试的作答反应中可能包含与所测属性无关的信息。如在能力测验中某一个体可能因为抄袭别人答案而被诊断为掌握了更多的属性;在认知诊断计算机自适应测验(CD-CAT)中,个体可能事先获得题目信息而使自己“掌握”了更多属性。上述情况一方面会导致对被试属性掌握模式的错误评估,另一方面也会影响模型参数估计的精度以及测验的信度,甚至导致模型整体拟合及项目拟合不佳。因此个人拟合检验对于认知诊断实践而言尤为重要。目前,个人拟合统计量的开发主要还是在IRT框架下进行(MeijerSijtsma,2001;Rupp,2013),而在CDM框架下开发的个人拟合统计量却相对较少(陈孚等,2016)。其中较为重要的方法包括Liu,Douglas和Henson(2009)提出的广义似然比统计量(1T、2T)、Cui和Li(2015)从IRT框架中引入的lz统计量以及Cui和Li(2015)开发的反应一致性指标(the response conformity index,RCI)。本研究通过分析广义似然比检验方法(Liu et al.,2009)的不足以及借鉴反应一致性指标(RCI)和lz统计量(Drasgow et al.,1985)的思路,开发了两种新的适用于认知诊断测验的个人拟合指标,本研究将其分别命名为C_1和C_2指标,同时本研究还将基于图形的肯德尔曲线图形法拓展至认知诊断领域,对被试的失拟(misfit)类型做进一步的分类,为测验进一步的改善提供参考和依据。为了验证本文新开发的个人拟合指标的科学性和有效性,研究使用蒙特卡洛模拟研究系统的考察了新指标在不同测验长度、属性个数以及题目质量下的分布特征,以及不同测验长度、属性个数、异常反应类型下的统计检验力(power),并同时与现有的方法(RCI指标和lz指标)进行比较。研究结果表明,新指标在各种条件下均服从正态分布,其均值和标准差随条件而变化;在统计检验力方面,新指标C_1、C_2在测验题目更少以及考察属性较多时表现更好,具有较好的稳定性。四个指标中,RCI,C_1和C_2指标在创造性作答、作弊、慢热以及Q矩阵界定错误这几种异常类型下统计检验力更高,而lz指标则是在随机作答和疲劳这两种异常反应类型下有更好的表现。总体来说新指标的统计检验力更高。在实测数据的研究中,无论是对于实际数据的个人拟合检验还是对加入的模拟的异常反应作答的侦测,C_2指标均拥有最高的统计检验力。为了体现个人拟合检验对于测验改进的实际价值,本研究又通过删除异常反应的被试来比较各个指标对于测验属性信度的提升、改进情况,结果表明根据C_2指标对异常反应被试进行删除后,各个测验属性信度的提升最为明显。最后,本文对使用肯德尔曲线图形法对异常被试进行了进一步的分类,通过图形法的展示,研究者可以直观的判别被试是否存在作答反应异常以及属于那种异常反应类型,继而找出导致被试作答反应异常的题目和原因。通过图形法与指标法的结合,认知诊断测验中的个人拟合检验在不仅理论和方法上更加完善,在实践中也具有广泛的应用价值。
【图文】：

总体设计图

本研究的总体设计图

实例图,肯德尔,曲线图形,证据积累

肯德尔曲线图形法实例
【学位授予单位】：江西师范大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：B842.1

【相似文献】