多级聚类诊断法的开发及其在认知诊断评估中的应用

发布时间：2017-09-24 06:17

  本文关键词：多级聚类诊断法的开发及其在认知诊断评估中的应用

  更多相关文章： 认知诊断评估 非参数认知诊断 多级聚类诊断法 K-means算法

【摘要】：认知诊断评估(Cognitively Diagnostic Assessment, CDA)是在‘'No Child Left Behind"的教育改革推动下兴起的,它能在微观层面上深入探测学生认知结构或知识技能的优势与不足,给老师教学提供具有补救性的反馈信息。CDA能否实现对学生认知结构的精确诊断主要依赖于两点,一是具备一个好的诊断测验,二是选用一个适宜的诊断模型。目前常用的认知诊断模型多为参数模型,参数模型发展时间较长,研究较为活跃,但其参数估计过程复杂,耗时大,需要研究者具备大量的统计和计算机知识,因此限制了CDA的广泛应用。近几年来,研究者开始关注非参数方法在认知诊断分类中的应用。相对而言,非参数方法易于理解,诊断分类耗时小,不依赖样本容量等特点使其较适用于课堂测验等小型评估情境,因此能推动CDA运用到教育领域。聚类分析诊断法作为一种非参数的认知诊断方法,只需测验Q阵就能实现对学生知识状态的诊断。然而,现有关于聚类分析诊断法的研究均是适用于0-1计分情境的,随着教育考试改革的推进,许多大型的考试和测评越发强调考察分析题、问答题、论述题一类的主观题。该类题目的计分方法不再是0-1计分,采用0-1计分模式的认知诊断方法对其进行分析,势必会减少题目作答中的信息提取,从而影响诊断和分类的效果。此外,现有研究并没有关注聚类分析诊断法分类准确率的影响因素。由此,本文在前人研究的基础上,结合考试改革实践的需求,开发出适合于多级计分情境的聚类分析诊断法,探讨了多种因素对该方法分类准确率和稳定性的影响,并同时考察了其在实证应用中的效用。本论文包括5个研究,研究1基于属性总分的思想提出了多级计分聚类诊断法(Grade Response Cluster Diagnosis Method, GRCDM)。研究2通过模拟研究去验证GRCDM的分类准确率和各种因素如何影响对该方法分类准确率,包括四个因素：属性个数(4个、7个、9个)、被试人数(100人、500人、2000人)、被试分布(均匀分布、正态分布)、属性层次结构(线型、收敛型、发散型、无结构型)；研究3基于不同属性层次结构探讨了不同Q矩阵误设(属性缺失、属性多余、属性缺失多余)对该方法分类准确率的影响：研究4探讨了不同属性层次关系错误(层次关系颠倒、有层次变无层次、无层次变有层次、层次关系错乱)对该方法分类准确率的影响：研究5使用该方法分析了1240名小学五年级学生的数学应用题CDA测验结果,并与规则空间模型所得结果进行对比。得到以下结果：(1) GRCDM具有很高的判准率,且不受限于属性个数。在70种实验条件下均具有较高的模式匹配率和边缘匹配率(PMR:96.08%; MMR:99.04%),且随着属性个数的增加,分类准确率呈升高趋势。说明该方法具有较强的适用性,不受限于属性个数,弥补了参数诊断模型限定的CDA测验中属性个数不易过多的现状,更能吻合实践教学中属性个数较多的需求,以及能够满足当前测验改革的实践情境,实现对学生知识状态的准确分类与诊断。(2)总体而言,GRCDM更适合松散型的层次结构。在多数实验条件下,发散型和无结构型的PMR和MMR均显著高于紧密型层次结构,且不易受到被试人数以及被试分布的影响,因此该方法不但有较好的稳健性,而且为松散型属性层次关系下的数据找到了既适用又简便的分类方法。(3)该方法对被试人数的依赖小,即使在100人和500人的小样本中,也表现出较好的稳健性,可适用于小型测评和课堂评估,为日常教学中的CDA提供了实用的方法。(4)在Q矩阵误设时,除了线型条件且Q矩阵产生较大错误(属性缺失多余)外,其他条件下的PMR降幅均低于5%,在可接受的范围,说明GRCDM对线型结构时的Q矩阵误设的反应较灵敏,而对于其它结构则具有较好的稳健性。(5)属性层次关系颠倒和错乱对该方法的分类准确率影响较大。除了“有层次关系的变为无层次关系”的MMR均值的平均降幅为.006,其它条件下降幅均较大。说明GRCDM对层次关系错乱比较敏感。无结构型时的基础属性一定不能错误界定,紧密型的属性逻辑关系的确定也需谨慎,在不能保证两属性间存在先决关系的前提下,尽量视其关系为独立。(6)该方法在对数学应用题CDA测验结果进行分析时得到的属性难度与属性性质相符,同时不同类型的学校(好、中、差)在各属性上的掌握百分比也有显著差异,好学校更大比例的学生掌握属性。因此该方法在实践情境中表现出较好的内外部效度。
【关键词】：认知诊断评估 非参数认知诊断 多级聚类诊断法 K-means算法
【学位授予单位】：浙江师范大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：B842.1
【目录】：

• 摘要3-5
• ABSTRACT5-11
• 1 文献综述11-30
• 1.1 认知诊断评估的核心概念11-15
• 1.1.1 认知诊断评估11-12
• 1.1.2 认知诊断评估的理论基础12
• 1.1.3 知识状态的定义12-13
• 1.1.4 Q矩阵的定义及其在认知诊断评估中的重要性13-14
• 1.1.5 R矩阵的定义及其在CDA测验编制中的重要性14-15
• 1.2 认知诊断分类方法研究综述15-25
• 1.2.1 常用认知诊断模型介绍15-21
• 1.2.2 非参数认知诊断方法介绍21-24
• 1.2.3 认知诊断分类正确性的影响因素24-25
• 1.3 聚类分析方法在认知诊断中的应用25-28
• 1.3.1 聚类分析的定义及方法介绍25-26
• 1.3.2 距离测量方法介绍26-27
• 1.3.3 K-means法简介27-28
• 1.3.4 K-means法在认知诊断评估中的应用28
• 1.4 考试改革的实践需求与多级计分诊断模型28-30
• 2 问题提出与研究设计30-34
• 2.1 问题提出30-31
• 2.1.1 应充分发挥非参数方法的优势,扩展认知诊断评估的实践应用30
• 2.1.2 非参数诊断法仅涉及0-1计分,需拓展至多级计分情境30-31
• 2.1.3 聚类分析诊断法的影响因素及稳定性有待考证31
• 2.2 研究意义31-32
• 2.2.1 理论意义31
• 2.2.2 实践意义31-32
• 2.3 研究设计32-34
• 3 研究一：多级计分的聚类诊断方法34-40
• 3.1 0-1计分聚类诊断法介绍34-35
• 3.1.1 属性总分和能力向量的计算34-35
• 3.1.2 K-means中心初始值的选取35
• 3.1.3 0-1计分聚类诊断法的步骤35
• 3.2 0-1计分聚类诊断法的拓展：多级聚类诊断法(GRCDM)35-40
• 3.2.1 理想反映模式的计算36-37
• 3.2.2 属性总分和能力向量的计算方法37-40
• 4 研究二：不同因素对GRCDM分类准确率的影响40-55
• 4.1 研究目的40
• 4.2 研究方法40-46
• 4.2.1 研究设计40-45
• 4.2.2 模拟观察反应模式45-46
• 4.2.3 被试分类与诊断46
• 4.2.4 评价指标46
• 4.3 研究结果46-52
• 4.3.1 GRCDM在各实验条件下的PMR和MMR均值46-47
• 4.3.2 各因素主效应及其交互效应47-52
• 4.4 讨论52-55
• 4.4.1 GRCDM具有很高的分类准确率52-53
• 4.4.2 随属性个数的增加GRCDM分类准确率升高53
• 4.4.3 GRCDM较适用于松散型的属性层次结构53
• 4.4.4 GRCDM对被试人数和被试分布依赖性较小53-55
• 5 研究三：Q矩阵误设对GRCDM分类准确率的影响55-59
• 5.1 研究目的55
• 5.2 研究方法55-56
• 5.3 研究结果56-58
• 5.3.1 Q矩阵误设对PMR的整体影响56-57
• 5.3.2 属性层次结构和误设类型对GRCDM判准率的影响57-58
• 5.4 讨论58-59
• 5.4.1 GRCDM具有较好的稳健性58
• 5.4.2 Q矩阵误设对GRCDM分类准确率的影响受层次结构影响58-59
• 6 研究四：属性层次关系错误对GRCDM分类准确率的影响59-63
• 6.1 研究目的59
• 6.2 研究方法59-60
• 6.3 研究结果60-62
• 6.3.1 层次关系错误导致的MMR均值降幅60-61
• 6.3.2 单因素方差分析结果61-62
• 6.4 讨论62-63
• 6.4.1 GRCDM对属性层次关系错乱具有一定的敏感性62
• 6.4.2 GRCDM对各层次结构下的层次关系错乱敏感度不一62-63
• 7 研究五：实证研究63-69
• 7.1 研究目的63
• 7.2 数据来源63-64
• 7.3 过程和方法64-65
• 7.4 研究结果65-67
• 7.4.1 GRCDM的分类结果65
• 7.4.2 属性通过率与属性性质相匹配65-66
• 7.4.3 属性通过率的学习类型差异66-67
• 7.5 讨论67-69
• 7.5.1 GRCDM在实证研究中具有较高的内部效度67-68
• 7.5.2 GRCDM在实证研究中具有较高的外部效度68-69
• 8 研究结论与展望69-71
• 8.1 研究结论69-70
• 8.2 研究展望70-71
• 参考文献71-76
• 附录76-80
• 致谢80-81
• 攻读学位期间取得的研究成果81-82

【参考文献】

中国期刊全文数据库 前8条

1 康春花;采用MLTM作测量与认知结合研究的进一步探讨[J];江西师范大学学报(自然科学版);2003年02期

2 杨淑群;蔡声镇;丁树良;林海菁;丁秋林;;求解简化Q矩阵的扩张算法[J];兰州大学学报(自然科学版);2008年03期

3 祝玉芳;丁树良;;基于等级反应模型的属性层级方法[J];心理学报;2009年03期

4 刘声涛;戴海崎;周骏;;新一代测验理论—认知诊断理论的源起与特征[J];心理学探新;2006年04期

5 涂冬波;蔡艳;戴海崎;漆书青;;现代测量理论下四大认知诊断模型述评[J];心理学探新;2008年02期

6 何学文,赵海鸣;支持向量机及其在机械故障诊断中的应用[J];中南大学学报(自然科学版);2005年01期

7 王家祺;刘红云;;融合模型在小学数学认知诊断评价中的应用[J];心理学探新;2012年05期

8 张淑梅;包钰;郭文海;;一种多级评分的广义认知诊断模型[J];心理学探新;2013年05期

，

本文编号：909827