基于反应时间过程数据的项目反应建模及其应用

论文摘要

随着现代科学信息技术的发展,教育和心理评估的测试逐渐由传统的纸笔考试（paper-and-pencil tests）转变为基于计算机平台的测验（computer-based assessments）。随着计算机化测验的广泛应用,记录并呈现学生在题目上的反应过程的信息变得十分容易。学生在题目上表现的作答信息即反应过程数据,被记录到计算机后台的日志文件中。反应过程数据包括反应时间数据,行为过程数据,以及有序数据等。反应过程数据的记录为心理测量学家和统计研究人员更深入的探究学生的反应行为以及更精准的估计被试的能力提供了重要的保证。反应过程数据的应用包括以下几个方面:探测被试的考试行为（例如,快速猜测行为和考试欺骗行为）,甄别测验的执行问题（例如,识别题目上的实际所用的反应时间比预期的反应时间更长的被试组）,识别测验的加速及疲劳现象,研究不同国家的考试时间分配的差异,检验题目位置的设置的影响,探究不同年龄段的被试在处理信息的速度上的差异、并对影响因素进行分析等;其中有序信息可以提供被试在测验上的进展情况,例如题目被重新访问的次数,被试点击鼠标的次数或拖拽鼠标的次数和时间,以及被试作答题目的轨迹等。同时利用作答的有序信息和反应时间可以帮助测验分析人员识别出有问题的题目,单元,被试群组等。由于反应时间本质上刻画的是被试对信息加工处理的过程,本文主要针对反应时间过程数据进行探究,将反应时间过程数据作为辅助信息加入到项目反应理论的研究中,致力于解决测验中出现的若干个实际应用问题。本文针对考生的异常考试行为,提出了一个带有高阶能力结构的反应和反应时间的混合模型用于探测快速猜测行为,加入多个子测验的辅助信息,同时考虑了多维能力间的相关性,从而更有效地探测快速猜测行为。使用马尔科夫链蒙特卡罗方法对构建的模型进行参数估计。模拟研究证实相比于传统的单维混合模型,新模型的参数估计有更小的绝对偏差和均方误差,并且新模型可以保证有更高的正确探测率和更低的错误探测率。此外,偏差信息准则和伪边际似然的对数准则用于评估模型的拟合情况。最后,一个实际数据的分析表明我们提出模型的实际应用价值。大规模的测验数据中普遍存在反应的缺失数据。本文首次利用反应时间数据同时解释测验中经常出现的两类缺失数据,即未达到的缺失反应和中间跳过的缺失反应。针对由于测验的时间限制而产生的未达到的缺失反应,我们发现常规的反应时间模型可以用于解释这类缺失数据。针对测验的中间跳过的缺失反应,我们提出了一个反应时间过程模型,该模型可以提供关于被试的潜在行为过程的解释。我们采用马尔科夫链蒙特卡洛方法对构建的新模型进行参数估计。利用贝叶斯信息准则对实际数据进行拟合,实际数据的分析验证了反应时间过程模型的应用价值。模拟研究进一步探究了当数据中同时存在两类缺失数据时,我们提出的反应时间过程模型的使用优势。反应时间过程数据是考试数据的重要组成部分,该数据的记录为测验分析人员研究考生的解题过程提供了重要的辅助信息。本文基于反应时间过程数据,针对实际数据中出现的若干个测验问题,分别建立了相应的统计模型,模型能够对考生的行为过程做出合理的解释和推断,从而提高被试能力估计的准确性和精度,为后续的决策提供重要的参考依据和保障。

论文目录

• 中文摘要
• Abstract
• 第一章 引言
•   1.1 项目反应理论的介绍和发展
•   1.2 项目反应理论的基本假设和常用模型
•   1.3 项目反应理论模型的参数估计方法
•   1.4 反应过程数据的收集和研究
•   1.5 本文的主要工作和结构安排
• 第二章 探测快速猜测行为的带有高阶能力结构的反应和反应时间的混合模型
•   2.1 研究概述
•   2.2 研究背景
•   2.3 高阶混合反应和反应时间模型的构建
•     2.3.1 模型构建的动机
•     2.3.2 高阶潜在特质模型
•     2.3.3 反应和反应时间的混合模型
•     2.3.4 分层模型框架
•   2.4 贝叶斯推断
•     2.4.1 参数估计
•     2.4.2 模型选择的方法
•   2.5 模拟研究
•     2.5.1 模拟研究设计
•     2.5.2 参数真值的选取
•     2.5.3 模拟研究中的因素的设置
•     2.5.4 模拟研究Ⅰ
•     2.5.5 模拟研究Ⅱ
•     2.5.6 模拟研究Ⅲ
•   2.6 模拟研究结果
•     2.6.1 模拟研究I的结果
•     2.6.2 模拟研究II的结果
•     2.6.3 模拟研究III的结果
•   2.7 实际数据分析
•     2.7.1 数据分析
•     2.7.2 数据分析的结果
•   2.8 研究小结
• 第三章 解释不可忽略的两类缺失数据的反应时间过程模型
•   3.1 研究概述
•   3.2 研究背景和研究动机
•   3.3 模型及其原理
•     3.3.1 未达到题目的反应时间模型
•     3.3.2 中间跳过的题目的反应时间过程模型
•     3.3.3 参数估计
•   3.4 PISA数据分析
•     3.4.1 探索性分析
•     3.4.2 模型拟合
•     3.4.3 模型参数估计的结果
•   3.5 模拟研究
•     3.5.1 数据的产生
•     3.5.2 模型参数的估计
•     3.5.3 模拟研究的结果
•   3.6 模拟小结
• 第四章 总结与展望
•   4.1 研究总结
•   4.2 研究局限和展望
• 第五章 附录
•   5.1 带有高阶能力结构的混合模型的参数估计的抽样步骤
•   5.2 反应时间过程—3PL模型的参数估计的抽样步骤
•   5.3 Holman和 Glas（2005）的反应时间扩展模型的参数估计的抽样步骤
• 参考文献
• 致谢
• 在学期间公开发表及投稿论文情况

文章来源

类型: 博士论文

作者: 陆婧

导师: 史宁中

关键词: 项目反应理论,反应过程数据,反应时间,缺失数据,马尔科夫链,蒙特卡罗,参数估计,模型拟合

来源: 东北师范大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 东北师范大学

分类号: O211.6

DOI: 10.27011/d.cnki.gdbsu.2019.000064

总页数: 110

文件大小: 4636K

下载量: 107