【摘 要】考核是系统化培训方法实施阶段的重要环节，是衡量培训有效性最有效的方式之一，也是最及时的方式。而试卷作为考核的一个重要载体，试卷的分析与评估应得到足够的重视。本文讨论了核电培训领域中考试分析的现状及其重要性，介绍了国际原子能机构推荐的考试分析的各项指标及意义，并以此建立了基于Excel的考试分析方法。
【关键词】系统化培训方法；考试分析；培训有效性
0 前言
目前世界上绝大多数核电厂普遍采用系统化培训方法（SAT）进行人员培训。各国核电厂大多以国际原子能机构（IAEA）出版的《建立并保持核电厂人员资格和能力导则》为指引，遵循SAT的原则，根据自身能力和客观条件开展培训工作。SAT是一种培训组织形式，它把整个培训活动分为分析、设计、开发、实施和评估五个阶段，并在各个阶段进行有效反馈。其中评估是SAT的重要环节，通过培训全过程的评估，对培训工作进行监督和评价，以确保培训目标的实现，保证核电厂人员取得岗位要求的全面工作的能力。考试分析属于培训评估的组成部分，主要是针对培训实施阶段的考核结果进行定量、系统地分析，将分析结果反馈到SAT的其他阶段，以改进培训的质量，从而使培训的有效性得到不断提升。
2018年高考Ⅰ卷理综生物学试题，通过题目中所提供的生物学事实和信息，考查学生在基于已学知识的基础上，思考、分析并解决问题，该过程更深入考查了学生的科学思维。不同于以往简单考查学生记忆等低阶思维能力，如今更多关注在学生分析与综合等高阶思维能力，为国家精准选拔人才奠定了基础。在命题时如何设计和组织生物学事实和信息，考查学生的科学思维，是本文关注的重点，概括起来有以下三个方面。
1 考试分析的现状及其重要性
1.1 考试分析的现状
培训项目的考试分析一般仅统计考试的通过率、平均分及最高分/最低分，可以从总体上定性地了解培训项目的实施情况，但不足以为改进培训方式/内容、提高培训有效性提供定量的数据依据。而且，培训考核从试题开发到考核评估，主要依托于教员的个人能力及工作经验，缺乏系统的考试分析将导致考核的有效性未得到及时、持续地验证及改进。
1.2 考试分析的重要性
考试是检验学员学习情况最有效的手段之一。通过考试可以测量学员对培训目标的掌握情况，获取有用的信息，而不仅仅是为了得到一些分数。考试结果的分析与评价是SAT评估阶段的重要环节，通过分析可以了解教员的命题水平、授课质量和教学效果，了解学员对培训目标的掌握情况，对优化教学内容、把握教学水平、提高教学质量具有重要意义。
2 考试分析的指标及建立方法
考试分析包括试题和成绩的分析，本文选取IAEA所推荐的考试评价指标，采用定量评价和定性评价相结合的方法，将考试分析中常用的指标分为定量指标和定性指标两类。下文将通过这两方面讨论各主要指标的内容和意义，并以此建立考试分析的方法。
2.1 试题分析
试题分析是以评估试题的难度和区分性和试题选项的有效性而审查每位学员答案的过程。评估试题可以识别试题的问题并提出可行的建议。它可以判断学员是否掌握培训目标，也能用来提高教员的试题开发技能。试题分析主要包括以下三方面：
表1 选项分析
单项选择题平均分试题 标准答案 A B C D A B C D 1 A 46 3 0 1 18.33 17.00 18.00 2 D 1 1 2 46 11.00 18.00 18.00 18.41 3 C 3 5 40 2 18.00 14.20 18.93 15.00 4 D 1 0 1 48 17.00 18.00 18.27 5 B 1 49 0 0 19.00 18.22
Photocatalytic reduction for Cr (VI) with TiO2 and kinetics
其中：Pi：为第 i题难度系数；Xi：为第 i题回答正确的人数；Y：为总人数。由公式可知，Pi的取值范围是0≤Pi≤1。试题越简单越接近 1，试题越困难将接近0。
难度是指测试试题的难易程度。试题的难度决定了整份试卷的难度及考试成绩的分布。试题难度通常采用回答正确人数除以考试总人数来衡量[2]，公式为：
考试分析表可根据考试分析的结果，自动生成考试分析报告，便于数据的存档和形成相应的书面报告。
（2）试题区分系数
试题区分系数是指试题对不同水平学员加以区分的能力，采用IAEA推荐的算法：极端分组法[2]。它是将学员的成绩按总分排序，取前27%的学员作为高分组，取后27%的学员最为低分组，然后分别计算第i题的正确人数，则第i题的区分系数为：
数值从-1.00到1.00。D=1表示高分组全部答对，低分组全错；D=0表示两个分组的通过率相等；D=-1表示高分组全部答错，而低分组全对。由此可知，区分系数越小，试题本身的问题可能越大，不能真实反映学员对培训目标的掌握情况。
（3）选项分析
专项信息模块包括分类掌握、分类掌握图和学员表现三个部分。在系统化培训方法中，通过培训目标开发相应的试题，故试题与培训目标相对应，可按培训目标对试题进行分类，总结学员各类试题的得分，即可了解学员各类培训目标的完成情况，从而得出学员各方面的能力表现和薄弱点。分类掌握即是根据试题所属培训目标类别，统计各类别的正确率。而学员表现是比较学员与平均水平的差距，得出相应的雷达比较图。
选项分析是审查选择题各选项的过程，以验证选项的合理性[2]。像区分性一样，选项分析可以计算每道题的系数，也可以通过直接审查选项结果进行分析。
举报信中称，张译多次向吴浈反映其下属尹红章的问题。2006年，尹红章任国家药监局药品注册司生物制品处处长时，将张所在企业依生药业已获得审评中心认可进入临床试验的世界领先的创新药品违法退回审评中心；2010年，尹红章调任药品审评中心副主任，“利用手中权力主导了此药品之后的审评工作，使本应进入临床试验的创新药品再次没能通过审评”。
以上的例子共50人参加考核，通过给出各选项的选择人数及其平均分进行试题选项的评估。如试题1，干扰项C没有任何考生选择，虽然并不能说明该试题存在问题，但在后续的开发或升版中，可考虑增加选项的迷惑性。而试题3，选择正确答案C的人数为40人，这些人的平均分达到18.93分，但是选择干扰项A的考生平均分也达到了18分的较高分数，这就需要教员进行试题的重新评估，可能是干扰项A迷惑性太强、干扰项B/D明显错误或是干扰项A本身的缺陷等。
2.2 成绩分析
仅有高质量的试题，还不一定有高质量的考试，所以应追求试卷整体质量的优化，同时为保证考核的有效性，其主要指标为可靠性、有效性和正态分布。成绩分析是考试分析的重要组成，它主要是对数据指标进行计算，包括参考人数、最高分、最低分、平均分、难度、标准差、信度、效度、成绩是否符合正态分布等。下面简述主要的数据指标：
（1）信度
（2）试卷信息模块
其中：A为信度系数；n为试题总数；为第i题的得分方差；S2为试卷总分的得分方差。A的取值范围是 0≤A≤1，当 A的值越接近 1时，表示学员的分数越接近自身的真实水平，相反当A值越接近0时，表示学员的分数不可信，一般要求信度值在0.7以上。
4X1温度传感器阵列和CC2530芯片由CR2020纽扣电池提供3 V的工作电压。如图2所示。为了提高监测节点的工作寿命，在Z-stack协议栈中对节点进行开发时加入了休眠机制。休眠时间设置为5 s，休眠时间到后，节点执行采集传感器数据事件，并通过CC2530芯片内部的射频发送模块将数据发送给协调器或者通过路由中继转发给协调器。腋窝具有的血管较为丰富，且在测量过程中较为便捷和安全，进行腋窝体温测试在临床中较为普遍[8]。所以传感器阵列放置紧贴腋下的位置。
（2）效度
效度是指一次考试能有效地测量学员的实际学习水平的程度。我们可采用测量内容效度来定性推断考试内容的质量。主要的方式是通过组织技术专家对考试试题与原定内容范围的吻合程度做出判断，这其实也是对培训设计阶段开发试题的反馈。
2.3 考试分析方法的建立及优点
2.3.1 考试分析方法的建立
基于上文所述的考试分析指标，建立了旨在用于考试分析的Excel表格。考试分析表分为原始数据子表和4个结果输出模块。
（1）基本信息模块
基本信息模块包括考试基本信息和学员排名两个部分。考试基本信息主要包括学员人数、题量、平均分、最高分、最低分、通过率和信度系数等。学员排名包括学员成绩单和考试排名。
信度是反映考核可靠性程度的指标。内容一致性的计算方法通常采用克龙巴赫公式法[3]，其计算公式为：
检验结果(表2)显示，各变量存在单位根，进一步对各变量一阶差分后再进行单位根检验，发现一阶差分后的各变量均拒绝有单位根的原假设。
试卷信息模块包括试卷分析和成绩分布两个部分。试卷分析包括试卷的难度系数和区分系数等相关信息。成绩分布包括学生成绩的直方图、成绩分布曲线。
生：我是假设左边三角形的底是a，右边三角形的底是b，那么阴影部分的面积就是a×8÷2+b×8÷2，我们知道可以利用乘法分配律a×8÷2+b×8÷2=（a+b）×8÷2，而a+b=12，所以三角形的面积是12×8÷2=48（平方厘米）。
（3）试题信息模块
试题信息模块包括试题数据、试题数据图和选项分析三个部分。试题数据和试题数据图包括各试题的详细信息，如难度系数、区分系数、正确率等。选项分析主要介绍了单选题各选项的被选情况。
（4）专项信息模块
傣族的文化成果大多记录在贝叶经和用老傣文所写的纸质文献资料中。傣文文献的书写材质在不同地区有所差别，西双版纳傣文文献大都是用铁笔刻写在贝叶上的，而其他傣族地区则都是用当地制造的构树皮或绵纸记录。因贝叶经过水煮等特殊工艺的处理，可以防水、防虫、防变形，经久耐用，故贝叶经可以保存几百年甚至上千年。
（5）考试分析报告的生成
据悉，第三届“百项网络正能量专题活动”评选活动，主要针对2017年1月至2018年1月31日期间，在重大政策、重大主题、重大活动、重大事件、热点问题和突发事件中积极发声传递正能量，在网上形成正面引导作用有创意的重大事件类、突发事件类、热点话题类等专题活动，倡导广大网民自觉传播和弘扬正能量，营造更加晴朗的网络空间。
（1）试题难度系数
他还说，未来倍丰盐湖农业科技将针对不同区域、不同作物、不同需求，研发针对性产品，为种植大户和农场主提供作物解决方案，令产品更加精准，能够切实解决农民为之头疼的问题，将传统农资店做成“庄稼医院”。
2.3.2 考试分析方法的优点
完善了防灾减灾体系。汛前加固2座大型、155座小型水库，抢修水毁工程6 000余处，加固堤防471km，疏通河道867km；组织全省水库在汛限水位以下预泄防洪库容近15亿m3，其中大伙房水库预泄3亿m3。灾后抢排116万亩（15亩=1hm2，下同）农田积水 7 900多万 m3；恢复了 62万受灾群众的临时饮水；清理和无害化处理大伙房库区上游漂浮物115万m3，最大程度地减轻了灾害损失。
（1）建立标准化的试卷评估体系，能科学、准确地分析试卷
试卷分析的指标较多，每个指标的分析计算方法也不完全相同，进行试卷评估，可以得出定量的分析数据。通过对考试指标的分析，进而评价考试质量，确保测量结果有意义。
（2）为教员改进教学工作提供依据
通过试卷分析，教员可以找出教学工作中的薄弱环节和学员学习过程中的普遍性问题，在教学中加以改善，以便于因材施教。
（3）减少工作量，节省时间，提高效率
传统的考试结果统计和分析需要占用大量的时间。本考试分析方法仅需录入考试结果信息，即可产生相应的试卷、试题分析结果。
试验混凝土的水胶比统一为0.40，粗骨料和细骨料均分别为1 174 kg/m3及552 kg/m3。分别以粉煤灰掺量为水泥质量的0 %、20 %、30%、40 %和50 %替代水泥，以研究粉煤灰掺量对混凝土水、气体渗透性及其微观结构参数的影响。试验混凝土配合比见表2，粉煤灰的掺量百分比表示其替代水泥的质量比。
3 结论
考试是检验学员培训目标掌握情况的最有效手段之一，考试结果的分析与评价是SAT评估阶段的重要环节，通过分析可以了解教员的命题水平、授课质量和教学效果，了解学员对培训目标的掌握情况，对改进培训、提高培训有效性具有重要意义。
【参考文献】
［1］Simpson,E.J.,“The Classification of Educational Objectives:Psychomotor Domain,”Illinois Teacher of Home Economics,10(4),pages 110-144,1966.
［2］The Principles of Training System Development Manual,Addendum II:Examinations:Design,Development and Implementation.(ACAD 88-002).
［3］郁张海.标准化考试中的试题分析,山西大学学报，2009年第14卷.
Application and Research of Exam ination Analysis in Operator Training
SHANG Yi JIANG You-wei
(Sanmen Nuclear Power Co.,Ltd.,Sanmen County,Zhejiang Sanmen 317112,China)
【Abstract】Assessment is an important part of the implementation stage of systematic training methods.It is one of the most effective ways to measure the effectiveness of training,and it is also the most timely way.As an important carrier of the examination,the examination and evaluation of the examination paper should receive sufficient attention.This paper discusses the status quo and importance of exam analysis in the field of nuclear power training,introduces the indicators and significance of the IAEA-recommended exam analysis,and establishes an Excel-based exam analysis method.
【Key words】Systematic training method;Test analysis;Training effectiveness
中图分类号：F272.92;F426.61
文献标识码：A
文章编号：2095-2457（2019）07-0266-003
DOI：10.19694/j.cnki.issn2095-2457.2019.07.111
作者简介：商寅（1986—）浙江湖州人，工程师，本科，研究方向为核电厂运行。
标签：试题论文; 考试论文; 学员论文; 试卷论文; 系数论文; 社会科学总论论文; 劳动科学论文; 职业培训论文; 《科技视界》2019年第7期论文; 三门核电有限公司论文;