计算机自适应测试在学习诊断中的应用

SUNYATSENUNIVERSITYFORUM,Vol126　No16　2006

计算机自适应测试在学习诊断中的应用

汪和生

(广东教育学院计算机系,广东广州510303)

3

摘　要:计算机自适应测试(CAT)是一种更加快速、准确的现代测试技术,如果考虑到概念之

间的包含与关联,CAT系统将能更加准确地考查出学生知识的掌握情况,从而满足网络学习诊断的要求,为适应性学习中动态呈现学习内容提供依据。

关键词:计算机自适应测试(CAT);项目反应理论(IRT);学习诊断

中图分类号:TP273+12　　文献标识码:A　　文章编号:100721792(2006)0620034205

随着网络和现代教育理论的不断发展,网络教育正向智能化、个性化、适应性的方向发展。在适应性网络学习系统中,系统需要根据学生的学习历史记录以及学习绩效,动态的组织和呈现与学习者当前学习能力最相关的学习内容,这就涉及到如何进行学习诊断的问题。学习诊断是适应性学习系统中是至关重要的一环,因为它是适应性学习系统了解学生知识结构和学习效果重要依据,没有这个依据,适应性学习系统根本无法了解个别学生的学习需求,那就更谈不上根据学生需求进行适应性教学了。适应性学习系统对教学诊断测试具有非常严格的要求,它要求这种测试能尽可能测量出学生学习的效果,即哪些知识已掌握,那些知识还需要继续学习;同时这种测试还要求必须具有极高效率,尽可能的以最少的测试内容诊断出学生的真实能力,而且在不同环境、不同时间内所诊断的结论是一致的。

一个比较合适的测量系统是计算机自适应测试(ComputerAdaptiveTest-CAT)。它的核心是:依据受测试者答题情况不断计算其当前能力值和信息量,并根据这些参数实时地调整试题水平,直到受测试者的能力被恰当估计出来为止。一般说来,自适应考试仅需要传统考试方式一半的时间和约为40%～60%的长度就可取得同样的效果。非常适合网络教学中简单快速地测量学生学习绩效,只不过作为学习诊断的自适应测试跟一般的自适应测试相比,它不以测量学生的能力值为目标,而是需要准确地测量学生的学习基础或学习效果,即测量哪些知识学生已经掌握,哪些还没有掌握,当前最适合学习哪些内容(以下称之为学习焦点),并以此作为自适应学习中动态呈现学习内容的依据。

一、计算机自适应测试(CAT)的理论基础

20世纪80年代初,洛德(Lord,1980)进行了一种称之为“灵活测验”的试验,测验试

卷中包括了一系列的试题,其难度从极易到极难等距分布。在测验开始时,受测者先回答中等难度的试题,如果回答正确就接着提出先前没有提过的,更难的试题,如果回答错误则提出更容易的试题。对该项特性具有高水平者会接受最难的试题,低特性水平者接受较低难度试题的

3收稿日期:2006-02-10

作者简介:江和生(1969-),湖北武汉人,硕士,讲师。

50%,在这两者之间的应试人接受一组能覆盖其特性水平的试题。在这个实验中,最大的贡献

是尝试通过灵活的、可变的分枝来选择试题,这些一直成为后期自适应测试(AT)的基本思想。自适应测试系统的实现是建立现代测试理论———项目反应理论(IRT)的基础上的,IRT中关于题库建设、参数的设置以及试题得选择等理论是建立AT的核心。由于AT的每一个阶段都涉及到复杂、繁琐的计算,人工实施起来比较困难,所以直到近年来,随着计算机技术的发展,为灵活分支的自适应测验提供了可能性,自适应测验才真正成为人们广为关注的研究领域,并有一些初步性的应用。(一)项目反应理论基本思想

项目反应理论是以受测者的回答问题的情况,经题目特征函数的运算,推测受测者的能力。根据参数的不同,特征函数可分为单参数、双参数和三参数三种模式,在实际应用中使用得最多得是三参数模式,其公式如下:三参数模式:P(θ)=c+D=11702

1-c[-Da(θ-b)]其中:1+e

θ:受测者能力值a:题目的区分度b:题目的难度c:题目的猜测系数

):能力为θP(θ的人答对此题目的概率

根据特征函数可画出题目的特征曲线,图1为典型的三参数模式的特征曲线:从图1中可以看出:

1〕a参数,题目的区分度,即特征曲线的斜率,它的值越大说明题目对受测者的区分程度越高。

2〕b参数,题目的难度,即特征曲线在横坐标上

的投影。

3〕c参数,题目的猜测系数,即特征曲线的截距。他的值越大,说明不论受测者能力高低,都容易猜对本道题目,当c=0时,即不考虑猜测情况时,

三参数模型转化为双参数模型。

图1　三参数模式特征曲线(二)计算机化自适应测试一般流程

受测者在进行测试之前,需要对受测者的能力值

进行初始估计,或者让受测者自行决定自己的能力程度,选择测试起始题目。在测试过程中需要不断地对受测者的能力进行估计。正确估计受测者的能力是CAT顺利进行的前提,最常用的方法是极大似然估计法。采用极大似然估计法估计受测者能力值的最大好处是简便实用,它比较适合于题目较多的情况,在其它情况下,我们可以采取Bayes方法,或采取将两种方法相结合的途径估计受测者能力。在正确地估计受测者能力值的情况下就需要我们抽取和受测者能力相适应的题目。通常,我们利用IRT题库中题目的最大信息函数来确定所选择的题目。最后通常以达到测试的最大容量作为测试的终止。另外,还可以以能力估计值达到预定的精度要求作为终止条件,即当受测者的能力估计值逐渐稳定下来时,便可以结束测试。具体流程见图2。

・35・

图2　自适应测试的一般流程

二、学习诊断系统中的自适应测试

自适应测试虽然能较为快速、准确地测试出学习者的能力,但是在学习诊断系统中我们需要更为准确地知道学习者那些知识已经掌握,那些知识还没有掌握。所以我们在自适应测试系

统中必须考虑概念之间的关联与包含关系,并通过概念之间的升降达到准确定位的目的。(一)概念阶层图的结构

根据概念空间机器学习理论,考虑到情况的普适性,学习概念可以细分为多个子概念,子概念又可以进一步细分形成一个如图3所示的树状概念结构。概念和概念之间有两种类型的关系。

1、包含与隶属关系

一个概念细分成若干个子概念,概念与其子概念之间存在包含于隶属关系,如概念a包含概念b1、b2……bn。2、并列关系

一个概念细分成若干个子概念,各子概念之间形成一种并列关系,如概念b1与概念b2;概念c1与概念c2。

(二)考虑概念升降的自适应测试的情况分析1、参数的设置

图3　概念阶层图

考虑到测试过程中概念的上升与下降,在试题

库建设时,试题的参数除了前面三参数模式区分度、难度、猜测度三系数之外还应包括:概念

阶层属性参数β与概念阶层变换阈值λ(自定义)。

(1)考虑到不同概念之间的包含与并列关系以及测试过程计算的简单化,我们将概念的阶

层属性定位固定值,方法之一是顶层概念的阶层属性为1,第二层概念的属性为2,依次递增;

・36・

概念需要上升时将本层的阶层属性参数减1,概念下降时将本层的阶层属性参数加1。

(2)测试系统需要根据计算出来的受测者能力值判断是否概念变换,所以需要我们事先设定概念阶层变化的阈值λ。当受测者能力值大于阈值时,概念上升;否则概念下降。

2、测试过程的基本情况分析

测试开始时,需要受测者根据自身能力选择测试的起点,受测者选择测试起点一般以中间概念为起点为好,测试过程主要有以下基本情况。

(1)当测试者能力大于预设阈值即θ>λ时,首先应判断是否测试完同阶层概念,如果已测试完所有同阶层概念,则概念上升;否则,依次测试其它同阶层概念。概念上升后若概念为最顶层或者是前面已经测试过的概念,则结束测试,形成测试报表;否则进入新的概念试题层的测试。

(2)当测试者能力小于预设阈值即θ<λ时,概念下降;这时首先应判断概念是否为最底层概念,如果是就结束测试,将当前概念设为学习焦点;如果不是最底层概念,则选择相应概念与试题进行测试。(三)考虑概念升降的自适应测试的基本流程(图4)

图4　考虑概念升降的自适应测试基本流程

・37・

三、本系统的使用与发展

本系统用一种比较简单的方法初步解决了学习诊断中学习焦点的测量问题,它可以发生在

学习的开始、学习的结束或学习的过程之中。在学习开始时进行测试,可以了解学生的原有知识水平、认知水平,结合学生学习过程的历史记录,便可以对学生的知识水平和能力进行估测,从而可根据学习者的能力组织和呈现与他能力最适应的学习内容,并给出相应的学习建议;在学习过程中进行测试,主要是做针对性的测试,为学生发现薄弱环节并进行巩固性练习提供依据,而且练习与测试也是一种学习手段。在学习结束时进行测试,主要是对学生学习结果的成就性检测,检测学生是否达到预期教学目标的要求,若已经达到,则建议学生终止学习或开始新一轮学习过程,若未达到相应的教学目标,则建议学生进行相应补习单元的学习。

完整的学习诊断系统还需要通过分析学习者学习的历程,理解学习者学习能力和认知风格,将学习焦点内容以最适合学习者的方式呈现。这些需要我们综合运用一些新技术如资料挖掘技术来加以解决。参考文献:

[1]　王昌达.基于WWW的远程辅导答疑系统的设计与实现[J].计算机应用,2001(6):48-49.[2]　付聪.计算机自适应测试研究进展[J].现代情报,2005(1):61-64.

[3]　余胜泉,李世亮,谢晓林.在线测试分析与数据挖掘系统的设计[J].开放教育研究,2005,11(5):72-77.[4]　林健,闫华,武兵.计算机自适应考试理论分析[J].太原理工大学学报,2004,35(2):221-224.

(责任编辑:三　悟)

・38・