多方式法进行网络考试系统的培训需求评估

　　1.引言



　　好的网络考试系统不仅能减少教师的工作量和学生的时间，还可以增加考试的准确性和完整性。可是网络系统并没有在中职学校得到广泛的应用。主要原因是从传统的纸张考试过渡到网络考试，要求教师和学生具备基本的电脑操作技能，并对网络考试系统有一定认识。针对这个问题，大家渐渐意识到用户培训是一种有效的策略。培训课程应该能给被培训者有用和有趣的学习经历。也就是说，它可以缩短系统复杂性和用户认知能力之间的差距。可是现在大部分的培训教材并不像它们所承诺的那么有效，它们最普遍的通病是指向性不清和重点不突出。这些都源于没有做好培训需求评估，没能准确遇见用户在使用网络考试系统进行教学时可能碰到的难题。因此，彻底详细的培训需求评估对于提高教师和学生熟悉网络考试系统是有必要的。



　　2. 培训需求评估方法的新趋势



　　培训需求评估的主要目的是发现教师和学生需要哪些知识和技术才能顺利地使用网络考试系统。通过他们使用系统时遇到的疑难问题，可以推断出实际操作和理想操作之间的差距。换句话说，通过实验收集的人机互动数据(比如用户使用时遇到的问题、错误或低效的操作等)可以有效得指明用户哪些知识欠缺这也就暗示了用户需要补充掌握哪些知识。但是传统的培训需求评估方法不能收集到这种丰富的人机交互时认知过程的数据。



　　传统的培训需求评估中，最常用于收集数据的方法是问卷调查和用户访谈。问卷调查的优势在于能快速便捷地接触到大多数用户，并能通过统计方法自动分析出实验数据。这种典型的量性评估方式一般是管理者先设定完成某项任务需要的技能水平，再由被调查者根据这些标准进行自我评估。通过对这两组数据的比较，来得出用户完成某项任务的知识和技能差距。这种方法的缺陷在于只能发现设计者或有经验的用户已经碰到的难题，而不能进一步找出用户使用系统时可能遇到的难题或者犯的错误。对于用户访谈和用户讨论，要求用户回忆反思他们使用系统时遇到的问题，所以收集数据时也存在类似的问题。这类性质的评估方式给用户提供了反映困难的机会，但是这些方法还不足以评测出用户学习的真正需求，特别是不能忽略用户对系统的认识水平有差异。



　　，仅仅使用传统的培训需求评估方法不能收集到用户在与网络考试系统交互时产生的认知过程的数据，因而收集到的数据不能足以分析出用户真正的培训需求。根据这类数据分析而设计的培训方案也是不足的，因为用户的认知缺陷没能被准确地评测出来。由此可见，传统的方法需要一些更有效的方法来补充。对用户在使用新系统时遇到问题以及他们的相应反应进行详细的观察是必要的。



　　3. 认知可用性测试



　　认知学和行为学在计算机应用领域的作用越来越被研究学者重视，特别是因为这些学科涉及到人的行为意识，这些对于信息检索和教育研究很重要。可用性测试包括一系列发现用户怎样和网络考试系统交互的方法。以实验为依据的测试法是可用性视察的一种常用方法。可用性视察就是观察实际用户的人机交互。很多网络考试系统的失败是由于可用性不强的问题。实验过程中，用户对系统的互动行为将被记录作为实验数据。这种数据可为视频记录用户的电脑操作。用户操作系统时伴随的自言自语音频也可以作为数据。这些音频报告记录了用户在执行某项任务时产生的想法的描述。



　　简而言之，这种收集数据的方法注重对用户认知能力的分类，从而推出他们在操作时碰到的难题。因为能收集到丰富的人机交互的实验数据，所以可以补充问卷调查和访谈进行培训需求评估的不足。虽然这种方法主要运用在可用性测试，但对于发现用户培训需求同样可行。早在90年代前期，一些学者研究出一套框架讲述设计在线帮助文档时如何运用可用性测试法[1]。近期也有研究通过收集初学者与搜索引擎的交互来推断出该用户所需的知识。



　　4. 一种多方式法来评估用户的培训需求



　　上面讲述了认知可用性测试法如何收集记录用户与网络考试系统的人机交互数据，这里提议一种结合可用性测试法和常规的问卷调查和用户访谈的方法进行培训需求评估。这种多方式法，能准确彻底地了解老师和学生在使用网络考试系统时的步骤。同时，也表明了用户需要掌握哪些知识才能顺利使用该网络考试系统。



　　这种多方式法分为以下步骤：



　　· 观察初学者、一般和用户使用网络考试系统完成一系列有代表性的任务;



　　· 在进行认知可用性测试前后采访和问卷调查这些用户，由此来给这些用户按照他们对该系统和对网络考试系统的认识进行分类;



　　· 通过各级别用户完成任务的程度来总结他们使用系统的方式;



　　· 根据各类用户不同的交互模式发现他们相关的知识缺陷。



　　进行可用性测试时应注意以下三点：



　　4.1 实验参与者



　　参加试验的志愿者可为教师或学生。可根据他们对该被测试系统的使用时间和频率划分为初学者，中级用户和用户。学者们就参与者的数量有不同的观点。研究可用性的专家Nielsen 和 Mack 认为在可用性测试中有5个参与者就发掘出85%的可用性问题[3]。而美国学者Kushniruk 认为8到12个参加者参加可用性测试能发现出80%的可用性问题。



　　4.2 数据采集方式



　　建议在可用性测试中，应确保记录仪器能持续的记录人机交互数据。Camtasia Studio 这种记录电脑屏幕的软件就是一种很好的工具。它甚至能记录操作者鼠标的轨迹和键盘敲击。同时也能录下参与者的音频。用来之后分析的数据就有视频和音频格式。



　　4.3 数据分析方法



　　在分析视频数据前，应先分析出音频数据中关于实验参与者认识过程的评语，再定义编码方案。 以下就是一套用来分析人机交互数据的分类系统：



　　· 导航性：用在参与者描述他们正在浏览菜单或他们在用户界面中找不到需要的信息



　　· 理解性：用在参与者评价对图标，说明或者信息的理解



　　· 易用性：用在参与者评论系统易操作性(从易到难)或者他们遇到疑惑或挫败



　　5. 个案研究



　　本实验中，网络考试系统的用户群主要为职校的老师和学生。用户可在各自的功能界面中实现该系统最主要的任务。对于教师就是出卷、录入考生信息、安排考试时间和批改试卷;对于学生就是考试和查询成绩。



　　本实验旨在测试该考试系统不同使用水平用户的不同培训需求。由此设计的教材才有针对性。教材分为：



　　· 用户指南：适用于初学者，详细描述系统界面和功能等。教学模式属于基于功能型的指南。



　　· 在线帮助：适用于对系统有一定认识的用户，特别是他们遇到难题时需要寻找解决问题的方案。教学模式属于讲述如何实现系统任务。



　　5.1 实验程序



　　实验参与者被分为初学者和有一定系统经验的用户。本测试的具体过程为：



　　· 邀请初学者参加可用性测试实验，让他们在网络考试系统上操作完成一些设定好的系统任务，实验者观察记录参与者完成的情况



　　· 访问一群有一定使用经验的用户，让他们总结接触系统以来遇到的问题



　　· 分析这两组实验数据，然后推出不同用户的知识缺陷



　　· 把分析结果融入到培训教材的设计中



　　5.2 可用性测试实验



　　本实验召集到4位文化课老师和4位学生，教师分别教授语文、数学、英语和德育课程，学生为计算机班学生。他们是本系统的潜在用户，但都没用过该系统。实验中，他们被要求使用考试系统完成以下任务：



　　(1)教师的任务



　　· 输入考试题目



　　· 生成考试试卷



　　· 添加考生信息



　　(2)学生的任务



　　· 选择考试科目



　　· 进行考试



　　· 查询考试成绩



　　鼓励实验者在执行这些任务时发表自己的想法，特别是当他们遇到难题时。



　　5.2.1 实验分析结果



　　实验收集到8组视频和音频数据。对这两组数据进行三角式分析，发现了这些初学者遇到的使用问题。以下摘自一组分析数据：



　　20分40秒：教师输完考试题目，如何给题目配分、选择题型和题量，安排考试时间和考试班级?



　　分析：属于“导航性”问题，用户不知道如何操作才能移到下一个操作步骤。



　　对所有数据进行编码分析(编码方案在4.3节讲述到)，总结出三类用户碰到的难题：



　　· 电脑基础知识，比如一些用户不认识超链接型的菜单，不知道如何选择选项



　　· 系统知识，比如一些用户不知道系统能实现哪些功能



　　· 领域知识，比如一些用户不理解网络系统的专业术语



　　5.3 专组讨论



　　由6个经验丰富的教师和6个各专业的学生参加了本次讨论。他们都使用过该考试系统，而且使用半年以上。讨论的问题有：



　　· “你是怎样学会使用这个网络考试系统?”



　　· “你能说说你在学习使用时遇到的问题吗?”



　　· “当遇到难题时，你希望接受什么样的帮助?”



　　5.3.1 讨论分析结果



　　专组讨论的过程被录音了，从分析这些音频数据，得出以下结果：



　　· 常规培训方式是首先进行一对几的高强度培训，然后是各人根据自身情况自己练习



　　· 遇到问题时，他们一般会先请教培训者或自己设法解决



　　· 总结出他们经常遇到问题，分为与系统本身有关或是一些电脑常规操作



　　5.4 实验讨论



　　这次培训需求评估实验中应用了可用性测试法和专组讨论法，发现了关于操作性和概念性的用户问题。这对开发设计出有效的培训教材(用户手册和在线帮助)有着重要的指导作用。比如，可用性测试实验中揭示了初学者们的三种知识缺陷，这可称为用户手册的重要阐述点。专组讨论中总结的用户常见问题也可为其重点，因为有些问题也适合于初学者。两组实验收集得出的问题可成为在线帮助文档的题材。另外讨论组的一些参与者建议用视频来讲解如何完成某项任务。这是项非常有用的建议，特别是解释操作步骤时，视频可以给受训者提供更直接易懂的信息，和文字说明相比。通过该实例，可见这种新颖的多方式培训需求评估法能更准确更全面的测评出不同用户不同的培训需要。



　　6. 总结



　　本文开头首先讨论了常规用于测评网络考试系统培训需求的方法的利弊，再提出认知可用性测试法能收集到人机交互的数据，作为常规法的补充。由此，本文提议一种多方式测试法即结合了两种方法来进行测试需求评估能得出更准确和详细的实验结果。个案研究这章详细演示了如何应用这种多方式法(采用认知可用性测试和专组讨论)在网络考试系统培训测试中的应用。





　　瑞德教育软件( www.radersoftware.com )是目前中国最专业的教育软件解决方案供应商之一,持续为国内众多知名教育机构、政府机关、企业和大学提供品质优越的网络教育方案。公司研发总部位于北京中关村科技园区，在深圳科技园和武汉光谷等多个地区都设立了分公司，是一家拥有自主知识产权的软件企业。



　　瑞德教育软件以“为客户提供一站式学习平台解决方案”为战略目标，自主开发了面向职业院校、本科院校、培训机构、企事业单位、党政机关、基础教育等各个行业完整的E-Learning网络学习平台，网上党校学习平台，托福模考系统，雅思模考系统，BEC模考系统，GRE模考系统，CET模考系统，OA办公系统，KPI考评系统，CRM客户关系系统，调查评估系统，电子商务系统等软件产品，形成了一套完整的教育软件体系，在教育软件上有着深厚的学习资源开发能力与沉淀。



　　坚持自主创新，树立民族品牌，做最的教育软件全面解决方案供应商，是瑞德教育软件的长远发展目标。我们将继续努力，采用更加先进的技术和最适合您的方案，为您提供更全面、更优质的信息技术服务，为中国信息化产业的发展贡献自己的微薄之力!



　　瑞德软件为您提供全面的托福模考系统，我们的服务范围包括托福模拟考试系统、新托福模考系统软件、托福模考平台。