2019年大学英语形成性评价系统&英语学习策略分析系统软件操作培训.ppt
《2019年大学英语形成性评价系统&英语学习策略分析系统软件操作培训.ppt》由会员分享,可在线阅读,更多相关《2019年大学英语形成性评价系统&英语学习策略分析系统软件操作培训.ppt(152页珍藏版)》请在三一文库上搜索。
1、大学英语形成性评价系统&英语学习策略分析系统软件操作培训,研修班时间,大学英语形成性评价系统: 2007年4月7日(星期六)9:00am4:00pm 英语学习策略分析系统 2007年4月14日(星期六)9:00am4:00pm,地点,北京交通大学思源楼 参加人员:监艳红,任雁,李国英, 王雪蕾,郭晶,English Formative Assessment System EFAS在大学英语教学评估中的应用,中央教科所 中国教研网 教研管理评价研究部 http:/,专题讲座,中国教研网 http:/ 主办:中央教育科学研究所教育与人力资源部,目 录 一、项目概述和数据流程 二、ECAS功能、特点
2、与举例 。 利用大学英语课程教学要求推荐 “评估表” 格式为标准,输入学生自评,学生互评和教师评估数据,把对英语能力掌握程度的定性描述,转化为定量描述的评估分数呈现。 三、学生发展性评价的原理及实现方法 把大学英语四、六级考试的分析方法移植到学校中来,对教学过程中的测验数据进行评估和定量分析: 建立“学校数据常模”作为“尺度常模参照标准” 以“个体内差异评价”方法,对学生或团体进行自身的纵向比较及各学科之间的横向比较 实现对学习过程中语言应用能力发展情况的检测。,四、EFAS的主要特点 1. 分析与评估内容的全面性 2. 分析与评估方法的多样性 3. 记分体制与报道方式的多样性 4. 建立“学
3、校常模”作为评价标准 5. 以“历史档案”实施发展过程监测评估 6.全面使用教育测量、统计方法 五某次测验数据全面分析(大外部、教研室应用) 六学生成绩定位和发展变化追踪(教师个人应用),七语言教学研究中的推断统计分析 1推断统计学的范畴与语言学应用 2标准格式测验数据的分析 A两个样本平均数差异的 t 、Z 检验 教学效果的检验 B两个样本频数差异的2 检验 教学效果的分析 C三个以上样本平均数差异的 F 检验(方差分析) 教学效果的检验 D相关分析 总分、听力、写作之间的相关程度 E线性回归 总分、听力、写作之间的一元和二元线性回归 3其他格式实验数据的分析 文秋芳教授的“英语专业大学生学
4、习情况调查表”分析举例 八、与通用统计软件SPSS功能的比较,项 目 概 述,教学评估是大学英语课程教学的一个重要环节。全面、客观、科学、准确的评估体系对于实现课程目标至关重要。它既是教师获取教学反馈信息,改进教学管理,保证教学质量的重要依据,又是学生调整学习策略、改进学习方法、提高学习效率的有效手段。 如何把语言测试、形成性评价与终结性评价相结合,建立全面的、多样化的大学英语教学测试与评估体系,加强对学生在学习过程中语言应用能力发展情况的检测,实现对教学全过程的整体监控和评估,是大学英语教学改革的重要课题。,“大学英语教学改革论证报告”摘要 “大学英语课程教学要求”项目组,三、 大学英语教学
5、改革的指导思想 7、 完善现有的测试与评价体系,尤其要重视形成性评价,加强对学生在学习过程中语言应用能力发展情况的检测,建立多样化的评价体系,充分发挥其引导大学英语教学改革的作用。 ,大学英语形成性评价体系的组成,10%,10%,10%,10%,60%,大学英语教学过程数据评估中普遍存在的问题,“行为表现评估”的体系与方法尚未构建成熟和完善; 尚未开展教学过程中各项语言应用能力发展的检测; 评价方法单一,语言测试及分析的科学方法普及率较低,缺乏对形成性评价理论、方法的研究; 评价工具滞后,缺乏对评价工具的研究和开发; 因此,教学过程中的评估、测试数据往往没有进行系统的统计、分析和建立档案,大量
6、的信息被浪费或丢失,较大地消弱了评估、测验或考试对教学过程应该具有的诊断、反馈和促进作用,我们针对本课题研制的项目成果,主要包括: 1. 大学英语能力评估 ECAS 利用大学英语课程教学要求推荐的评估表,完成“学生自我评估,学生相互间的评估,教师对学生的评估”。 2. 大学英语形成性评价 EFAS 教学过程数据的测量、管理与综合评估,特别是“学生学习过程中语言应用能力发展”的检测。 3. 测验质量分析 WMAS 测验和测题的评价方法及计算过程,如测验信度、测验效度、测题难度和测题区分度。,大学英语形成性评价系统培训内容,一、系统试用注册和软件狗的安装 二、能力评估ECAS操作 三、EFAS数据
7、的格式要求 四、EFAS数据分析操作 五、EFAS在大学英语教学评估中的应用,一、系统试用注册和软件狗的安装,1、系统试用注册 开始菜单:大学英语形成性评价Register 2、软件狗的安装 系统工作目录:Instdrv,二、能力评估ECAS操作,1、用Excel格式标准评估表输入数据 工作目录:原始学生评定表A举例 标准空原始学生评定表A、B、C 2、设置量化与分数合成条件 3、导入自评互评Excel文件 4、自评互评分类汇总 5、教师评估操作 6、分数统计汇总 7、输出评估分数,ECAS功能、特点与举例,利用 大学英语课程教学要求推荐的“评估表”格式输入教师评估、学生自评或学生互评数据,把
8、对英语能力掌握程度的定性描述,转化为定量描述的评估分数呈现。 主要特点: A. 以 课程教学要求推荐评估表为标准; B .方便快捷输入原始数据; C .灵活设置量化与分数合成条件; D .自动完成量化与分数合成操作。,例2.1基于校园网的英语能力评估网站,例2.2从网站后台下载能力评估文件,例2.3导入评估Excel文件,例2.4灵活设置量化与分数合成条件,例2.4查询输出评估分数,例2.5能力评估等分数合成为学期总评,三、EFAS中的教育测量与评价原理,(一)EFAS的数据流程 (二)大学英语四、六级考试数据处理方法 (三)常模参照评价和“数据常模” (四)导出分数(转换分数) (五)正态化
9、标准分的意义 (六)个体内差异评价的工具,ECAS + EFAS 数据流程,处理过程与功能,分数转换、百分等级化、 标准正态化、建立数据常模,比较、定位、统计、分析,保存历史档案,个体内差异评价,大学英语四、六级考试数据处理方法,处理过程与功能,分数转换、百分等级化、 标准正态化、建立数据常模 比较、定位、统计、分析,对语言能力不同部分的要求 对不同教学目标的侧重,滤除不同考次间题目难易变化对得分的影响,通过调整以滤除阅卷员主观因素的影响,“常模”测验的评价标准,某一个测验分数必须与统一的标准进行比较才能确定其优劣,这个可供比较的标准就是常模。常模表以等值表的形式将原始分数与导出分数之间的对应
10、值表示出来。在常模表中,我们可为某个被试的原始分数寻找到它在常模团体中的相对位置。 大学英语四、六级考试建立重点6校数万名学生常模作为评价比较标准。本系统采用完全相同的方法,建立每次考试的“学校常模”,作为本学校的“尺度相关常模参照”标准。,导出分数与正态分布对应图,考试评价的基础知识评价基准,目标参照性评价 “评价标准在被评价的集体之外,是预先制定的。通过与评价标准相比较,可以确定被评价对象达到目标的程度”。这种评价又称绝对评价,主要用于合格性和达标性的考试。 “其特点是评价标准是由目标所决定的绝对标准。评价时,个体只与标准相比较不进行相互比较”。 目标参照性考试评价通常采用原始分数预先制定
11、教学目标,如“优秀”、“良好”、“及格” 等分数线,量化指标为相应的“优秀率”、“良好率”、“及格率”、等。,考试评价的基础知识评价基准,常模参照性评价 “评价标准在被评价的集体之内,通过与评价标准相比较,可以确定被评价对象在集体中所处的位置,以分优劣”。这里的被评价的集体也称为常模团体。这种评价又称相对评价,主要用于选拔性的考试。“其特点是评价标准随被评集体的状况而异,仅适用特定的被评集体。 常模参照性评价采用导出分数(百分等级分数、标准分数)和常模表(由原始分数和导出分数共同组成的分数量表)作为评价工具。在特定的团体内进行“名次排序” 的分析也可归到本类评价的范围。,考试评价的基础知识评价
12、基准,个体内差异评价 常模团体内,对每个个体(或小团体,如学校或班级)进行今昔比较(不同测验之间)或个体诸侧面(不同科目之间)进行比较所作出的评价称“个体内差异评价”,是常模参照性评价应用的优势领域,是考试评价改革中实施“发展性评价”的重要工具。 “个体内差异评价要用导出分数(百分等级分、正态化标准分)进行比较。若用原始分数对今昔或各侧面进行比较,就会与评价的定义相背离,失去评价的意义。因为它既没与绝对标准相比较,也没与他人相比较,而且没作出价值判断”。 详见57-68,考试评价的基础知识评价基准,个体内差异评价 常模团体内,对每个个体(或小团体,如学校或班级)进行今昔比较(不同测验之间)或个
13、体诸侧面(不同科目之间)进行比较所作出的评价称“个体内差异评价”,是常模参照性评价应用的优势领域,是考试评价改革中实施“发展性评价”的重要工具。 “个体内差异评价要用导出分数(百分等级分、正态化标准分)进行比较。若用原始分数对今昔或各侧面进行比较,就会与评价的定义相背离,失去评价的意义。因为它既没与绝对标准相比较,也没与他人相比较,而且没作出价值判断”。,导出分数,通过测验所直接得到的分数,叫原始分数。“原始分数本身意义甚小,因为仅从个别学生的原始分数,我们无法了解他学习成绩的好坏,知识能力的高低,也无法与其他学生相互比较”。 “由于各个测验的难度不同,各原始分数的价值也不相同,不同测验的原始
14、分数不能进行直接比较”。 “为了使原始分数本身具有意义,使不同测验的原始分数可以相互比较,就必须把它们转换成导出分数。所谓导出分数就是经过统计处理过的,具有一定参照点和单位的、可以比较的分数”。 “在教育测验中常用的导出分数有百分等级分数和标准分数”。,教育测量基础知识测验分数的解释和转换,百分等级分,一个原始分数不能表明它在全体分数中的位置。百分等级分是一种相对地位量数,它把参加测验的全体人数作为100分来计算,从而以某一原始分数换算出其在全体中的位置。 百分等级分的优点:它能十分直观、准确地表示某原始分所在的百分位置;“同一个被试在不同测验的百分等级可以进行相互比较”;“不同的被试在同一个
15、测验上的百分等级可以进行相互比较”。 百分等级分的缺点:它是一个循序量数,“仅能表示被试测验成绩的好坏和位次,不能进行加减乘除运算”,给进一步的分析带来了困难。,教育测量基础知识测验分数的解释和转换,百分等级分变化表的应用,某学生的百分等级分变化表(单位:%),“个体内差异评价”的量化指标和工具,线性标准分,标准分Z的计算公式为: 式中, 为第i个学生的原始分, 为平均分数,S 为标准差。 标准分数是一个以平均值为参照点、以标准差为单位、测量原始分数与其平均分数的距离的量数,可以表示一个原始分数在团体中所处的相对位置。 不管原始分数的平均分、标准差如何,相同的标准分表示在分布中处于同样的相对位
16、置。,教育测量基础知识测验分数的解释和转换,标准分的其他形式,为使标准分更符合我们沿用百分制的记分习惯,可将标准分Z转化为另一种标准分T,其计算公式是: T = 10Z+50 大学英语四、六级考试使用的标准分有“SCO”和“TotSCO”。 标准分SCO的计算公式是: SCO = 12Z+72 TotSCO的计算公式是: TotSCO = 70Z+500,教育测量基础知识测验分数的解释和转换,线性标准分的优点和缺点,线性标准分的优点:“如果几个不同测验的分布形态是很相近的,那么,同一个被试在几个不同测验上的线性标准分数,可以相互比较”,“可以将一个被试几个不同测验上的线性标准分数相加求和”。即
17、通常所说它具有的“可比性”和“可加性”,可以直接进行合成运算。 线性标准分的缺点:“当两个测验的分布形态不同时,它们的线性标准分既不可以相互比较,又不可相加求和”。,教育测量基础知识测验分数的解释和转换,正态化标准分(非线性标准分),不同测验的线性标准分“只有在分布形态相同或相近的情况下才能进行比较,如果两个分布的形态不同,譬如一个是正态,一个是负偏态,那么相同的Z 分数可能代表不同的百分等级。对于这样的两种分数,我们难于做到准确地比较,”。“当两个测验的分布的形态不同时,它们的线性标准分既不可以相互比较,又不可以相加求和”。 “为了使不同的测验分数可以相互比较,则需将之正态化”,即使用进行过
18、非线性转换的正态化标准分。 参考文献 王汉澜著:教育测量学 王孝玲编著:教育测量,教育测量基础知识测验分数的解释和转换,负偏态分布正态化原理图,非线性转换的结果是把偏态分布强制扭转成为标准正态分布形态。转换生成的正态化标准分消除了分布形态的影响,才具有真正意义的“可比性”和“可加性”,为科学、准确地对不同测验的分数进行比较和分析奠定了基础。,教育测量基础知识测验分数的解释和转换,导出分数与正态分布对应图,标准分变化率,正态化标准分的应用,为不同的测验分数进行相互比较奠定了基础。 为了在教学过程中对被试(学生或团体)进行自身的纵向比较,定量地计算测验成绩提高或降低的水平,通常使用“标准分变化率”
19、指标: 标准分变化率 =(本次分数初始分数)/ 初始分数 100% 进行团体评价时,“标准分变化率”进行的是自身的纵向比较,完全排除了“生源”对评价的影响。,“个体内差异评价”的量化指标和工具,标准分评价表的应用,某班级5次测验的总分标准分SCO评价表,“个体内差异评价”的量化指标和工具,三、 EFAS数据的格式要求,1、表名称:sheet1 2、保存格式:“Microsoft Excel 97 &5.0/95 工作簿”以上 3、KH编码:6位,JS编码:4位,添加数据模块AddExcelData实验 在“读卡机成绩表”中添加数据,(一)数据准备 1、打开工作目录中的“04级新视野成绩表举例”
20、; 2、另存为“读卡机成绩表”,删除其中的列:XM、JS、KM5、KM6、KM7、KM8; 3、另存为“添加成绩表”,删除其中的列:ZF、JS、KM1KM4。 (二)合成两个成绩表 1、分别导入 “读卡机成绩表” 和“添加成绩表” ; 2、执行“合成成绩表向导”; 3、执行“查询输出成绩表”; 4、推荐:在“Access”中复制“合成成绩表”,粘贴到Excel中。,四、EFAS数据分析操作,(一)系统设置 (二)建立文件的6个步骤 1、导入Excel表 2、生成学校常模表 注:分析局部数据时,应利用已生成的学校常模表(复制SystemSet.mdb),不再执行生成全学校常模表的操作。 3、生成
21、班级名称表(兼检测KH错误) 4、生成教师名称表(兼检测JS错误) 5、统计汇总向导 6、保存历史档案 (三)查询输出、推断统计、发展评价,EFAS主要特点,(一)分析与评估内容的全面性 (二)分析与评估方法的多样性 (三)记分体制与报道方式的多样性 (四)建立“学校常模”作为评价标准 (五)以“历史档案”实施过程监测评估 (六)全面使用教育测量、统计方法,EFAS主要特点(一), 分析与评估内容的全面性 分析与评估的内容包括: A . 学生个体成绩; B . 班级指标; C . 教师指标; D . 全校(专业或院系)总指标。 根据原始数据表包含数据范围不同,软件可以分别在“全校(大学英语部)
22、”、“教研室”、“专业或院系”、“教师”四个层次灵活地使用。,EFAS主要特点(二), 分析与评估方法的多样性 分析评估的方法包括: A . 标准参照性评价; B . 常模参照性评价; C . 个体内差异评价。 可以灵活地适应“终结性评价”与“过程性评价”等不同的应用需求。 多种评价方法的结合,可以充分发挥各自的优势和特长,又能互相弥补其缺陷和不足,从而使评价的结果更加全面、客观、科学和公正。,EFAS主要特点(三),记分体制与报道方式的多样性 分数报道的方式包括: A . 原始分数; B . 导出分数(或称转换分数); a . 百分等级分; b . 正态化标准分:TotSCO、SCO、Z、T
23、。 只有采用正态分制,才能够实现:考生成绩与总体的比较、不同考次之间的比较、团体之间的比较、不同科目之间的比较。因此考试结果能提供大量反馈信息,成为评估决策的依据。,例3.1学生成绩八种报道格式,EFAS主要特点(四),建立“学校常模”作为评价标准 某一个测验分数必须与统一的标准进行比较才能确定其优劣,这个可供比较的标准就是常模。常模表以等值表的形式将原始分数与导出分数之间的对应值表示出来。在常模表中,我们可为某个被试的原始分数寻找到它在常模团体中的相对位置。 大学英语四、六级考试建立重点8校数万名学生常模作为评价比较标准。本系统采用完全相同的方法,建立每次考试的“学校常模”,作为本学校的“尺
24、度相关常模参照”标准。,EFAS主要特点(五),以“历史档案”实施过程监测评估 系统建立了学生成绩的“历史档案”,全面记录历次考试中学生个人成绩、团体(班级和教师)指标的详细数据。 保存“学校常模”为参照标准“定位”的数据信息,为以“个体内差异评价”方法实施教学过程监测和评估奠定了基础。使我们可以十分方便地研究学生成绩、团体指标的发展变化,进行自身的纵向比较及不同科目之间的横向比较,定量地计算成绩提高或降低的水平。,EFAS主要特点(六),全面使用教育测量、统计方法 采用全系列的数理统计指标(如平均值、中位数、众数、极差、四分位差、标准差、变异系数、方差、平均差、偏度系数峰度系数等),并采用统
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2019 大学 英语 形成 评价 系统 amp 学习 策略 分析 系统软件 操作 培训
链接地址:https://www.31doc.com/p-2825784.html