区域教育质量监测诊断与评价.ppt

区域教育质量监测、诊断与评价,测评知识专题讲座,测评知识专题讲座,掌握测评知识，通过评价指标对学科教学 进行诊断，是教研工作提高教学质量的有效手 段。 评价指标既反映了教学的表面现象，同样 也可能隐含着教学内在的信息，所以评价指标和 经验结合，可帮助我们准确、正确的解读一次或 多次考试数据。,一、评价指标名词解释； 二、结合实际情况使用评价指标； 三、系统指标说明； 四、如何用评价图表撰写分析报告； 五、补充说明双向细目表编制要求。,测评知识专题讲座,（一）成绩分布 在统计学中，一个区间样本数据频数，就是在该区间内取值的样本个数。样本的频数分布是对在划定的不同区间内，样本个数多少的一种描述。一般需要按照以下步骤给出一个样本的频数分布： a求极差（最大值最小值）； b确定组数和组距； c确定组的上下限； d计算样本频数。 在成绩分析中，对单科分数分布的描述，通常习惯以到满分值作为极差，以2分、5分或10分一个组（分数段）作为确定组数、组距和组的上下限的依据。通过计数、填表，便得到频数分布表和分布图。,一、评价指标名词解释,一、评价指标名词解释,频率分布图直观地描述了一组分数在每个分数段所出现频率的分布情况。纵坐标为频率（%），横坐标为分数。分数频率分布图可形象、直观地描述考试信息。不同的形态可反映出学生知识水平的分布及试题质量（难度、区分度等）的状况。,一、评价指标名词解释,举例：几种常见的分布形态,1.偏度系数SK 偏度系数可以定量地描述成绩分布曲线的偏斜程度。计算公式为： 式中： 为平均分X 为各组组中值、S 为标准差、F 为各组频数、N 为学生人数。 2.峰度系数KU 峰度系数可以定量地描述成绩分布曲线的陡缓程度。计算公式为： 式中： 为平均分、X 为各组组中值、S 为标准差、F 为各组频数、N 为学生人数。,一、评价指标名词解释,（二）样本特征数 一类是描述数据的集中趋势，如平均值、中位数和众数。另一类是描述数据的离散（差异）程度，如标准差、变异系数、极差、四分位差、平均差和平均差系数等。 分数集中趋势 平均值、中位数和众数 分数离散趋势 标准差、变异系数、极差、四分位差、平均差和平均差系数,一、评价指标名词解释, 分数集中趋势 .平均分 平均值是描述样本平均取值水平的指标。公式： .中位数 中位数是在大小上处于整批样本中间位置的那个数值，代表了样本取值的中间水平。 中位数比平均值强的地方是较少受两极端数值的影响，为中位数特殊的应用价值。 中位数不适合进行代数运算，例如不能把几个中位数综合求出一个总的中位数。 .众数 众数一般指整批样本中频数出现最多的那个数值，代表了样本取值的中间水平。 众数较少受两极端数值的影响，但反映不灵敏，常用于粗略地估计一组数据的代表 值。,一、评价指标名词解释,平均值、中位数和众数的关系 平均值、中位数、众数的大小与分数分布的状态有关。可 以利用平均值、中位数、众数三者的关系来粗略地判断分数的 分布状态： a当分布状态呈现正态分布时，三者重合为一点，即：平均值 = 中位数 = 众数； b当分布状态呈现负偏态分布时，平均值 中位数 众数。,一、评价指标名词解释, 分数离散趋势 6.标准差 标准差是一种绝对差异量，反映样本取值离散程度的指标，用以说明数据的波动情 况。 标准差是代表性最好的一种绝对差异量数。标准差为我们估计分数的离散情况提供了 量化指标。标准差越大，说明分数之间的差异越大，分数分布越不均匀；相反，标准差越 小，说明分数分布越集中，大部分数集中在平均分周围。因此，标准差越小，平均分对学 生集体成绩的代表性越好。反之，标准差越大，平均分对学生集体成绩的代表性越差。由 此可见，在用平均分描述学生集体测验成绩时，有必要同时用标准差来说明平均分的代表 性大小。 使用标准差评价学生集体测验成绩时，评价者所依据的的教学质量标准不同，会得出 不同的结论。例如，有人认为，标准差大，说明学生之间的差异较大，可能会有成绩优秀 的学生存在，有利于培养尖子；但也有人认为这样不利于面向全体学生组织教学，总有部 分差生存在。标准差小，学生比较整齐，有利于班级教学，但也可能缺乏成绩优秀的学生。,一、评价指标名词解释, 分数离散趋势 7.变异系数 相对差异量，单位平均数（平均分）所含的标准差（再乘100）。是一个无量 纲的相对数。变异系数CV大，表明离散程度大，变异系数CV小，表明离散程度小。 当不同特质而且所测量的样本水平比较接近，例如两门课程成绩的满分值相 等，而且平均分也比较接近时，可以直接用“绝对差异量” 标准差来比较它 们的离散程度的不同。但是，当不同特质或所测量的样本水平不同时，若直接用 标准差来比较它们的离散程度是毫无意义的。必须用“相对差异量” 变异系 数CV来进行比较。 例如：某班级在一次考试中，语文成绩：标准差21、平均分95分（满分150分），物 理成绩：标准差18，平均分72分（满分100分），试比较它们的离散程度。 解：语文CV=21/95×100=22.1 物理CV=18/72×100=25 语文成绩的离散程度小于 物理。,一、评价指标名词解释, 分数离散趋势 8.极差 极差是样本中最大值与最小值的差，反映了样本取值离散程度的大小。 9.四分位差（四分位数） 四分位差可以用样本百分位数定义为： Q = （Q0.75 - Q0.25）/ 2 即为第3四分位数（75%分位数）与第1四分位数（25%分位数）之差的一半。 四分位差用来描述样本中处于中间水平那一半数据的离散程度。,一、评价指标名词解释, 分数离散趋势 0.平均差 平均差是样本中每一个数据与该组数据的平均值离差的绝对值的算术平均数。 式中：AD为平均差、X 为原始数据、 为平均值、 X - 为离差，即数据与平 均值的距离。 平均差意义明确，计算简单，每个数都参加了计算，考虑到全部的离差，反应灵敏。 但计算要用绝对值，不适合代数运算。 .平均差系数 相对差异量，单位平均分所含的平均差（再乘100）。是一个无量纲的相对数。平 均差系数大，表明离散程度大，平均差系数小，表明离散程度小。 平均差系数VA使用的原理与变异系数CV相同。,一、评价指标名词解释,（三）测验分数解释 .百分等级分 一个原始分数不能表明它在全体分数中的位置。百分等级分是一种相对地 位量数，它把参加测验的全体人数作为100分来计算，从而以某一原始分数换 算出其在全体中的位置。 转换百分等级分使用的计算公式为： PR = 100 （100 R 50） / N 式中，PR：百分等级，R：全体分数排序，某一原始分数所占的名次，N： 数据个数。 百分等级分可以十分直观、准确地表示某原始分所在的百分位置，但由于 它是一个循序量数，不能进行数学运算，给进一步的分析带来了困难。,一、评价指标名词解释,（三）测验分数解释 .线性标准分 标准分数是将原始分数与其平均数之差除以标准差所得的商数。它是以标 准差为单位度量原始分数离开平均数的量数，可以表示一个原始分数在团体中 所处的位置。标准分Z的计算公式为： 式中： X为学生的原始分， 为平均分数，S为标准差。 标准分数具有以下性质： a一组标准分的平均分为0，标准差为1； b标准分的绝对值表示某一原始分与平均值的距离；标准分的正、负表 示原始分与在平均分之上还是之下。 c标准分的分布与原始分的分布相同。如果原始分的分布是正态或接近 正态，则标准分的分布范围在-3到+3之间。 d在原始分的分布是正态或接近正态时，标准分与百分等级分有对应关 系。,一、评价指标名词解释,（三）测验分数解释 .线性标准分 由此可见，标准分数是一个以平均值为参照点、以标准差为单位的等距量 数。不管原始分数的平均分、标准差如何，相同的标准分表示在分布中处于同 样的相对位置。标准分数具有可比性，还具有可加性，可以直接合成运算。因 此，我们在对学生不同的考试成绩进行比较时，或综合学生的各科成绩对学生 做出总的评价时，应当将学生的原始分数转换为标准分数后再合成或比较，而 不能直接使用单位不等、参照点不同的原始分数进行合成或比较。 为了使标准分更符合我们平时的记分习惯，可将标准分Z转化为另一种标 准分T，其计算公是： T = 10Z+50,一、评价指标名词解释,（三）测验分数解释 .正态化标准分 不同测验的线性标准分“只有在分布形态相同或相近的情况下才能进行比 较，如果两个分布的形态不同，譬如一个是正态，一个是负偏态，那么相同的 Z 分数可能代表不同的百分等级。对于这样的两种分数，我们难于做到准确地 比较，”。“当两个测验的分布的形态不同时，它们的线性标准分既不可以相 互比较，又不可以相加求和” 。许多教育测量经典著作均有相应的论述。 在教学过程中，适当地调整试题的难度分布，使每次不同测验的分数分布 形态十分相近，并非易事。实际上，不同测验的分数分布形态往往出现一定的 差异。总体（或样板）容量越小时，分布形态的出现的差异可能越大。“为了 使不同的测验分数可以相互比较，则需将之正态化”，即使用进行过非线性转 换的“正态化标准分”。,一、评价指标名词解释,（三）测验分数解释 .正态化标准分 非线性转换的结果是把偏态分布强制扭转成为标准正态分布形态。转换生 成的正态化标准分消除了分布形态的影响，才具有真正意义的“可比性”和 “可加性”，为科学、准确地对不同测验的分数进行比较和分析奠定了基础。,一、评价指标名词解释,负偏态分布正态化原理图,（三）测验分数解释 .正态化标准分 利用教育测量原理建立多次考试的“正态分布常模”。使多次考试的分布形态成为 完全相同的“标准正态分布”，也就完成了多次考试的“百分等级位置”、“正态化标准 分T”与实际的原始分数“等值化”，为多次考试分数进行精确的比较提供了可能。,一、评价指标名词解释,标准正态分布形态下的标准分对照图,（四）难度指数 测题的难度是指测题的难易程度。表示测题难易程度的数量，称为测题 的难度指数，一般用P来表示。 .难度指数 （1）0、1记分测题难度的估计 难度指数的公式一： P=R/N 式中：表示测题的难度指数、表示某题答对的人数、表示被试的总 人数。 难度指数的公式二： P= (Ph-Pl)/ 式中：Ph表示高分组某题答对的人数比率，Pl表示低分组某题答对的人数 比率。,一、评价指标名词解释,（四）难度指数 .难度指数 （）非0、1记分测题难度的估计 如果测验是由几个大题目所组成，每个题目的满分可能是记 几分、十几分或几十分。每个题目不只有答对和答错两种可能结 果，而是从满分至0分之间有多种可能结果。估计这种测题的难 度可以用下列公式表示： P= /Y 式中： 为所有学生的平均分，Y为该题的满分值。,一、评价指标名词解释,（四）难度指数 .难度指数Z和难度指数 由于P难度指数是正确回答试题的人数的比例（客观题），或全体被试在 该题上的平均数与试题满分的比例（主观题）。这种比例位于“顺序量表” 上，它们之间是不能进行数学运算的。不同难度只能表示出试题的难易程度之 间的大小、位次关系，但不能表示出试题的难易程度之间差异的数量关系。为 了对测题之间的难易程度做进一步的统计分析，教育测量学中将难度指数表示 在位于“等距量表”上，转化为“正态化的等距的难度指数”，即难度指数 Z和难度指数。 设难度值为P，则在正态分布表中查（1 - P）所对应的标准分Z，即该难 度在“等距量表”中的位置。由于标准分Z（ 以-3为下限，+3为上限 ）带有 负数，处理比较麻烦。教育测量学中通常使用难度指数Z和难度指数： Z= Z + 5 （ 以2为下限，8为上限 ） = 4Z + 13 （ 以1为下限，25为上限 ）,一、评价指标名词解释,（四）难度指数 .难度指数分布 难度指数（难度指数P)分布：学生学科成绩分段与对应学生的试题、知识 点和能力得分，鉴别不同水平学生试题、知识点和能力的得分水平，也可帮助 了解试题出题是否科学。,一、评价指标名词解释,难度指数分布图,（四）难度指数 8.分组难度 分组（难度指数P)难度分布：学生学科成绩从低到高分7组，与对应学生 的试题、知识点和能力得分，鉴别7组不同水平学生试题、知识点和能力的得 分水平，也可帮助了解试题出题是否科学。,一、评价指标名词解释,分组难度分布图,（四）其他指标 9.区分度 测题的区分度是指测题对于被试反应的区分程度和鉴别能力，一般用某测 题的得分与测验总分之间的相关系数来表示。 分组法。按高到低排列的测验总分，分高分组和低分组。两组人数可以各 取总人数的（即50%）、（即33%）、（即25%）或27%，其中以取总人数的27% 为最好。某题的区分度可以用高分组答对该题的人数比率与低分组答对该题的 人数比率之差来表示，称为测题的鉴别指数。用公式表示为： hl 式中:D表示测题的鉴别指数、h表示高分组答对该题的人数比率、l表 示低分组答对该题的人数比率。,一、评价指标名词解释,多数情况，需要结合多个指标对样本进行分析，才能 更加精准地对样本数据作出科学判断。 1、三率（优秀、良好、及格）与上线 2、平均分与中位数、众数 3、标准差与变异系数 4、线性标准分与正态化标准分 5、难度指数P与难度指数Z、难度指数,二、结合实际情况使用评价指标,三、系统指标说明,（一）完全采用教育统计学、教育测量学测评指标： 常用指标：平均分、优秀数（率）、良好数（率）等等 上线指标：上线数（率）、双上线、临界生 样本特征数：平均分、众数、中位数、标准差、变异系数等等 标准分：线性标准分、正态化标准分 难度：难度指数P、难度指数Z、难度指数、分组难度 分布状态描述：偏度系数、峰度系数 其他指标：名次、成绩分布、区分度、中位数-四分位数、均 值-离差描述等等。 （二）多维度统计，分层次分析,四、如何用评价图表撰写分析报告,（一）学科数据分析指标与试题、知识点和能力分 析指标相结合； （二）测试数据分析指标和教学经验相结合； （三）多次测试数据指标分析相结合； （四）班、校、区分析指标相结合。,五、补充说明双向细目表编制要求,小建议：只需初期编制双向细目表，以后稍作改动即可。,