第三章项目分析Itemanalysis.ppt
第三章 项目分析 ( Item analysis ),第一节 项目难度分析 第二节 项目的区分度分析 第三节 项目分析的相关问题 go,一、 难度的意义 二、 难度的计算 三、 难度与测验分数的分布 四、 项目难度分布与信度的关系 back,一、项目难度的意义 项目难度（Item Difficulty）指测验项目的难易程度。 back,（一）计算难度的基本公式 （二）用极端分组法计算难度 (三) 项目难度受机遇影响的校正 （四）项目难度的等距量表 back,（一）计算难度的基本公式 1.以答对的百分比（或称通过率）来计算难度 对0、1两级记分的测题： （公式31） P 为项目的难度；R 为通过该项目的人数； N 为参加测验的总人数。,例1，100人参加某一测验，其中第2题和第6题通过的人数分别为20人和30人，求第2题和第6题的难度。,2.当测题不是两级记分时，计算难度的公式为 （公式32） 其中， 为全体被试在该项目上的平均 得分； 表示该项目的满分。,例2，某语文测验第五题的满分为12分，这道题考生的平均得分为8.5分，问该题的难度是多少？ back,（二）用极端分组法计算难度,具体步骤如下： 第一步：先依测验总分的高低，按由高到低的顺序，依次排列试卷； 第二步：从得分最高的一份试卷开始依次向下选出全部试卷的27，作为高分组 第三步：从得分最低的一份试卷开始依次向上选出全部试卷的27，作为低分组 第四步：按下列公式计算难度 （公式33） 式中，P为难度；PH为高分组在该项目上的通过率； PL为低分组在该项目上的通过率。,例3，某一次数学测验，100名学生中，高分组和低分组各有27人。其中高分组答对第一题的共有20人，低分组答对第一题的共有10人。请计算第一题的难度。 back,(三) 项目难度受机遇影响的校正 在是非题和选择题中，由于允许猜测，被选答案的数目越少，机遇的作用越大，就越不能反映项目的真实难度。为平衡机遇对难度的影响，可用下面的公式校正： （公式34） 其中，CP：校正后的难度；P：未校正时的难度；K：为是非题和选择题选项的数目。,例4，一个五择一的测题，未校正前的难度指数为0.50，一个四择一的测题，未校正前的难度指数为0.53，请问校正后哪一题的难度大？ back,（四）项目难度的等距量表（难度转换） 1使用项目难度等距量表的理由 前面我们计算的难度是用百分比来表示难度。百分量表是等级量表，不是等距量表，缺乏相等的单位，只能表示事物之间位次的关系，不能用来对项目之间的难度作精确的比较，也不能由各试卷的难度来计算整份试卷的平均难度。 例如，1、2、3三个项目的难度指数分别为0.50、0.40、0.30,2方法 先将某题的通过率视作正态曲线下的面积，然后查正态分布表找出正态曲线右侧的面积所对应的Z分数。这一Z分数就可视为该题的标准难度。,16%,84,-3,3,2,0,-2,-1,1,34%,例5，某题的通过率为84，求该题的标准难度。,练习：请同学们计算一下上述三个项目的标准难度,（delta）量表标准难度（美国教育测验服务中心（ETS）。值可以用以下公式计算： 134Z （公式35） 希腊字母表示标准化难度指数，Z为标准分数。值是一个均数为13，标准差为4的正态分布。 例6 求难度指数为0.50、0.40、0.30的标准难度指数（值）,的取值范围： 标准正态分布的全距一般包括6个标准差的距离，即从-3到3，当Z-3时，表明通过率达到99.87，这种情况极少发生，此时1；当Z3时，表明通过率为0.13，也是不大可能出现的情况，此时25。的取值范围是125。 back,测验的难度直接依赖于组成测验的项目的难度。通过考察测验 分数的分布，可以对测验的难度作出直观的分析。若测验项目的难 度普遍较大，被试的得分普遍较低，使测验分数集中在低分段，其 分数的分布呈正偏态；若测验项目的难度普遍较低，被试的得分普 遍较高，使测验分数集中在高分段，其分数的分布呈负偏态。,图32 测验分数的正偏态分布,图33 测验分数的负偏态分布,当测验的分数（预试结果）呈偏态分布时，可以通过改变项目难度的比例对测验的难度加以调整，通常，如果被试的取样具有代表性，对于中等难度的测验，其分数的分布呈现正态分布。 back,四、项目难度分布与信度的关系 过难和过易的测验，会使测验分数的分布相对集中于高分段和低分段，从而缩小分数的分布范围。分数分布范围影响信度，范围越广，信度越高，分数分布范围越小，信度越小。1965年，艾伯尔用三套测验进行研究，发现当难度集中在0.50附近时，分数分布的范围较广。 总结：一般能力测验和成就测验的平均难度在0.50左右为宜。出现偏态情况时，宜对项目进行调整，以使测验分数的分布接近正态。但项目难度还与测验的目的有关，正偏态分布适合于筛选性测验（如选拔性测验、竞争性测验），达标考试属于负偏态分布。 back,一、项目区分度的意义 二、项目区分度的计算 back,一、项目区分度的意义 项目区分度（Item Discrimination），又称项目的鉴别力，指项目得分对被试心理特质水平的区分能力或称鉴别能力。 back,（一）项目鉴别指数法 （二）相关分析法 1.点二列相关(Point biserial correlation) 2.二列相关(biserial correlation) 3.积差相关 练习 back,（一）项目鉴别指数法 这是项目区分度分析的一种简便方法，比较测验总分高分组和低分组在某一项目上的通过率的差异，作为项目鉴别指数。计算公式为： （公式35） 其中，D为鉴别指数，PH为高分组在该项目上的通过率，PL为低分组在该项目上的通过率。D值越大，项目的区分度越大，反之也然。,例6，某高中物理测验，被试共18人，高分组和低分组各取总人数的27，则两组各为5人，第五题高分组5人全部答对，低分组只有1人答对，计算该题的鉴别指数。 back,1点二列相关(Point biserial correlation) 适用资料：两列变量中，有一列为等距或等比的数据而且其总体分布为正态，另一列变量只是名义上的变量，按事物的性质划分为两类；有时一个变量是双峰分布也可以划分为二分名义变量。,计算点二列相关的公式是： （公式36） rpb：点二列相关系数； :答对该题的被试在总分上（或效标分数上）的平均得分； :答错该题的被试在总分上（或效标分数上）的平均得分； St：全体被试的总分（或效标分数）的标准差； P：为答对该题的人数百分比；q：答错该题的人数百分比，q=1-p。,点二列相关系数的显著性检验： 对 与 进行差异的t 检验，如果差异显著，表明相关系数显著；如果差异不显著，表明相关系数不显著。 如果样本容量较大（n50），也可以用下面的近似方法： 时，认为在.05水平上显著； 时，认为在.01水平上显著。,例6，下表是某学校的15名学生在一次数学测验中的总分和第一题的得分情况，请计算第一题的区分度。 表31 15名学生的数学测验成绩 back,2二列相关(biserial correlation) 两个变量都是正态连续变量，其中一个变量被人为地分成两类。测验总分或效标分数、某个测验项目的分数都是连续变量，其中一个变量被人为地分成两类，可以是测验总分或效标分数被人为地分成两类，也可以是某个项目的分数被人为地分成两类。 点二列相关和二列相关的区分是，二分的变量总体是否为正态，正态则用二列相关，非正态则用点二列相关。,计算二列相关的公式是： （公式37） rb：二列相关系数； :答对该题的被试在总分上（或效标分数上）的平均得分； :答错该题的被试在总分上（或效标分数上）的平均得分； St全体被试的总分（或效标分数的标准差）； p为答对该题的人数百分比；q答错该题的人数百分比，q=1-p； y为正态分布下答对百分比所在位置的曲线高度。,二列相关的显著性检验：用Z检验。 （公式38）,例7，下表是某学校的15名学生在一次语文测验中的总分和作文题的得分情况，作文题被人为地分成两种情况，37以上算通过，37分以下算没有通过。请计算作文题的区分度。 表32 15名学生的语文测验成绩 back,3.积差相关 适用资料：两列数据都是测量的数据；两列变量各自总体的分布都呈正态，即正态双变量。 例8：下表是30个学生一次语文测验的分数，试计算作文题的区分度。,练习1：下表是30个学生一次测验的分数，试计算第三题的难度；若第三题是是非题，答案分对和错，请计算其区分度；若第三题是作文题，人为地将其分成通过和不通过，请计算其区分度。,练习2：下表是某大学学生的一次普通心理学期末考试的成绩总分和某一论述题的得分（满分为15分），请计算这一论述题的难度（分别用基本公式和极端分组法计算。）和区分度。,练习3：某一心理测验1、2、3、4四个项目的难度分别为0.73、0.25、0.67、0.19，请分别计算这几个项目的标准难度值。 答案：-0.62（-0.61）10.52左右；0.6815.72；-0.4411.24，0.8816.52 back,一、区分度与难度的关系 二、项目的选择 back,表33 D的最大值与项目难度的关系,从此表我们可以看出，难度越接近于0.50，项目潜在的区分度越大，而难度越接近1.00或0时，项目的潜在区分度越小。因此，在常模参照测验中，要提高区分度，最好让项目保持中等程度的难度。 如果我们想使我们的所测验到的心理特质的分数分布呈正态，我们考虑难度选择项目时，应使项目的难度分布也呈正态分布，特别难和特别容易的题目少一些，中等难度的项目多一些，而所有项目的平均难度要保持在0.50左右。 back,1根据难度挑选项目 项目的难度分布也呈正态分布，特别难和特别容易的题目少一些，中等难度的项目多一些，在编制测验时一般要求项目的难度在0.200.80之间，而所有项目的平均难度要保持在0.50左右。当题目之间正相关时，题目难度值应分布得广些但平均难度应以0.50为好。当题目有猜测可能时，题目的 P 值应适当加大。,一般能力测验和成就测验的平均难度在0.50左右为宜。出现偏态情况时，宜对项目进行调整，以使测验分数的分布接近正态。但项目难度还与测验的目的有关，正偏态分布适合于筛选性测验。此时项目的难度和整个测验的难度应该偏高。选拔性测验还要考虑录取率。达标考试属于负偏态分布，此时项目的难度和整个测验的难度应该偏低。标准参照能力测验 P = 1.0 或P = 0 有可能也是好题。 人格测验 P 0.95 或 P 0.05 的题目考虑删除,2.根据区分度挑选项目 表21 测题的鉴别指数与优劣评鉴,埃贝尔（I.Ebel）的标准是针对鉴别指数的，如果区分度是用相关系数计算得来的，则挑选项目的最低标准是不低于相应的临界值。,3.对选择题的选项进行分析 （1）如果正确的被选答案被所有被试选择，则说明该题目太容易或者题目中可能提供了某种暗示。 （2）如果某个错误答案没有一个被试选择，说明该项目不具迷惑性，错得过于明显，一般来说，除非有2以上的人选择，否则这个被选答案应该修改。 （3）如果所有被试都选择了同一个错误答案，可能是编制测验时把答案定错了，也可能是教学中发生了错误。 （4）如果高分组被试的选择集中在两个答案上，二者选择率相近，说明该题可能有两个正确答案或另一个答案也有一定的道理。 （5）如果高分组对正确答案的选择与低分组相等或低于后者，说明考察的东西与水平无关。 （6）如果一个题目被试未答人数过多或选择各个被选答案的人数相等，则说明题目过难或题意不清，使得被试无法做答或凭猜测作答。,例8，表34是一张2道4重选择题的项目分析表。被试共100人，高低分组共有27人。表中两道题的正确答案都是B。 表34 2道4重选择题的项目分析表,练习4： 下表是一成就测验4道4重选择题的项目分析表，请对测题进行项目分析。 见word文档 第三章 练习2,Thanks!,
