试题编制技术与试卷质量分析.ppt
试题编制技术与试卷质量分析,Company Logo,www.themegallery.com,一、试卷编制前的准备 1、命题前的思考点 2、命题设计的一般原则 3、试卷编制的基本程序,Company Logo,www.themegallery.com,二、试卷编制的技术要点 1、命题双向细目表设计 2、几类典型题型编制要求 3、命题预测的评价指标 4、命题需要注意的几个问题 三、试卷质量分析与评价 1、考试结果的基本分析 2、质量分析报告的撰写,Company Logo,www.themegallery.com,一、试卷编制前的准备,命题容易又很难，一份好的命题更难。 命题体会与考量： 规范负责的态度 一定的文字功底 丰富的知识储备 多研究经典试题试卷 走钢丝的艺术； 遗憾的艺术； 人文素养的考验； 科学素养的考验； 教育测量技术。,规范负责的态度 一定的文字功底 丰富的知识储备 多研究经典试题试卷,Company Logo,www.themegallery.com,1、命题前的主要思考点 思考准备： （1）明确考试的性质 测验 ·诊断性考试 知识与技能的掌握； 常模参照考试 会考 ·水平考试 稳定的认知能力特质 标准参照考试 智力测试 ·学习能力考试 潜在的学习能力和学术发展倾向 标准参照考试,Company Logo,www.themegallery.com,·常模参照测验是指以学生团体测验的平均成 绩为参照标准，说明某一学生在团体中的相对位置，将学生分类排队。 ·标准参照考试是指以体现教育教学目标的标准为准，看学生是否达到标准以及达成标准的程度。它主要不是用于比较个人之间的差异。,Company Logo,www.themegallery.com,Company Logo,www.themegallery.com,（2）把握考试对教学发展的导向性 ·反映课程改革的要求； ·体现学科的特点； ·引领学生学习。 （3）掌握考试对象的特点与水平 ·学生学习与心理特点 ·阶段知识掌握的水平区分； ·能力反映的特点。,Company Logo,www.themegallery.com,（4）考虑足够的内容抽样代表性 ·与备课组交流； ·抽取好、中、差学生练习与试卷； ·与不同层面的学生交流。 （5）选择合适的试题结构 ·试卷内容组成； ·试卷编排顺序； ·试卷难易控制。,Company Logo,www.themegallery.com,2、命题设计的一般原则 （1）命题的目的性；（2）内容的代表性； （3）格式的规范性；（4）表述的简明性； （5）答案的确定性；（6）题目的独立性； （7）创意的公平性；（8）测试的实效性。,Company Logo,www.themegallery.com,命题要全面考查学生课程目标的达成状况 立足全面性、注重代表性、体现导向性； 考察内容的均衡性； 适度的题量与难度； 恰当的题型结构； 适度的自主性和开放性； 试题呈现方式的多样化。 在此基础上，综合体现：基础性原则、发展性原则、科学性原则、时代性原则、开放性原则、规范性原则。,Company Logo,www.themegallery.com,3、试卷编制的基本程序,（1）拟定命题计划 ·各种题型的题量及分数分配； ·各项考试内容的题量及分数分配； ·能力考查的重点及各能力层次的分配； ·考试难度及各类难度比例。,Company Logo,www.themegallery.com,（2）（根据命题计划）编制双向细目表 ·确定考试内容要目； ·确定考试目标层次； ·确定考试要目下的权重； ·试题难度预估。,Company Logo,www.themegallery.com,（3）（根据双向细目表）编制试题并组卷 ·题型的选择与安排（先按题型，再按难度）； ·试题的难度控制与预估（整卷难度与分题难度，有序层进）； ·对试题区分度的把握； ·开放（或探究）试题形式与内容的探索； ·一些重要的内容及方向定位（如写作题）； ·答案与评分标准的制定。,Company Logo,www.themegallery.com,（4）试测并修订 ·在保密中选取典型非我校学生进行试测； ·根据试测情况分析分调整命题； ·专家审卷； ·修正并定稿。,Company Logo,www.themegallery.com,二、试卷编制的技术要点,1、命题双向细目表设计 目的设计试卷的蓝图，使命题者明确测验的目标，把握试题的比例与分量，提高命题的效率和质量。 内容考查的范围、具体知识点、测试目标、题型、分值分布、难度分布。 操作确定试卷要考查的目标；明确要考查的知识内容（知识点）；根据考查目标和知识的重要程序给予不同的比重；合理安排好各部分权重，编制出双向细目表。,Company Logo,www.themegallery.com,范例1,Company Logo,www.themegallery.com,范例2 命题双向细目表,Company Logo,www.themegallery.com,范例3 试卷组合双向细目表,Company Logo,www.themegallery.com,加权难度分数计算公式： ， . 为权 注意：能力各栏目分数合计和题型各栏目分数合计均应为100（或150）分。,Company Logo,www.themegallery.com,2、几类典型题型的编制要求,（1）测试题型的分类,Company Logo,www.themegallery.com,客观性试题与主观性试题比较,Company Logo,www.themegallery.com,（2）选择题的编制,选择题的编制,Company Logo,www.themegallery.com,编制选择题的注意要点： ·每题仅围绕一个测试中心 ·题意完整，表述简明 ·避免提供解题线索 ·题干应尽量创设新的情境 ·题干尽量以正面方式叙述,Company Logo,www.themegallery.com,·各选项语词切勿重复 ·选项只间不应相叠 ·干扰项诱答须似是而非 ·各题彼此独立，避免链式 ·忌用“以上皆对”、“以上皆错”选项 ·选项数尽量一致，形式大体相同 ·正确项目须随机排位,Company Logo,www.themegallery.com,（3）填空题的编制,Company Logo,www.themegallery.com,（4）简答题的编制,Company Logo,www.themegallery.com,（5）论述题的编制,Company Logo,www.themegallery.com,（6）应用题的编制,Company Logo,www.themegallery.com,（7）开放性试题的编制 开放性试题的命制 ·条件开放型、过程开放型、结论开放型以及这三种题型的综合形式。 ·这些形式还可以进一步细分，如在答案开放型中，可以再分为理论运用（知识视角）开放、论据素材（佐证事例）开放、表达方式开放和评分要求开放等。在各个学科中，其具体表现形式有所不同。,Company Logo,www.themegallery.com,方法与策略 可选择作答：学生可以选择部分试题或一个试题中的若干小问题作答，增加答题的可选择性，有利于发挥学生的优势智能，表现学生的个性和特长。 陈题新用：对传统试题进行改造，省略去其中的部分条件，或对问题提出不同的解决方向，或要求用尽可能的角度解决问题。 从生活素材入手：选取社会热点、生活焦点和学生生活经验作为素材来设计问题，引导学生运用所学知识独立地解决生活问题。 设置黑箱：将一个事物产生、发展过程和最终结果中的过程隐藏起来，即制造一个黑箱，让学生发挥想象力，提示黑箱的内幕。,Company Logo,www.themegallery.com,假设情景条件：在一定条件下假设某种情景，探求事物的发展状态；或给出某种确定的情景，探求由于条件的变化，可能引起什么样的反应。 例举事实：给出一定的规律或原理，要求学生搜集与之相关的现象或事实，证明这一理论。 学生自编自答：在一定背景之下，让学生根据试题提供的素材，自己提出问题，并分析解决问题。 超越课本知识：超越课本中的字面内容，挖掘隐藏一于文字背后的思想，考核学生的科学精神与人文思想。,Company Logo,www.themegallery.com,巧用设问：调整问题的设问指向，引导学生摆脱传统的思维方向，寻找新的考虑问题的角度。 引导推理：给出一定的材料或条件，让学生自主推导出可能产生的结果，或者给出一定的结果，让学生反向推导出它所需要的条件。 补充材料或结果：给出不完整的材料或事物进程，通过学生自主想象，补充材料或推测结果。 调整评分要求：评分要点充分考虑到学生答题的各种可能性；对于某些有创意的答案或要点，应该加以加分奖励，等等。,Company Logo,www.themegallery.com,（8）主观题命题评分的基本要求 ·不要逼着或诱导学生说假话是最起码的要求； ·给定标准答案，以命题者之心度学生之腹的题出了还不如不出； ·主观题发挥学生的创造性，有一定开放性并不表明可以题可以随便出，答案可以随便写，清晰的评分标准是必要的； ·如果测量的行为目标能够用客观题来测，就尽量不要用主观题； ·挑选的材料应该与学生学习经历过的材料有类似性或是全新的材料；,Company Logo,www.themegallery.com,·应该用清晰，明确的语言表述背景材料和问题； ·对材料分析题而言，设计试题应该要求学生对材料进行分析和解释； ·设计的试题数应该与背景材料的长度相匹配； ·对试题的赋分应该合理； ·对每个问题给恰当的时间完成。,Company Logo,www.themegallery.com,3、命题预测的评价指标 （1）难度控制 ·定义：学生完成题目和项目任务时所遇到的困难程 度。难度值以P表示。 公式1：通过率P ,R表示答对某题的人 数，N表示测试的总人数。 公式2：得分率P ，X表示某题的平均分， W表示某题总分。 ·注意：通常对客观题计算难度时选择公式1； 通常对主观题计算难度时选择公式2。,Company Logo,www.themegallery.com,全卷难度用加权难度平均数公式计算。, 其中 分别为 的权数 i1、2K。,Company Logo,www.themegallery.com,·高考难度要求： 全卷难度0.50.6； 试题难度0.30.7，接近正态分布； 易：中：难3:5:2 容易题P值为0.7以上；中档题P值为0.50.7；难度P值为0.30.5。 ·试卷难度计算方法：假设容易题、中档题和稍难 题比例按3:5:2预测，即30%的试题难度P值为 0.7以上；50%试题的P值为0.50.7；20%的 试题P值为0.30.5。,Company Logo,www.themegallery.com,·影响试题难度的因素 情境的熟悉性； 需要提取，应用元素本身的难度，熟悉性和数量； 已知条件是否完备或冗余； 先前是否存在模式能够参考； 概括程度的高低，如是否需要建立模型，以及所建模型的复杂性和概括性程度。,Company Logo,www.themegallery.com,·试题（试卷）难度控制 运用“难度相关因素表”和“难度分数对应表”，掌 握试题难度预估与控制方法。,Company Logo,www.themegallery.com,难度相关因素表,Company Logo,www.themegallery.com,难度系数对应表,Company Logo,www.themegallery.com,·影响试题难度应对策略 题目条件的复杂程度适可而止 题目条件表述的隐藏性提倡（联系实际） 解答题目所需的心智技能、不过份 是否隐含科学探究方法提倡 解答过程的数学手段不过份 需要文字表达的水平适当 以往解题经验的影响提倡新情况,Company Logo,www.themegallery.com,（2）区分度的控制 ·区分度。区分度是反映试题能否鉴别学生能力高低的指标，由某题答对人数与答错人数相比较而确定。 如果某个试题，总分高的学生与部分低的学生 都没有做对，或全做对，则说明该题没有区分度。 假如一个试题对总分低的学生出错的人数比总分高 的学生更多，则表明该试题有较高的区分度。,Company Logo,www.themegallery.com,区分度计算公式为：D 其中，D为区分度， 和 分别为高分组在某题上的难度和低分组的难度。区分度在0.4-0.6之间为宜。,Company Logo,www.themegallery.com,·区分度与试题难度密切相关，要改变试题区分度，即必须调整试题难度。最难和最易的试题的区分度都很低，区分度最大的试题，其难度一般在0.3-0.6。提高等级间区分度，主要应该：准确控制30%的试题难度，增加0.6的题量。 ·对于常模参照来说，区分度D0.4为优； 0.39D0.3，良好； 0.29D0.2，一般； D0.2劣，应该淘汰。,Company Logo,www.themegallery.com,·对试题难度（P）与区分度（D）进行总体衡量,人的多数心理特征呈正态分布，一个测验的各道题目之间或多或少存在着一定的相关；因此一般采用使题目从易到难排列，而非皆固定在P0.5左右。高考要求D0.3,Company Logo,www.themegallery.com,·区分度的计算程序 将考生的部分由高到低排列（预测时是预估的）； 从最高分开始向下取全部试卷的27%做为高分组； 从最低分开始向上取全部试卷的27%做为低分组； 计算高分组、低分组在某题的难度 与 ；,Company Logo,www.themegallery.com,主观试题区分度D,Company Logo,www.themegallery.com,其中 表示接受测验高分组在该题上的总得分数， 表示低分组学生在该题上的总得分数，N表示参加测验高分组（或低分组）人数，即总人数的27%，H表示该题最高分，L表示该题最低分。 一般也可用D ， ：高分组某试题的平均分， ：低分组某试题平均分， ：某试题的满分。整个试卷的区分度，是所有试题区分度的平均值，可用加权平均数求出。,Company Logo,www.themegallery.com,·注意：区分度比较小并不一定说明试题不好。首选应检查样本大小，如果样本太小，可能会导致相关系数不稳定。其次，应该检查试题的难度，如果试题难度过大或过小，都可能导致试题的区分度降低。第三，应检查试题本身是否有问题，如题干表述的不明确，题干存在某种给考生提示的线索或其他技术性错误。如果没有上述三方面的问题，那么试题的低区分度可能揭示学校教学或考生复习方面可能存在某些问题。,Company Logo,www.themegallery.com,（3）信度的控制（暂不考虑） ·信度即测量结果的可信程度（稳定性程度），如果用 同一测量工具反复测量同一特质对象，则多次测量结 果的一致性程度就叫信度。 ·信度的估计方法 重测信度：用同一个测验或评价表对同一组被试 施测两次所得结果的一致性程度。用途在于估计测验结果经过一段时间后是否仍然维持稳定、一致的特性。 复本信度：是指两个平等测验测量同一批被试者所得结果的一致性程度（同一时间或间隔一段时间进行），真正的平等测验非常重要。,Company Logo,www.themegallery.com,分半信度：将一个测验分成对等两半后，所有被试在两半上所得分数的一致性程度。按题号的奇偶分半、按难度分半、按题目的内容分半。 评分者信度：多个评分者给同一批人的答卷进行评 分的一致性程度。主观题特别是作文 题的评分信度值得研究。,Company Logo,www.themegallery.com,提高信度的办法： A、增加题量、提高覆盖率； B、提高区分度，准确反映考生差异； C、减少考试过程中非智力和情感因素干扰； D、提高评分的客观性和准确性。 ·高考要求：选择题总分信度0.9，非选择题总分信度0.7，全卷信度0.8,Company Logo,www.themegallery.com,（4）效度控制（暂不考虑） ·效度是指本次考试与考试目标的相关程度，即考试内容，形式、结果对考试目标的体现情况。 提高效度的方法： 合理规定考试目标； 科学确定考试内容； 选择适宜的考试方式； 提高考试信度； 不得滥用考试成绩。,Company Logo,www.themegallery.com,·效度包括： 内容效度：试题与教学的目的和内容相符的程度 结构效度：测验的结构与目标要求相符的程度 标准相关效度：测验与作为标准的测验相符的程度,Company Logo,www.themegallery.com,4、命题需要注意的内个问题 （1）情境设置问题 ·设置“情境”的本质是提供一个平台，能够让学生针对知识、技能、过程方法等进行提取、组合、尝试、判断以及模式化等等，有时这个过程比结果更为重要。 ·根据学科和测试目标的不同，情境的现实化和生活化程度是不一样的。 ·不要为了情境而设置情境。 ·虽然有些情境不要求真实，但需要合理，一定不能让学生产生迷惑。,Company Logo,www.themegallery.com,（2）试题反映考试功能和目标； （3）不出超纲题、偏题、怪题和其他没有考查意义的题目； （4）解题情境和提出的问题新颖而不落俗套； （5）问题含义明确，不是暧昧不清和模棱两可，用语准确清楚；,Company Logo,www.themegallery.com,（6）具有一定的区分度，难度结构合理，符合考纲的要求； （7）试题覆盖面广，布点合理，内容具有较好的代表性； （8）各试题之间具有相对独立性，不产生相互提示，一般不以其他试题的答案作为本题的答题基础； （9）卷面美观大方，试题排放合理，答题要求明确，答案要求客观公正。,Company Logo,www.themegallery.com,三、试卷质量分析与评价,1、考试结果的基本分析 （1）整卷结构评价 评价要点：双向细目表是否科学合理 （2）整卷试题功能评价 评价要点：试题是否实现双向细目表中的目 标的水平。 （3）整卷和逐题难度评价 评价要点：难度是否合理、准确。,Company Logo,www.themegallery.com,（4）整卷和逐题区分度评价 评价要点：区分点是否合理、准确 （5）对学生答题情况分析 评价要点：从每题的平均分、得分率和存在的典型问题分析 （6）对今后命题和教学改进建议。,Company Logo,www.themegallery.com,2、质量分析报告的撰写 （1）测验目的与性质 （2）能力要求与测验内容 （3）试卷设计：题型结构、考点分布 （4）试卷评价：试卷质量（平均分与标准差、试 卷难度与区分度、试题难度与区分度的分布）、试卷特色,Company Logo,www.themegallery.com,（5）答题情况分析：试题考查的主要知识与能力、试题设计思路、解题思路、考生得分情况、常见或典型错误及原因分析 （6）对命题的意见或建议 （7）对教学的意见或建议,Company Logo,www.themegallery.com,结语 ·一份好的试卷是命题人员共同的心血凝聚； ·只有充分反映内容的形式才是最好的形式；好试题的集合并不一定是好试卷，最合适的试题就是最好的试题； ·命题过程是一次最好的学习、研究和培训，虚心学习是提高命题技术的捷径； ·错误往往存在于思维惯性和大意之中，精心推敲、反向思考是提高质量的主要途径。,Thank You !,
