教育研究的问卷设计方案.ppt

教育研究的问卷设计,温红博 教育部基础教育质量监测中心 北京师范大学教育统计与测量研究所,引子,指导语：下面是一些感觉的描述，请您根据每种描述与您实际情况的相符程度用右边的评价标准评定。从1到4表示您的感受与所描述情况相符程度依次增强，分别为“很不符合、不符合、符合、非常符合”。 1.我感到我是一个有价值的人，至少与其他人在同一水平上 .1 2 3 4 2.我感到我有许多好的品质。 1 2 3 4 3.归根到底，我倾向于觉得自己是一个失败者。 1 2 3 4 4.我能像大多数人一样把事情做好。 1 2 3 4 5.我感到自己值得自豪的地方不多。 1 2 3 4 6.我对自己持肯定态度。 1 2 3 4 7.总的来说，我对自己是满意的。 1 2 3 4 8.我觉得我将来难以获得更多的尊重。 1 2 3 4 9.我确实时常感到自己毫无用处。 1 2 3 4 10.我时常认为自己一无是处。 1 2 3 4,请将1、2、4、6、7，这五道题目分数相加，然后将3、5、8、9、10这五道题目的分数反转，反向计分，然后相加，最后将这10道题目的总分加起来，即为总分。 本地样本总分的均值是 22.2，标准差是4.3,讨论：,调查问卷的基本步骤,调查设计和初步计划 预调查 最终调查设计和计划 数据收集 数据分析与报告,步骤一：调查设计和初步计划,一、调查研究的目的，具体的问题是什么？ 二、抽样决策 三、设计问卷 问卷的形式：开放的、封闭的 问卷的结构：人口学信息与调查问题信息 四、经费预算与时间规划 五、报告框架与数据分析,步骤二：预调查,一、准备好抽样框。 二、问卷设计 问卷选择与编写问题 选择了前人使用的问卷是否还需要预调查？ 问卷编排 问卷问题的评估 三、预调查实施 问卷的改进： 认知访谈 焦点组访谈,步骤三：确定调查设计和计划,抽样计划 调查问卷 调查方法与使用说明 调查过程质量控制 调查数据编码方案 数据分析方案,步骤四：数据收集,抽样结果的质量监控 数据收集过程的质量监控 数据的管理 数据的初步编码,步骤五：数据分析与研究报告,数据编码 数据分析 研究报告撰写,问卷研究时间进度表举例,工作内容 需要的时间（周） 起止时间（周） 文献检索和起草问卷 8 1-8 征求问卷草稿意见 1-2 8-9 修改问卷 2 10-11 第一次预调查 1 12 修改问卷 3 13-15 第二次预调查 1 16 修改问卷、编写调查说明 4 17-20 选取样本 12 8-19 正式数据收集 4 21-24 数据编码和数据文件整理 6 21-26 分析数据和撰写报告 4 27-30,主要内容,一、作为问卷的问题 二、收集事实资料的问题 三、测量主观状态的问题 四、设计问卷的一般原则,一、作为问卷的问题,（一）什么是好问题,典型行为（调查问卷）： 你今年几岁了？ 你喜欢去学校吗？ 非常喜欢 喜欢 不喜欢 非常不喜欢,（一） 作为问卷的问题,两类问题： 收集事实资料 测量主观状态,（一） 作为问卷的问题,（一）什么是好问题,日常生活中问与答，在调查中需要转化为严格的测量。因此： 我们对回答者出于私利的回答不感兴趣，而感兴趣在能提供有关我们所设法描述东西的有意义的信息。 获得了许多人或事的可比较的信息。,（一）什么是好问题,好问题就是其所引出的答案是对我们想要描述的东西或现象可靠的、有效的测量。,1.定性分析：,测量的信度与效度,（二）影响问题的特征,你何时搬到柳州？,（二）影响问题的特征,你何时搬到柳州？ 1992年 当我5岁时 我出生在柳州 我大学毕业后,（二）影响问题的特征,对问题的理解一致 对问题的管理一致 对“什么是一个充分的答案”一致 应答者具有准确回答所需的信息 应答者愿意提供问题所需要的答案。,（三）问题的评估,定性评估 定量评估,（三）问题的评估,定性评估 过程性评估，即问题符合上述五条标准的程度，可以采取以下三个步骤： 专题小组讨论 认知访谈 真实情境下的预调查,（三）问题的评估,定量评估 效度评估，即评估获得答案的有效性，主要包括： 分析调查答案之间的关联或预测程度 对措辞各异的问题进行比较 将答案与记录进行比较 在不同时间点提出相同问题检查一致性,二、收集事实资料的问题,撰写好的问题面临的挑战,界定目标，详细说明实现目标的问题 确保对问题的含义有共同的、一致的理解 确保问题的答案是回答着所知道的 询问愿意准确回答的问题,（一）问题的目标,目标：年龄 问题1：你几岁了？ 问题2：你是哪一天出生的？,（一）问题的目标,拟定一份详细的问题目标清单,（一）问题的目标,调查目标：研究使用信息化技术的相关因素 1.支持信息化的物质条件 社区信息化条件 学校信息化条件 家庭信息化条件,（一）问题的目标,调查目标：研究使用信息化技术的相关因素 2.对信息化的需要 年龄 性别 城乡 学习 沟通 娱乐,（一）问题的目标,调查目标：研究使用信息化技术的相关因素 3.信息化的获得 社区的信息化获得 学校的信息化获得 家庭的信息化获得 信息化获得的难易程度,（一）问题的目标,调查目标：研究使用信息化技术的相关因素 4.对信息化的看法 学习中 资讯中 沟通中 娱乐中,（一）问题的目标,调查目标：研究使用信息化技术的相关因素 5.信息化的使用 社区中的使用 学校中的使用 家庭中的使用,（一）问题的目标,问题目标清单主要实现三项功能 问题设计的大纲 识别目标的合理性 明确设计问题与界定研究目标不同,（二）概念和术语的界定,调查藏书量 辨别学生是否为流动儿童或留守儿童,（二）概念和术语的界定,调查藏书量 一米长的书架约有40本书，不包括报纸和杂志估计一下你家里有多少本书？ A.010本 B.1150本 C.51200本 D.200本以上,（二）概念和术语的界定,辨别学生是否为流动儿童或留守儿童 请问你是城市的孩子还是农村的孩子？ 如果你是农村的孩子，你的父母离开农村老家，在外打工吗？ 你现在是否跟随打工的父亲在外上学？ 你现在是否跟随打工的母亲在外上学？,（二）概念和术语的界定,避免问卷中出现概念和术语的两种方法： 提供定义或者将其具体化 多重问题,（三）知道答案与记得答案,你的父亲是做什么工作的？,（三）知道答案与记得答案,面对调查的问题应答者可能有三种情况： 缺乏答题所需的信息 无法回忆起知道的信息 难以确定事件的时间,（四）减少社会期望对答案的影响,你在几岁第一次抽烟？,（四）减少社会期望对答案的影响,采用以下三种方法减少对答案的修饰： 确保答案的私密性 强调准确的重要性 减少调查者的影响,三、测量主观状态的问题,（一）自陈型的问卷,由被评者完成一定的自我估计的题目，根据完成情况对其特质作出量化的评定。 自陈问卷 自陈型量表 例1：（评定个性品质的测题，客观选择题） 你被老师无故批评后，耿耿于怀吗？ A.是 B.不是 C.难以确定 例2：（评定学习适应性品质的测题，客观选择题） 你认为请人做事还不如自己干好？ A.是 B.不是 C.难以确定,（一）自陈型的问卷,自陈型测评的优点与局限 优点：能测评非认知型的特质，评定结果较少受评价者主观随意性影响。 局限：被评者可以凭主观意愿来左右测验结果，因此，在测评评价意义明确的特质时，无法得到真实的结果。,（一）自陈型的问卷,自陈型测评局限的补救办法：测谎技术 1、淡化测评的评价意义，尽量使被测者无法估计测题的目的意义 2、测谎技术的使用：在测量题目中混进若干测谎题目以判断被测者是否按自己的真实情况回答问题 例1（儿童个性量表的测谎题目） 你讨厌的老师没能来上课，你高兴吗？ A.是 B.不是 C.难以确定 例2（成人个性量表的测谎题目） 我有过难以启齿的想法。 A.是 B.不是 C.难以确定 例3（成人或幼儿个性量表的测谎题目） 我从来没有说过假话。 A.是 B.不是 C.难以确定,（一）自陈型的问卷,自陈型量表的编制 1、分析测评目标，作出目标分解。 2、确定各级子目标的权重。 3、确定测验的结构及标准化程序。 4、按照设计编制题目，组成初始测验。 5、取样预测，筛选题目，保留通俗性恰当、区分度好的题目，组成正式测验。 6、取样正式测试，得出常模、信度与效度。,学生数学运用的信心问卷,1.你觉得自己在数学语境下运用逻辑和系统思维的能力如何？ 1一点都不好 2不太好 3满意 4相当不错 5很好 2. 在解决数学问题时，你认为自己选择的方法及其反思自己所选方法的能力如何？ 1一点都不好 2不太好 3满意 4相当不错 5很好 3. 你觉得自己在数学语境下运用信息技术的能力如何？ 1一点都不好 2不太好 3满意 4相当不错 5很好 4. 你觉得自己参与解决问题的团队，表达自己的想法，倾听并回应他人意见的能力如何？ 1一点都不好 2不太好 3满意 4相当不错 5很好 5. 你觉得自己运用数学知识和技巧来解释问题的能力如何？ 1一点都不好 2不太好 3满意 4相当不错 5很好,（一）自陈型的问卷,讨论：学生的幸福感如何评定？,（一）自陈型的问卷,讨论：学生的幸福感如何评定？ 评价受测学生对学校幸福的陈述，属于自陈评定方法。 学生学校幸福感问卷，分别从友谊满意度、家庭满意度、学业满意度、自由满意度、学校满意度和环境满意度等六个方面综合评价学生的幸福感,（二）评估型的问卷,由评定者根据评估表对被评者的状况进行分析，然后据此对其特质作出量化的评定。 评价标准等级评定 评估表评定,表 SNAP儿童多动症症状检查表样例,（二）评估型的问卷,评估法的优点与局限 优点：应用范围较广，既可以用于个人的特质的测评，又可用于单位的测评。同时，被评者无法凭主观意愿来左右测评结果。 局限：评定结果较多受评价者主观随意性的影响，特别是有些操作性不强的指标。,（二）评估型的问卷,评估表的编制过程 1、分析测评目标，作出n级分解，确定评价指标体系。 2、确定各评价指标的评价标准。 3、确定各级子目标的权重。 4、确定评估表的编排形式及说明。 5、评价评估表的质量。,（三）问卷的基本构成,外部形式 指导手册 问卷 测试用具、材料 记录纸 内部构成 测量系统（指导语、问卷、记录纸） 评价系统（记分键，计分方式，常模与分数解释） 质量参数（取样构成、项目参数、信度、效度）,（三）问卷的基本构成,一、测量系统 量表中用来进行试测，以获得被试应答状况的有关部分。 包括：指导语、问卷、记录纸 指导语：包括问卷方式、时间、要求指导语等。 问卷: 一般单独印成问卷 记录纸：可以单独印成答卷或记录纸。,（三）问卷的基本构成,二、评价系统 量表中用来评定被试测试应答的状况并用量化的形式表示出被试的特质在团体中的位置的有关部分。 包括：记分键、计分方法、常模表与分数的解释。 记分键：采用混合编排项目的量表，要对每个分测验（或分量表）包括哪些项目作出专门说明，这称为记分键。 计分方法：说明各项目的答案及如何评分，各分测验（或分量表）分数是否要合成，如何合成等。 常模与解释：常模，就是将总体在该量表的得分分布以表格的形式列出来，个体根据自己的得分（原始分）可以在常模表上查到自己在总体得分中的位置（排位分）。,（三）问卷的基本构成,三、质量参数 对整个编制过程、各种质量参数及获得过程的说明。包括：取样、项目难度与区分度，信度，效度。 质量参数要求 量表取样要求：取样要有代表性，样本能代表总体。 项目要求：难度恰当，项目区分度要高 信度：量表测试结果的稳定程度，通常信度要求0.9以上。 效度：量表能测出所要测量的特质的程度，要求相关系数达显著水平。,（三）问卷的基本构成,（三）问卷的基本构成,对于调查问卷的信度分析，主要采用了内部一致性的分析方法。经过分析结果是调查问卷的整体内部一致性系数达到0.912，男生的内部一致性系数为0.907，女生的内部一致性为0.917。分析结果表明问卷的整体信度很高，对于不同性别的学生群体而言，问卷的可靠性依然很高。,（三）问卷的基本构成,四、设计问卷的一般原则,（一）问什么问题,原则1：询问应答者亲身的经验 你是因为成绩差而去上补习班的吗？ 原则2：一次只问一个问题 就现在的学校教学状况而言，你认为开心理健康课是必须的吗？,（二）问题的措辞,原则3：确保每个人回答相同的问题 在学校里，你多久才觉得累？ 总是 经常、有时、很少、从不 原则4：问题是一段完整而恰当的文字 原则5：所有应答者清楚答案的适当类型 形成封闭式问题,（三）问卷的格式,原则6：尽可能轻松地完成问题 清晰标识回答什么问题，跳过那些问题 清楚知道如何回答，如打勾、填空、画圈等,（四）应答者的培训,原则7：让人们在回答问题时用一致的方式来熟悉回答问题 三个方面的培训是重要的： 任务的目标 完成的过程 权利和职责,70,欢迎批评指正！ 谢 谢！,