实验研究的信度和效度.ppt

《实验研究的信度和效度.ppt》由会员分享，可在线阅读，更多相关《实验研究的信度和效度.ppt（30页珍藏版）》请在三一文库上搜索。

1、第三节实验研究的信度和效度 n对于一篇实验报告，我们经常要思考对于一篇实验报告，我们经常要思考：n研究的变量是什么？n研究的结论是什么？n这个结论是否站得住脚？对实验研究的评价n实验是否有效、明确准确性、有效性（效度）n实验是否可重复验证可信性、一致性（信度）实验研究效度n实验目的：实验目的：验证假设，验证自变量和因变量之间的关系，使实验结果的推论可用以解释和预测其他同类现象。n由于不同的实验者在设计上和在对额外变量的控制程度上极不相同，实验的效度也会有很大的不同。了解影响实验效度的诸因素，将有助于我们评价实验设计的质量，提高实验设计的科学性。n实验效度：实验效度：指实验方法能够达到实验目的的

2、程度，即实验指实验方法能够达到实验目的的程度，即实验结果的准确性和有效性程度。结果的准确性和有效性程度。内部效度内部效度（InternalValidity）外部效度外部效度（ExternalValidity）实验研究的效度n1.内部效度内部效度n实验中自变量的效应能被准确估计的程度，或者说自实验中自变量的效应能被准确估计的程度，或者说自变量和因变量之间关系的明确程度。变量和因变量之间关系的明确程度。n如果对实验中的额外变量控制不充分，那么这些额外如果对实验中的额外变量控制不充分，那么这些额外因素的效应可能与自变量发生混淆，得出因果关系的因素的效应可能与自变量发生混淆，得出因果关系的结论不完全有

3、把握。此时就说该实验缺乏内在效度。结论不完全有把握。此时就说该实验缺乏内在效度。n影响内部效度的一些因素？案例讨论一n通过实验，研究体育锻炼对中学生身高增长是通过实验，研究体育锻炼对中学生身高增长是否有影响：否有影响：随机选取入学的中学生随机选取入学的中学生200名，刚入学测的平均身名，刚入学测的平均身高高145cm，然后在学校实行全校强化体育锻炼一年，再，然后在学校实行全校强化体育锻炼一年，再测这些学生平均很高为测这些学生平均很高为160cm，通过统计检验（配对，通过统计检验（配对t检验）发现身高增高显著，所以体育锻炼对中学生身检验）发现身高增高显著，所以体育锻炼对中学生身高增加是有积极作用

4、的。高增加是有积极作用的。n该实验中自变量、因变量是什么？该实验中自变量、因变量是什么？n这个因果关系是否确定？为什么？这个因果关系是否确定？为什么？影响内在效度的因素n1.生长和成熟生长和成熟n除了实验中的自变量可能使个体行为发生变化外，除了实验中的自变量可能使个体行为发生变化外，个体本身的内个体本身的内部历程发生改变部历程发生改变，即，即个体生长和成熟个体生长和成熟也是使其行为变化的重要因也是使其行为变化的重要因素。特别是在素。特别是在以幼小的儿童为被试者而又采用单组前测后测实验以幼小的儿童为被试者而又采用单组前测后测实验的情况下，生长和成熟因素的影响就更大。的情况下，生长和成熟因素的影响

5、就更大。n单组前测后测实验：通常是实验处理之前先对被试者的某种行为单组前测后测实验：通常是实验处理之前先对被试者的某种行为作一次测量，实验处理后再以同样方法测量一次，两次测量之差作一次测量，实验处理后再以同样方法测量一次，两次测量之差即表示实验变量（即自变量）产生的效果。即表示实验变量（即自变量）产生的效果。n局限：忽略了前后两次测量之间被试者的局限：忽略了前后两次测量之间被试者的生长和成熟生长和成熟因素，其实因素，其实验效果易受生长和成熟因素的混淆，从而降低了内部效度。验效果易受生长和成熟因素的混淆，从而降低了内部效度。n解决的主要办法是增设同样条件的解决的主要办法是增设同样条件的控制组控制

6、组进行比较。进行比较。影响内在效度的因素n2.历史（经历）历史（经历）n在实验的过程中，与实验变量同时发生，并对实验结果产生影响的特定事件。研究者往往无法判断实验结果是由处理（自变量引起）还是特定事件引起。ne.g.：传统教学法与创新教学法对学习效果的影响：传统教学法与创新教学法对学习效果的影响 特定事件：创新教学法受关注，有专家听课，混进有特定事件：创新教学法受关注，有专家听课，混进有意辅助活动（教材）意辅助活动（教材）案例讨论二n研究放松训练对学生射击成绩是否有促进作用。研究放松训练对学生射击成绩是否有促进作用。n实验：实验：随机选取随机选取3030名学生，每个学生进行名学生，每个学生进行

7、1010次射击的初步次射击的初步测试，得到每个人的初次平均成绩；初测后由教练安排放测试，得到每个人的初次平均成绩；初测后由教练安排放松训练，放松后进行第二轮的松训练，放松后进行第二轮的1010次测试，又得到每个人的次测试，又得到每个人的平均成绩。通过统计检验效果显著。平均成绩。通过统计检验效果显著。n自变量和因变量是什么？n你相信该结论吗？为什么？影响内在效度的因素n3.3.前测的影响前测的影响 n研究者为了取得实验前被试的初始状态，常对被试实施前测，研究者为了取得实验前被试的初始状态，常对被试实施前测，可能会积极或消极的影响实验处理实施后的测验结果。可能会积极或消极的影响实验处理实施后的测验

8、结果。其中其中包括包括练习因素、临场经验、以及对实验目的的敏感程度，从练习因素、临场经验、以及对实验目的的敏感程度，从而影响了后测的成绩而影响了后测的成绩。特别是前后两次测量时间较近，这一。特别是前后两次测量时间较近，这一因素的影响就更显著。因素的影响就更显著。ne.g.：体育老师的示范对立定跳成绩影响。体育老师的示范对立定跳成绩影响。n前测示范后测n比较前测与后测差异，结果？n教师的提示讲解对应用题解答成绩的影响，也有学生在前测教师的提示讲解对应用题解答成绩的影响，也有学生在前测中掌握的技巧与经验起作用中掌握的技巧与经验起作用影响内在效度的因素n4.4.被试的选择偏性被试的选择偏性n在对被试

9、者进行分组时，如果没有用在对被试者进行分组时，如果没有用随机取样随机取样和和随机随机分配分配的方法，在实验处理之前，他们在各方面并不相的方法，在实验处理之前，他们在各方面并不相等或有偏性，从而造成实验结果的混淆，因果关系就等或有偏性，从而造成实验结果的混淆，因果关系就不那么明确，降低了内部效度。不那么明确，降低了内部效度。ne.g.:在选择控制组和实验组的时候，男生一组、女生一组；影响内在效度的因素n5.5.被试的缺失被试的缺失 n如果是一项长期的实验，要保持原实验被试者的人如果是一项长期的实验，要保持原实验被试者的人数不变是相当困难的。数不变是相当困难的。n即使开始参加实验的被试者样本是经过

10、随机取样和即使开始参加实验的被试者样本是经过随机取样和随机分配的，但由于被试者的中途缺失，常常使缺随机分配的，但由于被试者的中途缺失，常常使缺失后的失后的被试者样本难以代表原来的样本被试者样本难以代表原来的样本（数量过少（数量过少或者保留的被试具备独特的特点）。这就降低了内或者保留的被试具备独特的特点）。这就降低了内部效度。部效度。影响内在效度的因素n6.6.实验程序不一致实验程序不一致 n在实验过程中，实验仪器、控制方式的不一致，测在实验过程中，实验仪器、控制方式的不一致，测量程度的变化，实验处理的扩散和交流等都可能混量程度的变化，实验处理的扩散和交流等都可能混淆实验变量（即自变量）的效果。

11、淆实验变量（即自变量）的效果。n实验者知道实验目的所产生的实验者知道实验目的所产生的“实验者效应实验者效应”以及以及被试者知道实验目的或其自己正被研究所产生的被试者知道实验目的或其自己正被研究所产生的“霍桑效应霍桑效应”和和“安慰剂效应安慰剂效应”等，都将混淆实验变等，都将混淆实验变量（即自变量）的效果，从而降低了内部效度。量（即自变量）的效果，从而降低了内部效度。影响内在效度的因素n7.7.统计回归统计回归n回归假象：指在取样时，选取某些特质回归假象：指在取样时，选取某些特质位于两极端位于两极端的被试。第一次测量平均值偏高者，第二次测量平的被试。第一次测量平均值偏高者，第二次测量平均值有趋低

12、的倾向（向常态分布的平均数回归）；均值有趋低的倾向（向常态分布的平均数回归）；第一次测量平均值偏低者，第二次测量平均值有趋第一次测量平均值偏低者，第二次测量平均值有趋高的倾向（也向常态分布的平均数回归）。高的倾向（也向常态分布的平均数回归）。ne.g.：高焦虑组高焦虑组&低焦虑组低焦虑组n处理：在匹配被试时必须考虑两组被试本身是否同处理：在匹配被试时必须考虑两组被试本身是否同质，如果不同质，就必须以几组被试各自的相对水质，如果不同质，就必须以几组被试各自的相对水平进行匹配。平进行匹配。实验的内部效度统计程序的有效性n实验的内在效度的特例实验的内在效度的特例n1979年库克和科柏尔从内在效度中抽

13、出一部分命名年库克和科柏尔从内在效度中抽出一部分命名为为统计结论效度统计结论效度n统计结论效度统计结论效度：指由统计方法：指由统计方法适切性适切性所引起的统计所引起的统计结论的有效性程度，即有关决定实验处理效应的数结论的有效性程度，即有关决定实验处理效应的数据分析程序的有效性和准确性。据分析程序的有效性和准确性。n统计程序的有效性，涉及研究误差的变异来源和如统计程序的有效性，涉及研究误差的变异来源和如何恰当运用统计显著性检验的问题何恰当运用统计显著性检验的问题n影响统计程序的有效性的因素：影响统计程序的有效性的因素：影响统计结论效度的因素n1.1.统计检测力低统计检测力低正确推断虚无假设正误的

14、能力。正确推断虚无假设正误的能力。n样本大小：样本大小：样本小，统计检定力低。有时要考虑实际意样本小，统计检定力低。有时要考虑实际意义，样本过大得出的显著差异可能没实际意义义，样本过大得出的显著差异可能没实际意义n显著性水平显著性水平的大小的大小，越小，犯越小，犯错误就越大。确定显错误就越大。确定显著性水平著性水平的大小要合适。的大小要合适。n因变量的误差变异因变量的误差变异(标准差标准差)大小的影响：大小的影响：误差变异越大，误差变异越大，标准误也越大，达到显著水平时，犯标准误也越大，达到显著水平时，犯错误就越大错误就越大统计推论中的两类错误n根据样本推断总体，有可能犯两类错误：根据样本推断

15、总体，有可能犯两类错误：n虚无假设虚无假设H0本来是正确的，但拒绝了本来是正确的，但拒绝了H0，这类错，这类错误称为误称为弃真错误弃真错误，即，即型错误型错误。我们用。我们用表示犯表示犯型错误的概率型错误的概率 n虚无假设虚无假设H0本来不正确，但却接受了本来不正确，但却接受了H0，这类错，这类错误称为误称为取伪错误取伪错误，即，即型错误型错误。我们用。我们用表示犯表示犯型错误的概率型错误的概率 n两类错误的关系？两类错误的关系？n在进行实验设计时，总希望两类错误都尽可能的小，但在实际的实验过程中却很难实现，对一定容量的样本而言(N已经确定)，小时就大；小时就大.与不可能同时非常小。n受研究者

16、的直接控制，而只能通过它和的反比关系进行间接控制。n由于在确定显著性水平后，型错误的概率随着样本容量的增加而减少，所以在设计实验时，可根据实验条件适当地增加样本容量，对进行控制，以减少犯型错误的可能性.统计推论中的两类错误影响统计结论效度的因素n2.所选用的统计方法依据的各种假设条件的满所选用的统计方法依据的各种假设条件的满足程度足程度nt检验、方差分析等都要求数据为随机的等距或等比变量，总体分布为正态，抽样分布也是正态分布或者t分布，或方差齐性才能应用，不满足这些条件则统计结论的效度大成问题。n3.多重比较的影响多重比较的影响n多重比较的影响：实验处理的层次增加，错误（弃真错误）增加。实验的

17、外部效度n实验的外部效度实验的外部效度n指实验结果能够普遍推论到样本的总体和其他同类现指实验结果能够普遍推论到样本的总体和其他同类现象中去的程度，即实验结果的普遍代表性和适用性。象中去的程度，即实验结果的普遍代表性和适用性。任何一项实验研究都想将其结果推广，希望能用自己任何一项实验研究都想将其结果推广，希望能用自己的研究结果，对同类现象做出解释，预测和控制。的研究结果，对同类现象做出解释，预测和控制。n以人的行为为研究对象所获得的实验结果，其推论往以人的行为为研究对象所获得的实验结果，其推论往往有相当的局限性。如往有相当的局限性。如某些教学改革方法的研究仅适某些教学改革方法的研究仅适用于城市条

18、件教学而不适于农村条件教学用于城市条件教学而不适于农村条件教学詹金斯的四个评价维度n詹金斯（詹金斯（Jenkins,1979）提供四个评实验结果普遍性的）提供四个评实验结果普遍性的维度：维度：n1.用其他的用其他的被试人群被试人群也能得到同样的结果吗也能得到同样的结果吗n2.用其他的用其他的实验材料实验材料也能得到同样的结果吗也能得到同样的结果吗n3.用其他用其他不同类型的测验不同类型的测验也会有同样的结果吗也会有同样的结果吗n4.用不同的用不同的实验处理实验处理和不同的和不同的自变量操作方式自变量操作方式也能有同也能有同样的结果吗样的结果吗n特定的结果能否从被试人群、材料、情景以及因变特定的

19、结果能否从被试人群、材料、情景以及因变量的测量等几个方面推广。量的测量等几个方面推广。影响外部效度的因素n1.1.实验室的过分人工情境化实验室的过分人工情境化n实验是在控制条件下进行的，实验环境的人为性可能使某些实验结果难以用来解释日常生活中的行为现象，尽量减少人工情景化，增加实验变量n实验室中的仪器设备会影响被试者的典型行为。实验室中的仪器设备会影响被试者的典型行为。n被试者参与实验的动机也会影响其行为表现。被试者参与实验的动机也会影响其行为表现。n在实验室之外的日常生活中，就不会有这些因素的影响。因此，实验结果还不能完全等同于实验室之外的日常行为现象。n多因素设计和现场实验设计多因素设计和

20、现场实验设计n社区随机对照试验：在社区（一定区域内的人群）或现场社区随机对照试验：在社区（一定区域内的人群）或现场环境下进行的实验。环境下进行的实验。影响外部效度的因素n2.2.被试样本缺乏代表性被试样本缺乏代表性 n从理论上讲，被试必须具有代表性、必须从将来预期推论、解释同类行为现象的总体中进行随机取样。但实际上这是很难做到的。应增加取样的层次，使代表性增加n如果总体很大，即使能够随机取样，但心理学实验的被试如果总体很大，即使能够随机取样，但心理学实验的被试者通常是自愿的，所以也很难把被随机选上的人全都请来者通常是自愿的，所以也很难把被随机选上的人全都请来做实验。做实验。n如果总体是无限的（

21、例如，如果总体是无限的（例如，“七岁儿童七岁儿童”就是一个无限的总就是一个无限的总体，其包括过去的、现在的、将来的所有七岁儿童），随体，其包括过去的、现在的、将来的所有七岁儿童），随机取样实际上是行不通的。这样的实验结果自然会降低其机取样实际上是行不通的。这样的实验结果自然会降低其外部效度外部效度n如果选择一些具有独特心理特质的被试进行实验，则利于对实验处理造成较佳反应。如：高智力儿童更容易从发现式教学中获益。n3.3.测量工具的局限性测量工具的局限性 n实验者对实验变量（即自变量）和反应变量（因变量）的操作性定义往往以所使用的测量工具的测量结果来加以考虑。n例如：把把成就动机成就动机作为一个

22、因变量，实验者常以某种成就作为一个因变量，实验者常以某种成就动机量表所测得的分数来界定并评定其强度。但动机量表所测得的分数来界定并评定其强度。但成就动成就动机的测量工具有各种不同的形式机的测量工具有各种不同的形式，所测量出的分数并不，所测量出的分数并不代表同一种成就动机及其强度。代表同一种成就动机及其强度。如果在实验时采用的是某一种成就动机的量表，那如果在实验时采用的是某一种成就动机的量表，那么所得出的实验结果便不能推论到采用其他成就动机的么所得出的实验结果便不能推论到采用其他成就动机的量表的情况中去。量表的情况中去。影响外部效度的因素实验内、外效度的关系问题？n实验的内部效度越高，其结果就越

23、能确认是由实验处理所实验的内部效度越高，其结果就越能确认是由实验处理所造成的；而实验的外部效度越高，其结果的可推论范围就造成的；而实验的外部效度越高，其结果的可推论范围就越大。越大。n实验的内部效度和外部效度是相互联系、相互影响的。实验的内部效度和外部效度是相互联系、相互影响的。提提高实验内部效度的措施可能会降低其外部效度，而提高实高实验内部效度的措施可能会降低其外部效度，而提高实验外部效度的措施又可能会降低其内部效度。验外部效度的措施又可能会降低其内部效度。n这两种效度的相对重要性，主要取决于这两种效度的相对重要性，主要取决于实验的目的实验的目的和和实验实验的要求的要求。一般而言，在实验中控

24、制额外变量的程度越大，。一般而言，在实验中控制额外变量的程度越大，则对因果关系的测量就越有效。因此，可以在保证实验内则对因果关系的测量就越有效。因此，可以在保证实验内部效度的前题下，采取适当措施以提高外部效度部效度的前题下，采取适当措施以提高外部效度 实验研究的信度n实验信度实验信度:指实验结论的指实验结论的可靠性可靠性和和前后一致性前后一致性程度程度n虽然实验的研究的确研究了我们需要研究的东西，满虽然实验的研究的确研究了我们需要研究的东西，满足了效度要求，但如果两次研究的结果不一样，那么足了效度要求，但如果两次研究的结果不一样，那么实验的信度很低，结论不可信。实验的信度很低，结论不可信。n一

25、个不可信的研究可比作一根一个不可信的研究可比作一根“可伸缩的橡皮材料的尺可伸缩的橡皮材料的尺子子”，在重复研究时，会产生不同的研究结果。因此，在重复研究时，会产生不同的研究结果。因此，研究结果的稳定性和一致性是保证研究科学性的重要研究结果的稳定性和一致性是保证研究科学性的重要先决条件。先决条件。n哪些因素可能导致实验中测量的结果不可靠呢？哪些因素可能导致实验中测量的结果不可靠呢？n信度：信度：一致性程度一致性程度内部一致性内部一致性：测验的不同部分是否能检验出相同的结果（评估多个项目来测量单个特质的测验测量焦虑的60项量表）重测信度重测信度：同一个人在不同时间内测得的结果是否一致（评估个体稳定

26、的特质IQ测试）评分者信度评分者信度：当不同的评分者对同一个结果进行评分和 解释时，结果是否一样？（不同医生诊断同一疾病精神障碍的诊断）实验研究的信度影响实验信度的因素n1.观察量的大小观察量的大小n观察量越大，样本更能够代表所在总体，多次得到的结果更可靠。ne.g.：研究大学生的语言能力，第一次用男性被试，下一次用女性被试，两次结果不稳定。n2.研究工具的信度研究工具的信度n研究工具首先必须准确、可靠，即具有较高的信度。无论何种研究工具和仪器，如果其自身信度较低，就谈不上研究的信度的高低。影响实验信度的因素n3.影响研究信度的随机因素影响研究信度的随机因素 n被试方面的因素（身心健康状况、动机、注意力、持久性、对待研究的态度等）n主试方面的因素（不按规定程序实施研究、制造紧张气氛、给予特别关注、评判主观等）n研究设计方面的因素（有研究材料取样不当、问题陈述不清等）n研究实施方面的因素（有研究环境的各种难以控制的变化条件等）研究信度与效度的关系n信度对于效度是必要条件，但不是充分条件：有信度不保证一定有效度，一个可靠的研究程序并不证明内容一定有效，而一个有效度的研究一定是一个有信度的研究。n有效度必定有信度，效度高信度必定也高，因为不可能存在唯有效度而没有信度的情况。n信度是为效度服务的，因而效度是信度的目的；效度不能脱离信度单独存在，所以信度是效度的基础。