第五节 信度
信度与效度是优良的测量工具所必备的条件,如果对测量工具的信度和效度一无所知,则无法判断其获得的资料的可信性与有效程度。“工欲善其事,必先利其器”,在社会调查中要认真检查所使用的测量工具,考验其信度与效度,这样才能期望获得可靠与正确的资料。
一、信度的定义
所谓信度是指测量数据(资料)与结论的可靠性程度,即测量工具能否稳定地测量到它要测量的事项的程度。也就是说信度是对测量的稳定性与一致性而言的。
一个人站在测量体重的磅秤上,前后几次称出几个明显不同的重量,那么磅秤本身必定有问题,说明这架磅秤是不可靠的。
某班级有A、B、C、D、E五名学生,这五名学生平时的成绩名次,向来稳定,分别为1、2、3、4、5。有两次测验,这五名学生的成绩如表6.3所示,从表上可以看出,乙测验的可靠性比甲测验的要低。
表6.3 五名学生两次测验的成绩
在调查研究中,常采用问卷表作为测量工具,如果我们所用的问卷表中的问题,原来打算测量某一个概念,但由于设计不周密,问题或答案的范畴模棱两可或有多种解释,以致被问者不能确定如何回答,从而使回答达不到一致性要求,这就降低了测量的可靠程度,那么它的信度就会成问题。
二、信度系数的计算
信度系数的计算是以变异理论为基础的。在前面对观测值的分析中可以知道:
(观测值)X=T+O+B+E
当系统偏差B=0时,
(为观测值的变异量)
其中,是随机因素造成的非系统变异;是系统性变异,它不是偶然因素或测量误差造成的,而是由现象本身的变异和其他变量造成的变异合成的。
上述等式经过变换就得到:
信度可以看作系统性变异在观测到的总变异中所占的比率,越大,则信度系数越大,表明测量的信度越高。
信度也可以看成在观测到的总变异中,不是因随机误差所造成的变异所占的比率:
三、信度的检查
信度通常以相关系数表示。由于测量中误差变异的来源有所不同,故各种信度系数分别说明信度的不同层面而具有不同的意义。在实际应用中,信度系数有如下类型。
(一)重测信度
用同一份问卷的问题,对同一群被测者前后调查两次,再根据调查的结果,计算其相关系数,就得到重测信度。假设第一次调查的观测值为x,第二次的观测值为y,那么重测信度就等于x与y的相关系数,即:
这种信度能表示两次调查结果有无变动,反映了测量的稳定程度,故又称作稳定系数。它可以检查出被测者是否能正确理解所提的问题,并做出真实稳定的回答。
这是一种测量信度的较好方法,但须注意两次调查相隔的时间要适当。如果时间间隔太短,被测者还清楚地记得上一次调查的答案,例如调查对计划生育的态度,两个月后再次调查,被调查者对上次的回答仍记得很清楚,所以测量的是他的记忆,而不是他此时的真实态度。如果间隔时间过长,可能会发生一些变故,影响到被调查者的态度,例如,本来被调查人第一次调查时赞成计划生育,而此后,由于小孩夭折等变故,在下一次调查时,他就有可能不赞成了。这样就会影响到测量的准确性。因此要选取适当的时间间隔,这有赖于我们的经验和对具体情况的理解。
(二)复本信度
复本是相对于原本而言的,它是原本的复制品。
对一项调查的问题,让被调查者接受问卷测量,并同时接受这份问卷的复本的调查,然后根据调查结果计算其相关系数,就得到复本信度。
使用复本求取信度可以避免重测信度的缺点,但使用的复本必须是真正的复本,即在题数、形式、内容、难度及鉴别度等方面都与原本一致,仅只在问法与用词方面与原本不同。复本调查可连续或相距一段时间进行,连续实施的复本信度又称等值系数,相距一段时间实施的复本信度又称稳定与等值系数。
(三)折半信度
在无复本且不准备重测的情况下,通常采用折半法以估计信度。
折半法是将调查来的结果,按题目的单、双数分成两半记分,再根据各个人的这两部分的总分,计算其相关系数,就得到折半信度,记作rhh。它可检查出问卷或量表中所询问的各项问题是否都针对同样的研究内容。
整个问卷的信度rxx并不是在折半信度rhh上乘以2就可以了,而需要采用下面的校正公式以求取信度。
上面这个公式是建立在两半部分的变异性相等的假定上,实际资料未必符合此种假定,在这样的情况下,宜用以下公式直接求取信度系数。
与分别表示两半部分的变异量,S2表示整个的变异量。
(四)评分者信度
在测量工具的标准化程度较低的情况下,不同评分者的判分标准也会影响测量的信度。例如在实验法和观察法中,都要由调查员主观判断评分,这样就会受到个人偏见等因素的影响。要检查评分者信度,可计算一个评分者的一组评分与另一个评分者的同一组评分的相关系数。例如,在国际体操比赛中,可检查某一欧洲籍裁判员对欧洲运动员的一组评分以及某一亚洲籍裁判员对欧洲运动员的同一组评分,然后计算相关系数就可知评分者信度。若信度低,则说明测量工具不标准、不客观,且易于受评分者主观因素的影响。减少这种影响的方法是删除极端的评分或评分者,由多人评分并计算平均值。
四、影响信度的因素
在结构化、标准化程度较高的测量中,信度主要受随机误差的影响,随机误差越大,信度越低。随机误差的来源主要有:
1.被调查者:如是否耐心、认真、专注、不受情绪波动影响。一般来说,调查时间越长,提出的问题越多、越复杂,信度越低。
2.调查者:是否按规定程序和标准,是否有意或无意地对被调查者施加影响,记录的认真程度等。
3.测量内容:如提问的措辞含糊不清,不易理解,各个题目的内部一致性低,题数少等。
4.测量环境和时间:如研究人员对被调查者有较大“干扰”,他人在场的影响,两次测量的时间间隔太长等。
在非结构式和非标准化的测量中,除偶然因素外,信度还受研究者主观因素的影响,如个人偏见、思维定势、观察角度、主观武断以及世界观、价值观等等。前面所讲的参与观察和无结构访问的客观性与可靠性较低皆源于此。