5 体育科研中自编量表的信度和效度量化分析
在体育问卷调查中,研究者经常借用社会学研究中的李克特量表(Likert Scale,属于总加量表)形式,把一组对某事物的态度或看法的陈述题组成量表(如用于因子分析的量表),答案以五级评分的形式出现。在具体的量表测试过程中,一般是匿名填写,即使是署名填写,因为发放量较大,不可能做到重复测试,因此在进行外在信度(external reliability)检验上不可能用“重测信度”(test-re-test reliability)检验法。另一方面,对多选项量表(multiple-item scale),其内在信度(internal relia-bility)又特别重要,那么用什么方法进行这种内在信度的检验呢?再一方面,量表的结构效度问题以及每个题目的鉴别力问题又如何进行量化检验呢?目前未见有关研究进行系统阐述。
有研究表明,许多自编量表(问卷)并没有依照测量学的基本原则进行论证,更谈不上信度和效度检验。而作为一项标准化的量表,在解决诸如项目筛选、信度、效度测量学问题时,会遇到许多困难。
本文利用本人博士论文中的自编问卷(量表)及其调查结果,结合SPSS统计程序,展示解决上述问题的思路和具体方法,为研究者提供信度、效度检验理论和方法的同时,丰富体育测量评价学科的内容,推动体育测量评价学科的发展。
1 研究方法
1.1 文献资料法
查阅有关的测量评价类、统计SPSS类、研究方法类的书籍。
1.2 调查访问法
对广东地区教练员就影响运动员成才因素问题以量表的形式进行函调(该调查得到广东省体育局的大力支持和配合)。回收有效问卷130份。
1.3 数理统计法
差异检验、相关分析、因子分析、克郎巴哈α系数(Cronbach α)。所有计算过程,均在电算统计程序SPSS 11.0上完成。
2 结果与分析
2.1 量表的一般情况分析
量表的确定过程如下:作者在查阅了大量相关文献资料的基础上,列出了影响运动员成才的初始因素50项,经过专家修正(面访和问卷调查),最后确定了40项(即40个题目,参见表1),至于更为详细的量表内容效度论证过程(定性说明),因不是本文重点,故不在此赘述。
量表确定后,便对广东地区的教练员就此40项因素影响运动员成才的程度问题以五级评分形式进行了函调,回收有效问卷130份。
2.2 量表的项目分析
项目分析的主要目的在于对量表中每一个题项(或题目、或指标)“临界比率”(critical ratio,简称CR值)进行检验,其具体操作步骤是:
第一步:量表题项的反向计分(量表中如无反向题,此步骤可以省略)。
第二步:求出量表总分。
第三步:把量表总分从高到低排序。
第四步:从高到低定义27%的为高分组,从低到高定义27%为低分组。
第五步:以独立样本t-test检验高、低分两组在每个题项上的差异。
第六步:将t-test检验结果未达到显著性的题项删除。
通过上述步骤,在SPSS统计程序中的操作结果见表1。从表1可见,40个题项的t值均达到显著性水平(P<0.01),即所有的题项均能鉴别不同受试者的反映程度。
从教育测量学的角度来讲,题目(题项)的鉴别力是试卷(即量表)效度的一个“指示器”,它能准确鉴别受试者的水平,这在一定程度上证明了该套量表(或试题)的有效性较高。但是,因为该量表是多选项量表,还必须进一步考虑其结构效度问题。这些具有鉴别力的题项,作为因子分析,又为结构效度的检验打下了基础。
表1 40个题项的项目分析结果
X01-X40的具体名称请参见表7。
上述检验结果也可以用相关法来验证。因数据类型不能满足积差相关法或等级相关法的要求,故采用列联系数法(ordinal by ordinal),表2 的系数是指各题项得分与总得分(40 个题项的总得分)类别(高分组还是低分组)的相关系数,经检验,均达到非常显著性,说明每一个题项与总体的关系密切,具有一定的代表性。说明40个题项的鉴别力较强,但是,整个量表的结构效度如何,还要结合因素分析进行检验说明。
表2 每个题项得分与总得分类别之间的相关系数
注:*代表P<0.01
2.3 量表的结构效度分析
项目分析后,接着所要进行的是量表的因素分析,其目的就是求得量表的“结构效度”。
在因素分析之前,有必要进行KMO值计算,以检验是否适合进行因子分析。一般而言,KMO越大(越接近1),表示题项间的共同因素越多,越适合进行因子分析。表3 的KMO检验值为0.785,并且Bartlett's球形检验的X2值为2381.746,达到显著,表示该量表适合进行因子分析。
表3 KMO and Bartlett's Test(KMO及Bartlett's检验)
按照常规,从 40 个因子中截取特征值大于 1 的因子 11 个(F1~ F11),其累计贡献率为0.65898,说明截取的11个因子能解释40个题项总方差的65.898%。因子分析具有简化数据指标的功能,以较少的层面来表示原来的数据结构,它根据题项间彼此的关系,找出题项间潜在的关系结构。因此可以认为,该量表的结构效度为0.65898。从社会学问卷的角度来说,结构效度达到0.60基本符合测量学要求,属于“可接受”范围。
从因子分析的结果来看(具体分析结果与表5、表6的形式相似,略),因子矩阵经过24次旋转后,特征值大于1的11个因子明显地被刻画出来,但第9因子只包含2个题项(x26、x27),第10、11因子均只包含1个题项(x28、x07),层面所涵盖的题项内容太少,可以考虑将其删除。因为这是一个探索性的因子分析,题项删除后的因子结构也会改变,因而需再进行一次因子分析来再一次验证量表的结构效度。
第二次因子分析时,所包含的题项是筛选后的36个(即删除了x26、x27、x28、x07)。其KMO值见表4。因子分析结果见表5、表6。
表4 KMO and Bartlett's Test(KMO及Bartlett's检验)
表5 因子分析结果(截取特征值大于1的因子)
表6 旋转后的因子矩阵
只显示因子得分大于0.10的数据。
表7 因子分类、命名表
从第二次因子分析的结果来看,每一因子层面所涵盖的题项均在2个以上,所解释的题项总方差为63.611%,与第一次因子分析结果所解释的总方差(65.898%)相当,因此结构有效性基本上保持在原有水平。
另一方面,从专项理论的角度来看,第二次因子分析的结果在区分各因子的重要地位上更具针对性,而且为因子命名提供了方便(表7)。表7列出了9个因子的名称及其主要对应的题项,揭示出了影响运动员成才因素的一般规律性:处在第一位的是反映运动员实力的“竞技能力因子”,紧接着的社会大环境(包括家庭)对竞技体育的重视程度,“奖励因子”说明了管理部门对运动员、教练员的奖励力力度,接下来起影响作用的是训练和比赛中的各种关系因素(主要体现在师徒关系上),“保障因子”主要反映了运动队的梯队建设问题,“教练员水平因子”、“选材因子”和“基础因子”也在不同程度上影响运动员成才。
2.4 量表的信度分析
显然,该量表不适合以“测验—再测验”的形式进行外在信度检验,但检验其内在信度则不可忽略。该量表的内在信度可以用α系数来检验。在多选项量表中,内在信度特别重要,它反映了量表题项的内在一致性程度如何,即量表的总体一致性程度如何,每个因子层面的一致性程度如何,系数越接近1,说明一致性程度越高,量表信度越高。
任何测验或量表的信度系数如果在0.90以上,表示测验或量表的信度甚佳。在社会科学领域中,可接受的最小信度系数值的大小,不同学者看法各异,不同类型的问卷也各不相同。如有报道认为人格测验量表的信度应在0.80以上,而自编量表的信度应在0.60以上,如果自编量表信度过低,如在0.60以下,应重新修订量表。
从表8的情况看,该量表的总体一致性甚佳,达0.9178,各个因子层面的信度系数除了F8、F9两个层面接近0.70外,其他层面均接近0.80,没有信度系数低于0.60的因子层面,因此可以认为,该量表的信度达到测量学的一般要求。
表8 因子各个层面的信度系数(α系数)
3 结论
3.1 项目分析结果表明,该量表中的各题项的鉴别力较高,列联相关检验结果表明该量表各题项的内容效度较高。
3.2 因子分析表明,该量表的结构效度在可接受的范围内。
3.3 Cronbach α系数检验结果表明,该量表总体内在信度甚佳,各因子层面的内在信度达到一般水平,符合测量学的信度要求。
参考文献
1. 袁方等. 社会研究方法教程 [M] . 北京:北京大学出版社,2001.298
2. 谭先明等. 心理量表在运动心理学领域的应用状况分析 [J] . 广州体育学院学报,2002(5):39
3. 邓日昌等. 心理测量 [M] . 长沙:湖南教育出版社,1987
4. 凌文铨. 心理测验法 [M] . 北京:科学出版社,1988
5. 隗金水、邢文华. 运动员选育结合理论与实证研究,北京体育大学博士论文,2003
6. 王重鸣. 心理学研究方法 [M] . 北京:人民教育出版社,2000.150
7. 风笑天. 社会学研究方法 [M] . 北京:中国人民大学出版社,2001.98
8. 张力为. 体育科学研究方法 [M] . 北京:高等教育出版社,2002.112
9. 戴海奇等. 心理教育测量 [M] . 广州:暨南大学出版社,1999.86
10.R. 麦克吉等. 体育实用测量学 [M] . 湖南科学技术出版社,1993.19
11. 李方. 现代教育科学研究方法 [M] . 广州:广东高教出版社,2000.77
12. 胡中锋等. 教育测量与评价 [M] . 广州:广东高教出版社,2002.47
13. 吴明隆.SPSS统计应用实务. 北京:中国铁道出版社,2000.87
14. 林杰斌等.SPSS11.0与统计模型构建. 北京:清华大学出版社,2004.315
15. 王汉澜. 教育测量学(M). 河南:河南大学出版社,1988.28
16. 柯惠新. 调查研究中的统计分析法(M). 北京:北京广播学院出版社,2000.357
17.(美)艾尔. 巴比. 邱泽奇译. 社会研究方法(M). 北京:华夏出版社,2000.406
18. 隗金水. 对测量理论若干问题探讨(J). 浙江体育科学,2000(3):51