1.3 社会调查研究的质量评价

1.3.1 经典测验理论

经典测验理论（Classical Test Theory，CTT）是以真分数理论为核心假设的测量理论，也称真分数理论。

经典测验理论将观测值的数学期望称为真分数。即对某一研究对象的社会特征，采用同一量表进行充分多次的反复观测并记录，将所获得的观测值的数学期望定义真分数。由此可见，所谓的“真分数”并不是社会调查研究对象某一社会特征客观数值的“真实”度量，“真分数”只是借助数学期望的计算，剔除了观察值中的随机性测量误差，而不能剔除非随机性的系统性误差。因此，在观测值存在系统性误差的场合，真分数是社会调查研究对象某一社会特征的真实度量与系统性误差之和。

经典测验理论将通过社会调查对某一具体研究对象的社会特征的观测记录所获得的观测值称为观测值或观察分数，将观测值或观察分数与真分数之间的测量误差称为误差分数，即将观测值或观察分数定义为真分数和测量误差之和。真分数的误差分数实质上就是随机性误差。

经典测验理论认为要获得对真实分数的值，就必须将测量的误差分数从观察分数中分离出来，即将测量的随机性误差从观察值中分离出来。因此，经典测验理论存在着三个基本假设。

假设一，观测分数是真分数与误差分数的和，即

其中，X表示观测分数，T表示真分数，E表示误差分数。

假设二，误差分数E为服从于数学期望为0正态分布的随机变量，对式（1.1）取数学期望，则有观测分数X的数学期望为真分数T。

由假设二，即式（1.2）和式（1.3）可知，在对某一研究对象的社会特征进行充分多地反复观测并记录，其误差分数E的数学期望为0，观测分数X的数学期望即为真分数T。

由此，可知经典测验理论中的误差分数E仅仅为一随机误差，不包含系统性误差，系统性误差依然包含在真分数T之中。在社会调查研究中进行充分多的反复观测并记录，只能消除误差分数E的随机误差，不能消除包含在真分数T之中的系统性误差。

假设三，真分数T和测量误差E之间相互独立，各次平行的测量误差E之间相互独立。

其中，ρ表示相关系数。

在假设三，即式（1.4）和式（1.5）的基础上，有观测分数X的方差等于真分数T的方差与误差分数E的方差之和，即

经典测量理论在真分数理论假设的基石上构建起了社会调查研究的相关概念，其中最重要的有信度和效度。

1.3.2 信度

信度（Reliability）是测量理论中的核心概念之一。信度是指社会调查活动测量的一致性程度或稳定程度，也称之为可靠性程度。信度可以具体表示为对某一研究对象的社会特征，采用同一量表反复观测并记录，包括在不同时间上的多次反复观测记录或者不同调查研究人员的多次反复观测记录，所获得的资料结果之间的一致性。

例如，在一次社会调查中，同一个问题，相隔7天对同一个被调查者进行3次调查。第一次调查时，被调查者选择A；第二次调查，被调查者选择了C；第三次调查，被调查者选择了D。这就说明该问题调查结果的信度低，因为多次重复调查结果的差异较大，假如这3次相隔7天的重复调查，同一被调查者都选择相同的答案，可以说该社会调查或者调查结果的信度较高。

信度的大小用信度系数rXX来表示，一般采用以下3种定义。

定义1：同一量表反复观测真分数方差与观察分数方差之比。

定义2：同一量表反复观测真分数与观察分数的相关系数的平方。

定义3：同一量表反复观测下不同观察分数之间的相关系数的平方。

信度的估计方法一般有重测信度（Test-retest Reliability），复本信度（Alternate-form Reliability）、分半信度（Split-half Reliability）、同质性信度（Homogeneity Reliability），和评分者信度（Scorer Reliability）等。

显然，信度建立在观察分数和真分数基础之上，所考量的是社会调查活动测量的随机误差，即误差分数的相对大小。

1.3.3 效度

效度（Validity）是指社会调查测量的有效性程度，即对社会调查研究对象测量的精确程度，即社会调查活动测量的准确性。在一定程度上反映了社会调查活动测量的系统性误差。因此，效度即准确度，是指社会调查测量工具或社会调查测量手段能够准确、真实地度量所要测量的研究对象某一社会特征的程度。

效度既是对一个社会调查研究活动的有效性程度的度量和评价，也是对该社会调查成果，即调查资料准确性和正确性程度的评价标准。

任何一项社会调查研究的测量都不可能达到百分之百的准确，只能达到某种程度的准确。因此，效度只能是个相对的概念。

效度的估计方法一般有内容效度（Content Validity）、表面效度（Surface Validity）、结构效度（Construct Validity）和实证效度（Empirical Validity）。

1.3.4 信度与效度的关系

如果将社会调查研究活动过程及其研究结果达到了预期的目标，实现了对于某一社会现象的正确认识，结论具有科学价值，称为社会调查研究的有效性，则信度是社会调查研究有效性的必要前提，没有信度，社会调查研究有效性就不可能存在。但是，信度只是社会调查研究有效性的必要条件，而非充分条件。若社会调查研究有效则一定拥有信度，但有信度并不意味社会调查研究一定有效。效度则为社会调查研究有效性的充分条件，在社会调查研究既具有信度，又具有效度时，该社会调查研究则必然具有有效性。

因此，在社会调查实务中，应该把信度和效度两者结合起来进行考察，信度和效度是度量任意一项社会调查研究活动过程及其研究结果的综合测度。

图1.3以直观的图示方式，粗略地描述了信度与效度的意义和关系。

在社会调查实务中，一项社会调查研究活动过程及其研究结果的信度高，社会调查研究的有效性未必高；信度是社会调查研究的有效性的必要条件，但不是充分条件。

结合真分数理论来观察，信度所反映的是随机性偏误，是指可以借助充分多的观察值的数学期望将其分离出来的，不包含在真分数之中的误差；效度所反映的是非随机的偏误，是指不可以借助充分多的观察值的数学期望将其分离出来的，不包含在真分数之中的系统性误差。相对而言，信度的度量是直观的、容易的；效度的度量是复杂的、困难的。

1.3.5 社会调查的误差

社会调查研究对于客观世界的认识过程建立在具体的调查资料基础之上，调查资料的质量直接制约着社会调查研究的可信性和有效性。调查资料的误差是指社会调查资料与研究对象客观事实之间的差距，可以分为系统性误差和随机误差两类。

1. 系统性误差

系统性误差是指非随机因素导致的系统性的偏倚，不会随样本容量的增大而减小，不会随重复进行多次调查测量而减小。因此，即使在全面调查场合，在反复多次的重复调查中也会存在系统性误差。因此，系统性误差也称为系统性偏倚，它是一种具有确定性偏误倾向的误差。

系统性误差主要由以下一些原因所导致。

（1）调查测量的总体与研究对象不一致，这是导致系统性误差的主要成因。通常由于调查的方案设计时的疏忽，调查测量总体的界定与研究对象的内涵存在差异；调查中出现的无回答；抽样调查中抽样框过于陈旧等形成的抽样框偏误；采取了随意抽样，街角调查等非随机抽样方法，等等。

（2）非随机性的登记性误差。例如，在调查测量时，被调查者或调查者为了规避隐私，追求利益，提供虚假信息等原因导致的主观有意所为的登记性误差；以及由于调查者专业性水平欠缺等原因导致的非主观有意所为的登记性误差。

（3）量表偏倚导致的系统性误差。例如，调查问卷存在明显的倾向性和导向暗示；调查问卷和测量量表具有明显的缺陷等。

从理论上来说，一方面，系统性误差是由于社会调查方法或者社会调查设计不当，由于人为的原因所导致的，属于可以消除的调查误差。但实际上，在任何一项社会调查研究中都不可能完全消除系统性误差。例如，按照调查对象在理论上的概念内涵确定具体调查测量总体外延界定，要做到完全吻合，不重不漏是难以实现的；按照社会调查研究有关调查项目确定的指标来选择具体的代理指标或测量量表，与抽象的理论界定之间总是存在这样那样的差异；在实施调查时无回答问题或多或少总会出现；在抽样调查中，采用早先全面调查采集的数据构成的抽样框不可避免地会与实际的调查总体存在不同之处。总而言之，社会调查研究活动中系统性误差是始终存在的，只是大小程度不同而已。

另一方面，系统性误差是一种偏倚，在出现系统性误差的场合，不能够通过重复进行多次调查测量，或者增大样本容量，直至采用全面调查来减小系统性误差数值水平，更不可能彻底消除系统性偏误。

在经典测验理论中的误差分数仅仅为一随机误差，不包含系统性误差。系统性误差遗留在真分数T之中。因此，不能将误差分数E等同于调查资料的误差，在社会调查研究中仅仅考虑随机误差的误差分数E；更不能将真分数T视同于研究对象客观事实的真实特征，忽略系统性误差。

2. 随机误差

随机误差是指由随机因素导致的调查误差，随机误差会随重复进行多次调查测量而减小，在抽样调查中会随样本容量的增大而减小。在一般场合，随机误差的数学期望为0，主要由抽样调查中的抽样误差和随机性的登记性误差所导致。

（1）抽样调查中的抽样误差，是指在进行抽样调查时，由于使用样本信息估计总体参数所产生的抽样误差。抽样误差是最典型的随机误差，也是社会调查中最主要的随机误差。在抽样调查中，可以依据调查对象的分布特征，所采用的抽样方法，估计出抽样误差数值水平；还可以依据抽样调查的要求，通过计算出必要的样本容量，将抽样误差控制在一定数值水平之内。采用抽样调查不仅可以节省人力、物力和时间；还可以采用专业的调查人员进行资料的采集，降低系统性误差，因此抽样调查是开展社会调查研究的基本方法。

（2）随机性的登记性误差，是指在调查测量时，被调查者和调查者由于一些随机性的扰动因素干扰所形成的误差就是随机性的登记性误差。例如，个体情绪的波动，外界环境的差异，计量和测量误差，登记过程中调查单位缺失、记录失误、抄录错误、录入差错、汇总差错等非主观意识所导致的误差。

在经典测验理论中，采用误差分数E表示随机误差，认为误差分数E服从于数学期望为0的正态分布，这一假定构成了经典测验理论对于调查误差分析的主要内容。

随机误差是由于随机性原因形成的误差，它是服从于某一概率分布的随机变量。根据中心极限定理，在大样本场合，样本均值趋于正态分布，当利用样本信息推断总体均值时，可以用样本均值的标准差来度量这一随机性误差，并且进行区间估计，以及必要样本容量的计算。