社会调查质量研究:访员臆答与干预效果

严洁  邱泽奇  任莉颖  丁华  孙妍

文章来源于：《社会学研究》2012年第2期。

[提要]本文利用中国家庭动态跟踪调查并行数据和问卷数据，采用事后准实验设计方法，对面访调查中访员臆答及对臆答进行干预的效果进行了分析，指出访员臆答是面访调查中不可忽视的直接影响调查数据质量的因素;访员的职业特征与臆答的发生比有显著关联，计算机辅助面访调查可以有效监测并干预访员臆答;干预可使臆答显著减少，减少的幅度因访员年龄不同而有显著差异，但不因访员性别、教育和职业因素而变化。

[关键词]臆答  问卷调查  质量监控  CAPI

面访调查作为一种有效、可靠的数据采集方法被广泛应用在社会科学实证研究中。质量监控是面访调查中至关重要的环节之一。然而，面访调查的质量监控一直存在着难点和盲区，例如，访员在访问过程中是否诱导、催促受访者，使受访者未加思考匆匆作答，是否对问卷中的某些题目并不提问受访者而自填答案 (本文称其为“臆答”)等。在纸笔方式的面访调查中，访员的这些做法很难被监测到。

本文通过对北京大学 2010年“中国家庭动态跟踪调查”(CFPS)部分质量监控数据的分析发现，有8.4%的农村成人问卷至少发生了一道题目的访员臆答( curbstoning)。由此产生的一系列问题是:访员臆答在什么情况下容易发生?发生的比例有多高?怎样才能监测到访员臆答 ?在采访过程中如何干预和纠正访员的这种行为，以及干预的效果如何?

本文采用事后准实验设计(post quasi-experiment design)方法，运用2010年 CFPS的并行数据和问卷数据，对以上问题进行分析，并进一步探讨面访调查质量监控方法的改进方向。

一、访员臆答释义

面访调查中，访员不规范的访问行为会对数据质量造成损害，故此一直被作为质量监控的重点。常见的访员不规范行为可以细分为:替换受访地址或受访户;替换受访者;访员不登门，自填整份问卷;访问过程中破坏中立原则，引导受访者选择答案;访问过程中用各种方式催促受访者，使受访者未加思考匆匆作答;通过跳转模式故意回避需要长时间作答的题组;有意不提问某些题目而自行填答;系统地读错题目或选错答案中的代码等。

我们把访员有意不提问某些题目而自行填答的访问行为称为“访员臆答”。访员臆答与访员不登门而自填问卷有所不同，后者是整份问卷都由访员自填。访员臆答是指访员询问了受访者一些个人特征的题目，和/或一些有可能被核查的事实性题目，而对一些难以核查的题目，或不会被核查的题目，或者是受访者比较反感的题目，或者是自己能够不用提问就判断出答案的题目进行自填。

访员臆答在纸笔面访调查中很难被监测到。在纸笔访问模式中，现场督导拿到访员交回的问卷后，有办法监控替换受访者、不登门而自填问卷、采访用时短等不规范行为，也有办法核实受访者人口变量的准确性和真实性，但却没有办法判断问卷中哪些题目是访员自填的。即使采用电话回访或实地回访，也只能访问那些事实性的、受访者不易改变答案的题目，而对态度性的题目，很难通过前后两次访问的对比结果来判断访员是否自填。因此，在纸笔面访调查中，对于访员题目臆答的监控，始终没有一个切实有效的方法。

二、研究方法与数据

 (一)研究内容的进一步界定

访员臆答分为多种情况，有的是访员故意为缩短访问时间而自行填答，有的则是访员根据观察到的或者已经采集到的有关受访者的信息而自行判断得出答案。前者通常会对调查质量产生影响，而后者则很难判断其影响。2010年的CFPS调查质量监测的对象是前者，①所选择的监测题目均是访员无法通过自行判断能得出答案的题目，例如，一些只有受访者个人能回答的客观性题目和态度性量表题。

访员臆答在调查误差中属于测量误差，可能与不同的题目特征相关联，也可能对数据质量造成严重的影响，所以对研究社会调查数据的质量而言至关重要。但是，限于当前 CFPS问卷数据的使用权限，本文将暂不讨论这两方面的内容，而是在现有资源的范围内，将研究焦点锁定在访员臆答的发生与访员特征的关系、访员臆答如何被监测、如何被干预，以及干预的效果方面。

访员臆答研究以访问用的问卷为载体。CFPS问卷结构复杂，包括住户过滤问卷、家庭成员问卷、家庭问卷、成人问卷、少儿代答问卷、少儿自答问卷、村居问卷共七大类。为了避免不同问卷之间的差异、城乡之间的差异可能造成的影响，本文的研究内容限定为农村成人问卷中发生的臆答，以及进行农村成人问卷访问的访员。

在CFPS的监测方式中，每周都汇总并向访员反馈质量监测结果，因此访员因违规而被干预的次数是不等的，其中被干预多次的访员数量很少。假设首次干预最有效果，因此，本文把研究焦点进一步锁定在首次干预。

通过对研究内容的进一步界定，本文关注的焦点可简述为:(1)对2010年 CFPS农村成人问卷访员臆答的首次干预效果;(2)农村成人问卷访员臆答的发生与访员特征的关系。为分析便利，本文定义了两种不同的臆答卷比例作为分析对象.。①

臆答卷比例(I型):指访员在某个期间内出现的臆答卷数量占其同期完成卷数量的比例。本文关注首次干预，因此取第一次干预前的臆答卷比例，以及第一次干预后到第二次干预前的臆答卷比例作为研究对象。臆答卷比例(II型) :指访员在整个调查期间的全部臆答卷数量占全部完成卷数量的比例。该比例用来分析臆答的发生与访员特征的关系。

 (二)数据与研究方法

本文的数据来源于2010年CFPS数据仓库(包括并行数据和问卷数据)中的质量监测过程数据、题目采访用时数据，以及采访员特征数据，得到了北京大学中国社会科学调查中心授权使用。

在质量监测过程数据中，本文选取了各个监测时点的访员臆答问卷数量、监测间隔内访员进行采访的天数、完成的农村成人卷总数，以及访员开始和结束访问的日期。在题目采访用时数据中，选取了每份成人问卷监测变量的采访用时，包括敏感问题、困难问题、态度量表问题、大幅跳转的节点题目，以及关键个人特征题目等。②在访员特征数据中则选取了性别、年龄、教育程度、职业、婚姻状况等变量。

使用上述数据，采用事后准实验设计方法进行分析，即: (1)将发生了臆答的访员和未发生臆答的访员分为两个组别，前者为实验组，后者为对照组，将访员特征作为控制变量，分析访员特征与臆答发生比之间的关系;(2)针对干预效果，把进行过干预和没有进行过干预的访员分别列为实验组和对照组，将访员特征作为控制变量，分析干预效果与访员特征之间的关系。

三、访员臆答的监测方法与监测结果

 (一)监测方法

计算机辅助面访(Computer Assistant Personal Interviewing，CAPI)技术的应用，给质量监控方法带来了飞跃(Bakeret al．，1995;Couperetal．，1997)。运用计算机辅助技术可以及时、有效地获得可用于监测访问过程的并行数据，及时对访员臆答进行干预。

欧美国家使用计算机辅助技术的知名调查项目很多。在美国，几乎所有大型调查中都采用了计算机辅助技术甚至混合调查技术，如家庭收入动态调查(PSID，1968－)，健康与养老调查(HRS，1992－)，青少年健康调查(Add Health，1994－);在其他国家，如英国家庭动态跟踪调查(BHPS，1991－)，理解社会调查(Understanding Society，2009－)，德国的社会经济跟踪调查(SOEP，1984－)等等。中国首次将 CAPI调查技术和计算机辅助调查管理技术应用于全国性调查的则是北京大学的CFPS。①

针对访员臆答，CFPS调查通过电话回访、录音回放、访问过程键盘回放，以及对题目采访用时的统计分析来发现问题。

首先，计算各类问卷②监测题目的采访用时。在这个环节，第一步是确定监测题目列表，即按照问卷类型、模块、区段、间隔方式挑选监测问题，主要针对容易出现臆答的题目，例如态度量表题目、敏感题目、访问困难题目等 ;第二步是计算监测题目的最短读题时间作为合理用时。③最后用每个访员在每个样本的各个监测题目上的用时与合理用时进行比较，低于合理用时的定义为疑似臆答样本。其次，对于疑似臆答样本进行录音回放，确认是否没有提问。第三，对于没有录音的样本，进行电话回访，询问受访者是否提问了某个题目。最后，对于既没有录音也没有联系电话的样本，进行访问过程键盘回放，以确认是否臆答。

在时效性策略方面，收到调查数据的第 2天，便开始题目采访用时的统计分析。录音回放、电话回访也在第一可能时间点上开始。

 (二)访员臆答的监测结果

CFPS的目标样本家庭数为 16000户，户内的全部成员都要接受访截至2010年9月15日，参加访问的访员共有438名，完成住户过滤问卷、家庭成员问卷、家庭问卷、成人问卷、少儿问卷共计84385份。①

依据CFPS调查质量核查方案，50%的问卷被随机核查到。在被抽查的问卷中，根据对每份问卷监测题目的采访用时与合理采访用时的比较，并辅助以录音回放、电话回访和键盘回放加以确认，共有7914份问卷被检测出至少有1个以上题目是臆答的(以下简称“臆答卷”②)，占问卷总量的18.8%。

在农村成人问卷③中，共有 946份问卷被检测出至少存在1个以上题目的臆答，占农村成人问卷总量(22522份)的8.4%。这946份问卷涉及到165名访员，占访问过农村成人问卷的访员总数(318名)的52%。表1显示，在发生臆答的 165名访员中，50%的访员有3份及以下的问卷属于臆答卷，10%的访员其臆答卷在12份以上，臆答卷最多的一个访员达到46份，有30%的访员其臆答卷占其完成问卷总量的9%以上。

 (三)访员特征与臆答发生比

此项研究中，以II型臆答卷比例为因变量，对被干预过的访员，将其在调查期间完成的全部问卷作为分母，将全部的臆答卷作为分子。对没有被干预过的访员，采用同类的计算方法，对没有被检测出臆答的访员，设置其臆答卷比例为0。

我们首先通过单因素方差分析方法，检验出不同访员的II型臆答卷比例的均值差异显著(F=75.661，p＜0.001)。表 2归纳了三类人群臆答卷比例的基本情况。从中可以看出，II型臆答卷比例的均值在干预之后已经减低为6.8%，而未被干预的访员，①其臆答卷比例的均值为11.5%。

表2干预前后臆答卷与无臆答卷的基本情况

为验证访员特征与臆答发生比是否有显著关联，我们把访员分为未发生臆答和发生过臆答两类人群，用二分变量的逻辑斯蒂回归模型(Binary Logistic Regression)检验访员性别、年龄、职业、受教育程度对臆答发生比的影响。表3显示，访员当前的职业 ②能够显著地区分出访员是否会发生臆答。

在 95%的置信水平下，计生干部、村居委会干部臆答的发生比是学生的3.740倍，无业/待业人员臆答的发生比是学生的2.770倍，政府企事业单位职员臆答的发生比是学生的2.495倍，而中小学教师等专业技术人员臆答发生比与学生无显著性的差异。此外，在控制了职业差异之后，即对于同一类职业的访员而言，访问量的增加会导致臆答发生比的增加。

四、对访员臆答的干预效果

 (一)对访员臆答的干预

在 CFPS的质量监测中，对于发生了臆答的访员，第一步会由调查执行督导通知访员改正行为，包括命令其不得臆答，明确重申臆答严重会进行经济处罚和取消访员资格，要求访员电话回访受访者、询问臆答题目的真实答案等。

第二步则对这些访员的后续所有样本都进行重点监测和督导。

如果首次干预之后臆答仍有发生，第三步则除了由督导通知其纠正访问行为之外，还会通知访员要对多少份问卷进行多大比例的经济处罚(即扣除一定比例的问卷劳务费)。经济处罚是在调查结束后的结账阶段进行的，没有在访问过程中执行经济处罚的主要原因在于质控进程与财务管理进程不一致。

第四步，对臆答最严重的情况则取消访员资格。不过，在CFPS调查中，并没有发生臆答非常严重的情况，因此没有访员因臆答而被取消资格，也没有发生由于臆答题目比例大而进行重访的情况。②

本文关注首次干预的效果，对于所有臆答访员所进行的首次干预是一致的，即由执行督导通知访员改正行为。接下来，我们来检验这种首次干预对臆答卷比例所产生的影响。

 (二)首次干预效果

检验首次干预的效果要以I型臆答卷比例作为研究对象，这类臆答卷比例在每个访员那里因干预的次数不同而存在多个状态。这里，我们选第一次干预前的臆答卷比例，以及第一次干预后到第二次干预前的臆答卷比例作为因变量，采用配对样本的 t检验和一般线性模型(GLM)下的重复测量多因素方差分析(repeated measures analysis of variance) (刘红云、张雷，2005:18－38)方法进行干预前和干预后的比较分析。③分析结果显示，首次干预使得访员臆答卷的比例显著降低。

干预前和干预后的臆答卷比例均值差异显著(参见表4，t=6.134，p＜0. 0001)。干预之前臆答卷比例的均值为0.255(标准误为0.020)，干预之后则下降到0.098(标准误为0.018)。

表4干预前后 I型臆答卷比例均值差异的配对样本

这种幅度的比例变化对调查质量来说是非常可喜的。虽然CFPS调查并没有在访问过程中实行更严厉的质量干预措施，但可以假设，持续的质量关注和更为有效的干预手段会大幅度减少臆答卷的比例。

 (三)访员特征与首次干预效果

为分析干预前后臆答卷比例在不同特征访员中是否有显著的差异，我们把访员特征变量的主效应和交互效应纳入分析中，采用重复测量的多因素方差分析方法进行了检验。在通过球形假设检验①保证因变量满足方差齐性的前提条件之后，发现干预的主效应显著(参见表5)。

接下来还要检验的是，在不同访员之间，干预效果是否有显著差异。在分析模型中纳入访员基本特征变量后的分析结果发现:访员的性别、受教育程度、职业的主效应及它们之间的二维、三维交互效应对干预前后的I型臆答卷比例的影响均不显著(略微显著但未能通过方差齐性检验和组间协方差矩阵相等检验)。

但不同年龄组的访员之间，干预的效果有显著的差异。鉴于访员的年龄分布状况，我们把访员的年龄分为 18－24岁，25－34岁，35岁以上三个年龄组。各年龄组访员的 I型臆答卷比例的均值情况如表6。

三个年龄组样本协方差矩阵相等检验通过(Box\'s M=12.428， F=1.982，p＞0.05)，球形假设检验也通过，即符合纳入模型进行方差分析的前提假设条件。故将干预主效应、干预与年龄组交互效应放进分析模型，结果如表7。从表中可知，干预的主效应(F=28.111，p＜0.0001)，以及干预与年龄组的交互效应(F= 4. 531，p＜0.05)对干预前后的臆答卷比例的变化有显著影响。①

表5  干预前后I型臆答卷比例均值差异的方差分析结果

表6  干预前后不同年龄组访员Ⅰ型臆答卷比例均值的基本情况

表7  不同年龄组访员干预前后I型臆答卷比例均值差异的方差分析结果

在三个年龄组中，18－24岁的访员一开始的臆答卷比例偏高，干预后迅速降到较低的位置。如图所示，25岁以上的访员在干预前的臆答卷比例大致相当，干预后，35岁以上访员的臆答卷比例比 25－34岁的访员下降的幅度更大些。总体上看，干预后臆答卷比例仍然相对偏高的是25－34岁的访员。

图1 不同年龄组访员干预前后臆答卷比例均值的差异

从上述讨论可以看出，首次干预能获得显著效果，但干预效果不因访员的性别、职业、受教育程度而不同，却因年龄组不同而有显著差异，对25－34岁访员进行首次质量干预后的效果相对其他年龄组要弱，臆答卷比例降低的幅度不大。降低幅度最大的是18－24岁之间的访员。需要注意的是，对这个年龄组访员的监测和干预尤为重要，因为该类访员的臆答卷比例在干预之前是最高的。

五、结论与讨论:质量监控的挑战与改进策略

在CFPS质量监控环节发现的访员臆答是早期其他调查质量控制中未曾也无法发现的现象，也是纸笔方式调查质量监控的盲点，需要引起对调查质量监控的足够重视。

通过CFPS的质量监控实践，我们看到了对臆答进行质量监控的显著效果。在未发生臆答、发生臆答未被干预和被干预的三类访员中，臆答卷比例均值的差异显著。在发生臆答并被实施干预的访员中，首次干预可以显著降低臆答卷比例，降低的幅度在职业、性别、教育等方面没有显著差异，但在年龄组上有差异，25－34岁访员臆答卷比例降低幅度最小，纠正效果不如其他年龄组访员。在干预前，18－24岁访员的臆答卷比例最高，但在干预后下降得最快、最大。因此，质量监测与及时干预对这些访员来说至关重要。更加值得关注的是臆答的普遍性，有臆答的各类问卷占问卷总量的比例平均为18.8%，虽然农村成人问卷的臆答卷比例为 8.4%，但却涉及52%的访员。另外，访员职业特征会影响臆答的发生比，和学生相比，计生干部、村居委会干部、无业待业人员、政府企事业单位职员更容易发生臆答。

我们还发现，尽管CAPI调查的质量监测可以监测到臆答，但监测的滞后会导致发现问题却来不及实行干预。在2010年CFPS的初访中，有165名访员有臆答，其中有24名访员就因监测滞后导致没有来得及干预。因此，掌握时效性对质量监控而言，尤显重要。对臆答监测的滞后主要源于录音回放的时效性。在所有核查方式中，录音回放是监测臆答的有效工具，因此，改进录音回放的方式，提高录音回放的时效性，是提高调查数据质量的有效途径。

采访过程中的质量干预方式虽然有很多种，但在采访过程中，访问进程管理、访员绩效管理、质控管理、数据管理和财务管理是交互错综的复杂系统，有些干预措施 (例如经济处罚)往往会滞后于质控的要求。除此以外，在 CAPI模式中，最迫切也是最复杂的问题在于，如何将监测题目合理化，以及在保证监测题目具有高信度和效度的前提下，如何将质量监测结果直接和数据质量建立联系。

格鲁夫斯曾指出反映数据质量的四个误差来源(Groves，1989):覆盖范围(coverage)、无回答(non-response)、抽样误差(sampling error)、测量误差或者回答误差(measurement or response error)。访员臆答是测量误差中的一种重要来源，目前，我们还不能简单地从一份问卷的臆答数量来判断问卷的整体质量，也不能从某个题目是臆答就判断此题无效，除非是逐条题目、逐个受访者地一一对应加以判断。那么如何将臆答与每一个变量的数据质量联系起来?哪些题目更容易产生臆答?哪些题目臆答会严重影响对总体的推断?这些问题不是质量干预可以解决的，还有待进一步探讨。

从纸笔面访调查过渡到CAPI调查是为提高调查质量做出的一种选择。在CAPI模式的质量监控环节，监测工具的精细化、监测设计的科学性、监测时效性的提高、监测结果与数据质量的联系，以及对质量监控人员职业素质的迫切需求，对访员招聘和管理上的分人群、分方式的要求，都是未来在质量监控方面所面临的新挑战和努力方向。

参考文献:

刘红云、张雷，2005，《追踪数据分析方法及其应用》，北京:教育科学出版社。

Baker，Reginald P．，Norman M．Bradburn＆ Robert A．Johnson 1995，“Computer－assisted Personal Interviewing:An Experimental Evaluation of Data Quality and Costs．”Journal of Official Statistics 11(4)．

Couper，Mick P．，Sue Ellen Hansen＆ Sally A．Sadosky 1997，“Evaluating Interviewer Performance in A CAPI Survey．”In Lars Lyberg，Paul Biemer，Martin Collins，Edith De Leeuw，Cathryn Dippo，Norbert Schwarz＆ Dennis Trewin (eds．)，Survey Measurement and Process Quality． New York:John Wiley and Sons．

Groves，Robert M．1989，Survey Errors and Survey Costs．New York:John Wiley and Sons．

作者单位:北京大学政府管理学院(严洁)

北京大学社会学系、中国社会与发展研究中心(邱泽奇)

北京大学中国社会科学调查中心(任莉颖、丁华、孙妍)