|
这两天,国内各大网站纷纷转载一条来自《中国网》的一条消息。这条令人振奋消息说美国知名调查机构‘皮尤’研究中心最近在中国进行一次调查。调查结果表明,与其他23个国家相比,中国人对本国发展方向和经济状况最为乐观。[1]《中国网》这个政府官方网站从宣传的角度将皮尤中心的调查结果“去忧留喜”地介绍了一番。同时还引用了社科院经济学家何振一些评论。从《中国网》的报道中,看不出这位专家是否自己读了皮尤中心的这份报告。皮尤中心调查报告的题目是“The
Chinese Celebrate Their Roaring Economy, As They Struggle with Its Costs”。翻译成中文因该是“中国人为经济的高速发展而欢呼,也为高速发展的代价而苦苦奋斗”。不过,本文仅仅打算从纯问卷调查的角度,讨论一下皮尤的这份研究。
先介绍一个问卷调查史上一个真实的故事。在美国社会学和政治学界搞定量分析的人可能都知道这个故事。在1936的美国总统大选中,一个当时十分流行的杂志,《文摘》 (Literary Digest)为两党候选人阿尔弗雷德.兰登(共和党)和弗兰克林.罗斯福(民主党,竞选连任)进行了一个问卷调查,以求预测大选的结果。《文摘》向一千万选民发送了问卷,询问他们的投票意向。这一千万选民的取样是基于两个来源:电话簿和汽车注册档案。结果有二百三十万人回答了问卷(23%的回答率)。《文摘》的问卷调查结果显示兰登将以二比一的比例赢得竞选。由于《文摘》自1916年以来的每次总统大选中总是能正确地推算胜者,它这一次的估计令在野的共和党人觉得稳操胜券。但出乎意料,大选的结果却是罗斯福以62%的绝对优势赢得连任。
《文摘》犯了两个错误。第一是选样。在上世纪30年代,在美国拥有电话和汽车的家庭都属于中产阶级。尽管23%的回复率是比较高的,但因为取样仅仅代表选民中的中产阶级,如此高的答复率不起任何作用。第二,这类选民多是共和党人中的保守阶层。共和党中的保守阶层对过去四年中民主党执政结果非常不满意,特别希望改变现状。从而,这类选民比其他选民更愿意回复《文摘》的问卷调查。这种现象在抽样调查中被称为“自我选择”。
就在《文摘》进行它的问卷调查的同时,有一位名叫乔治.盖洛普年青人使用随机抽样的调查方法不但成功地预测了大选的结果,而且在《文摘》的调查结束之前之前精确地预测出其调查会是错误的。盖洛普的抽样仅仅为五万。虽然《文摘》为自己的错误而破产,它的错误和盖洛普使用的随机抽样的方法引起人们对随机选样方式的重视。这个例子具有里程碑的意义。[2]
这个结果涉及几个问卷调查中十分重要的问题。其中最关键的是随机抽样的问题。皮尤研究中心的研究人员当然也深知其中的道理。所以,他们在报告中说得明明白白:样本代表中国的城乡地区(Urban Areas)。报告在提到取样方法是仅仅用了“不匀称”或者,“不相称”(Disproportionately),而没有用“随机”(Randomly)的方法。无规则和随机两者之间的区别,搞定量研究的人一定明白。报告还明确指出,“除了取样中问题之外,问卷本身的用词、提问题的方式,以及实际进行这类问卷调查的困难,都可能会导致研究的结果及其解释的正确性。”这段话是什么意思?
皮尤这份问卷调查的方法是,调查人员手持问卷,将问卷上的问题念给挑选来参加调查的人,然后将答案注明在问卷上。这不是匿名的、以寄送方式进行的问卷调查。这就带来以下几个问题。第一,被调查的人(3212人)是如何被选出来的?第二,是选了1万(或者是10万)人结果只有3212人参加了呢,还是本来就是要选3121人,结果是全来了呢?虽然是“无规则”,但报告并没有对具体挑选方法进行详细描述,令人遗憾。第三,皮尤的研究人员考虑了调查对象的个人特征(性别,年龄,教育水平,家庭收入水平),在分析中也将这些因素考虑进去了。但是,报告没有提到皮尤的研究人员是否就这些调查对象的个体特征本身进行分析,看看这3212人在多大程度上能够代表“全体中国人”。强调一句,如果采样方法是真正的随机采样,前三个问题就不存在了。最后,由于是“面对面的问卷调查”,面谈当时是否有其他人(比如政府官员)在场,每一个面谈的地点条件是否近似,调查人员是否遵守了相同的面谈规则等等,这一类问题对于皮尤这项研究的“合法性”就十分重要了。很可惜,报告中对这一类问题没有加以介绍。
搞问卷调查和定量分析的学者对这类问题的重要性一定非常了解。比如,如果调查对象是一个郊县的农民,被村长推荐来参加调查,那么村长是否在一旁盯着,对这问农民的回答会有一定的影响。而且,“推荐”就给选样带来问题了。这些道理简单,是搞问卷调查的ABC。皮尤研究中心多年搞问卷调查,不会不懂这类问题的影响,我猜想,这些就是报告中提到的“实际进行这类问卷调查的困难”。由于皮尤的报告中没有具体介绍这些情况,我对其调查结果就有怀疑。如果这是一篇研究生的论文,至少在调查方法上就通不过。
我希望国内的新闻界的报道人员,今后如果再遇到这一类内容,最好先学习一些有关的知识,再进行采访、分析、报道。《中国网》的记者在他们的文中交替使用XX%“的受访者”和“中国人”。有意还是无意,将这两个概念交替使用是不对的。就皮尤的报告看,这3121人的意见不能代表“全体中国人”。从技术上看,由于缺乏“随即抽样”的机制,结果的普遍性就差。皮尤的研究人员也十分注意这一点,其报告中始终使用“受访者”这一概念,而没有用“中国人”。
最后来简单地看看皮尤调查的结果。皮尤这份研究发现,受访者在对国家的发展上与个人的生活上的看法之间有巨大差别。的确,正如《中国网》报道的那样,86%的受访者认为中国的发展道路是正确的,82%的认为经济的发展是好的。但是,在涉及个人家庭生活的问题上,诸如“家庭收入”,“环保”,“就业”等问题上,满意程度就大大下降。尤其在“政府官员搞腐败”这个问题上,78%的受访者认为是大问题。96%的受访者认为物价是一个大问题。这也就是为什么皮尤报告的标题是“既报喜,又报忧”原因。但我们的媒体却没有将那标题完整地介绍。《中国网》的新闻报道干脆就没涉及皮尤报告的标题。
我建议大家如有兴趣和时间,应该去读一下皮尤报告的原文。[3]
文献源
[1]李莎、王燕,《各国国民满意度中国排第一 八成国人对前景乐观》,2008/7/23。《中国网》:
http://news.china.com/zh_cn/domestic/945/20080723/14984785.html (2008/7/25阅读)
[2]摘自于本人另一本拙著。请参见:吴量福,《政治学研究方法与论文撰写》,2007年。天津人民出版社
[3]The Pew Global Project Attitudes, (July 22, 2008). The Chinese celebrate
their roaring economy, as they struggle with its costs. http://pewglobal.org/reports/pdf/261.pdf. [July 25, 2008 downloaded]
(感谢吴量福先生惠寄)
学术批评网(www.acriticism.com)首发 2008年7月29日 |
|