讲座回顾 | 人文社科前沿论坛第五讲——如何改善问卷调查的可靠性:调查实验与统计加权
2024年11月19日,由香港中文大学(深圳)人文社科学院举办的人文社科前沿论坛(Frontiers in Humanities and Social Sciences Research Forum)第五讲顺利开展。本次讲座邀请到香港中文大学(深圳)校长讲座教授、人文社科学院院长唐文方教授,围绕“如何改善问卷调查的可靠性”这一社会科学研究方法的重要问题,结合实际研究案例对调查实验方法及统计加权进行了深度阐释。

本次讲座由香港中文大学(深圳)人文社科学院副院长(科研)陈捷教授主持。人文社科学院前沿论坛旨在建立人文社科学院科研交流平台,加强科研交流,激发科研交叉创新,促进高质量科研成果的产出。

唐文方教授首先强调了问卷调查研究方法和提升其可靠性的重要意义。尽管当前人工智能和大数据分析极大地丰富了社会科学领域的研究方法,但其局限性在于只能帮助探索人们正在做或已经做出的行为,却不能探查那些还未做出的行为。问卷调查则可以有效弥补这一局限,通过主动创建场景来洞察不同情景下的受访者行为差异。然而,作为一种自我报告型的数据收集方法,问卷调查也有其自身的局限性。受访者在回答问卷时,可能会出于迎合社会期望的心理而说谎,尤其是在涉及社会敏感话题时。因此,问卷调查结果的可靠性一直以来困扰着研究者们。唐文方教授以其在香港进行的问卷调查研究为例,详细阐述了如何运用列表实验和统计加权的方法来测量受访者是否说谎以及说谎的程度。

列表实验(list experiment)是一种创新性的实验调查方法,融合了问卷调查和实验方法。这种方法由政治科学家James H. Kuklinski开创,在美国政治研究中多用于探究选举政治中隐藏的种族主义倾向。在研究中,为了测量受访者对八项政治议题的真实支持程度以及说谎的程度,唐文方教授按如下步骤在问卷调查中开展了列表实验。首先,直接询问受访者是否同意支持这八项政治议题。接着,将整体样本随机分成九组,其中一个组为控制组,八个组为实验组。控制组的受访者需要根据一组非政治性的常见社会议题的题目集(共四道题),回答同意的议题总数,而不需具体说明是哪几项。实验组的受访者则收到一份包含与控制组一样的四道题以及一道额外的政治议题的题目集。八个实验组分别对应八项政治议题。实验组的受访者依然仅需回答同意的议题总数。某一实验组对其对应的政治问题的同意程度可以通过该实验组的议题同意总数平均值减去控制组的平均值来计算。通过这一设计,研究者可以在受访者不必透露具体意见的情况下,测量出他们的真实态度。直接询问方式得到的结果与列表实验结果的差异便可揭示说谎的程度。

在其研究中,唐文方教授还创新性地使用加权方法做出了进一步探索。受访者在问卷中回答了其政治光谱/政治色彩,这一信息被用于加权。例如,在直接提问时,90%的浅蓝人群同意支持某项政治议题,但在列表实验中,仅有66%的浅蓝人群表示同意。通过加权后,得出73%的浅蓝人群同意支持该议题。按此方式依次加权,研究者可以得到整体样本对所有议题的真实支持人数和比例,并测量出说谎的程度。
经过唐文方教授深入浅出的讲解,现场师生对如何通过创新性的研究设计提升问卷调查的可靠性有了更深刻的理解和认识。本次讲座在热烈的讨论和互动中圆满结束。



