3.出题不科学
出题的科学与否,直接关联到调查结果的科学与否。但是,问卷调查中经常出现出题不合理的情况。如“你认为老百姓与政府打‘官司’能赢吗”{2}222,“基本能赢”和“基本不能赢”这两个选项易将被调查者引入官民力量的对比而忽视司法中立的存在;对法官“你日常与律师接触频繁吗”,{2}228这一提问旨在调查两者“勾兑”的可能和程度,但设问显然不严谨,因为两者属于同一职业群体,接触是必然,特别在当前中国的情况下,而不能说明什么,其实调查重点应当是两者接触的原因而非频度。又如询问律师与法律工作者“你代理的案件当事人申请法官回避,一般是否得到准许”{2}231,这是欠缺前提的,因为是否准许回避申请应当有法律或事实依据,而不能一般性地讨论。
4.(问卷)选项中的“标准答案”
“标准答案”即调查问卷中可选性极强、几乎公认为正确的选项。一方面,这类选项会极大地削弱其他选项的被选几率,导致调查结果不能完整反映现状,意义降低。如“公众希望的法官类型”,{2}4其设置的选项有:“年轻的有系统专业知识的法官、年老有经验的法官、既有专业知识又有经验的法官、都可以”,其中“既有专业知识又有经验的法官”自然是首选。又如“法官及书记员认为理想的法官”,{2}25选项“业务精通、刚正不阿、执法如山”的被选几率也自然最高。在“您认为法官的庭审语言应当如何改进或加强”的调查中,{2}252两者兼顾的“法律专业强,同时应当进行通俗化解释”当然是最佳选择。另一方面,“标准答案”的出现还会模糊年龄、文化程度、职业、地区等因素可能造成的影响,导致在此基础上做出的区分丧失意义。仍以“公众希望的法官类型”的调查为例,结果显示,被调查者无论是30、40或50岁,无论是高中、本科或研究生,无论身居东部或西部,无论职业如何,都一致趋向于选择“既有专业知识又有经验的法官”,且比例相当。即使各因素显示的比例存在细小的差异,这种不超过5%的差异在统计学上也没有任何值得比较的意义。因此,调查问卷的设计应综合理论、经验以及对结果的合理预期,尽量保证选项间的平行性,避免“标准答案”的出现。
5.选项重叠交叉
问卷设计应避免选项的意义相同、相近或交叉,否则会导致问卷难以清晰地反映某一问题。如“公众认为法官是否应在社会上交往”的调查中,{2}44“不应当广泛交往”与“应与社会保持一定的距离”两者几无区别;“公众认为影响法官公正裁判的最大因素”的调查中,{2}48~49“地方保护主义”与“领导干预”也存在重叠;“公众对法官与当事人接触的看法”的调查中,{2}57“无所谓,相信法官会公正裁判”与“没关系,很正常”之间的区别也很模糊。
6.选项内涵模糊
这是问卷调查中经常出现的问题,会造成被调查者的困惑、乱选,进而损及调查结果的准确性和可采性。如“法官及书记员对所在法院法官类型的看法”{2}8中提出的“学术型”,其基本内涵和评价标准很难确定;又如“公众对法官形象整体评价”的调查中 {2}28~30,“同其他机关工作人员差不多”也是一个无明确所指的选项,难以得出公众对法官印象的好坏;在“公众认为影响法官形象最大的因素”的调查中{2}34~36,“职业共同体成员”指哪些人?公众对此无法准确把握。问卷调查本来就蕴涵或允许一定程度的主观性,但其内容和选项应是明确、清晰、易懂的,如果不能保证这一点,被调查者依据各自理解所做的选择或回答就可能更主观甚至造成严重偏差。当然,有些情况是难以或不能明确界定的,对这类问题,宜采用其他方法而非问卷来进行调查。
7.选项不周延
当选项设置不周延、不平行,不能涵盖问题所指的所有或主要情形,结论就无法完整、合理地反映现实。如“您对法官职业的基本评价”{2}324,“很神圣、需要专业知识、就是国家公务员、谁都能干”这四个选项就欠缺平行性,不能完全囊括公众对这一职业的看法,调查得出的结果也不易甚至不能进行比较。又如“法院当前的一系列改革最让你满意的是什么”{2}212中,“法院办理案件中的电脑化管理”仅仅是法院提高司法效率的努力之一,而且属于细节问题,与其他选项如“法院办理案件的透明度加强”之间不具有平行性。
8.选择方式设置不当
常见的问题是单选和多选之间的关系。如“法官对执行透明度的意见”调查{2}228采用了单选形式,但这一问题的选项如“执行案件时双方到场、执行听证、告知不能执行的原因”之间并无排斥性,而经常同时出现在案件执行中,采用多选形式更能准确说明问题。关于“法官对其他执行方法的意见”的调查{2}291也存在类似问题。