9.对调查对象未作合理区分
提问应区分对象，该问上帝的问上帝，该问凯撒的凯撒，这样才能找准目标，获取有效的信息。但问卷调查却常有不区分对象的缺陷。如“当你收到裁判文书后，你认为文书说理能让你信服吗” {1}113，该提问针对诉讼当事人，却未区分是胜诉方还是败诉方，而凭借常识便可预测这两方对裁判的体验是完全不同的，一般胜诉方比较服判，而败诉方的抵触情绪较大，因此，笼统地调查当事人的态度欠缺应有的严谨和客观。又如，就“法院解决纠纷是否费时”{2}114、“最能理解的影响案件审理进度的原因”的调查{2}114亦存在类似问题。
10.对异常数据未作必要说明
如对“不同职业的公众选择法官解决纠纷的原因”的调查，{2}13其中律师、军人、学生、工程师、教师、其他对“年龄大的法官”这一选项的选择均为零，而报告未在文中对之进行说明。实际上，正是这种异常的、有违日常经验和逻辑的数据，需要做出说明，甚至有可能从相关分析中获得更重要的信息。当然，这一异常数据也可能是选项设置不当等原因造成的，因为其他选项如“高学历的法官”、“经验丰富的法官”的可选性太强。
11.问卷内容繁杂，题量过大
这项有关法院公信力的实证调查共设计了诉讼当事人问卷、社会公众问卷、法官及法院其他工作人员问卷等五套问卷，其中，诉讼当事人问卷有76题，其余几套问卷均有80题以上，而且每套问卷均涉及被调查人的基本情况、法官素质、司法质量、司法能力、制度安排、法院管理、司法执行力、司法独立、司法信仰等诸多方面。在同一份问卷中设计如此多的问题，很可能会导致问卷目标的分散，扰乱受访者的思维逻辑，同时，题量过大，很容易使答题者厌倦，以致出现乱答乱填的情况，影响调查的效果。
因此，问卷内容应围绕有限的主题展开，题量不可太大，问答时间一般不应超过半小时，否则受访者的思维大多会开始涣散，情绪变得不耐烦，很可能乱答或乱填。如果问卷篇幅稍长且确有必要，则应注意在访谈过程中让受访者休息片刻，再继续问卷调查。
12.调查范围的局限性
这是实证调查经常被质疑的问题，即所选样本何以具有代表性？何以能说明某一地区乃至全国的普遍状况？例如，该调查选取西南某省内经济相对发达、中等发达和相对欠发达的三个地区为样本，共计发放问卷4250份，回收有效问卷3674份。但三个样本区的法院公信力状况只能代表该省，最多扩及邻省而代表西南地区的情况，就全国范围内而言，就不具有普遍的代表性。加之其问卷的回收量不大，信息的回馈量不够充分，因此，在此基础上所作出的分析，就难免存在一定的局限性。有学者采用类似的方法，在全国范围选取经济发达、中等发达和相对欠发达的地区作为实证样本，试图以此说明全国的情况，但这对幅员辽阔、地区差异较大的中国而言，明显存在以偏概全之嫌。所以，实证调查的结论原则上仅适用于调查范围之内，相应的扩展应适当且严谨。
(二)《强制执行案件鉴别机制改革项目实证研究报告》[③]
该报告是某中级法院有关强制执行案件鉴别机制改革的实证研究，主要采用了查阅卷宗与问卷调查的方法，也暴露出一些实证研究的常见缺陷。
1.实证调研方法的单薄
该研究仅采取查阅卷宗与问卷调查的方法，存在较大的不足。第一，对该研究而言，这两种实证调研方法并不是有效的方法，不能很好地达到研究目的。有必要补充其他更重要的方法，如个案分析、个案追踪、参与观察、对当事人和律师的访谈等方法。第二，案卷抽样样本太少，甚至可以说，根本无需抽样。该研究仅选取该中院及其辖区内两个基层法院2001年至2005年间的300件民商事执行案件作为样本，明显缺乏代表性，不足以全面反映当地的执行状况。事实上，该法院掌握了全面的统计信息，直接使用这些材料足以说明问题。同时，该法院的强制执行信息系统发达，通过这一系统可以获取实证研究所需的任何材料。
2.变量选取和统计标准不当
在查阅卷宗、统计数据的过程中，该研究在变量选择、统计标准的确定上存在较大缺陷。例如，该研究在描述案件执行状况时忽略了执行标的额这一重要变量，从而只能从案件“数量”而不能从案件“质量”上反映执行情况。同时，在计算案件执结率时，将执行终结、执行和解、执行中止甚至执行委托都一并纳入“执结”的范畴，从而得出当地法院连续5年保持95%以上奇高的案件执结率，与人们的经验和感受相悖。与此类似，将当事人下落不明和无履行能力两种情形并归一处，用单一数据来描述也不合理。因此，选取变量应注意变量与研究的相关性，相关性较强的一定不能忽略，无关的则不应纳入；统计标准也应合理设定，从而客观地反映现实，而不是为了显示出更“好”的数据。
