3.调查问卷样本太少，调查对象杂乱
该研究发放问卷共计350份，收回350份，涉及300名当事人(包括律师)和50多个执行协助单位。从数量上看，问卷样本太少，尚未达到统计学要求的样本数量。从对象上看，300名执行案件当事人中包括诉讼代理人，50多个执行协助单位中还涉及人大、政协、纪委等非民诉法规定的协助机关，对象杂乱导致信息分散和无关。
4.不少问题无需问卷调查
例如，是否感觉到执行难，社会诚信对执行工作是否有影响，解决执行难应否多方采取措施、加大执行力度，执行联动的作用大小等都是众所周知而无需调查的；对某一起案件是否通过调解结案，是否引起上访，应从法院的统计数据和材料中获得，而非通过问卷形式从当事人处寻找答案，被调查的问卷填写者也不可能了解这些信息；对执行难原因的调查，也应通过对现象的分析而非依据问卷得出。
5.数据不一致或冲突
严格地说，这不属于实证调查的技术缺陷而应归为严重的人为错误。例如，“引起强制执行的当事人原因统计”中，“下落不明、资金周转不开、资不抵债”这三项数据之和就远大于“当事人下落不明、无履行能力案件统计”的数据，但事实上，即使不能保持一致，也应该是后者的数量大于前者。又如“强制措施统计表”和“采取强制措施一览表”，两者内容几乎完全相同，但数据却相差万里。
6.概念不明，前后不一
例如，对“引起强制执行的当事人原因”的调查中，对“抗法事件”和“抗拒执行”这两个概念未作明确界定和区分，两者交替使用，产生混乱。又如问卷中提到“执行联动”、“自动履行”等概念，被调查者也不容易明了其确切含义。这些技术问题处理不当，将加大所获数据的偏差，影响其可采性和解释力。
7.分类不清，问题复杂化
这大概是调查思路不清晰的一种反映。例如，在调查“引起强制执行的司法原因”的两个统计表中，前者将此类司法原因分列为“对法律文书不满、文书送达不完善”，后者则分列为“执行前准备不足、对判决结果怀疑”，对同一问题做不同分类，应以必要为限，但此处毫无必要，而且不同分类间的界限明显不清，没有说明问题，反倒使问题更加复杂。
8.结论与调查脱节
调查与结论“两张皮”，结论无需调查便可得出，这是当下许多声称为实证的研究所存在的问题。例如，该研究认为化解执行难应从源头治理，提高审判质量的裁判公信力；应深化执行体制和工作机制改革，提高执行案件的质量和效率；应延伸执行工作机制，促进社会和谐稳定。这些都根本无需实证调查便可以得出，或者从其实证调查中无法得出。为实证而实证，本身就背离了实证研究的初衷与价值。
(三)《关于人民法院与社会有关方面互助联动调处纠纷课题研究实证报告》[④]
该报告以构建法院为中心的互动调处纠纷机制为目标，对现有纠纷解决机制的运行状况进行实证调研，并制定相应的制度方案。实证调查方面存在的问题主要有：
1.调查不全面，数据不足
例如，报告欠缺该市纠纷及其解决现状的整体数据(哪怕是大致的数据)，课题组选择的三个法院在纠纷解决方面的数据及其横向比较，法院二审的诉讼调解数据，报告拟进行数量分析的“几类民事案件的调解结案率”、案件“和解率”、“协调结案率”等数据。作为实证研究的必要部分，背景性数据、比较性数据都不可或缺。
2.调查材料的收集整理不够严谨
例如，“全市两级法院民事案件审限情况表”，各项数据的获取或计算标准都欠缺适当说明；“调解案件履行情况表”中欠缺民事一审调解结案案件的及时结清数、申请执行数、执行和解的数量以及作为比较参数的各项数据；“全市法院一审民事结案情况表”中“调解数”这一表述不甚准确，应为“调解结案数”，“调解占比例”也显得粗略。调查材料的整理与得出的结论直接相关，数据的计算和统计应尽可能做到细致严谨。
3.调查问卷的缺陷
该报告在问卷调查方面也存在上文提及的类似问题：调查对象定位不准确，如将公众类的调查对象仅定位为人大代表、政协委员、律师、诉讼当事人，不能充分代表公众；问卷仅150份，收回118份，样本数量太少，不具代表性；问卷设计不甚科学，如制度设计缺陷的界定不明确、选项不周延、问题宏观不够具体化等。事实上，我认为，不应把调查问卷的作用看得太重，应增加其他研究和调查方法的运用，如文献研究、深度的个案研究、访谈、参与观察等。
