从上看出,传统的神秘客调查使用纸面印刷问卷,利用纸面记录店面情况,在特定需求下,为确保数据的后续审核要求,需要对整个调查过程利用录音机进行全程录音,或对于特定的检查点进行拍照或摄像。
如上所述,传统的神秘客作业方式在如下方面面对挑战:
其一,浪费严重。一般一份商业性的神秘客调查问卷长度在30-120道问题之间,募集200-10000个调查样本。这样的调查项目问卷印刷成可供调查员使用的纸面形式,单份问卷需要6-30个A4页,即便采用两面印刷方式,最后所耗费的纸张也是惊人的数字。因纸张的耗费是一次性的,这不仅是浪费,更导致调查项目的成本高昂。
其二,数据质量无从保证。即便是由事先经过培训的调查员进行神秘客调查,也仍然无法确保收集的数据能按照原定预先的目标。比如回复控制(如单选问题上有两个或多个回复、多选超过预设回复选项数、开放回复不符合要求等)、问题间逻辑关联、数据完整性等。这样的调查回复数据,导致后端的数据录入员和审核员将耗费较多精力在数据质量上面。
其三,数据录入和审核工作繁重。要把200-10000个调查样本在30-120道问题上的纸面回复数据转成可分析的电子媒介数据,这是一个繁重并且非常容易出错的工作。这类工作一般需要外包给专业的数据录入公司来完成,但耗费的成本也非常巨大。并且录入的数据要经过多次的审核之后方能进入分析阶段。
其四,其他挑战,比如延时性数据和数据造假。所谓延时性数据,正是这样的数据处理过程导致无法实时监控项目的实施进度,只有在数据录入过程完成后才能查看到整个项目数据的质量,项目实施过程中发生的问题无法得到实时反馈和调整。而数据造假更是传统神秘客项目的通病,即便使用全程录音等多种保障措施,也仍然无法阻挡调查员或代理公司对调研数据造假的源动力。
其五,对于神秘客项目的业主而言,只有等到项目结束后方能看到数据和报告,获知项目的进展只能依赖与项目经理的口头沟通,无法得知项目进行过程中可能发生的问题。对于基层店铺而言,数据对其是不可知的,无法就最终的调研数据发表意见,客观上无法保证调研数据的公平。
正是因为观察到传统神秘客调查方式面临的巨大挑战,自2007年8月份开始,科维能动研发出EnableQ在线问卷调查引擎系统,用来帮助用户实现神秘客项目调查问卷的自主设计、数据的收集、整理、审核、申诉以及统计与分析,为神秘客调查工作中提供了全方位项目管理的技术实现。