实验法在中国市场研究中的应用
一、实验法是一种“冷门”但又用的市场研究方法
1.实验法是一种“冷门”的市场研究方法
问卷调查、消费者座谈会是目前市场研究中普遍采用的方法，实验法的应用则比较少见。这从出版物的数量中可见一斑，自从李奥贝纳（Leo Burnett）广告公司副总裁Symour Banks在1965年写成《实验法在营销中的应用》（Experimentation in Marketing）一书，其后的相关著述屈指可数，现在可以在亚马逊网上书店上搜索到的只有以下5本（仅给出书名与作者）：
a.《实验在营销决策中的应用》（Experimentation for marketing decisions），作者：Keith Kohn Cox；
b.《营销实验法简介》（Intro to Marketing Experimenta tion），作者：Venkatesan；
c.《营销实验法简介：方法、应用与问题》（An introduc tion to marketing experimentation:methods,applications,and problems），作者：Venkatesan；
d.《消费者研究中的投射技巧：一个理论的案例报告及市场中成功的实验》（Consumer research with projective techniques:A case report of theory and successful experi mentations in market and marketing research），作者：Dietz L Leonhard；
e.《营销艺术和实践：一系列的实验》（The art and practice of marketing:A decade of experimentation），作者：Aubrey Wilson。
2.实验法缘何“冷门”？
至于实验法在营销当中为何不常运用，McDaniel和Gates[1]总结出三点原因：
a.成本高，费时费力。在很多情境下，管理者没有太多时间来做一个实验以帮助自己的决策，而且做一个实验的成本常常超过该信息本身的价值。比如你要比较三套广告运作的方案优劣，你首先必须找到三个条件相似的城市，购买当地的广告时段或版面，对事前、事中、事后的销量进行统计，对实验过程中其它可能的影响变量进行测量，对结果进行解释等等，而当所有的这些工作完成之后，你可能发现整个市场的情况已经变化了，原先方案的商业价值可能已经降低了。
b.安全问题。一个现场实验常常要将营销计划中的关键部分暴露在真实的市场当中，这无疑会让竞争对手知晓并事先做出防范措施。许多有创意的方案本来是要给对手一个出其不意的打击，现在这个“惊奇”（surprise）已经消失了，而且更糟糕的是，有些竞争对手在你忙于测试时已经将你的“创意”改头换面窃取了。
c.执行问题。在执行过程中，要取得公司内部或零售商的配合，但一个地区营销经理或零售商可能并不太愿意自己的营销地区或店铺成为一个测试市场，这可能会影响到他的业绩。实验污染也会造成销售假象，比如你在一个地区测试价格，结果测试区域外的消费者也会跑来购买。另一个技术上的问题是，尽管营销专家试图从各个方面来匹配所测试的市场，以保证测试单元本身的相似性（equivalency），但在现实中很难找到完全匹配的市场。而且在有些情况下，你甚至无法找到一个地理区域或人群作为控制组，在工业品市场中，购买者数量很少，他们常常集中在某一个地理区域，他们彼此之间的信息也很灵通，你要在他们之间测试一种新产品几乎是不可能的事。
3.为何还需要这一“冷门”方法？
尽管如此，营销人员还是希望了解自己的营销努力或方案当中哪一个是有效的。著名的百货业巨子约翰沃纳马克（John Wanamaker）曾说过一句名言，他知道他的广告支出有一半是浪费的，只是他不知道是哪一半。实际上，营销支出也是一样，一位在外资奶粉公司里工作的员工曾向笔者抱怨说，营销人员每月总是要想出各种点子来刺激销售以完成任务，但是在完成任务之后连自己也不能确定究竟是哪一种促销支出在起作用。这就像我们吃感冒药一样，A药不灵，换B药，然后换C药，直到吃D药时症状消失了，那么，这其中究竟是哪一种药在起作用呢？
从“接近”原则来讲，多数人会说是D药，因为D药之后症状就消失了。但是，我们又怎么能排除前面三种药的影响？这就像广告支出会有一个累积和滞后的效应，营销者并不能奢望消费者在看到广告之后马上跑到商场里购买产品。甚或没有一种药起作用，只是病人自身的免疫系统在发挥作用呢？这就像饮料企业在4月份策划了一次活动，结果发现销售业绩迅速提升，真得是这次活动在起作用吗？可能是因为4月前冬季大家少喝饮料，4月后进入炎炎夏季饮料的消费自然会上升。
实验法的好处就是让营销者能够确定哪一种“药”是真正有效的。在确定这种因果关系的过程中，要用到三个原则：
(1)共变原则（Concomitant variation）。X（自变量）变化时，Y（因变量）也随之变化。比如，投放了电视广告之后，公司产品的销售也随之上升。
(2)时间先后顺序（Appropriate time order of occur rence）。原因在前，结果在后。
(3)排除其它可能的影响变量（Elimination of other possible causal factors）。就像吃感冒药一样，A、B、C、D以及自身免疫力，究竟谁在起作用？需要逐个排除。
除了事后的评估，实验法还能在事前帮助营销经理在可供选择的方案中做出最佳的决策。Banks[2]指出实验法可测量的单元包括人、商店和地区，目前常用在口味、包装、广告吸引力、记忆度、价格、陈列、促销活动的测试当中。由于市场研究中变量的多样化与复杂性，以及现场实验执行的难度（有时只能找到有限数量的测试单元），心理学家通过随机化、变量匹配、实验设计、统计分析等多种手段来有效地控制其它因素的影响。
二、一个本土的案例研究
1.案例介绍
2005年一家跨国传播集团在华东地区接到某公司的业务单，几经周折才弄清对方的真正需求：想用实验法来做一个市场研究，并希望这次研究的结论可以被用于以后类似的操作实践中。这对于该公司华东地区的业务来说还是“第一单”，由于缺乏相关的经验，邀请笔者作为该业务的项目顾问。
经过对方授权，允许将该项目的实验设计部分作为教学及发表之用途。由于商业上的原因，笔者在介绍项目背景及实验设计时做了一些精简与修改。该公司是一家为普通消费者服务的公司，依据消费额将客户分为金牌客户、银牌客户与铜牌客户三种。最近该公司打算向银牌客户推广一项新业务，该客户群体人数为1万人。在推广新业务的过程中，该公司想借助一些小众媒介（如直接邮寄）向目标人群推广。在此次宣传活动中，公司领导想进行一个庞大的实验计划，以1万用户为样本，达到以下两个目的：
a.传播渠道效果比较
公司拟采用α、β两种通过不同组合与排列所形成的渠道方式在推广同一活动时的效果比较，从而推断一般情况下各种传播渠道方式之间的效果差异，为将来营销沟通提供渠道优先选择方案。
b.传播内容效果比较
这个新业务主要有X、Y两大卖点。通过整合产品所有两大卖点针对目标人群进行沟通的效果，与提取单个卖点对目标人群进行细分后采用不同沟通内容进行针对性营销所产生的效果差异的比较，为将来营销沟通提供沟通内容优先选择方案。
实验设计如下表所示：
注：填充编号为所设置组别，空白部分为不设置组别
这个实验设计共设计了42个组别，A组的9个组别是在1万用户中随机抽取的，通过这9个组别的比较，研究者试图确定在哪一种沟通（沟通组合）方式能够取得最佳的销售效果（即吸引前来办理新业务的顾客最多），这9个组别采用的沟通内容都是两个卖点诉求。A组与B组进行对比，接受的实验刺激（沟通内容和沟通渠道）相同，不同之处在于A组是随机抽取，而B组则是从1万样本当中找到可能比较感兴趣的顾客，研究者试图确定事先找到那些感兴趣的顾客要比随机找一群人效果好。C1与C2、D1与D2的比较，则试图确定针对细分人群突出其感兴趣的单个卖点要比两个卖点不分轻重进行宣传效果来得好，因此C1、D1组是实验组，被试是经过挑选的对这个卖点感兴趣的顾客，而C2、D2则是控制组，被试是随机选取的，不一定对这个卖点感兴趣。
2.案例分析
相对于西方成熟的现代企业，国内企业的市场营销决策还多是基于直觉与经验，采用实验法以帮助营销决策在国内企业界是一件新鲜事，该公司的尝试足见国内企业开始往规范化决策的方向走。但是作为初试，也存在不少实验设计的缺陷及对实验法本身的误解。
对实验法最大的误解是认为从大样本中得出的结论可以推广到以后有关沟通渠道的选择与沟通内容的设计中，这种一劳永逸希望从一次大实验中找到“真理”的想法实际上是不现实的。每一次营销沟通方案的设计都会涉及到沟通对象、沟通内容及沟通渠道三方的问题，本次参与实验的1万样本群体，并不是从该公司所有的用户总体中随机抽取出来的，而只是代表目前银牌客户群，因此，其推广性也只能局限于银牌客户这一群体。如果要推广到金牌群体或铜牌群体，其推广性可能要大打折扣，毕竟沟通对象及内容都变化了，如果继续沿用原先的结论，有“刻舟求剑”之嫌。一个科学的做法，是从这1万人当中随机抽取出少量样本（每个组别N>30人），进行沟通渠道与沟通内容的测试，然后将测试结论直接应用推广于这1万人的大群体。在以后如果碰到要对这1万用户进行类似营销沟通的话，那么本次的结论仍然可以被应用，但是如果是要对此外的用户群进行营销沟通决策，则仍要取少量样本做一次实验，可见，科学是一步一步累积经验数据的，在这个过程中是不能偷懒的。虽然经年累积之后也许会发现，其实最初从银牌用户上面得到的结论是可以推广到金牌和铜牌用户当中，但现在来说这毕竟只是“可能”。
对实验法的另一个误解是以为要穷尽各种可能性，想出尽可能多的“组别”进行测试。实际上，有些组别比较凭经验已经可以断定会得出什么样的结论，比如A组与B组的比较，试图确定事先找到那些感兴趣的顾客要比随机找一群人效果好，这样“通用”（general）的结论实际上在营销教科书上已经随处可见，似乎并无再次证明的必要。虽然学术研究常常要去验证这些“常识”（common sense），但在营销实务中，记住前面提到实验法的第一个缺陷就是成本的问题，做实验是费时费力的。因此，即使是要做实验，组别也是越精简越好，营销决策面临较大风险而且各种可选择方案优劣难辩才是实验法的用武之地。
3.对实验法的反思
实验法被批评得最猛烈的地方在于它的“还原主义”（reductionism），当事物不断地被分解，分解到最简单的元素，虽然研究者可以排除其他影响变量的干扰，从而确定自变量与因变量之间是否存在因果关系。但问题也就在这里，这些最简单的元素之和仍然是原来那个整体吗？换言之，整体就是个体的简单相加吗？在学术研究中，研究者往往追求这种“最干净”的解释，但也往往只能得到最通用的理论，这些理论对于一个具体行业或企业来说，其商业决策价值并不高。
针对纯实验法的这种缺陷以及商业社会现实操作的要求，准实验法（quasi-experiment）更多地被运用。准实验允许研究者在现实多变量的环境中加入一个实验刺激，然后观测该实验刺激对销售结果的影响。然而，准实验的这种排除影响变量的方法实际上是假定加入的这个实验刺激不会与原先现实环境中的任何变量发生交互作用。举个例子来说，某企业在A、B两个匹配的城市做实验，A城市采用广告、商场促销刺激，发现销售平平，B城市采用广告、商场促销再加人员推销三位一体的营销策略，结果销量大增。我们能否断定广告与商场促销无效，而人员推销才有效的结论？这个结论看起来很合理，一些中国企业经理人就常会犯这种思维错误，中山市某企业负责人在繁华商业闹区竖起一块广告牌宣传其某项新业务，这块广告牌支出不少，该企业半年后做了一次调查，结果发现多数消费者都声称并不是受到广告的影响，而是受到现场推销人员的影响才购买这项新业务，于是该企业决定把这个广告牌撤下来。再举个生活中的例子，我们就能看到这种逻辑推理的荒谬之处。今天你煮汤，下了很多料，尝了一口，太淡了，吃不下去，于是你就加了一勺盐，结果味道无比鲜美。盐确实让原先难喝的汤变得好喝，但我们并不因此日后都去啃盐巴。
上面的分析或许会让读者对探索营销刺激与其销售结果之间的因果关系感到失望。其实实验法也看到了自身的不足之处，并发展出因子设计（factorial design）的方法，这种方法的局限是最多只能分析到三个变量间的关系，再多下去可能研究者自己也搞不清楚怎样来做数据分析，而现实世界的影响变量常常太多。依笔者的看法，解决方法有二：
a.由经验丰富的营销经理挑出可能的影响因素，这当然带有一定的主观性，或者通过回归分析对先前的市场数据进行分析，会比较客观地找出一些影响因素，并尽量精简至三个变量进行研究，这是让问题来迁就方法，有“削足适履”之嫌；
b.测量变量并不一定要还原到不可细分的元素，举个例子来说，前在提到沟通渠道的排列方式，假设是手机短信、直接邮寄的排列组合，在现实操作当中这三种渠道组合并不只是时间先后顺序的调整，其内容也在调整。比如，“短信-直邮”中短信所充当的角色可能是要“引起注意”，“直邮-短信”中短信所充当的角色可能是要“提醒用户不要忘记去办理”，其沟通内容自然迥异，此“短信”已经不同彼“短信”。如果有一个理论支持，几个元素也可以组合成一个测量变量，这样就可以大大减少变量数。
