随机测试为什么没有大范围普及?
随机化试验不是象牙塔里的白日梦。许多公司已经开始采用这种方法了。问题是,为什么没有更多公司追随第一资本和乔安纺织的脚步?为什么沃尔玛没有进行随机化实验?沃尔玛善于通过消费者过去的行为预测未来。不过,他们至少在公开场合不接受随机化测试。信息管理常常局限于历史数据,局限于最近的交易信息和比较久远的交易信息。各企业目前很擅长跟踪这种信息,但是整体而言,企业在主动创建有用数据方面走得还不够远。
本章的例子表明,这件事并没有那么困难。Excel的“=rand( )”函数可以在几乎任何计算机上为你抛硬币。任何聪明的高中生都可以运行随机化测试并进行分析。这种测试设置起来并不困难,分析也只是对于“处理”小组和“未处理”小组两个平均结果的比较而已。当Offermatica告诉你两个网页的平均点击率时,他们所做的也就是这些事情。(好吧,当他们用田口方法分析多项测试结果时,情况要复杂一些。)
由于这些研究在数据收集和结果分析上的简便性,你也很容易向那些不喜欢思考异方差性和最优线性无偏估计量等事物的人解释研究结果。相比之下,非统计人士很难理解和相信更加花哨的统计回归。实际上,统计学家有时需要说:“请相信我。我所做的多变量回归是正确的。”相信随机化实验要容易得多。受众仍然需要相信研究人员抛硬币的正确性,但也仅此而已。如果两个群体的唯一差异是他们接受的处理方式,那么处理方式显然就是可能导致结果差异的唯一原因。
通过随机化,研究人员还可以自由控制目标问题,创建他想要的信息。对于历史数据的挖掘会受到人们过往行为的限制。如果所有初中都不设置统计课程,历史数据就不会告诉你在初中教授统计学是否会提升数学成绩。不过,进行随机化实验的超级数据分析师可以随机安排一些学生学习这门课程,以创建回答这个问题所需要的信息(看看他们的成绩是否优于没有被选中的学生)。
在过去,公司更愿意创建定性数据。要想探索“街上的普通人”对于新老产品的看法,你只能组织焦点小组。不过,未来的营销人员不仅会采用多变量回归和历史数据库挖掘的社会学方法,而且会开始进行随机科学试验。
企业意识到了信息的价值。你的数据库不仅可以帮助你制订更好的决策,而且可以作为商品销售给其他人。所以,公司自然会更加仔细地跟踪自己和顾客的行为。不过,公司应该更加主动地考虑他们缺少哪些信息,并且采取行动,以填补数据空白。要想创建“什么会导致什么”的信息,没有比随机化测试更好的方法了。
为什么没有更多公司加入?当然,这可能是因为传统专家在保卫自己的地盘。他们不想对他们珍视的政策进行明确的测试,因为他们不想承担失败的风险。不过,从某种程度上说,这种相对犹豫可能与时间有关。随机化试验要求公司在测试开始之前做出假设。我和我的编辑在决定需要测试的书名时进行了一番争执。与之相比,在回归中,研究人员可以等待结果,在得到事实以后再去决定测试内容。和进行事后回归的人相比,随机化研究人员需要更加主动,这种差异也许可以解释随机化试验在美国企业界传播较慢的原因。
随着定量信息日益成为被囤积、购买和销售的商品,越来越多的公司会开始对广告、价格、产品属性和雇用政策进行随机化试验。当然,不是所有决策都能提前测试。一些决策没有缓冲余地,比如第一次向月球发射探测器,或者是否为一项新技术投资1亿美元。不过,对于许许多多的决策来说,关于人类种种行为的强大的新信息正在等待我们去创建。
本书谈论的是社会学方法从学术领域向实际决策领域的传播。在有用技术的采纳上,企业通常远远领先于政府,这不足为奇。超级数据分析技术也是如此。在有利可图时,企业会抢在官僚之前攫取利润。不过,随机化是政府保持领先的一个领域。和公司更加统一的控制相比,两党制的限制和平衡可能使政府在接纳随机化方面获得优势。在具体事务上无法达成一致的政治对手至少在随机化程序上取得了两党的一致。他们让一些州随机测试对手偏爱的政策,前提是对手让其他州随机测试他们偏爱的政策。由于缺少选票而无法让相关政策得到批准的官僚有时非常愿意资助随机示范项目。这些示范项目最初通常规模不大,但随机政策试验的结果会对随后的政策产生巨大影响。