真正让CapOne卓然领先的是它真的愿意去做实验。CapOne不满足于对客户行为的历史数据分析，而是通过做随机试验主动参与到市场当中。
2006年，CapOne做了28 000多个实验——28 000个关于新产品、新广告策略以及新合同条款的实验。在信封上印“此优惠有时间限制”或者“新开账户利率2.9%”，哪个更有效呢？CapOne把潜在客户分为两类，看哪种方法的成功率更高一些。
这看起来挺简单。然而，通过计算机程序做抛硬币实验，把正面朝上的次数和背面朝上的次数区别对待，这是大数据分析最强大的技术之一所隐含的核心思想。
如果仅看历史数据，很难弄清楚因果关系。挖掘历史数据，如果想搞明白化学疗法是不是比放射疗法更有效，就必须控制其他所有因素，比如病人的特点、环境等可能影响结果的所有因素。但是，大型随机研究不需要控制这些因素。我们不需要控制住病人是否吸烟或者是否得过中风，我们可以相信对大量数据随机划分后，每个治疗组吸烟病人的比重都相同。
样本大小至关重要。如果样本足够大，那么我们就可以非常确定正面朝上的组数和背面朝上的组数在统计意义上相等。然后，如果我们干预正面朝上组，那么就可以衡量干预的净效应。大数据天才们称之为“干预效果”。这就是数据分析的因果关系圣杯：随机划分数据使这两个组在其他所有方面都相同，然后我们就可以确信这两组结果的任意变化都是由不同的干预引起的。
CapOne长期以来一直在做随机试验。追溯到1995年，CapOne做过一个更大型的实验，生成了600 000个潜在客户的信件列表。CapOne把这些客户分为100 000人一组，给每组寄出的优惠利率的优惠幅度和优惠期限不同。这样，随机试验帮助CapOne得到了两类数据。第一类数据是CapOne最初通过计算机拋硬币实验产生的数据，它用这类数据来决定是否该把某个潜在客户划分到某个组中。更重要的是第二类新数据，即不同客户组的反馈，这类数据只有人为干预才会产生。比较统计上相似的客户组的反馈率，CapOne就可以看出不同优惠的效果。CapOne通过这个大规模的随机研究得知，提供6个月4.9%的优惠利率比提供12个月7.9%的优惠利率要更赚钱。
多年来，学术界一直在医疗及其他领域进行随机试验。但一大变化是，企业界也在依赖随机试验重新制定公司决策。他们能看到什么最管用，并马上改变公司策略。如果学术界发表了一篇文章称在篮球里刮胡子有益，就不会有什么改变。但是如果企业投入大量资金做随机试验，他们这么做是希望用实验结果来指导决策。
其他企业也开始这么做了。CreditIndemnity是南非最大的小额信贷银行之一，全国有150多家分支银行。2004年，Credit Indemnity利用随机试验来推销其“现金贷款”业务。与美国的“工资日贷款”类似，现金贷款也是针对“穷忙族”的短期、高利率贷款。这种贷款在南非市场广阔，每时每刻都有高达660万人借款。一般来说，每笔贷款只有1 000兰特（150美元），大约是借款人月收入的1/3。
Credit Indemnity给老客户寄出50 000多封直邮邀约。跟CapOne的邮件类似，这些邀约提供的利率也是从3.25%到11.75%不等。作为经济学家，令我感到欣慰的是，Credit Indemnity的实验表明贷款利率越低，需求越大。
然而，不仅只有利率。这个实验真正让人感兴趣的是，Credit Indemnity还同时对邀约的其他方面也做了随机干预。这使得Credit Indemnity了解到，只要在邀约信封的角上加上一张微笑女孩的图片，对于男性客户反馈率的提升效果就与降低4.5%的利率一样。Credit Indemnity还发现：在发出邀约信前一周，让营销调研公司致电客户并只是问这样的问题——“您是否介意告诉我们，你预计在未来几个月是否会有大笔开支，如修缮房屋、交学费、买电器、重要仪式（如结婚），或者偿还大笔借款？”——效果会更好。
谈一下建议的威力吧。为客户准备一张让人身心愉悦的图片，或者为他们考虑可能需要贷款的情况，这些非市场的行为就大大提高了客户接受邀约的概率。
我们怎么知道高反馈率是因为图片或电话的缘故？答案又是抛硬币。在50 000个人中随机寄发邮件，使得平均来说看到图片和没看到图片的人在其他所有方面应该都相同。因此，两组客户平均反馈率的任何差异一定是由干预引起的。
当然，随机并不意味着信封上有图片和没有图片的客户每个人都一模一样。如果考察收到有图片邀约的客户身高的话，可能会看到钟形曲线分布。重点在于，对于收到没有图片邀约的客户来说，我们也可以观察到同样的钟形曲线。由于随着样本数的增加，两组客户的分布会越来越相近，那么我们可以把不同客户组的平均反馈率的差异归因于干预的差异。
在实验室做实验时，研究人员会认真控制一切因素，以期产生除了被测因素以外其他条件都相同的对比组数据。在实验室外做实验时，有时不可能产生所有相关方面都相同的配对数据。企业可以通过随机选择来生成数据，尽管这些数据并非完全是配对数据，但随机选择可以生成配对分布。因此，随机选择可以使大数据天才进行等价的控制实验，而不必像实验室一样匹配，也不必控制数十个甚至数百个可能的干扰变量。
随机营销试验对于利润提升的意义非常明显。为什么不附上一张图片，而非要把利率降低5%呢？Credit Indemnity得知此项研究结果时，他们正打算那么做。但是实验结果分析后不久，这家银行就被收购了。新银行不仅停止了今后的所有实验，而且裁减了Credit Indemnity的大量员工——包括那些曾极力主张实验的人。极具讽刺意义的是，这些员工中有些人记住了随机试验的经验，现在在Credit Indemnity的竞争对手那里找到了新工作。
原文发布时间为：2015-01-19