1.2 数据分析与试验

试验思维和数据思维是双生的，它们互相辅助，形成合力。

在大数据时代，“如果你不能衡量，你就不能改进”这句话是在讲数据的价值，如果我们想挖掘出数据的价值，就需要衡量和改进，其中衡量通常需要分析，改进通常需要试验。

1.2.1 数据不只是数字堆叠

数据的显性和隐性价值一直受到各行各业的普遍关注。早在1980年，著名未来学家阿尔文·托夫勒在《第三次浪潮》中就提出了大数据的概念，数据对于企业的价值早就形成共识。但数据的简单堆叠不能带来价值，企业在对数据价值的开发与利用的道路上一直孜孜以求。但受场景与技术的限制，我们长时间停留在数据收集和获取以及数据报表分析的阶段。在相当长的时间内，“啤酒与尿不湿”的商业智能场景还只是个美丽的目标。

直到最近几年，随着互联网特别是移动互联网的快速发展，随着技术的进步，数据直接作用于业务的场景被爆发性地释放出来，数据的价值和对数据的利用被所有行业提升到空前的高度，数据驱动增长策略成为各行业、企业的核心竞争力（见图1-10）。

1.2.2 后验数据分析的局限：数据的“漂亮”与“丑陋”

目前，数据驱动已经基本成为行业的共识，绝大多数企业都在谋求以业务场景为起始点，以业务决策为终点，构成数据分析的基本循环。但是，经过长期调查后发现，国内仍有许多知名企业在文化思维层面和实践层面都偏向于“后验”的方法，即归纳总结式数据分析。通过在各个业务场景下使用如图1-11所示的闭环方法，不断验证和改善，实现业务增长的目的。

这种模式的优势在于严谨、规范的流程。用户量越大，调研越充分，最终的决策风险就会越小；但是其劣势也非常显著：效率低，许多业务优化点被埋没在数据整理的漫长过程中，最终还是依赖个人经验来实现突破性的创新。但“千禧一代”慢慢成为社会及互联网的主力人群，他们有着鲜明的时代特征，如人群属性不断细分、时间碎片化程度越来越重、愿意尝试新的事物、个性化特征明显，以及对用户体验非常敏感。

他们愿意成为某种产品的忠实粉丝，也会因为某些不好的体验和感受毫不犹豫地离开。因此对于任何一个产品和服务，出错或出现不好的用户体验的风险与成本变得巨大，甚至决定着产品和服务的生死。

从原理上讲，对历史数据的分析只能得出有限的相关性结果（如目前大多数用户喜欢的口味是什么），而无法得出预测性的结论（例如，如果提高这种口味的产量，就可以增加销量）。

市场的复杂性在加剧，创新的速度在加快，行业知识急剧增长，过往的历史数据和工作经验，哪怕是1个月甚至1个星期前的信息，都可能迅速过时。特别是在如今精细化运营的时代，虽然获取数据变得越来越容易，数据量变得越来越多，但是从数据中挖掘出准确的用户需求却越来越难。

通过数据分析找到问题与洞察，通过人的经验来决策的归纳总结式数据分析的有效性正在降低、风险正在加大。在线旅行社（OTA）龙头公司Booking的实践总结（见图1-12）也证明了这一点。

只有通过科学的方法不断向用户学习，才能不落后于市场上的竞争对手。为了保证试错学习的速度和效率，我们应该尽可能使用A/B测试得出确定性的因果关系，在策略实施前就得到预测性结论，而不用冒上线失败的风险。

用一个模糊的分数来衡量，如果说我们过去依赖的行业分析、竞品分析、用户分析等数据分析可以给我们的决策带来40分的帮助，那么A/B测试对于我们了解真实的用户需求就有80分的帮助。

1.2.3 试验：数据驱动业务增长的唯一力量

为了解决依靠经验作决策面临的出错风险和巨大成本的困局，A/B测试这种先验的、预测性的试验方法在互联网明星公司率先应用起来，并伴随Sean Ellis（肖恩·埃利斯）于2010年提出的增长黑客的概念而在硅谷的众多公司中快速流行起来（见图1-13）。

A/B测试本质上是分离式组间试验，属于预测性结论，与“后验”的归纳性结论差别巨大。A/B测试的目的在于通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论，并确信该结论可推广到全部流量（见图1-14）。

因为A/B测试具有小流量、低成本、风险可控的特性，用户基于大量、高频的A/B测试数据进行决策，可确保实现业务的确定性增长。进行A/B测试成为增长黑客及增长团队最重要的工作，进而一个更有效的数据驱动增长的模型被开发出来，如图1-15所示。

在如图1-15所示的更加高效的数据驱动增长的模型中，“建立假设方案—运行小流量试验—确定有效和优胜方案”的流程成为保证确定性增长的核心，而A/B测试是唯一直接导致目标有效性的环节，是驱动增长的直接力量。

数据分析并不直接促使业务增长，数据分析可以帮助我们建立对用户需求的洞察，建立值得试验的假设，但是不运行试验，我们就不能真正解读分析结果的意义，也无法衡量数据分析的价值。举个例子，如果我们分析湖人队的比赛就会发现，科比得分越高的比赛，湖人队输球的概率就越高。根据这个结果，我们可以提出一个假设：“科比是球队‘毒瘤’，湖人队让科比少得分，就可以提高赢球的概率”。如果我们不做试验，是没法验证这个假设的。如果我们做了试验，也许会发现这个假设并不成立。对于这个结果的另一种解读是“湖人队比赛越困难，科比越会挺身而出多得分”，这个解读会带来完全不同的假设：“引进一个二号得分手，可以提高赢球的概率”。这种假设也许更值得验证，但是在试验验证之前我们无法确定其正确性，也无法准确衡量“引进一个二号得分手，可以提高赢球概率0.1%、1%，还是10%”。

数据分析可以带来有价值的试验假设，从而提升试验回报的可能性。不过值得一提的是，数据分析并不是试验项目唯一的驱动力，很多时候试验假设并不来自于数据分析。有些试验是为了应对竞争对手的策略（例如，竞品推出了新功能，我们也要试试看），有些试验是来自于头脑风暴的灵感（例如，给男性用户推荐女性用品会不会有奇效），有些试验是来自于外部咨询专家的建议（例如，某专家建议我们试试去掉官网的导航栏），甚至有些试验是纯粹的随机探索（例如，把某个按钮的颜色调亮一些看看）。做好分析，会提高我们的效率和能力；做不好试验，我们就无法确保完成业务增长。从这个意义上讲，试验是数据驱动业务增长的唯一力量。