撰文
郭朝飞
抖音为什么叫抖音？
当然，这不是张一鸣拍脑袋的结果，它与字节跳动内部一个名为A/B测试的工具有关。
抖音做出产品demo之后，起了很多名字，各自logo也不同。他们将这些名字放在不同应用市场，但位置、预算等条件是一致的，测试了各自对用户的吸引力程度、下载转化率等指标。
抖音当时排第二，团队讨论后认为，长期来看抖音更符合认知，也更能体现产品形态，就选了这个“第二名”。
从最初的今日头条，到后来的抖音、西瓜视频，再到懂车帝、飞书等构建成的产品矩阵，外界一直好奇，字节跳动持续迭代的方法论到底是什么？
事实上，在字节跳动过去的九年间，大量的A/B测试几乎每天都在进行。就在不久前，字节跳动旗下面向企业的智能科技品牌——火山引擎举行品牌发布会，基于大数据、人工智能和基础服务等技术能力，为企业提供系统化的全链路解决方案，助力企业务实地创新，给企业带来持续、快速增长，而A/B测试是火山引擎智能营销套件中的一个工具。
如果说字节快速迭代的秘诀是数据驱动的话。A/B测试是最能够体现数据驱动价值，也最能代表数据驱动理念的。
事实上，A/B测试早已在亚马逊、谷歌等海外互联网公司被广泛应用和传承。
但在国内，A/B测试还处于初级阶段。不久前，火山引擎市场部做过一个市场调研。家企业的样本数据显示：在企业的日常业务和管理中，A/B测试的普及率并不高，渗透率不足30%。
A/B测试到底是什么？有何神奇之处？既然如此强大，在国内外市场为何“冰火两重天”？
1A/B测试并不是互联网的专利互联网圈有一句话，顶级PM（产品经理）只能跑赢一半A/B实验。
但如果追溯起来，A/B测试并不是互联网的专利。很早的时候，A/B实验就被用于医药实验等科研领域，比较著名的便是英国海军外科医生詹姆斯·林德出海，在船上用临床实验治疗坏血病的案例。
那是年，航行中很多人患上坏血病。林德选了12名比较严重的病例，分为6组，在6天的时间里，把他们安排在一起，吃食完全一样。实验的关键之处在于，根据当时的流传说法，给每组吃不同的可能治疗坏血病的东西。比如，一组每天吃两个橘子、一个柠檬，一组喝苹果汁，其他方案还包括喝酸醋、海水等。后来，实验证明吃橘子、柠檬是有用的。
回过头来看，该实验未必完全严谨，比如患者的年龄、民族、地区等问题是否考虑进去。时至今日，其背后蕴含的A/B实验精神与理念已经进入多个领域和行业，尤其在互联网行业被广泛应用。
A/B实验，又被称为小流量实验。在互联网领域，简单说就是针对要改进的某项功能、UI、逻辑策略等，提供两种或多种备选方案，从总体用户中抽取一小部分，随机将抽取出的流量分配给不同方案。比如让一部分用户使用A方案，一部分用户使用B方案，最终结合一定的统计方法，通过实验数据对比来确定最优方案。
A/B测试在互联网公司大规模应用，是在美国的谷歌、亚马逊、Facebook等公司。
一位有谷歌工作经历的人士透露，谷歌用A/B测试最广泛的是搜索、广告两大团队，因为这两项业务用户量超级大，结果都容易用数据衡量。
上述人士透露，他曾在谷歌总部工作过一段时间，他当时的主要任务就是通过改进谷歌搜索广告的产品，来提升谷歌广告点击率和营收。
当时，谷歌每月搜索广告的产品上会做几百、上千次实验，他会尝试不同的产品改动，不同的优惠策略、卖点，看看哪个转化率更高。他发现，个实验版当中，可能60~70个都对用户没有影响，剩下的几十个版本中，有十几个可能会比正在用更好，把这些更好的版本上线、推给更多的用户，就可以持续提升转化率，高效率地试错。
谷歌翻译设计师PendarYousefi与OliviaGrace在一篇文章中指出，在谷歌翻译网页版的改版中，A/B测试就起到了重要作用。
一开始谷歌将翻译结果文本框做成了蓝底白字，但用户反馈不好。重新设计时，很多设计人员犹豫甚至质疑，是否要换掉蓝底白字。
谷歌做了A/B测试，一组实验用蓝底白字，另一组用灰底黑字。A/B测试的结果显示，采用蓝底白字的翻译结果文本框后，用户使用谷歌翻译的频率和次数明显减少。最终，为了便于长篇翻译结果的可读性，谷歌还是改了过来。
“虽然有种种不情愿，但我们还是将蓝底白字更新成了灰底黑字。”PendarYousefi与OliviaGrace在文章中写道。
相比谷歌，亚马逊的产品更复杂、繁琐，运营策略也更复杂，因此亚马逊的实验数量更多，因为它可以优化的点特别多。
贝索斯曾经说过，亚马逊的成功，秘诀就是每年、每月、每天不断进行实验。
字节跳动一位高级实验工程师曾这样描述A/B测试：一方面我们无法承担任何一个错误特性影响上亿用户体验的严重后果；另一方面我们又希望能够分离并量化每个特性的影响。
这就需要我们设计并坚持使用一套数据驱动的方法，使得我们可以以较小的风险对新特性进行评估，积极试错积累经验；并且这个方法有能力排除其他因素（如同时开发的其他特性、时间因素等）的干扰；最后，除了"好或者不好"，我们希望这个方法也能够给出定量的结果。
为了解决上述问题，普遍使用的方法是小流量随机实验，也就是A/B实验。
2理念和认知受限在国内，A/B测试也算不上新鲜事物。
一位资深互联网运营人记得，年前后他第一次接触A/B测试，彼时A/B测试与精益创业等理念一同从外国传入。后来创业时，他第一次将A/B测试应用于课程详细页的版本测试中。
但不得不承认，目前A/B测试在国内