很多时候，唯一能证明你的产品对错的方式就是A/B测试。
推荐人：黑马哥
推荐星级：★★★★
阅读时长：3分钟
推荐理由：A/B测试，简单来说，就是为同一个目标制定两个方案，让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，看哪个方案更符合设计。当前，A/B测试已经逐渐成为产品与运营检测产品如何一步步提升留存和收入的重要方法。
对于平台化产品，产品和运营一直在解决的核心价值问题就是——如何让用户用最快的速度找到并消费自己感兴趣的、急切需要的、超越期待的好内容、好服务。如果你没有在创业前想清楚这个问题，或者做好心理准备和团队建设，准备花费巨大的精力去解决这个问题，等待你的往往是用户的白眼、投资者的冷漠脸、员工的辞职信。
在竞争激烈、产品同质的领域，胜败关键在乎细节。事实证明，用户建模、机器学习、推荐算法、人工推荐，这些听都听吐了的概念，但你不得不为用户而做（或者不得不为VC而做），需要大量产品和运营的试错过程，才有希望一点点接近合理的效果。而其中的关键步骤，在于不断设定用户需求，提出解决方向，用A/B测试的方法，尝试一切可能合理的产品功能。
A/B测试需要一定的准备成本和技术成本，所以如果你是一个创业者，或是已经靠直觉取得了一定成绩的产品经理，你可能会有很多说辞来拒绝A/B测试，比如译者听到的就有——“更本质的方法应该是重构模式”、“更快的方法应该是用户访谈”、“这种新技术并不能解决一切”等等。
不过，A/B测试根本不是互联网行业的新发明。在流水线生产、快消领域，A/B测试早就证明了自己的价值，远比大多数万众创业者“重新发明商业模式”的性价比要高。如果你还不相信，我们就来看一下，硅谷的产品是如何用A/B测试优化了业务的。
一、提高转化率
我们以Frank&Oak为例，这是一家男装电商，他们根据用户个人兴趣和操作行为，为用户打造定制化推荐的购物体验，这是他和其他电商网站相比的亮点。但是和国内的美丽说类似，只有注册账号、登录app，才能够获得这种个性化体验。
因为是否注册登录是用户转化的第一个关键步骤，Frank&Oak首先针对注册流程优化进行了A/B测试。他们先尝试改变了登录模块的位置、表单交互，之前他们的第三方登录只支持facebook账号。在这个版本他们想测试增加一个google账号登录，看看是否会提高注册率，最终的测试改动如下图：
通过A/B测试结果显示，增加了google登陆按钮之后，移动注册量提高了150%。
虽然Frank&Oak只尝试了几次就获得了巨大的成功，你可能需要调整很多次才能够找到奏效的方法。下面是一些你可以用来测试着陆页的着眼点，帮助你引导用户从搜索商品到完成注册。分别为：
对登录行为进行漏斗模型分析
信息表单的填写
文本和图像的引导
更多的登录方式
二、激活
当你的用户完成注册环节时，你需要去激活他们。商业上来说，这意味着促使用户尽可能快去买东西。为了完成这个目标，研究显示你需要在最开始的两个流程内让他们完成购买，不然很可能他们就再也不会回来了。
例如，Karmaloop在分析用户激活数据的时候发现：先将物品放到了心愿单的用户比那些将物品放入购物车的用户的完成购买率低。Karmaloop分析了这个情况以后做了一个尝试：在设计上弱化“心愿单”按钮的存在感。
降低用户与心愿单之间的交互使得Karmaloop更好的抓住了用户的购物意图。这个简单的测试提高了用户活跃度，提升了35%的销售额。有时候你不需要完全删除一个功能，一些小小的改变就足以达到目标。
三、提高内容利用率
对于内容类网站和APP，推荐内容的压力每天都在增加。尤其是花了大价钱在自制剧、购买版权、限时分成、保底买断方面的视频网站，他们最应该担心的就是内容利用率过低——比如首页和分类页点击率不足、比如用户只能通过搜索才能找到好内容、比如内容订阅率太低或者回访率太低。一向自称“我们是一家技术公司而不是电影公司”的NETFLIX在这方面称得上业界良心，尤其是对首页的有效利用堪称一绝。
新用户登录时看到的NETFLIX首页，推荐的内容是NETFLIX的常青王牌剧《纸牌屋》。
笔者第二次访问时看到的NETFLIX首页，首页从常青剧换成了新剧《怪奇物语》，可以看到根据一些用户习惯，下面的NETFLIX独家内容开始出现了一些倾向。
别人的账号里在同一天看到的首页完全不同，看到的是脱力喜剧《福是全家福的福》。
切换为儿童账号后：
未登录之前的首页，强调的是海量内容。
在成为以个性推荐知名的产品之前，NETFLIX深知，获取用户的信任不是一件简单的事。
Netflix的工程师Gopla Krishnan在自己的博客上记录道：
一个产品功能或内容，如果无法在90秒之内获取一个用户的注意，用户很可能就会失去兴趣，并且转向其他行为。这些问题如果反复发生，可能是因为我们没有为用户呈现正确的内容。如果回溯原因，则是因为我们没有足够的根据，证明用户为何喜欢某一个内容，因此没有用正确的思路去呈现内容。
于是Netflix在2013年做了一次大规模的A/B测试（实际上是A/B/N测试），看看围绕同一部电影，他们是否能够在海报上做些个性化文章，提高转化率。
图1是默认海报，图2提高了14%的点击率、图3提高了6%。
NETLIX随后开发了一个系统级方案，可以自动将节目图片根据不同的宽高比、裁切效果、修饰程度、本土化元素等维度进行分组。他们把这套方案逐渐应用到越来越多的节目上，跟踪相应的用户点击转化率，以下是一些例子，绿色箭头是用户转化率较高的内容：
四、经验总结
1、为何要使用A/B testing
如果你给产品设计了一个新功能或新的运营手段，使用A/B测试可以帮你扭转两个关键指标：留存和收入。使用A/B测试，彻底改变产品，跟踪用户行为，你可以看到你的产品如何一步步提升留存和收入的。如果测试有效，就尽快放进基线版，做成标配。这种手段可以帮你持续优化产品和运营。
2、你的用户是否按照你的设定在操作
我的经验是，用户在绝大多数时候都不会按你期望的方式操作，有时候他们连你精心推敲、放得好好的按钮都找不到。个中原因很多：可能因为你的设计不够直观、颜色不够突出、不理解某种操作、可交互的选择太多无法决定从何下手……等等。
3、你的直觉准确吗？
很遗憾，对于用户行为来说，多数时候我们的直觉都是错的。唯一能证明对错的方式就是A/B测试。在用户体验领域，这是最好的鉴别指针。以一个房产网站的经验举例，他们想提高Google广告的注册转化率。于是做了几版设计，他们认为只要隐藏房产图片的效果会更好，结果同时隐藏房产图片和价格的设计转化率反而更好。
4、一起探索边界
一个人的边界太有限，因此最好的主意不是憋出来的，是一起探索出来的。好的产品团队应该擅长通过各种不同的新项目，推动跨团队的协调和交流。经常把设计师、工程师、产品经理、运营聚在一起，围绕产品大开脑洞。很多好的产品点子就是在测试了原型产品后，通过这样的跨团队讨论迸发出来的。
5、关注用户做什么，而不是他们说什么
当你和用户直接对话时，请务必记住这个原则：用户总是说一套做一套。这周我亲自做过的一次用户测试，可以完美地证实这一点。我问用户，平时用通讯录时会不会使用筛选功能，用户表示并不用，因为靠滚动就可以搞定，没必要使用。但在用户看到这个新的筛选下拉菜单时，这个功能的便利性马上吸引了他，用户迅速地学会了使用多种维度进行筛选，然后马上问我们：“这个功能什么时候能在产品里用到？”
6、用户数据的多少决定了你的成功几率有多少
有数据，才能分析用户行为的背后原因。数据能助你构筑方案无需人肉撕逼，A/B测试可以告诉你哪个方案更有效。
匿名用户
