AB实验的真相：你以为的数据驱动，其实是数据背书
Posted by quentin 在 Tuesday, 12 May 2026博客分类:
先说一个我在做推荐系统 AB 实验架构时观察到的现象。
某个业务团队跑了一个月的实验，结论是新的推荐策略效果显著，CTR 提升了 12%，上线。三个月后回头看，整体转化率没变——用户只是提前点了，没有多买。没人复盘这件事，因为所有人都已经在那个"12% CTR 提升"的实验报告上签了字。
这不是个例。在金融产品场景里，我见过太多 AB 实验的结果被当作结论使用，而实验本身的设计、指标选择、对照组偏差，几乎没人认真审视。大家需要的不是真相，是一个可以写进周报的数字。
数据驱动这个词已经被用烂了
每家公司都说自己是数据驱动的。但如果你仔细看他们做决策的过程，会发现一个很典型的模式：先有结论，再做实验。
产品经理已经有了想法，设计已经出了方案，开发已经排了迭代——实验只是最后的"验证"。注意，不是"验证假设"，是"验证决策"。这两者有本质区别。验证假设的时候你真心想知道答案，验证决策的时候你只想要一个通过。
这种心态不是某个人有问题，是整个系统的激励结构决定的。一个做了三个月的项目，谁愿意在最后一步承认实验结果不支持上线？于是你会看到各种"实验结果不显著但趋势向好"、"主要指标未达显著但次要指标表现优异"的结论。翻译成人话就是：实验没通过，但我们还是要上。