1. 一个具体问题

一个团队说新功能一定能提高留存。留存上升时,他们认为假设得到证明;留存下降时,又说功能需要更长时间或者用户尚未理解。如果任何结果都能被解释成支持,团队就无法从实验中学习。

2. 一句话解释

一个经验主张具有可证伪性,意味着能说明至少某些可能观察到的结果会与它冲突。

3. 出处与原意

Karl Popper 将可证伪性作为科学与非科学区分的重要讨论标准,在《科学发现的逻辑》等作品中展开。它不等于“容易证明错误”,也不意味着不可证伪的伦理、数学或审美命题没有意义。

4. 原理与机制

全称经验断言不能仅靠有限支持案例被最终证明,但一个可靠反例可能迫使我们修改它。现实检验又依赖测量方法、辅助假设和数据质量,所以出现异常时并不总能立刻判定核心理论错误。重要的是预先写清预测、观测条件和修订规则,避免事后任意移动目标。概率性假设通常不会被一次失败逻辑推翻,需要统计检验、重复观察和对替代解释的比较;不能把可证伪性简化成机械的一次通过或失败。

预先约定失败条件还有组织作用:当负责人对项目投入很深时,大家容易只挑有利指标。公开主要指标、观察窗口和异常处理规则,可以让结果讨论不依赖谁声音更大。如果中途发现原指标不合理,可以修改,但应保留原方案与修改理由,把新的检验视为新的问题。透明修订与事后改写历史之间,有关键区别。

5. 一个完整案例

假设案例:团队把“推荐功能有用”改写为“对新注册用户,在曝光充分且其他流程不变时,四周内七日回访率至少提高两个百分点”。实验前约定样本、主要指标和判断区间,并记录推荐是否正常触达。结果与提升不相容时,团队检查埋点和实验执行;确认无明显问题后,承认原假设未获支持,研究用户是否根本不需要推荐。它没有把任何下降都归咎于用户,而是留下了真实修改观点的通道。

6. 适用条件与反例

适合研究设计、产品假设和故障原因验证。商业决策还要考虑成本与风险,即使一个说法可检验,也未必值得实施。对于无法控制的历史事件,仍能比较证据与预测,但检验强度可能有限。

7. 今天可以尝试的行动

把一个正在坚持的判断写成具体预测,然后补完一句:“如果在这些条件下看到这样的结果,我会降低信心或改变方案。”若无法填写,先澄清概念和指标,再收集更多支持故事。

8. 参考资料与关联条目

关联条目:假设检验;确认偏误。