1. 一个具体问题

某封邮件看起来很像诈骗:措辞催促、格式奇怪,还要求尽快点击。判断风险时,这些线索很重要,但如果完全忽略这一类邮件原本有多少诈骗,就可能误读检测器的准确率。生动的个案信息,常让背景比例退到注意力之外。

2. 一句话解释

基准率忽视是指判断一个具体事件时,没有充分考虑它在相关总体中原本出现的频率。

3. 出处与原意

Tversky 与 Kahneman 关于不确定判断的研究讨论了代表性等启发式及其偏差。基准率问题也可用条件概率直接解释。不是每一次不采用总体比例都错误:若总体定义不相关,或者个案信息极强,原来的基准率权重本来就需要调整。

4. 原理与机制

判断应同时考虑“这种情况常不常见”和“这个线索对不同情况有多大区分能力”。容易犯的错是把 P(线索|事件) 当成 P(事件|线索)。使用自然频数有助于把两种条件概率拆开:先列出一万个对象中各类有多少,再列出每类有多少出现线索。

判断一条警报是否可信时,可以画一个总人数固定的四格表:有问题且报警、有问题未报警、没问题却报警、没问题也没报警。先由基准率分出两类总体,再应用各自的检测概率。用实际人数计算,通常比同时记住多个百分比更容易避免把条件概率颠倒。

5. 一个完整案例

假设案例:某邮件流中诈骗占 0.1%。一个规则识别出 90% 的诈骗,同时误报 1% 的正常邮件。一万封邮件中,预计十封诈骗有九封被标记,9990 封正常邮件约有 99.9 封被标记。因此被标记邮件中诈骗约占 9/108.9=8.3%。这不是说规则没价值:它把原本千分之一的概率提升了很多;只是不能把“识别九成诈骗”说成“被标记后九成是诈骗”。

6. 适用条件与反例

适用于筛查、招聘预测、告警和分类模型评估。基准率必须匹配当前人群、渠道和时间;全站概率不能直接替代高风险渠道的概率。对刻意对抗的攻击者,历史比例还可能迅速失效。实际行动还取决于误报与漏报成本,不是只有超过一半才值得检查。

7. 今天可以尝试的行动

遇到“准确率很高”的模型报告,先问四件事:目标事件占比、敏感度、误报率和样本来源。用频数表重算一次阳性预测值,再决定该结果适合自动拦截还是人工复核。

8. 参考资料与关联条目