贝叶斯学派的观点是,概率是一个主观值,完全就是我们自己的判断,我可以先估计一个初始概率,然后每次根据出现的新情况,掌握的新信息,对这个初始概率进行修正,随便着信息的增多,我就会慢慢逼近真实的概率。

这个方法完美的解决了频率派的两个问题,我不用等样本累积到一定程度,先猜一个就行动起来了,因为我有修正大法,而且我也不关心是不是“足够多”,反正我一直在路上。

贝叶斯学派产生新生两百多年,一直倍受争议,甚至连共同创始人拉普拉斯自己都放弃了,因为大家觉得这个摸着石头过河的方法太扯了,太不科学了。直到最近几十年,通过计算机技术的进步才大放异彩,现在的人工智能,图像识别,机器翻译等,背后无不采用了贝叶斯方法。

那我们需要看看,贝叶斯方法究竟是怎么摸着石头过河的。

贝叶斯定理(贝叶斯定理)

这一部分涉及一些数学公式和计算,但说实话,只需要小学算术水平就可以了。

贝叶斯定理如下:

A是你要检查的目标事件,P(A)是这个目标事件的先验概率,又叫初始概率,或者基础概率。B是新出现的一个新事件。P(A | B)的意思是当P(B | A)是当A出现时B的概率。B出现时A的概率,在这里就是我们需要的后验概率。

P(B)是B出现的概率,在这里具体计算稍微复杂一些,指当A出现时B的概率和当A不出时(用A_来表示)时B的概率的总和,用公式表达就是P(B)= P(B | A)* P(A)+ P(B | A_)* P(A _)。P(B | A)/ P(B)可以成为一个修正因子。

上述解释你可以忽略,简化的理解为:

后验概率=先验概率x修正因子

举个例子。

例如你新进入一家公司,你不确定这里MBA学历对员工升迁的作用,而这个对你的个人发展很重要,因为你要决定接下来是不是去读一个MBA学位。由于新来,压根没有样本,这时候你可以采用贝叶斯定理。

P(A)是你根据过往经验先前估计的,MBA对升迁有多大好处?某些你先预测一个30%。这时候,出现了一个新信息B,小王升迁了,而且小王是MBA。那么,P(B | A)是说当MBA管用时,小王升迁的概率,某些你现在的判断是80%。

小王可能本身就有能力且业绩突出,就算没有MBA也可能会升迁啊,所以P(B | A_)= 50%(发现了吗,这个公式自动的帮助我们避免走极端)。

套入贝叶斯公式,P(A | B)= 30%* 80%/(80%* 30%+ 50%* 70%)= 41%。从30%提高到了41%。那么当小王升迁这个新情况出现以后,你对MBA作用的概率判断从30%提高到了41%。

但是,过了段时间,你发现同样是MBA的小李,熬了很多年也没有升迁,最后辞职了。现在你对小李,因为MBA有效而升迁的概率估计降为20%了。套入公式,新的P(A | B)= 41%* 20%/(20%* 41%+ 50%* 59%)= 22%。从刚才的41%跌了近一半。

这样几次下来,你就能对这个这家公司对MBA的看法有个相对靠谱的判断了。

或许你会说,搞这么复杂干嘛,有了新情况,我原来的看法会改变,新情况和自己的预期一致就强化原来的看法,否则就弱化,这不就是常识吗,还用得着着什么数学定理吗?

很好,的确一针见血。(期乐会官方微信公众平台ID:qlhclub)拉普拉斯说过,所谓的概率就是把人们的常识用数学表达出来。也有人说,人脑就是采用贝叶斯方法来工作的。

但是我们人脑有偏差啊,有误区啊,会犯浑啊,这个公式让我们忽然获得了一个上帝视角,来审视一下,我们自己究竟是怎么做判断,做决定的,计算机又是怎么模仿并超越我们的,这岂不是很美妙的一件事情。

让我们再来看一个复杂一点的例子,这是一个经典的案例,网上随处都可以找到。

如果一个人真是HIV阳性,血液检测的手段有99.9%的把握把他这个阳性给检查出来而不漏网。如果一个人不携带HIV,那么检测手段的精度更高,达到99.99%-仅只有0.01%的可能会冤枉他。

已知一般人群中HIV携带者的比例是0.01%。现在假设我们随便在街头找一个人给他做检查,发现检测结果是HIV阳性,那么请问,这个人真的携带HIV的可能性是多大呢?

我们使用贝叶斯定理。A表示“这个人真的携带HIV”,B表示“检测出HIV”,那么根据现有条件,P(A)= 0.01%,P(B | A)= 99.9%, P(B | A-)= 0.01%,带入公式,计算得到P(A | B)= 0.01%* 99.9%*(99.9%* 0.01%+ 0.01%* 99.99%)= 50%!

答案可能是你自己的直觉而不是,即使在这么惊人的检测准确度之下,哪怕这个人真的被检测到HIV阳性,他真有HIV的可能也只有50%。

我们看到,如果是一种非常罕见的病毒,人群中只有万分之一的人感染,在这种情况下即使你的检测手段再高,也很有可能会冤枉人。

甚至,如误诊率不是0.01%,替代0.1%的话,也就是检测手段再差一档,这个结果就会瞬间从50%降到9%。但是,我们也可以反过来想,这么罕见的疾病,,一旦被检测出来了,也有50%的概率真的会得,这个跃迁是从万分之一,一下子到了50%。

而如果我们假设这个病毒的感染率不是万分之一,那么千分之一,那么在原来的检测精度下,可能就从50%升到了90%。

这其实可以解释为什么我们说一叶知秋,为什么说当你家发现了一只蟑螂,那么你家里一定已经有很多蟑螂了。罕见事件,可以对初始概率造成数量级的改变。同时,这也解释了我们有时也不能反应过度,有人叛逃到国外了,我们难道需要彻底关闭海关吗?真的需要在墨西哥修建长城吗?

贝叶斯定理,把我们的思考的方式给撕开了,揉碎了。

贝叶斯定理给我们的启示

塔勒布说过,数学双重计算,另外一种思考方式。