什么是贝叶斯定理,为什么可以用这个方法来进行预言?

推荐  (4) | 31人关注关注
8个答案
155 0

方弦科学松鼠会成员,信息学硕士生

2014-03-20 15:49

讲贝叶斯定理的话,那一定要谈到贝叶斯概率观,也就是概率的其中一种“思考方式”。

一般学校里教的概率观其实可以叫频率主义。一个事件,如果重复独立地执行多次,把发生的次数除以执行的次数,就得到一个频率。比如说抛硬币,抛了10000次,有4976次正面向上,频率就是0.4976。然后如果执行的次数很多很多,频率会趋向于一个固定的值,就是这个时间的概率。其实要证明的话牵涉到中心极限定理,不过就不展开了。

贝叶斯概率观与此很不同。 主观贝叶斯主义认为,概率就是个人对某个事件发生可能性的一个估计。如果对一个事件你一无所知,那么你可以随便猜一个概率。但因为是估计,如果有新的信息,那就必须根据新信息对概率进行修正。这样的话,随着经历越来越多,对概率的估计也会越来越符合“实际情况”。

而贝叶斯定理就是“概率修正”所依赖的理论基础。

当然,也有客观贝叶斯主义,他们认为概率只不过是为了在逻辑推理中表达可能性 的一个逻辑扩展,不过这个理解起来可能不太方便。

不论是概率主义也好,主观贝叶斯也好,客观贝叶斯也好,数学本身是一样的,只不过是解释方法不一样。所以贝叶斯定理是通用的,不过就是在不同的场景下有不同的表达方式。

下面我们用主观贝叶斯主义来看一下贝叶斯定理。

贝叶斯定理说的是,对于事件A和B,它们的概率满足:


其中是当事件B发生的条件下,事件A的条件概率是当事件A发生的条件下,事件B的条件概率分别是事件A和B的先验概率,在贝叶斯概率观中,也就是我们对它们概率的一个估计。

公式具体就不推导了,就说一下怎么用。

比如说,事件A是“明天下雨”,事件B是“今晚多云”。如果你今天晚上看到多云了,那么明天下雨的概率是多少呢?

直接用贝叶斯定理的话,只需要知道每一天下雨的概率、每晚多云的概率、还有如果某天下雨了,那么前一晚多云的概率,代入公式,搞定。

问题是,这些概率从什么地方来的呢?

一个答案是直接使用统计得到的频率,但是因为我们是贝叶斯主义者,所以这不太好。

更好的答案是,其实我们并不需要准确的客观概率。还记得吗,概率只是人对某个事件发生可能性的一个主观估计。所以,只要把目前对于这些概率的主观估计代入贝叶斯定理,就能得到“今晚多云明天是否下雨”的一个主观概率

是的,主观贝叶斯主义认为,一切概率都是人们根据自己拥有的信息来推断某件事情发生的可能性,这是一种主观的度量。

好了,问题又来了:我们如何根据自己拥有的信息来推断可能性呢?

想像一下,我面前有一个大箱子,我知道里边有黑白两种颜色的球,知道它们的比例是固定的,黑球占比例p,白球占(1-p),问题是我不知道这个p是多少。那么,我会认为这个值p的具体概率分布,也就是它恰好在某个值附近的可能性是多少呢?

因为我什么都不知道,所以我假定这个值p是从0到1均匀分布的,这就是我对p值的一个先验概率估计

然后我希望知道关于p的更多信息,所以我抽出一个球来看看,它是黑色的,我把它放回去。根据黑色的这个结果,利用贝叶斯定理,我可以修正我对p值的概率估计,得到这次实验的后验概率估计(准确来说是最可能的概率估计)。它不再是均匀分布了,而是p比较大的概率高一点。

但这个后验概率又可以作为下一次实验的先验概率。于是我重新做实验,取出一个球看看,发现这次是白色,于是我根据这个结果得到新的后验概率。如此重复多次之后,我对p值的后验概率不断根据已有的实验数据改变,而某个中心极限定理告诉我们,我可以对p的取值越来越确定,它必然取我的后验概率中最可能的值。用严谨的话来说,这个后验概率将会以概率1趋向于关于真实的p值的狄拉克分布。

这其实与科学方法很相似:我们一开始什么都不知道,但是我们肯去做实验,逐渐就摸清了自然的规律。

贝叶斯分析的好处在于,不需要任何客观估计,只要先验随便猜一个就可以了。这对于机器学习很重要,因为很多问题我们其实也不知道发生的概率是多少。比如说垃圾邮件,包含“发票”的邮件是垃圾邮件的概率是多少?统计当然是一个办法,但是不用统计直接让机器过数据,同样也可以,而且还能一下子做更多不同的分析,得出原来猜都猜不到的答案。

贝叶斯分析的另一个有用之处是可以用来根据现有数据推测某件事情发生的概率。这时,在贝叶斯定理中,要计算的条件概率可以有另一种理解。比如说这次马航班机失踪,它坠毁在附近海域的这个事件记作A,这个是未知的,而它发动机失去联系了是事件B,这个事件是已知发生的。那么,条件概率的意思其实就是,在事件B已经发生的前提下,事件A发生的概率。也就是说,我们已经知道发动机失去联系,那么我们如果想要知道它坠毁在附近海域的概率,那么相当于计算。而为了计算,我们需要其它的概率,而这些概率是已知的,或者说可以通过已知的统计数据推断的。贝叶斯定理的威力之一在于能让我们由已知的概率以及手头的信息去推断未知的概率。

38 0

LePtC物理学博士生

2014-03-22 01:20

推导也很简单,就是条件概率的定义...

(讨论里写不下,我就在这里回@harbarchike 好了)

频率主义的确用贝叶斯公式比较少,因为一般用不着...
举个例子,如果我们要求P(坠机|失联 )

P(坠机|失联 )=P(坠机)/P(失联)*P(失联|坠机)

只有当我们手上只有所有历史上坠机事件的资料时,我们才需要用到这个公式。如果我们有所有历史上失联的飞机的资料(包括坠机的没坠机的),频率主义直接就可以做除法求出 P(坠机|失联 ) 了...

20 0

科学史上的两派争论经常是谁都没全错、谁也不算对。

Bayes自认为重要、也是最受诟病的是主观概率,其实这个不是本质,本质是条件概率(在这个观点下既是客观的,又是与频率学派自然相容的)。

从条件到结果,这也是预测的根基。

1 0

harbarchike物理化学、催化

2014-03-21 19:36
支持者: Bwen09

感觉贝叶斯概率论很厉害的样子,不过学概率的时候老师只是一带而过了

0 0

贝叶斯公式很厉害啊~~Bayes,可以有(得到)很多意想不到的结果~详情请参照概率论与数理统计 第四版。吴赣昌主编,人大出版社。

0 2

用高阶多项式进行曲线拟合的?好像学过,还给老师了

0 0

数学渣滓表示根本无法从头看到尾,不过点完赞貌似智力+1了

查看更多

添加回答

登录 后回答问题,你也可以用以下帐号直接登录

相关问答

关于我们 加入果壳 媒体报道 帮助中心 果壳活动 家长监控 免责声明 联系我们 移动版 移动应用

©果壳网    京ICP证100430号    京网文[2018] 6282-492号    新出发京零字第朝200003号     京公网安备11010502007133号

违法和不良信息举报邮箱:jubao@guokr.com    举报电话:18612934101    网上有害信息举报专区    儿童色情信息举报专区