A1:笑得海潮 B3:冒泡的崔 D2:Cornell University,Computer Vision Group H2:冰河的博客 G3:丕子博客 K1:MLA CHINA K4:斯坦福视觉实验室 L4:MIT 机器学习实验室
现在的位置: 首页科研>正文
cat_ico37 category
概率,先验概率与后验概率
发表于669 天前 科研 评论数 23 ⁄ 被围观 1,788 次+

对很多人来说,这几个概念很清楚,也很模糊,下面生动形象的表述一下。

对上帝来说,一切都是确定的,因此概率作为一门学问存在,正好证明了人类的无知。好在人类还是足够聪明的,我们并没有因为事物是随机的而束手无措,我们根据事物的可能性来决定我们的行为。比如,某个人抢银行之前,一定反反复复考虑过各种可能性。如果人们要等到一切都确定后再做,那么你可能什么都做不了,因为几乎一切都是随机的。
一个事情有N种发生的可能性,我们不能确信哪种会发生,是因为我们不能控制结果的发生,影响结果的许多因素不在我们的支配范围之内,这些因素影响结果的机理或者我们不知道,或者太复杂以至于超出了我们大脑或电脑的运算能力。比如:我们不确定掷硬币得到正面或反面,是因为我们的能力不足以用一些物理方程来求解这个结果。再比如:你不能断定你期末能考88分,因为出题、阅卷的不是你。

过去发生的事情虽然事实上是确定的,但因为我们的无知,它成了随机的。我们在某个地方挖出了一块瓷器的碎片,它可能是孔子的夜壶,可能是秦始皇的餐具,也可能是林校长家的破茶壶从他家到垃圾站又被埋在了这个地方。

因此:概率在实质上就是无知,而不是说事物本身是随机的。

你拿着一把锄头在操场上乱挖,忽然发现一个暗室。里面是什么情景呢?应该说一切皆有可能。你根据你的大脑已储存的东西能做出一些可能性判断,有些可能性高,如“里面是黑的”。有些可能性低:如发现“本拉登在这里打麻将”。有无限的可能性,也可能藏着一个杀人犯,也可能有毒蛇,……。你对每种场景的可能性认识就是概率分布P(Ai)。这样的概率就是先验概率。

你是否能听到狗叫也是随机的,你对此的概率判断P(y), (y表示会听到狗叫)也是先验判断。

如果接下来你确实听见了狗叫,你对洞中情形虽然也不确定,但肯定会有新的判断:“本拉登边吃狗肉边打麻将”、“几个狗在打麻将”、“一只狗想念另一只狗,在这里放录音”……。这些场景先前当然你也想到过(是某个Ai之一),不过现在“听到狗叫”后,你的概率判断发生了变化,你现在的判断就叫后验概率P(Ai|y)。
====================================================

事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.

还有一篇博文,阐述的也很全面。

================================================

The hierarchical Bayes method is a topic in modern Bayesian analysis.[says who?] It is a powerful tool for expressing rich statistical models that more fully reflect a given problem than a simpler model could.

Given data x\,\! and parameters \vartheta, a simple Bayesian analysis starts with a prior probability (prior) p(\vartheta) and likelihood p(x|\vartheta) to compute a posterior probability p(\vartheta|x) \propto p(x|\vartheta)p(\vartheta).

Often the prior on \vartheta depends in turn on other parameters \varphi that are not mentioned in the likelihood. So, the prior p(\vartheta) must be replaced by a prior p(\vartheta|\varphi), and a prior p(\varphi) on the newly introduced parameters \varphi is required, resulting in a posterior probability

p(\vartheta,\varphi|x) \propto p(x|\vartheta)p(\vartheta|\varphi)p(\varphi).

This is the simplest example of a hierarchical Bayes model.[clarification needed]

The process may be repeated; for example, the parameters \varphi may depend in turn on additional parameters \psi\,\!, which will require their own prior. Eventually the process must terminate, with priors that do not depend on any other unmentioned parameters.

--------------------------------

Which bowl is the cookie from?

To illustrate, suppose there are two full bowls of cookies. Bowl #1 has 10 chocolate chip and 30 plain cookies, while bowl #2 has 20 of each. Our friend Fred picks a bowl at random, and then picks a cookie at random. We may assume there is no reason to believe Fred treats one bowl differently from another, likewise for the cookies. The cookie turns out to be a plain one. How probable is it that Fred picked it out of bowl #1?

Intuitively, it seems clear that the answer should be more than a half, since there are more plain cookies in bowl #1. The precise answer is given by Bayes' theorem. Let H1 correspond to bowl #1, and H2 to bowl #2. It is given that the bowls are identical from Fred's point of view, thus P(H1) = P(H2), and the two must add up to 1, so both are equal to 0.5. The event E is the observation of a plain cookie. From the contents of the bowls, we know that P(E | H1) = 30 / 40 = 0.75 and P(E | H2) = 20 / 40 = 0.5. Bayes' formula then yields

\begin{matrix} P(H_1|E) &=& \frac{P(E|H_1)\,P(H_1)}{P(E|H_1)\,P(H_1)\;+\;P(E|H_2)\,P(H_2)} \\  \\  \ & =& \frac{0.75 \times 0.5}{0.75 \times 0.5 + 0.5 \times 0.5} \\  \\  \ & =& 0.6 \end{matrix}

Before we observed the cookie, the probability we assigned for Fred having chosen bowl #1 was the prior probability, P(H1), which was 0.5. After observing the cookie, we must revise the probability to P(H1 | E), which is 0.6.

=======================

经典题目:

有三个门,里面有一个里有汽车,如果选对了就可以得到这辆车,当应试者选定一个门之后,主持人打开了另外一个门,空的。问应试者要不要换一个选择。假设主持人知道车所在的那个门。
经典解法:
第一次选择正确的概率是1/3,因此汽车在另外两个门里的概率是2/3。主持人指出一个门,如果你开始选错了(2/3概率),则剩下的那个门里100%有汽车;如果你第一次选对(1/3)了,剩下那个门里100%没汽车。
所以主持人提示之后,你不换的话正确概率是1/3*100%+2/3*0=1/3,你换的话正确概率是1/3*0+2/3*100%=2/3。
对于这个解法的诘问就在于,现在主持人已经打开一个空门了(而且主持人是有意打开这个门的),在这一“信 息” 出现后,还能说当初选错的概率是2/3吗?这一后验事实不会改变我们对于先验概率的看法吗?答案是会的。更具体地说,主持人打开一扇门后,对当初选择错误 的概率估计不一定等于2/3。
从头说起。假设我选了B门,假设主持人打开了C门,那么他在什么情况下会打开C门呢?
若A有车(先验概率P=1/3),那主持人100%打开C门(他显然不会打开B);
若B有车(先验概率P=1/3),那此时主持人有A和C两个选择,假设他以K的概率打开C(一般K=1/2,但我们暂把它设成变量);
若C有车(先验概率P=1/3),那主持人打开C的概率为0(只要他不傻。。。)
已知他打开了C,那根据贝叶斯公式——这里P(M|N)表示N事件发生时M事件发生的概率:
P(B有车|C打开)= P(C打开|B有车)* p(B有车)/ P(C打开)
P(C打开|B有车)* p(B有车)
= P(C打开|A有车)* p(A有车)+ P(C打开|B有车)* p(B有车)
K * 1/3
= 1 * 1/3 + K * 1/3
K
= -------
K + 1
该值何时等于1/3 呢(也就是经典解法里的假设)? 只有 K=1/2 时。也就是一般情况下。但如果主持人有偏好,比方说他就是喜欢打开右边的门(假设C在右边),设K=3/4, 那么B有车的概率就变成了 3/5,不再是1/3,后验事实改变了先验概率的估计!
但这并不改变正确的选择,我们仍然应该改选A门, 解释如下:
P(A有车|C打开)= P(C打开|A有车)* p(A有车)/P(C打开)
P(C打开|A有车)* p(A有车)
= ------------------------------------------------------------
P(C打开|A有车)* p(A有车)+ P(C打开|B有车)* p(B有车)
= 1 * 1/3/1 * 1/3 + K * 1/3
=1/k+1
而K < 1(假设主持人没有极端到非C不选的程度),所以永远有 P(B有车|C打开) < P( A有车|C打开).A有车的概率永远比B大,我们还是应该改变选择。

概率,先验概率与后验概率:目前有23 条留言

  1. 龙崽 : 2010年04月10日11:11 上午 回复

    顶一下

  2. 小羿 : 2010年04月10日11:17 上午 回复

    上帝啊,救救我吧

  3. 丕子 : 2010年04月10日11:45 上午 回复

    @小羿
    我来救你啦 哈 :mrgreen:

  4. 小哲 : 2010年04月10日11:50 上午 回复

    呃 看起来有点晕

  5. Ray Chow : 2010年04月10日12:35 下午 回复

    是我们上学的学的内容嘛

  6. 丕子 : 2010年04月10日2:11 下午 回复

    @Ray Chow
    对啊 就是咱们学的 :mrgreen:

  7. 老七 : 2010年04月10日3:11 下午 回复

    我怎么感觉头痛。。看到这个就。。。

  8. 朵未 : 2010年04月10日3:57 下午 回复

    这个也研究,真有你的。

  9. 丕子 : 2010年04月10日4:13 下午 回复

    @朵未
    呵呵 最基本知识 得用 :mrgreen:

  10. 林西老九 : 2010年04月10日4:38 下午 回复

    我现在看到概率还是很头疼呢,呵呵

  11. 丕子 : 2010年04月10日5:26 下午 回复

    @林西老九
    哈哈 不搞这个了吧

  12. 林西老九 : 2010年04月10日5:29 下午 回复

    @丕子 是啊,不搞了,终于不搞了。。。嘿嘿

  13. 若谷 : 2010年04月10日8:19 下午 回复

    曾经学得很好,现在一无所知

  14. 丕子 : 2010年04月10日8:41 下午 回复

    @若谷
    不错啊 还学得很好过 呵呵 :idea:

  15. ikeeptrying : 2010年04月10日10:28 下午 回复

    我数学很差的~~

  16. 热豆腐 : 2010年04月10日11:39 下午 回复

    一个家庭有两个小孩,其中有一个是女孩,问另一个也是女孩的概率(假定生男生女的概率一样)

  17. 混生 : 2010年04月11日12:07 上午 回复

    这是什么,呵呵

  18. 丕子 : 2010年04月11日7:00 上午 回复

    @混生
    数学上的基本知识的形象理解 概率统计的 :mrgreen:

  19. 上海华帝煤气灶维修 : 2010年04月11日11:21 上午 回复

    哦no,我没有救了! :cry:

  20. altair : 2010年07月03日12:19 下午 回复

    50%

  21. kkmmnn : 2010年07月09日10:36 上午 回复

    英文的这部分我看不到图片。谢谢楼主给我发过来。

    • 丕子 : 2010年07月09日10:53 上午 回复

      看这个吧 英文的是维基百科的

  22. 河豚~~ : 2011年01月19日4:22 上午 回复

    很清晰很形象很明白~谢谢~~

给我留言


/ 快捷键:Ctrl+Enter

无觅相关文章插件,快速提升流量

不想听你唠叨×