《计算机视觉:模型、学习和推理》一2.7 期望

2.7 期望

给定一个函数f[]和每个x所对应的概率Pr(x=x),函数对变量x的每个值x都返回一个值,有时希望求函数的期望输出。如果从概率分布中抽取大量样本,计算每个样本的函数,并求这些值的平均值,其结果就是期望。更确切地说,在离散及连续的情况下,一个随机变量x的函数f[]的期望值分别定义为

将这种思路推广到二元随机变量的函数f[],则有:

对于某些特殊的函数f[],期望被赋予特殊的名称(见表2-1)。这些特殊函数常用来概括复杂概率分布的性质。
表2-1 特殊函数的期望。对于某些函数f(x),其期望E[f(x)]被赋予特殊的名称。在这里,使用符号μx表示随机变量x的均值,μy表示随机变量y的均值

期望有四条性质,这些性质能够通过期望的原始定义简单证得(式(2-12))。
1.若随机变量x是常数k,则其期望是常数本身:

2.常数k与函数f[x]的乘积所得函数的期望是f[x]期望的k倍:

3.随机变量都是x时:函数f[x]和g[x]相加所得函数的期望是两个函数期望的和.

4.函数f[x]和g[y]相乘所得函数的期望是两个函数期望的乘积:

讨论
概率的规则是非常紧凑和简洁的。边缘化、联合条件概率、独立性和贝叶斯公式是本书中所有计算机视觉算法的基础。仅剩概率相关的一个重要概念——条件的独立性,这将在第10章详细讨论。
备注
关于概率更正式的讨论,鼓励读者研读一本关于该主题的书籍,例如,Papoulis(1991)。若从机器学习的视角学习概率,请参考Bishop(2006)第1章。
习题
2.1 列举出真实生活中联合分布的一个实例Pr(x,y),其中x是离散的,y是连续的。
2.2 边缘化5个变量的联合分布Pr(v,w,x,y,z),仅仅考虑变量w和y,结果将会是什么?对于v的边缘化分布结果又是什么?
2.3 证明下面等式成立:

2.4 在我的口袋里有两枚硬币。第一枚硬币是公平的,所以正面向上的似然性Pr(h=1c=1)是0.5,反面向上的似然性Pr(h=0c=1)也是0.5。第二枚硬币是不公平的,正面向上的似然性Pr(h=1c=2)是0.8,而反面向上的似然性Pr(h=1c=2)是0.2。将手伸入口袋,随机选取一枚硬币。选取任何一枚硬币的先验概率是相同的。投掷所选硬币观察到正面朝上,利用贝叶斯公式计算选取第二枚硬币的后验概率。
2.5 如果变量x和y是相互独立的,变量x和z是相互独立的,那么变量y和z是相互独立的吗?
2.6 使用式(2-3)证明,当x和y相互独立时,边缘概率分布Pr(x)与任意y的条件概率Pr(xy=y)等价。
2.7 4个变量的联合概率Pr(w,x,y,z)因式分解为:

证明若Pr(x,w)=Pr(x)Pr(w),x和w是相互独立的。
2.8 考虑骰子6个面{1,2,3,4,5,6}朝上的概率分别为{1/12,1/12,1/12,1/12,1/6,1/12}。骰子的期望值是多少?如果投掷两次骰子,两次投掷的期望值总共是多少?
2.9 证明期望的四个公式

对于最后一种情况,需要使用独立性的定义进行证明(见2.6节)。
2.10 利用习题2.9中的关系式证明以下关系式,即趋近于零的二阶矩和关于均值的二阶矩(方差)之间的关系:

时间: 2024-10-30 11:39:30

《计算机视觉:模型、学习和推理》一2.7 期望的相关文章

《计算机视觉:模型、学习和推理》一导读

前言 目前,已有很多关于计算机视觉的书籍,那么还有必要再写另外一本吗?下面解释撰写本书的原因. 计算机视觉是一门工程学科,机器在现实世界中捕获的视觉信息可以激发我们的积极性.因此,我们通过使用计算机视觉解决现实问题来对我们的知识进行分类.例如,大多数视觉教科书都包含目标识别和立体视觉内容.我们的学术研讨会也是用同样的模式进行组织的.本书对这一传统方式提出了质疑:这真的是我们组织自己知识的正确方法吗? 对于目标识别问题,目前已提出多种算法解决这一问题(例如子空间模型.boosting模型.语义包模

《计算机视觉:模型、学习和推理》——导读

**前言**目前,已有很多关于计算机视觉的书籍,那么还有必要再写另外一本吗?下面解释撰写本书的原因.计算机视觉是一门工程学科,机器在现实世界中捕获的视觉信息可以激发我们的积极性.因此,我们通过使用计算机视觉解决现实问题来对我们的知识进行分类.例如,大多数视觉教科书都包含目标识别和立体视觉内容.我们的学术研讨会也是用同样的模式进行组织的.本书对这一传统方式提出了质疑:这真的是我们组织自己知识的正确方法吗?对于目标识别问题,目前已提出多种算法解决这一问题(例如子空间模型.boosting模型.语义包

《树莓派开发实战(第2版)》——2.2 创建模型和运行推理:重回Hello World

2.2 创建模型和运行推理:重回Hello World 您已经概要了解了Figaro概念,接下来看看它们是如何融合在一起的.您将回顾第1章的Hello World示例,特别注意图2-2中的所有概念是如何出现在这个例子中的.您将关注如何从原子和复合元素中构建模型,观测证据,提出查询,运行推理算法,得到答案. 本章的代码可以两种方式运行.一种是使用Scala控制台,逐行输入语句并获得即时响应.为此,进入本书项目根目录PracticalProbProg/examples并输入sbt console,将

强化学习之 免模型学习(model-free based learning)

  强化学习之 免模型学习(model-free based learning) ------ 蒙特卡罗强化学习 与 时序查分学习   ------ 部分节选自周志华老师的教材<机器学习> 由于现实世界当中,很难获得环境的转移概率,奖赏函数等等,甚至很难知道有多少个状态.倘若学习算法是不依赖于环境建模,则称为"免模型学习(model-free learning)",这比有模型学习要难得多.   1. 蒙特卡罗强化学习: 在免模型学习的情况下,策略迭代算法会遇到几个问题: 首

《计算机视觉:模型、学习和推理》一1.1 本书结构

1.1 本书结构 本书分为六部分,如图1-2所示. 本书的第一部分涵盖概率方面的背景知识.全书中所有的模型都是用概率的术语表示,概率是计算机视觉应用中一门很有用的语言.具有扎实工程数学背景的读者或许对这部分知识比较熟悉,但仍需要浏览这些章节以确保掌握相关的符号.那些尚不具备该背景的读者应该仔细阅读这些章节.这些知识相对比较简单,但它们是本书其余部分的基础.在正式提到计算机视觉知识前被迫阅读三十多页的数学虽然令人沮丧,但请相信我,这些基础知识将为后续的学习提供坚实的基础. 图1-2 章节依赖关系.

《计算机视觉:模型、学习和推理》——1.1 本书结构

1.1 本书结构 本书分为六部分,如图1-2所示. 本书的第一部分涵盖概率方面的背景知识.全书中所有的模型都是用概率的术语表示,概率是计算机视觉应用中一门很有用的语言.具有扎实工程数学背景的读者或许对这部分知识比较熟悉,但仍需要浏览这些章节以确保掌握相关的符号.那些尚不具备该背景的读者应该仔细阅读这些章节.这些知识相对比较简单,但它们是本书其余部分的基础.在正式提到计算机视觉知识前被迫阅读三十多页的数学虽然令人沮丧,但请相信我,这些基础知识将为后续的学习提供坚实的基础. 图1-2 章节依赖关系.

《计算机视觉:模型、学习和推理》一1.2 其他书籍

1.2 其他书籍 我知道大多数人不会单独依靠本书学习计算机视觉,所以这里推荐几本其他的书籍,以便弥补本书的不足.要了解更多关于机器学习和图模型的知识,我推荐将Bishop(2006)所著的<Pattern Recognition and Machine Learning>作为一个很好的切入点.在关于图像预处理的许多著作中,我最喜欢的是Nixon和Aguado所编著的<Feature Extraction and Image Processing>(2008).毫无疑问,关于几何计算

《计算机视觉:模型、学习和推理》——1.2 其他书籍

1.2 其他书籍 我知道大多数人不会单独依靠本书学习计算机视觉,所以这里推荐几本其他的书籍,以便弥补本书的不足.要了解更多关于机器学习和图模型的知识,我推荐将Bishop(2006)所著的<Pattern Recognition and Machine Learning>作为一个很好的切入点.在关于图像预处理的许多著作中,我最喜欢的是Nixon和Aguado所编著的<Feature Extraction and Image Processing>(2008).毫无疑问,关于几何计算

《计算机视觉:模型、学习和推理》——2.8 讨论

2.8 讨论 概率的规则是非常紧凑和简洁的.边缘化.联合条件概率.独立性和贝叶斯公式是本书中所有计算机视觉算法的基础.仅剩概率相关的一个重要概念--条件的独立性,这将在第10章详细讨论.备注关于概率更正式的讨论,鼓励读者研读一本关于该主题的书籍,例如,Papoulis(1991).若从机器学习的视角学习概率,请参考Bishop(2006)第1章.