《深度学习导论及案例分析》一2.7部分有向无圈图模型

2.7部分有向无圈图模型

前面已经在有向图的框架下建立了贝叶斯网络模型,在无向图的框架下建立了马尔可夫网络模型。本节将在部分有向图的框架下建立链图模型。链图其实就是部分有向无圈图PDAG,它的特点是能够被分解为一些不相交的有序链分支G1,G2,…,GL。每个链分支Gi都是无向子图,其中任意两个节点之间的边一定是无向的。连接两个不同链分支Gi和Gj(i≠j)的边一定是有向的。

像贝叶斯网络和马尔可夫网络一样,链图的结构也可以用来定义概率分布的因子分解。从直观上,一个链图的因子分解把分布表示为每个链分支在其父节点给定时的乘积。这种表示也称链图模型。

不妨设一个链图G的链分支为G1,G2,…,GL。用Pa(Gi)表示Gi中所有节点的父节点集。G的端正图(moral graph)定义为一个无向图,记作M[G],其中对于每个Gi,在Pa(Gi)中的任意节点对都用无向边连接起来,并将Gi中的所有有向边转化为无向边。例如,图2.9a是一个链图,图2.9b是其端正图。把一个链图变成相应端正图的过程称为端正化(moralization)。

如果X是一个部分有向图G的节点子集,且X∈X,Boundary(X)X,那么称X为向上闭包子集。X的上闭包(upward closure)定义为X的最小向上闭子集Y。X的向上闭子图(upwardly closed subgraph)定义为Y的导出子图G[Y],记作G+[X]。例如,图2.10a和图2.10b分别是图2.9a的向上闭子图G+[C]和G+[C,D,I]。

如果X、Y、Z是一个部分有向图的三个互不相交的节点子集,且在无向图M[G+[X∪Y∪Z]]中,X和Y被Z分离,则称在给定Z时,X和Y是c分离的。c分离既是无向图中分离概念的推广,也是有向图中d分离概念的推广。例如,在图2.10a中,C和E在给定A和D时是c分离的,因为在图2.11a所示的无向图M[G+[C,D,E]]中,C和E在给定A和D时是分离的。然而,由于C和E之间存在经过A和B的一条路径,所以在只给定D的条件下,C和E不是c分离的。另一方面,C和E在给定D、A、I的条件下也不是c分离的,因为在图2.11b所示的无向图M[G+[C,D,E,I]]中,它们之间有一条边相连。

在无向图中,任何节点都没有后代节点。在有向图中,从一个节点出发经过任意有向路径能够到达的节点称为其后代节点。在链图中,不仅可以定义后代节点的概念,而且其中任何节点的后代必定在“下级”链分支中。此外,链图也有三种独立性:成对独立性、局部独立性和全局独立性。

链图的成对独立性是指:对任意两个非相邻节点X和Y:

X⊥Y(NonDes(X)-{X,Y})(2.81)

链图的局部独立性是指:对任意节点X,有

X⊥NonDes(X)-Boundary(X)Boundary(X)(2.82)

链图的全局独立性是指:对任意三个互不相交的节点子集X、Y、Z,如果X和Y被Z c分离,那么

X⊥YZ(2.83)

给定一个链图G的链分支G1,G2,…,GL,其概率分布定义为如下分解形式:

PPDAG(X1,…,XN)=∏Ll=1P(GiPa(Gi))(2.84)

其中P(GiPa(Gi))又可以看作一个条件随机场,可通过一系列因子ψi(Di)(i=1,…,l)定义,满足每个Di在正则图M[K+[G]]中都是极大团,且DiGi∪Pa(Gi),而条件随机场是下一节讨论的主要内容。

时间: 2024-11-20 21:32:21

《深度学习导论及案例分析》一2.7部分有向无圈图模型的相关文章

《深度学习导论及案例分析》一第一部分 基 础 理 论

   本节书摘来自华章出版社<深度学习导论及案例分析>一书中的第1章,第1.1节,作者李玉鑑  张婷,更多章节内容可以访问"华章计算机"公众号查看. PART1 第一部分 基 础 理 论   本书第一部分主要探讨深度学习的基础理论.深度学习起源于神经网络,其本质是一系列深层网络模型的学习和训练算法.本部分涵盖了深度学习的主要内容,有助于读者在总体上把握深度学习的发展脉络和体系结构,是开展进一步相关工作的基础. 这部分共包括13章.第1章勾画深度学习的起源和发展.特点和优势.

《深度学习导论及案例分析》一3.2受限玻耳兹曼机的学习算法

本节书摘来自华章出版社<深度学习导论及案例分析>一书中的第3章,第3.2节,作者李玉鑑 张婷,更多章节内容可以访问"华章计算机"公众号查看. 3.2受限玻耳兹曼机的学习算法 受限玻耳兹曼机的学习就是对模型参数集θ进行计算,常用的方法是最大似然估计,其基本思想在于采用梯度上升算法最大化总体对数似然函数.在给定可视向量训练集S={v(l),1≤l≤N}时,受限玻耳兹曼机的对数似然函数定义为 lRBM(θ)=log∏Nl=1p(v(l)θ)=∑Nl=1logp(v(l)θ)(3.

《深度学习导论及案例分析》一第3章 受限玻耳兹曼机3.1 受限玻耳兹曼机的标准模型

第3章 受限玻耳兹曼机 受限玻耳兹曼机(Restricted Boltzmann Machines,RBM)是一种能够解释为随机神经网络的概率图模型,随着计算能力的增加和快速算法的发展已经广泛应用于解决相关的机器学习问题.由于受限玻耳兹曼机只具有两层结构,所以从严格意义上说并不是一种真正的深度学习模型.这种模型之所以受到关注,是因为它可以用作基本模块来构造自编码器.深层信念网络.深层玻耳兹曼机等许多其他深层学习模型.本章将从概率图模型的角度,分别讨论受限玻耳兹曼机的标准模型.学习算法.案例分析及

《深度学习导论及案例分析》一1.3深度学习的模型和算法

1.3深度学习的模型和算法 深度学习亦称深度机器学习.深度结构学习.分层学习,是一类有效训练深层神经网络(Deep Neural Network,DNN)的机器学习算法,可以用于对数据进行高层抽象建模.广义上说,深层神经网络是一种具有多个处理层的复杂结构,其中包含多重非线性变换.如果深度足够,那么多层感知器无疑是深层网络,前馈神经网络也是深层网络.基本的深层网络模型可以分为两大类:生成模型和判别模型.生成是指从隐含层到输入数据的重构过程,而判别是指从输入数据到隐含层的归约过程.复杂的深层结构可能

《深度学习导论及案例分析》-第1章 概述 1.1深度学习的起源和发展

第1章 概述 如何让机器从经验中学习长期以来都是哲学界和科学界的研究目标之一.学习能力对人类智能的形成和发展无疑起着至关重要的作用,而机器学习的研究显然有助于提高人工智能的水平.从原始的输入数据到产生意义的理解过程往往需要经过许多不同层次的信息处理.转换.表达和抽象,如果涉及的层次较深,深度学习的模型和方法就可能发挥重要作用.本章主要勾画深度学习的起源和发展.特点和优势.模型和算法. 1.1深度学习的起源和发展 作为一种实现人工智能的强大技术,深度学习(deep learning)已经在手写数字

《深度学习导论及案例分析》一2.13玻耳兹曼机的学习

2.13玻耳兹曼机的学习 在马尔可夫网络中,有一种称为玻耳兹曼机(Boltzmann Machine,BM)的特殊结构,如图2.16所示.玻耳兹曼机是一种由随机神经元全连接组成的神经 (顶层表示一个随机二值隐含特征,底层表示一个随机二值可视变量)网络模型,在结构上具有对称性和无自反馈的特点.玻耳兹曼机的神经元可以划分为两个层次,即可视层和隐含层.可视层的神经元称为可视节点,隐含层的神经元称为隐含节点.在标准玻耳兹曼机的情况下,每个节点不论是可视节点,还是隐含节点,都只取0或者1两种状态,其中1表

《深度学习导论及案例分析》一 第1章 概述1.1深度学习的起源和发展

第1章 概述 如何让机器从经验中学习长期以来都是哲学界和科学界的研究目标之一.学习能力对人类智能的形成和发展无疑起着至关重要的作用,而机器学习的研究显然有助于提高人工智能的水平.从原始的输入数据到产生意义的理解过程往往需要经过许多不同层次的信息处理.转换.表达和抽象,如果涉及的层次较深,深度学习的模型和方法就可能发挥重要作用.本章主要勾画深度学习的起源和发展.特点和优势.模型和算法. 1.1深度学习的起源和发展 作为一种实现人工智能的强大技术,深度学习(deep learning)已经在手写数字

深度学习导论及案例分析》一2.10概率图模型的学习

2.10概率图模型的学习 在给定一个关于随机向量X的数据样本集合S={x1,x2,-,xN}时,常常需要对X的概率分布进行建模.不妨假设S中的每个样本都是独立同分布的(independent and identically distributed,i.i.d),且都服从未知的真实联合概率分布P(X).学习概率图模型的任务可以描述为:给定样本集合S,返回一个对P(X)逼近最好的概率图模型.这种类型的学习称为生成学习(generative learning),其目标是对数据的生成过程进行建模.一般说

《深度学习导论及案例分析》一2.5概率有向图模型

2.5概率有向图模型 如果一组随机变量中存在因果关系,那么常常可以建立一个概率有向图模型来紧凑.自然地表达它们的联合概率分布.概率有向图模型又称为贝叶斯网络(Bayesian network).贝叶斯模型(Bayesian model).信念网络(belief network),是一种通过有向无圈图来表示随机变量及其条件依赖关系的概率图模型. 贝叶斯网络B是一个以随机变量为顶点,以边为条件依赖关系的有向无圈图G=(V,E),其联合概率分布可以进行如下因子分解: PB(X1,-,XN)=∏Ni=1

《深度学习导论及案例分析》一2.12马尔可夫链蒙特卡罗方法

2.12马尔可夫链蒙特卡罗方法 在统计学中,马尔可夫链蒙特卡罗方法是一类根据概率分布进行采样的方法,起源于物理学科[133].这类方法以构造一个马尔可夫链为基础,其期望分布(desired distribution)就是平衡分布(equilibrium distribution).极限分布(limiting distribution)或稳态分布(stationary disrtibution).经过若干步骤之后,马尔可夫链的状态便被用作期望分布的一个样本.样本的质量随着步骤数目的增加而不断提高,