《深度学习导论及案例分析》一第一部分 基 础 理 论

   本节书摘来自华章出版社《深度学习导论及案例分析》一书中的第1章,第1.1节,作者李玉鑑  张婷,更多章节内容可以访问“华章计算机”公众号查看。

PART1


第一部分


基 础 理 论

 

本书第一部分主要探讨深度学习的基础理论。深度学习起源于神经网络,其本质是一系列深层网络模型的学习和训练算法。本部分涵盖了深度学习的主要内容,有助于读者在总体上把握深度学习的发展脉络和体系结构,是开展进一步相关工作的基础。

这部分共包括13章。第1章勾画深度学习的起源和发展、特点和优势、模型和算法。第2章介绍预备知识,读者可跳过熟悉的部分,但建议认真学习概率图模型、玻耳兹曼机和通用反向传播算法等难点内容,因为这些内容是理解许多深度学习模型和算法的基础。第3~11章,依次介绍深度学习的9种重要模型,包括受限玻耳兹曼机、自编码器、深层信念网络、深层玻耳兹曼机、和积网络、卷积神经网络、深层堆叠网络、循环神经网络、长短时记忆网络,而且对于其中的每一个模型,都从标准模型、学习算法和变种模型三个方面进行介绍。第12章讨论深度学习的若干混合模型、多种多样的应用以及常用的开源库。第13章总结深度学习的研究现状,明确存在的问题,并指出其未来的发展方向。

时间: 2025-01-30 00:03:59

《深度学习导论及案例分析》一第一部分 基 础 理 论的相关文章

《深度学习导论及案例分析》一3.2受限玻耳兹曼机的学习算法

本节书摘来自华章出版社<深度学习导论及案例分析>一书中的第3章,第3.2节,作者李玉鑑 张婷,更多章节内容可以访问"华章计算机"公众号查看. 3.2受限玻耳兹曼机的学习算法 受限玻耳兹曼机的学习就是对模型参数集θ进行计算,常用的方法是最大似然估计,其基本思想在于采用梯度上升算法最大化总体对数似然函数.在给定可视向量训练集S={v(l),1≤l≤N}时,受限玻耳兹曼机的对数似然函数定义为 lRBM(θ)=log∏Nl=1p(v(l)θ)=∑Nl=1logp(v(l)θ)(3.

《深度学习导论及案例分析》一第3章 受限玻耳兹曼机3.1 受限玻耳兹曼机的标准模型

第3章 受限玻耳兹曼机 受限玻耳兹曼机(Restricted Boltzmann Machines,RBM)是一种能够解释为随机神经网络的概率图模型,随着计算能力的增加和快速算法的发展已经广泛应用于解决相关的机器学习问题.由于受限玻耳兹曼机只具有两层结构,所以从严格意义上说并不是一种真正的深度学习模型.这种模型之所以受到关注,是因为它可以用作基本模块来构造自编码器.深层信念网络.深层玻耳兹曼机等许多其他深层学习模型.本章将从概率图模型的角度,分别讨论受限玻耳兹曼机的标准模型.学习算法.案例分析及

《深度学习导论及案例分析》一1.3深度学习的模型和算法

1.3深度学习的模型和算法 深度学习亦称深度机器学习.深度结构学习.分层学习,是一类有效训练深层神经网络(Deep Neural Network,DNN)的机器学习算法,可以用于对数据进行高层抽象建模.广义上说,深层神经网络是一种具有多个处理层的复杂结构,其中包含多重非线性变换.如果深度足够,那么多层感知器无疑是深层网络,前馈神经网络也是深层网络.基本的深层网络模型可以分为两大类:生成模型和判别模型.生成是指从隐含层到输入数据的重构过程,而判别是指从输入数据到隐含层的归约过程.复杂的深层结构可能

《深度学习导论及案例分析》-第1章 概述 1.1深度学习的起源和发展

第1章 概述 如何让机器从经验中学习长期以来都是哲学界和科学界的研究目标之一.学习能力对人类智能的形成和发展无疑起着至关重要的作用,而机器学习的研究显然有助于提高人工智能的水平.从原始的输入数据到产生意义的理解过程往往需要经过许多不同层次的信息处理.转换.表达和抽象,如果涉及的层次较深,深度学习的模型和方法就可能发挥重要作用.本章主要勾画深度学习的起源和发展.特点和优势.模型和算法. 1.1深度学习的起源和发展 作为一种实现人工智能的强大技术,深度学习(deep learning)已经在手写数字

《深度学习导论及案例分析》一 第1章 概述1.1深度学习的起源和发展

第1章 概述 如何让机器从经验中学习长期以来都是哲学界和科学界的研究目标之一.学习能力对人类智能的形成和发展无疑起着至关重要的作用,而机器学习的研究显然有助于提高人工智能的水平.从原始的输入数据到产生意义的理解过程往往需要经过许多不同层次的信息处理.转换.表达和抽象,如果涉及的层次较深,深度学习的模型和方法就可能发挥重要作用.本章主要勾画深度学习的起源和发展.特点和优势.模型和算法. 1.1深度学习的起源和发展 作为一种实现人工智能的强大技术,深度学习(deep learning)已经在手写数字

《深度学习导论及案例分析》一2.13玻耳兹曼机的学习

2.13玻耳兹曼机的学习 在马尔可夫网络中,有一种称为玻耳兹曼机(Boltzmann Machine,BM)的特殊结构,如图2.16所示.玻耳兹曼机是一种由随机神经元全连接组成的神经 (顶层表示一个随机二值隐含特征,底层表示一个随机二值可视变量)网络模型,在结构上具有对称性和无自反馈的特点.玻耳兹曼机的神经元可以划分为两个层次,即可视层和隐含层.可视层的神经元称为可视节点,隐含层的神经元称为隐含节点.在标准玻耳兹曼机的情况下,每个节点不论是可视节点,还是隐含节点,都只取0或者1两种状态,其中1表

深度学习导论及案例分析》一2.10概率图模型的学习

2.10概率图模型的学习 在给定一个关于随机向量X的数据样本集合S={x1,x2,-,xN}时,常常需要对X的概率分布进行建模.不妨假设S中的每个样本都是独立同分布的(independent and identically distributed,i.i.d),且都服从未知的真实联合概率分布P(X).学习概率图模型的任务可以描述为:给定样本集合S,返回一个对P(X)逼近最好的概率图模型.这种类型的学习称为生成学习(generative learning),其目标是对数据的生成过程进行建模.一般说

《深度学习导论及案例分析》一2.5概率有向图模型

2.5概率有向图模型 如果一组随机变量中存在因果关系,那么常常可以建立一个概率有向图模型来紧凑.自然地表达它们的联合概率分布.概率有向图模型又称为贝叶斯网络(Bayesian network).贝叶斯模型(Bayesian model).信念网络(belief network),是一种通过有向无圈图来表示随机变量及其条件依赖关系的概率图模型. 贝叶斯网络B是一个以随机变量为顶点,以边为条件依赖关系的有向无圈图G=(V,E),其联合概率分布可以进行如下因子分解: PB(X1,-,XN)=∏Ni=1

《深度学习导论及案例分析》一2.12马尔可夫链蒙特卡罗方法

2.12马尔可夫链蒙特卡罗方法 在统计学中,马尔可夫链蒙特卡罗方法是一类根据概率分布进行采样的方法,起源于物理学科[133].这类方法以构造一个马尔可夫链为基础,其期望分布(desired distribution)就是平衡分布(equilibrium distribution).极限分布(limiting distribution)或稳态分布(stationary disrtibution).经过若干步骤之后,马尔可夫链的状态便被用作期望分布的一个样本.样本的质量随着步骤数目的增加而不断提高,