中国人工智能学会通讯——一张图看懂BP算法 1.3 神经网络的 BP 算法

1.3 神经网络的 BP 算法

它描述了网络输出和目标输出之间的距离,刻画了网络性能的好坏。显然,J越小,网络性能越好。寻求J的极小点是BP算法的目标。

这一关系式表明只要能计算出敏感性,即可据此计算出梯度。

删除中间过程,有


通过计算网络最后一层神经元的敏感性,然后在网络中反向逐层计算其他层神经元敏感性,这就是所谓BP。


图4非常容易记忆和理解,这就是我们所谓的一张图看懂BP算法。

时间: 2024-08-01 13:35:54

中国人工智能学会通讯——一张图看懂BP算法 1.3 神经网络的 BP 算法的相关文章

中国人工智能学会通讯——一张图看懂BP算法 1.1 引言

1.1 引言 神经网络是实现人工智能的重要途径之一.近年来,深度神经网络在语音识别.图像理解.自然语言处理.智能博弈.智能医疗等领域内的大数据问题上取得一系列重大突破,引起了人们对神经网络的极大兴趣,并引领人工智能蓬勃向前发展.反向传播(backpropagation,BP)算法是深度神经网络最基本的算法之一,对深度神经网络的发展起着十分重要的作用,已成为深度神经网络理论的一个无可厚非的基石. BP算法的关键是反向计算敏感性,通过巧妙利用数学分析中求偏导数的链式法则,将敏感性反向传播,在数学上是

中国人工智能学会通讯——一张图看懂BP算法 1.2 神经网络模型

1.2 神经网络模型 神经元模型 我们先从神经元模型说起,图1所示是一个熟知的最简单的神经元模型. 该神经元模型的数学表达式为 前馈网络模型 通过按某种方式将神经元连接起来,就可构成相关神经网络.图2所示为一个熟知的前馈网络模型,该网络有L层,第1层为输入层,第L层为网络输出层.在这个网络中,前一层神经元连接到后一层神经元,同层的神经元之间没有任何连接. 前向计算

中国人工智能学会通讯——一张图看懂BP算法 1.4 致谢

1.4 致谢 本文内容和相关图示,来自我每年秋天为四川大学计算机学院本科生开设的 课 程"Understanding Deep Neural Networks".感谢我的博士研究生王建勇和郭泉同学整理了本文的初稿. Fellow of IEEE,四川大学计算机学院院长,教授,博士生导师,四川省 2011 大数据分析协同创新中心主任.发表 SCI 学术论文 200 余篇,其中 IEEE Transactions 系列论文 50 余篇,著有"Convergence Analysi

中国人工智能学会通讯——战马袭心我懂你所感 1.1 情感计算 : 了解观众的真实感受

1.1 情感计算 : 了解观众的真实感受 舞台剧<战马>(见图1)以"一战"为背景,讲述了英国小男孩儿与马之间的故事,既有温暖细腻的情感场面,也有惊心动魄的战争场景.2007年首演于伦敦后,在全球已上演过4 000多场,观剧人次超过600万.2015年,由中国国家话剧院联合英国国家剧院制作的中文版<战马>问世.主创人员非常想了解这匹载誉全球的战马,是否能被中国观众认可.然而,如何了解到普通观众的真实体验? 人类参与艺术活动需要积极调动自身的感知与认知系统,&qu

中国人工智能学会通讯——战马袭心我懂你所感

人工智能面临的挑战或许不来自"智能"的部分,而来自"人".由于我们对自身感知万物.产生情感.理解世界的机制尚不完全清楚,要让机器完成不完整信息条件下复杂任务的规划和推理更是难上加难. 从上世纪60年代到当下的人工智能浪潮,研究最多.也最受关注的就是下棋.然而,不管是国际象棋还是围棋,都是抽象的表达,描述棋局的对弈状态与精确表征自然界相比过于简单:棋盘的位置是有限的,下棋的动作也是有限的,没有感知和动作执行的不确定性. 因此,在人工智能的赛道上,强大的计算与数据收集能

六张图看懂 Amazon Go智能购物,专利文件解密AI 核心技术细节

亚马逊Go推广视频:1分钟,颠覆你对线下实体购物的认知 几天前,就在亚马逊迎来可能是公司史上最大的 Holiday Season时,亚马逊发布了一段介绍旗下新的零售商店 Amazon Go 的视频,消费者可以直接走进商店,拿下货架上的货物,然后离开.整个过程不需要排队,也不用结账. <福布斯>的记者 Ryan Mac 说:"这看起来非常有趣,充满了未来感,但是,至少目前为止,这一切还都只是宣传." 每年从感恩节到圣诞节的长假中,亚马逊都会成为媒体上的最大赢家.2013年,B

云栖长卷:一张图看懂云栖七年

7年前投下的一颗石子,7年后已经激荡成为一段壮阔的波浪. 2010年,与阿里云共同起步的,还有一场让中国互联网开始接触.了解云服务的大会--云栖大会. 云栖长卷一张图看懂云栖七年 ▼

一张图看懂阿里云网络产品[一]网络产品概览

 一张图看懂网络产品系列文章,让用户用最少的时间了解网络产品,本文章是第一篇 网络产品概览 系列文章持续更新中,敬请关注 [一]网络产品概览 [二]VPC [三]EIP [四]NAT网关 [五]负载均衡SLB [六]共享带宽 [七]共享流量包 [八]高速通道 [九]VPN网关 [十]全球加速 [十一]云托付 目前阿里云网络产品共有10个,包括专有网络VPC,负载均衡SLB,NAT网关,EIP,共享流量包,共享带宽,高速通道,VPN网关,全球加速.这么多产品有什么关联呢?为了便于大家理解,我们可以

一张图看懂2017双11中的网络产品和技术

一张图看懂2017双11中的网络产品和技术 揭秘2017双11背后的网络系列文章: 揭秘2017双11背后的网络-一张图看懂2017双11中的网络产品和技术 揭秘2017双11背后的网络-双11的网络产品和技术概览 揭秘2017双11背后的网络-直面双11洪峰的负载均衡SLB 揭秘2017双11背后的网络-全球最大混合云架构