人工神经网络(Artificial Neural Netwroks)笔记--离散多输出感知器训练算法

这是对离散单输出感知器算法的扩展

相关的符号定义请参考 《人工神经网络(Artificial Neural Netwroks)笔记-离散单输出感知器算法 》

OK,Start Our Game

1.初始化权重矩阵W;

2.重复下列过程,直到训练完成:

2.1对每个样本(X,Y),重复如下过程:

2.1.1 输入X;

2.1.2计算O=F(XW);

2.1.3 for j=1 to m do 执行如下操作:

if Oj != Yj then
if Oi=0 then for i=1 to n
Wij=Wij+Xi
else for i=1 to n do
Wij=Wij-Xi

其中的 O=F(XW) 代表通过激活函数计算输出,在此说明

时间: 2024-11-05 21:04:37

人工神经网络(Artificial Neural Netwroks)笔记--离散多输出感知器训练算法的相关文章

人工神经网络(Artificial Neural Netwroks)笔记-离散单输出感知器算法

最近在重新学习人工神经网络(Artificial Neural Netwroks),做做笔记,整理思路 离散单输出感知器算法,传说中的MP 二值网络:自变量及其函数的值.向量分量的值只取0和1函数.向量 权向量:W=(w1,w2,w3.....wn) 输入向量:X=(x1,x2,x3.....xn) 训练样本集 {(X,Y)|Y为输入向量X的输出} 训练过程比较简单 如下: 1,初始化权向量W 2,重复下列过程,直到训练完成: 2.1对每个样本(X,Y),重复如下过程: 2.1.1输入X 2.1

人工神经网络(Artificial Neural Netwroks)笔记-连续多输出感知器算法

人工神经网络(Artificial Neural Netwroks)笔记--离散多输出感知器训练算法 中的2.1.3步是多 个判断,因此我们说它是一种离散多输出感知器 现在采用公式 Wij=Wij+α(Yj-Oj)Xi取代了那个步骤 Yj和Oj之间的差别对Wij的影响由α(Yj-Oj)Xi表现出来 这样做的好处是不仅使得算法的控制在结构上更容易理解,而且还使得它的适应面更宽 算法流程如下: 1.用适当的小伪随机数初始化权矩阵W 2.初置精度控制参数ε,学习率α,精度控制变量d=ε+1 3.whi

人工神经网络(Artificial Neural Netwroks)笔记-基本的非确定性统计训练算法

在上一篇文章 <人工神经网络(Artificial Neural Netwroks)笔记-消除样本顺序的BP算法 >中 修 改权重的方法被称为"最速下降法".每一次权重的修改都是确定的,权重都会被修改.甚至到最简单的 单层感知器也是如此. 但是我们有一个疑问,是否每一次的权重修改都是好的呢? 虽然"最速下降法"能在数学上被证明是每一次都比前一次越来越逼近最优解,但是这个逼近可是一个 无休止的过程.而且面对局部最小点的问题,"最速下降法"

人工神经网络(Artificial Neural Netwroks)笔记-基本BP算法

单层的感知器并不能解决XOR问题 人工神经网络(Artificial Neural Netwroks)也因为这个问题而陷入了低潮,但是后来提出的多层感 知器却让人工神经网络(Artificial Neural Netwroks)再一次high起来 BP网络是最为广泛的一种.具体的原理介绍可以通过网络得到这里只描述算法流程 基本的BP算法 1 for k=1 toL do 初始化W^(k) 2初始化精度控制参数ε 3 E=ε+1 4 while E>ε do 4.1 E=0 4.2 对S中的每个样

人工神经网络(Artificial Neural Netwroks)笔记-消除样本顺序的BP算法

上文中已经提到"基础BP算法"偏爱"较后出现的样本,因此较后出现的样本对网络影响较大" 本文将记录如何消除这个影响 用(X1,Y1),(X2,Y2),....(Xs,Ys)的总效果丢该 W^(1),W^(2),...W^(L) △W^(K)ij=∑△pW^(k)ij 只是替换了原来的简单修改权重矩阵那部分 具体算法流程如下: 1 for k-1 to L do 1.1初始化 W^(k) 2 初始化精度控制参数ε 3 E=ε+1 4 while E>ε do 4

人工神经网络(Artificial Neural Netwroks)笔记-delta规则增量学习

delta规则增量学习 Wij(t+1)=Wij(t)+α(Yj-Aj(t))Oi(t) 式中 Wij(t+1).Wij(t) 分别表示神经元ANi到ANj的联接在时刻t+1和时刻t的强度,Oi(t)为ANi神经 元在时刻t的输出,Yj为神经元ANj的理想输出,Aj(t)为神经元ANj的激活状态,α为给定的学习率 这是有监督学习(Supervised Learning)中最为重要,应用最普遍的delta规则 增量学习(Delta Rule Learning)和 向后传播学习(Back Propa

人工神经网络简介

机器人2025本期导读 第一版: 人工神经网络简介 第二版: 受变色甲壳虫的启发,MIT研发可用于3D打印的机器人皮肤 第三版: 智享家 | 六年蛰伏,只为做一款好的机器人--大陆智源科技 高源 第四版: 数学专业经典读物 作者:fengbingchun 原文:http://blog.csdn.net/fengbingchun/article/details/50274471 一.人工神经网络的概念 人工神经网络(Artificial Neural Network,ANN)简称神经网络(NN),

BP人工神经网络的介绍与实现

神经网络概念与适合领域 神经网络最早的研究是 40 年代心理学家 Mcculloch 和数学家 Pitts 合作提出的 ,他们提出的MP模型拉开了神经网络研究的序幕. 神经网络的发展大致经过 3 个阶段:1947-1969 年为初期,在这期间科学家们提出了许多神经元模型和学习规则,如 MP 模型.HEBB 学习规则和感知器等:60 年代末期至 80 年代中期,神经网络控制与整个神经网络研究一样,处于低潮.在此期间,科学家们做了大量的工作,如 Hopfield 教授对网络引入能量函数的概念,给出了

人工神经网络简介和单层网络实现AND运算--AForge.NET框架的使用(五)

原文:人工神经网络简介和单层网络实现AND运算--AForge.NET框架的使用(五) 前面4篇文章说的是模糊系统,它不同于传统的值逻辑,理论基础是模糊数学,所以有些朋友看着有点迷糊,如果有兴趣建议参考相关书籍,我推荐<模糊数学教程>,国防工业出版社,讲的很全,而且很便宜(我买成7元钱). 人工神经网络的简介 人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型.它是一种运算模型,由大量神经元和相互的连接组成,每个神经元代表一种特定的输出函数,称为激励函数(activati