人工神经网络(Artificial Neural Netwroks)笔记-离散单输出感知器算法

最近在重新学习人工神经网络(Artificial Neural Netwroks)，做做笔记，整理思路

离散单输出感知器算法，传说中的MP

二值网络：自变量及其函数的值、向量分量的值只取0和1函数、向量

权向量：W=(w1,w2,w3.....wn)

输入向量：X=(x1,x2,x3.....xn)

训练样本集

{(X,Y)|Y为输入向量X的输出}

训练过程比较简单

如下：

1，初始化权向量W

2，重复下列过程，直到训练完成：

2.1对每个样本（X，Y），重复如下过程：

　　　　　　　　　　　 2.1.1输入X
　　　　　　　　　　　 2.1.2计算 O=F(XW)
　　　　　　　　　　　 2.1.3如果输出不正确，则改变权重
　　　　　　　　　　　　　　　　　　　　 当O=1时，W=W-X
　　　　　　　　　　　　　　　　　　　　 当O=0时，W=W+X

比较有意思的是 权重向量的调整

一开始的时候比较难想明白，但是如果只是求一个近似解的话，那么一切都很简单了。值只是一个不 断逼近的变化过程。

还有一点初始化权重的时候都是随机的，因此这个调整权重的过程也更随意了

之前一直想着支持向量机(SVM)的事情，因此对于这样一种权重的调整过程有点犯困。

SVM是全局最优，ANN是局部最优，因此ANN权重调整的过程更简单了。