神经网络：感知机和线性神经网络的实现

友情提示：本文系参考机械工业出版社《神经网络设计》（戴葵等译）一书而编制的相关程序，对于初学者或者想深入了解神经网络内核的爱好者，这是一本最具有阅读价值的教材。

感知机和线性神经网络是最简单和最基本的神经网络类型，但他们也有着广泛的应用。感知机和线性神经网络的学习规则相当的简单，对于感知机有：

对于线性神经网络有：

可以看出，两者有很多的相似，因此，编程中可以把两者的公共函数放在一个模块中，但注意感知机的传输函数是硬极限传输函数，而线性网络是采用的线性函数。

上式中，w表示的权值矩阵，P是我们的输入向量，e表示期望值和实际输出的误差，b表示的是偏置值。

理论上已经证明了，只要权值的解存在，那么感知机和线性网络总能收敛，但是什么情况下权值的解存在呢，这个其实也是感知机的局限所在：他只能对线性可分的对象进行划分。当然我们这里说的是单层的感知机。

在如今的众多软件中，有不少工具都以提供了神经网络工具箱，最方便的某过于matlab，这些工具使用方便、快捷，不过他们都把其实现的过程封装于底部，并且由于工具箱的庞大性，在某些实际的工程项目中我们无法直接移植他，所以自己动手实现其过程不仅能体验到知识的魅力，亦能对书本知识加以更加深刻的认识，何乐而不为呢。