5.24 受神经元和突触特性的启发
大脑的基本运算单元是神经元，它对某些特定的刺激起反应，并发放动作电位来编码信息。神经元动作电位的发放有显著的噪声，在计算神经学中经常用泊松过程[13]的模型来描述。人脑中具有海量的连接，而这种噪声可以理解为人脑“参数学习”过程中的一种规范化手段[14] 。Dropout [1]这个技巧的启发之一正是神经元噪声，它在训练时以一定概率将人工网络神经元的发放置 0，从而引入噪声，增强神经网络的泛化能力。图 1 示意了在一个深度学习模型多层感知机的隐层加入Dropout后的结果。Dropout 的作用还可以从模型组合的角度来理解。假设一层中有 n 个神经元，置零概率为 0.5，每次训练时每个神经元都有一半的可能发放或者不发放（被置 0），因此共有 2 n 种情况。在测试时，所有的神经元都发放，可以看作这2 n 种情况的模型组合。Dropout 具有简单易于实现效果好的特点，如今已经成为深度学习模型标配的几种做法之一。
神经元除了对特定刺激的偏好特性，还有一定的不变性，即对刺激变化的容忍能力。人的视觉系统中存在一些颜色拮抗神经元[15] ，有单颜色拮抗的也有双颜色拮抗的（见图 2）。双拮抗神经元对颜色有一定的不变性，一般被认为是颜色恒常性的生理基础。在文献 [2] 中，作者模拟了 LGN 中的单拮抗细胞、V1 中的双拮抗细胞（见图 2）；作者发现双拮抗细胞的活性分布能反映光源颜色，因而可以使用这一性质作颜色校准，并达到当前的先进水平。
图2 视觉神经元的颜色拮抗特性。图 (a)~(d) 一个具有中心 - 周围感受野的神经节细胞的单颜色拮抗特性，图 (a) 在感受野里没有光时神经元只有背景发放率；图 (b) 只有中心感受野里有红光时神经元发放率很高；图 (c) 在中心和周围感受野里都有红光时神经元发放率降低；图 (d) 在中心感受野里有红光，周围感受野里有绿光时神经元发放率降为背景发放率。图 (e) 用两个高斯函数模拟图 (a)~(d) 中的那个神经元的颜色拮抗特性；图 (f) 用两个高斯函数模拟一个只有中心感受野的神经元的颜色拮抗特性；图 (g) 用四个高斯函数模拟一个有中心 - 周围感受野的神经元的双颜色拮抗特性。图中 L 和 M 分别表示红光和绿光。图 (a)~(d) 来自文献 [15]，图 (e)~(g) 来自文献 [2]
现在有监督的神经网络训练方法几乎都是后向传播（BP）算法，但这个方法的生物合理性一直饱受质疑。加拿大蒙特利尔大学的 Bengio 研究组最近在研究更具生物合理性的训练方法[3-4] ，其主要思想之一是让神经网络具有反馈模式，这样网络就可以既做前向运算又做反向运算，与 BP 算法的过程一致。由于神经网络具有了反馈连接，所以它的运行过程是动态的。在没有监督信号时，神经网络向着某个能量函数的最小值运行，对应于前向计算过程。在出现监督信号时，神经元的发放值发生变化，对应于 BP 算法后向计算过程。作者设计了一种类似于 STDP [16] （动作电位时间相关可塑性，见图 3）的学习方法，对权值进行更新。该方法在MNIST 的训练数集上达到 100% 的准确率[4] ，充分展示了该方法的潜力。这个模型的缺点在于要求网络中的连接强度都是对称的，而这一假设在生物系统中不成立。
图3 动作电位时间相关可塑性（STDP）（横轴表示突触后神经元的发放脉冲时间减去突触前神经元的发放脉冲时间；纵轴表示突触的强度改变量。图片改自文献 [16] 中 Figure 7。）