1943 年,美国芝加哥大学的神经科学家沃伦·麦卡洛克和他的助手沃尔特·皮茨发表了论文《神经活动中思想内在性的逻辑演算》(A Logical Calculus of Ideas Immanent in Nervous Activity),系统阐释了他们的想法:一个极度简化的机械大脑。麦卡洛克和皮茨首先将神经元的状态二值化,再通过复杂的方式衔接不同的神经元,从而实现对抽象信息的逻辑运算。正是这篇论文宣告了人工神经网络的呱呱坠地,它传奇的故事自此徐徐展开。
与生理学上的神经网络类似,麦卡洛克和皮茨的人工神经网络也由类似神经元的基本单元构成,这一基本单元以两位发明者的名字命名为“MP 神经元(MP neuron)”。大脑中的神经元接受神经树突的兴奋性突触后电位和抑制性突触后电位,产生出沿其轴突传递的神经元的动作电位;MP 神经元则接受一个或多个输入,并对输入的线性加权进行非线性处理以产生输出。假定 MP 神经元的输入信号是个 N+1 维向量 (x0,x1,⋯,xN),第 i 个分量的权重为 wi,则其输出可以写成
上式中的 x0 通常被赋值为 +1,也就使 w0 变成固定的偏置输入 b。
MP 神经元中的函数 ϕ(⋅) 被称为传递函数,用于将加权后的输入转换为输出。传递函数通常被设计成连续且有界的非线性增函数,但在 MP 神经元中,麦卡洛克和皮茨将输入和输出都限定为二进制信号,使用的传递函数则是不连续的符号函数。符号函数以预先设定的阈值作为参数:当输入大于阈值时,符号函数输出 1,反之则输出 0。这样一来,MP 神经元的工作形式就类似于数字电路中的逻辑门,能够实现类似“逻辑与”或者“逻辑或”的功能,因而又被称为“阈值逻辑单元”。