17 人工神经网络 | 一个青年才俊的意外死亡：神经元与感知器
王天一
该思维导图由 AI 生成，仅供参考
1943 年，美国芝加哥大学的神经科学家沃伦·麦卡洛克和他的助手沃尔特·皮茨发表了论文《神经活动中思想内在性的逻辑演算》（A Logical Calculus of Ideas Immanent in Nervous Activity），系统阐释了他们的想法：一个极度简化的机械大脑。麦卡洛克和皮茨首先将神经元的状态二值化，再通过复杂的方式衔接不同的神经元，从而实现对抽象信息的逻辑运算。正是这篇论文宣告了人工神经网络的呱呱坠地，它传奇的故事自此徐徐展开。
与生理学上的神经网络类似，麦卡洛克和皮茨的人工神经网络也由类似神经元的基本单元构成，这一基本单元以两位发明者的名字命名为“MP 神经元（MP neuron）”。大脑中的神经元接受神经树突的兴奋性突触后电位和抑制性突触后电位，产生出沿其轴突传递的神经元的动作电位；MP 神经元则接受一个或多个输入，并对输入的线性加权进行非线性处理以产生输出。假定 MP 神经元的输入信号是个 维向量 ，第 i 个分量的权重为 ，则其输出可以写成
上式中的 通常被赋值为 +1，也就使 变成固定的偏置输入 。
MP 神经元中的函数 被称为传递函数，用于将加权后的输入转换为输出。传递函数通常被设计成连续且有界的非线性增函数，但在 MP 神经元中，麦卡洛克和皮茨将输入和输出都限定为二进制信号，使用的传递函数则是不连续的符号函数。符号函数以预先设定的阈值作为参数：当输入大于阈值时，符号函数输出 1，反之则输出 0。这样一来，MP 神经元的工作形式就类似于数字电路中的逻辑门，能够实现类似“逻辑与”或者“逻辑或”的功能，因而又被称为“阈值逻辑单元”。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
神经元与感知器是一篇介绍神经网络发展历程的文章，首先介绍了1943年沃伦·麦卡洛克和沃尔特·皮茨的论文《神经活动中思想内在性的逻辑演算》，系统阐释了他们的想法：一个极度简化的机械大脑。接着介绍了MP神经元的工作原理和赫布理论对学习机制的影响。随后详细介绍了感知器模型，包括其学习算法和优点。最后指出了感知器的局限性，即只能解决线性分类问题，无法解决线性不可分问题，特别是异或问题。文章通过介绍神经网络发展历程，展现了神经网络的基础知识和局限性，对读者快速了解神经网络的发展历程和技术特点具有很高的参考价值。 感知器模型的两个关键问题是：单层感知器无法解决以异或为代表的线性不可分问题，受硬件水平的限制，当时的计算机无法完成训练感知器所需要的超大的计算量。明斯基的著作对感知器无疑是致命的打击，导致了科研经费的断崖式下跌。感知器的问题给了明斯基釜底抽薪的契机。虽然存在缺陷，但感知器依然是人工神经网络研究史上里程碑式的模型。 总之，本文介绍了神经网络的发展历程和感知器模型的基本原理，强调了感知器的局限性和对神经网络发展的影响。文章展现了神经网络的基础知识和局限性，对读者快速了解神经网络的发展历程和技术特点具有很高的参考价值。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《人工智能基础课》，新⼈⾸单¥59
《人工智能基础课》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(8)
- 最新
- 精选
历尽千帆王老师~有一个问题~我们一直所说的“数据服从高斯分布”是指y服从高斯分布呢，还是x的每个特征都需要服从高斯分布呢？作者回复: 因变量y服从，因为需要用高斯分布来定义误差。
2019-01-044
Andy王老师，在工业界，深度学习是否能解决所谓的算法问题？那相比之前红极一时的SVM今后会不会越来越没落？作者回复: 不太了解你所说的“算法问题”指什么，但无论是深度学习还是SVM都不是万能的，只会适用于一些特定的分类问题。 只要有实际用途，深度学习就不会没落，但能取得多少进展也不好说，理论的缺失很可能会制约它的发展。相比之下，深入研究的话，SVM是有明确的理论意义的，它从没有被人叫做炼金术。
2018-01-163
听天由己这两篇人工神经网络的文章读起来有些吃力，我又去翻看了其他的一些介绍材料，突然发现这原来就是一种决策模型，之前也有所涉及。通过多维度因素及其权重来判断最终的方向或是特定类别。文中如果能够加上配图就方便理解了，看到人类神经元与人造神经元的对比，整个体验就不一样了。2018-03-277
qiang.li现在学习神经网络直接就知道了多层感知器可以解决异或问题，但最开始提出感知器这个模型的人才是真正的了不起！我们都是站在巨人的肩膀上！2018-01-255- 杨家荣极客时间 21天打卡行动 15/21 <<人工智能基础课17>>神经元与感知器 回答老师问题:虽然存在缺陷，但感知器依然是人工神经网络研究史上里程碑式的模型，那么如何才能让它跨过异或问题这座大山呢？ 多层感知机（MLP）实现异或（XOR）,单层表示线性可分,多层表示线性不可分; 今日所学: 1,1943 年，美国芝加哥大学的神经科学家沃伦·麦卡洛克和他的助手沃尔特·皮茨发表了论文《神经活动中思想内在性的逻辑演算》（A Logical Calculus of Ideas Immanent in Nervous Activity），系统阐释了他们的想法：一个极度简化的机械大脑; 2,在 MP 神经元中，麦卡洛克和皮茨将输入和输出都限定为二进制信号，使用的传递函数则是不连续的符号函数; 3,从人工神经网络的角度来看，赫布理论的意义在于给出了改变模型神经元之间权重的准则。如果两个神经元同时被激活，它们的权重就应该增加；而如果它们分别被激活，两者之间的权重就应该降低。如果两个结点倾向于同时输出相同的结果，两者就应具有较强的正值权重；反过来，倾向于输出相反结果的结点之间则应具有较强的负值权重。 4,感知器并不是真实的器件，而是一种二分类的监督学习算法，能够决定由向量表示的输入是否属于某个特定类别; 5,根据 y_j(t) 和样本 j 的给定输出结果 d_j，按以下规则更新权重向量；这是学习算法中最重要的核心步骤; 6,在执行二分类问题时，感知器以所有误分类点到超平面的总距离作为损失函数，用随机梯度下降法不断使损失函数下降，直到得到正确的分类结果; 7,虽然感知器的形式简洁优雅，但它的应用范围也相当有限：只能解决线性分类问题; 8,明斯基和罗森布拉特之间的恩冤; 名词:MP 神经元,传递函数,学习机制,赫布理论;感知器（perceptron）”模型;非参数化特性,自适应性, 总结: 老师讲课重点: 1,人工神经网络的神经元用传递函数对输入的线性加权进行非线性处理以产生输出； 2,感知器是一种二分类的监督学习算法，通过自适应调整权重解决线性分类问题； 3,感知器的神经元之间通过权重传递信息，权重的变化根据误差来进行调节； 4,感知器不能解决以异或为代表的线性不可分问题。2020-01-022
zc单层感知器解决不了异或，那就上多层嘛，这就是所谓的神经网络了2018-01-1612
SapereAude如何打知识的诅咒？2019-12-161
ifelse
学习打卡2023-05-06归属地：浙江
收起评论