神经网络的突触连接的作用

A. 神经元之间相互作用的方式有哪些

（1）突触连接：神经元之间互相接触并传递信息的部位,称为突触.根据神经元的轴突末梢与其他神经元的细胞体或突起互相接触的部位不同,把突触分为轴突—胞体突触、轴突-树突突触、轴突—轴突突触3类.突触由突触前膜、突触间隙和突触后膜构成.突触前神经元轴突末梢分支末端膨大形成突触小体.突触小体内有大量突触小泡,其中贮存神经递质.
突触前神经元的活动经突触引起突触后神经元活动的过程称突触传递,一般包括电—化学—电三个环节.突触前神经元的兴奋传到其轴突分支末端时,使突触前膜对Ca2+的通透性增加,Ca2+内流,促使突触小泡移向突触前膜,并与之融合,小泡破裂释放出递质,经突触间隙与突触后膜相应受体结合,引起突触后神经元活动的改变.如果突触前膜释放的是兴奋性递质将促使突触后膜提高对Na+、K+、Cl-,特别是对Na+的通透性,主要使Na+内流,从而引起局部去极化,此称为兴奋性突触后电位（EPSP）.当这种局部电位达到一定阈值时,即可激发突触后神经元的扩布性兴奋.当突触前膜释放抑制性递质时,则提高突触后膜对K+、Cl-,特别是对Cl-的通透性,主要使Cl-内流,引起局部超极化,此称为抑制性突触后电位（IPSP）.突触后膜的超极化,使突触后神经元呈现抑制效应.根据突触前神经元活动对突触后神经元功能活动影响的不同,突触又可分为兴奋性突触和抑制性突触两类.
（2）非突触性化学传递
中枢神经内还存在非突触性化学传递.单胺类神经元轴突末梢的分支上有大量结节状的曲张体,其中的小泡有递质贮存.当神经冲动抵达时,递质即从曲张体释放出来,与附近效应细胞的受体结合而发生信息传递效应.因为曲张体并不与效应细胞形成通常所说的突触联系,故称为非突触性化学传递.
（3）缝隙连接
神经元之间的缝隙连接,是指两个神经元膜紧密接触的部位,其间隔有2～3nm的间隙.由于连接部位的膜阻抗较低,可发生双向直接电传递,故有助于促进不同神经元产生同步性放电.

B. 突触的调节方式及特点是什么

根据神经冲动通过突触方式的不同，突触可分为电突触和化学突触2种类型。在电突触，轴突末端（突触前膜）和另一神经元的表膜（突触后膜）之间以突触间隙相隔，两者之间缝隙很小（不足2nm），因而阻力低，神经冲动可以很快传导过去。腔肠动物神经网的突触主要是电突触。蚯蚓、虾、软体动物等无脊椎动物主要也是电突触。电突触的特点是：①突触前后两膜很接近，神经冲动可直接通过，速度快；②传导没有方向之分，形成电突触的2个神经元的任何一个发生冲动，即可以通过电突触而传给另一个神经元。 脊椎动物也有电突触，但不是主要的，更多的是化学突触。化学突触的形态特点是2个神经元之间有一个宽约20nm～50nm的缝隙。缝隙的前后两膜分别为突触前膜和突触后膜，缝隙的存在使神经冲动不能直接通过，只有在某种化学物质，即神经递质参与下，在神经递质与突触后膜上的受体结合后，突触后神经才能去极化而发生兴奋。神经递质种类很多，最普遍的是乙酰胆碱（acetylcholine，ACh）。在突触前膜内有很多小泡（上千个），称为突触囊泡（synaptic vesicles），其内含物就是神经递质。只有突触前的轴突顶枝有突触囊泡，突触后膜内没有突触囊泡，不能产生神经递质。

化学突触是怎样实现神经冲动的传导呢？当神经冲动从轴突传导到末端时，突触前膜透性发生变化、使Ca2+从膜上的Ca2+管道大量进入突触前膜。此时，含递质的突触囊泡可能是由于Ca2+的作用而移向突触前膜，突触囊泡的膜与突触前膜融合而将递质（ACh）排出至突触间隙。突触后膜表面有递质的受体，递质和受体结合而使介质中的Na+大量涌入细胞，于是静息电位变为动作电位，神经冲动发生，并沿着这一神经元的轴突传导出去。这就是通过神经递质的作用，使神经冲动通过突触而传导到另一神经元的机制。 神经元的细胞体能合成胆碱酯酶，乙酰胆碱在发挥作用后，很快被胆碱酯酶所破坏。这是很重要的，否则，乙酰胆碱一直结合在突触后膜的受体部位，将连续发生作用，神经就将持续处于冲动状态，而不能恢复到静息电位。有些杀虫剂，如有机磷杀虫剂，能抑制胆碱酯酶的活性使乙酰胆碱不被破坏，结果神经系统失去控制，动物常处于震颤、痉挛之中，终至死亡。有些递质，如γ氨基丁酸发挥作用后，不像乙酰胆碱那样被破坏，而是通过突触前膜重新被吸收回去。还有些神经递质，如谷氨酸盐则是在完成任务后被转移至星状胶质细胞（神经胶质细胞），由星状胶质细胞将它们转化为谷氨酸，供神经递质再合成之用。化学突触是定向传导的，神经冲动只能从突触前神经元（轴突）传向突触后神经元（树突及细胞体）而不能相反，这是因为只有突触前神经元的轴突末端能产生递质，突触后神经不能产生递质，只能接受递质而发生反应之故。 神经冲动有兴奋性的，也有抑制性的。抑制是由于神经冲动在到达突触时受到阻碍，不能通过或很难通过所致。神经冲动能否通过化学突触决定于这一突触释放的递质的性质和突触后膜的性质。如果释放的递质能使突触后膜去极化，一定量的递质就可使突触后神经元去极化而兴奋，实现神经冲动的传导。反之，如果释放的递质不但不引起突触后膜的去极化，反而加强膜的极化，也就是说，不但阻止Na+的渗入，而且促使K+的大量渗出，或Cl－的大量渗入，结果膜的电位差加大，接受刺激的阈限也就增高，只有更强的刺激才能引起兴奋。这种释放抑制性递质的突触就是抑制性突触。 哺乳动物中最熟知的2种神经递质（neurotransmitters）是乙酰胆碱和去甲肾上腺素。去甲肾上腺素是一种激素，是肾上腺分泌的，由此也可见神经和激素之间的错综复杂关系。

乙酰胆碱是外周神经系统中最主要的神经递质，在脑中较少见，脑中常见的神经递质是去甲肾上腺素（noradrenaline），其作用是兴奋。中枢神经系统还有其他种类的神经递质，如多巴胺（dopamine）、血清素（serotonin或5-羟色胺，5－hydroxytryptamine）和γ氨基丁酸（gammaaminobutyric acid，GABA）。所有这些递质和去甲肾上腺素一样都是氨基酸的衍生物。多巴胺是少数运动神经元的递质。老年人常患的帕金森病（Parkinson’s disease），患者肌肉震颤无力，就是由于产生多巴胺的神经元减少，引起脑某些区域的多巴胺水平降低而引起的。血清素见于脑的某些与兴奋和警觉有关的区域。血清素水平的增高可引起睡眠。γ氨基丁酸是中枢神经系统的抑制性递质。γ氨基丁酸突触的消失是亨廷顿氏病（舞蹈病）的一种病因。 实验表明，神经递质对于突触后膜的影响有两种机制。一种机制是神经递质与受体结合后促使膜蛋白的构象发生变化，形成某些离子的通道，致使神经元的细胞质与周围的液体之间可以交换离子，也可能使已经存在的通道关闭，中断离子的流动。这种变换的结果是突触后膜极化程度发主变化。另一种机制是神经递质与受体结合后，细胞模上的某种酶活化启动了第二信使，即环腺苷酸（cAMP）或环鸟腺苷酸（cGMP），结果仍然是改变突触后膜的极化程度，有些神经递质只启动一种机制，另外一些神经递质，包括乙酰胆碱有两种受体，也就可以启动两种机制。 一般说来，乙酰胆碱和去甲肾上腺素是兴奋性递质。甘氨酸、γ氨基丁酸是抑制性递质。但应指出，将神经递质绝对地分为兴奋和抑制两类是不妥的。一个神经元轴突末端有很多分支，可与多个神经元形成突触。神经冲动从轴突传导到突触时。有的突触兴奋，有的突触抑制。可见，同一种神经递质对某些神经元是兴奋性的，对另一些神经元则可能是抑制性的，这可能与突触后膜上的受体有关。周一递质与不同受体结合可产生不同效果，如乙酰胆碱能引起骨骼肌兴奋，但对心肌则是抑制的。不同效果的产生显然是由于心肌上的受体和骨骼肌上的受体性质不同所致。 除主要的神经递质——乙酰胆碱、去甲肾上腺素和氨基酸衍生物外，还有一些物质，主要是小肽分子，在突触传递中起作用。这些分子作为一种神经递质由轴突的终端或由其他细胞释放出来。这些分子统称神经调节物（neuromolators）。神经调节物也可以和膜上的受体结合，改变离子通道或启动第二信使，其作用常常是调节细胞对主要神经递质的反应。内啡肽（endorphin）、干扰素（interferons）、白细胞介素以及多种激素，都有神经调节物的作用。 神经调节物中最令人发生兴趣的是内啡肽，它有缓解疼痛、振奋情绪的作用，和吗啡、海洛因等的效力相同。现在认为，内啡肽与这些止痛药都是与同样的受体结合而引起同样的效果。但是，吗啡等剂与受体结合后产生负反馈，减少内腓肽的产生，形成越来越要依赖这些制剂，也就是成了瘾。战场上的战士，运动场上的运动员所以能忍耐伤痛，紧张奋力拼搏、也正是内啡肽在起作用。 神经元之间不是单线相连，而是多线连接成错综复杂的网络的。每一个神经元总是和多个神经元相连。一个中间神经元，一方面和多个神经元的轴突形成很多突触（高等动物可形成100～10000个突触）、另一方面又以自身轴突的多个分支和多个神经元（中间神经元和运动神经元）的细胞体和树突形成多个突触。一般说来，一个突触前细胞的刺激量不足以引起突触后细胞的反应，即不足以产生足够的递质，使突触后细胞膜的极性发生逆转；只有在几个突触细胞的共同刺激下，使多个突触都产生递质，这些递质的作用总合才能使突触后细胞兴奋。一个突触后细胞可同时与几个突触前细胞分别连成兴奋性和抑制性两种突触。这两种突触的作用可以互相抵消。如果抑制性突触发生作用，那就需要更强的兴奋性刺激才能使突触后细胞兴奋。

总之，一个神经元就是一个整合器，随时都在接受成百上千的信息，随时都在对所接受的信息进行加工，使相同的信息加在一起，相反的信息互相抵消，然后决定是兴奋还是保持沉默（抑制），这就是神经元的整合作用（integration）。这大概正是生物体内神经网络对于传入的信息加工处理的基本机制。身体中90％以上神经细胞体都是分布于脑和脊髓中，其余10％存在于中枢神经系统以外的神经节中。因此，不难理解，神经整合主要是在脑和脊髓中进行。 综上所说可知，突触在神经系统正常活动中起着十分重要的调节控制作用，神经冲动传导的速度以及传导途径都要受突触控制。例如，我们常说“熟能生巧”，这可从突触生理性质的变化方面来解释：学习或学做一件事时，不断的实践、练习，使神经通路中出现了阻力减小的突触，神经通路畅通，于是就“巧”了。 下面举2个低等生物的记忆学习实验，说明递质和突触的作用。 将果蝇放在实验器皿中，给以两种不同化学试剂的气味刺激或两种不同的光色刺激，其中一种气味或一种光色同时伴随着电流刺激，使果蝇进入这一刺激地区时，同时受到电击。几次之后，将果蝇换入另外器皿中，给以同样两种气味刺激或光色刺激，但均不伴随电流刺激，结果约有一半果蝇回避曾经伴有电击的气味或光色，这说明约有一半果蝇“记住”了前次电击的刺激。这一记忆可保留24h。研究证明，没有记忆能力的果蝇缺乏磷酸二酯酶，因而似乎记忆与cAMP代谢有关。还有实验证明，一些缺乏学习能力的突变种果蝇缺少腺苷酸环化酶，这似乎也说明。cAMP与记忆有关。cAMP是如何起作用的？cAMP与突触的关系是怎样的？这是需要继续研究的问题。可能cAMP有推动某些神经元释放神经递质的作用，因而影响突触的效率。 海兔（Aplysia punctata）是海产软体动物，其壳退化成埋在外套膜内的一块小骨片，气体交换器官鳃位于身体右侧外套腔中。水从水管（siphon）流入，供鳃吸收O2，同时接受鳃放出的CO2。如果轻摸水管，鳃很快缩回外套腔。如果连续十几次轻摸水管，鳃的收缩反应就逐渐减慢。这就是说，海兔对于灭害的刺激可以逐渐“适应”或“习惯化”（habituation）。而习惯化实际是“学习”的最基本的内容之一。研究证明，海兔习惯化的出现是由于神经递质发生变化所致。海兔水管上的感觉神经元轴突与鳃肌肉上的运动神经元之间以突触相连，形成简单的反射弧。习惯化之后，感觉神经元的Ca2+离子门很多关闭，因而进入轴突末端的Ca2+减少，这就使神经递质的释放量减少，因而运动神经元就难以兴奋。

但如果在海兔习惯化之后，在它的头或尾部给一个重击，然后再在水管上轻轻触摸，海兔又能作迅速反应，鳃缩回外套腔中，此种现象称为敏感化（sensitization）。敏感化的出现来源于与上述简单反射弧相连的强化神经元（facilitator neuron）。强化神经元的一端（树突或细胞体）与海兔头部和尾部的感觉神经元形成突触，另一端（轴突末端）与上述反射弧上的感觉神经元形成突触。强烈刺激头部或尾部，强化神经元释放递质5-羟色胺到突触中，感觉神经元的膜上（在这个突触中是突触后膜）有5-羟色胺的受体，受体与递质的结合引起感觉神经元内cAMP的合成，而合成的cAMP则活化蛋白质激酶。蛋白质激酶的作用是使K+管道的蛋白质磷酸化，因而使一部分K+管道关闭，导致细胞内K+过膜逸出的量减少。我们知道，动作电位传导过去之后，去极化的膜很快就因K+的释放而恢复极化，现在K+释出减慢，膜就继续处于去极化的状态而不能恢复极化。较长时间的去极化则使Ca2+大量流入。Ca2+多了，释放的递质也就多了，于是这些递质和运动神经元的突触后膜的更多的受体结合，从而引起强烈的反应。 上述果蝇和海兔两例都说明简单的记忆和神经递质以及突触的活动有关。这对了解高等动物复杂的记忆、学习等的基本机制可能有所启发。 </B></B></B>

C. 人工神经网络（ANN）简述

我们从下面四点认识人工神经网络（ANN: Artificial Neutral Network）：神经元结构、神经元的激活函数、神经网络拓扑结构、神经网络选择权值和学习算法。

1. 神经元：
我们先来看一组对比图就能了解是怎样从生物神经元建模为人工神经元。

下面分别讲述:
生物神经元的组成包括细胞体、树突、轴突、突触。树突可以看作输入端，接收从其他细胞传递过来的电信号；轴突可以看作输出端，传递电荷给其他细胞；突触可以看作I/O接口，连接神经元，单个神经元可以和上千个神经元连接。细胞体内有膜电位，从外界传递过来的电流使膜电位发生变化，并且不断累加，当膜电位升高到超过一个阈值时，神经元被激活，产生一个脉冲，传递到下一个神经元。

为了更形象理解神经元传递信号过程，把一个神经元比作一个水桶。水桶下侧连着多根水管（树突），水管既可以把桶里的水排出去（抑制性），又可以将其他水桶的水输进来（兴奋性），水管的粗细不同，对桶中水的影响程度不同（权重），水管对水桶水位（膜电位）的改变就是水桶内水位的改变，当桶中水达到一定高度时，就能通过另一条管道（轴突）排出去。

按照这个原理，科学家提出了M-P模型（取自两个提出者的姓名首字母），M-P模型是对生物神经元的建模，作为人工神经网络中的一个神经元。

由MP模型的示意图，我们可以看到与生物神经元的相似之处，x_i表示多个输入，W_ij表示每个输入的权值，其正负模拟了生物神经元中突出的兴奋和抑制；sigma表示将全部输入信号进行累加整合，f为激活函数，O为输出。下图可以看到生物神经元和MP模型的类比：

往后诞生的各种神经元模型都是由MP模型演变过来。

2. 激活函数
激活函数可以看作滤波器，接收外界各种各样的信号，通过调整函数，输出期望值。ANN通常采用三类激活函数:阈值函数、分段函数、双极性连续函数（sigmoid，tanh）：

3. 学习算法
神经网络的学习也称为训练，通过神经网络所在环境的刺激作用调整神经网络的自由参数（如连接权值），使神经网络以一种新的方式对外部环境做出反应的一个过程。每个神经网络都有一个激活函数y=f(x)，训练过程就是通过给定的海量x数据和y数据，拟合出激活函数f。学习过程分为有导师学习和无导师学习，有导师学习是给定期望输出，通过对权值的调整使实际输出逼近期望输出；无导师学习给定表示方法质量的测量尺度，根据该尺度来优化参数。常见的有Hebb学习、纠错学习、基于记忆学习、随机学习、竞争学习。

4. 神经网络拓扑结构
常见的拓扑结构有单层前向网络、多层前向网络、反馈网络，随机神经网络、竞争神经网络。

5. 神经网络的发展

（不能贴公式不好解释啊 -_-!）sigma是误差信号，yita是学习率，net是输入之和，V是输入层到隐含层的权重矩阵，W是隐含层到输出层的权重矩阵。

之后还有几种

随着计算机硬件计算能力越来越强，用来训练的数据越来越多，神经网络变得越来越复杂。在人工智能领域常听到DNN（深度神经网络）、CNN（卷积神经网络）、RNN（递归神经网络）。其中，DNN是总称，指层数非常多的网络，通常有二十几层，具体可以是CNN或RNN等网络结构。

参考资料 ：

D. 为什么每个神经元都需要数千个突触

一、神经元被连接成复杂的网络，而不是单线连接。每个神经元总是连接到多个神经元。一种中间神经元，一方面与多个神经元的轴突形成许多突触(高等动物可形成100至10，000个突触)，另一方面与自身轴突的多个神经元(中间神经元和运动神经元)的细胞体和树突形成许多突触。

据国外媒体报道，2015年5月20日，科学家们已经找到了大脑记忆事件的“方程式”，证实这是迄今为止描述记忆事件的最准确的方程式，有一天医生可以用这种技术来抹去或改变创伤事件的记忆。

E. 人工神经网络

本文讨论的神经网络是从生物学领域引入计算机科学和工程领域的一个仿生学概念，又称人工神经网络（英语：artificial neural network，缩写ANN）。是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。参考 wiki定义 。

如图，一个神经元通常具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。
基于此，1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP，神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。如下图：

图中X代表输入信号，W代表权重，∑代表将X和W的矩阵运算，ψ对运算结果应用sgn函数，最终得到输出y。
然而，改模型对权限W是通过指定好的，因此不存在在计算工程中动态调配权限W的能力，也就是不存在学习的能力。

1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络：“感知器”（Perceptron）。

可以看到，一个感知器有如下组成部分：
输入权值： 一个感知器可以接收多个输入，每个输入上有一个权值，此外还有一个偏置项，就是上图中的。
激活函数： 感知器的激活函数可以有很多选择，比如我们可以选择Sigmoid函数来作为激活函数。
其中，因为生物学上，外接信号传导到神经元上，神经元不会立刻做出反应，而是会抑制输入，直到输入增强，强大到可以触发输出。也就是说，在产生输出之前，输入必须达到一个阈值。在数学上，这种随着变量值增大，函数值发生跳跃的函数成为激活函数。下图是一个常用的激活函数，Sigmoid函数曲线图：

上节我们看到，感知器其实是单层的神经网络，神经网络可以理解成多个感知器组合而成的一个结构，如下图：

神经网络的学习过程就是对权重矩阵的更新过程。所谓的训练过程就是比较当前网络的预测值和我们真正想要的目标值，再根据两者差异来更新每一层的权重矩阵。因此，必须先定义好如何比较预测值和目标值的差异，这便是损失函数（loss function）。损失函数输出值loss越高表示差异性越大，神经网络的训练就变成了尽可能的缩小loss的过程。

所谓梯度下降法，就是通过使loss值向当前点对应梯度点反方向不断移动，来降低loss。一次移动多少通过学习率（learning rate）控制。
通俗来讲，所谓梯度下降法，其实就如同漆黑的夜晚拿着手电筒站在山顶，每次只能看到眼前的一米远距离，想要下到山脚，我们采用每次都选择最陡峭的地方向下挪动，反复这一过程，最终到达山脚。

F. 人工神经网络综述

文章主要分为：
一、人工神经网络的概念；
二、人工神经网络的发展历史；
三、人工神经网络的特点；
四、人工神经网络的结构。
。。

人工神经网络（Artificial Neural Network，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。

神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激活函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型相结合，借助数学统计工具来实现。另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。

神经网络，是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术。

在介绍神经网络的发展历史之前，首先介绍一下神经网络的概念。神经网络主要是指一种仿造人脑设计的简化的计算模型，这种模型中包含了大量的用于计算的神经元，这些神经元之间会通过一些带有权重的连边以一种层次化的方式组织在一起。每一层的神经元之间可以进行大规模的并行计算，层与层之间进行消息的传递。

下图展示了整个神经网络的发展历程：

神经网络的发展有悠久的历史。其发展过程大致可以概括为如下4个阶段。

(1)、M-P神经网络模型：20世纪40年代，人们就开始了对神经网络的研究。1943 年，美国心理学家麦克洛奇（Mcculloch）和数学家皮兹（Pitts）提出了M-P模型，此模型比较简单，但是意义重大。在模型中，通过把神经元看作个功能逻辑器件来实现算法，从此开创了神经网络模型的理论研究。
(2)、Hebb规则：1949 年，心理学家赫布（Hebb）出版了《The Organization of Behavior》（行为组织学），他在书中提出了突触连接强度可变的假设。这个假设认为学习过程最终发生在神经元之间的突触部位，突触的连接强度随之突触前后神经元的活动而变化。这一假设发展成为后来神经网络中非常着名的Hebb规则。这一法则告诉人们，神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。
(3)、感知器模型：1957 年，罗森勃拉特（Rosenblatt）以M-P 模型为基础，提出了感知器（Perceptron）模型。感知器模型具有现代神经网络的基本原则，并且它的结构非常符合神经生理学。这是一个具有连续可调权值矢量的MP神经网络模型，经过训练可以达到对一定的输入矢量模式进行分类和识别的目的，它虽然比较简单，却是第一个真正意义上的神经网络。Rosenblatt 证明了两层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。Rosenblatt 的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突破。
(4)、ADALINE网络模型： 1959年，美国着名工程师威德罗（B.Widrow）和霍夫（M.Hoff）等人提出了自适应线性元件(Adaptive linear element，简称Adaline)和Widrow-Hoff学习规则（又称最小均方差算法或称δ规则）的神经网络训练方法，并将其应用于实际工程，成为第一个用于解决实际问题的人工神经网络，促进了神经网络的研究应用和发展。ADALINE网络模型是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。

人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于1969年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。这一论断给当时人工神经元网络的研究带来沉重的打击。开始了神经网络发展史上长达10年的低潮期。
(1)、自组织神经网络SOM模型：1972年，芬兰的KohonenT.教授，提出了自组织神经网络SOM(Self-Organizing feature map)。后来的神经网络主要是根据KohonenT.的工作来实现的。SOM网络是一类无导师学习网络，主要用于模式识别﹑语音识别及分类问题。它采用一种“胜者为王”的竞争学习算法，与先前提出的感知器有很大的不同，同时它的学习训练方式是无指导训练，是一种自组织网络。这种学习训练方式往往是在不知道有哪些分类类型存在时，用作提取分类信息的一种训练。
(2)、自适应共振理论ART：1976年，美国Grossberg教授提出了着名的自适应共振理论ART(Adaptive Resonance Theory)，其学习过程具有自组织和自稳定的特征。

(1)、Hopfield模型：1982年，美国物理学家霍普菲尔德（Hopfield）提出了一种离散神经网络，即离散Hopfield网络，从而有力地推动了神经网络的研究。在网络中，它首次将李雅普诺夫（Lyapunov）函数引入其中，后来的研究学者也将Lyapunov函数称为能量函数。证明了网络的稳定性。1984年，Hopfield 又提出了一种连续神经网络，将网络中神经元的激活函数由离散型改为连续型。1985 年，Hopfield和Tank利用Hopfield神经网络解决了着名的旅行推销商问题（Travelling Salesman Problem）。Hopfield神经网络是一组非线性微分方程。Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括，提出了动力方程和学习方程，还对网络算法提供了重要公式和参数，使人工神经网络的构造和学习有了理论指导，在Hopfield模型的影响下，大量学者又激发起研究神经网络的热情，积极投身于这一学术领域中。因为Hopfield 神经网络在众多方面具有巨大潜力，所以人们对神经网络的研究十分地重视，更多的人开始了研究神经网络，极大地推动了神经网络的发展。
(2)、Boltzmann机模型：1983年，Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解，这种模拟高温物体退火过程来找寻全局最优解的方法最早由Metropli等人1953年提出的。1984年，Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机，并明确提出隐单元的概念，这种学习机后来被称为Boltzmann机。
Hinton和Sejnowsky利用统计物理学的感念和方法，首次提出的多层网络的学习算法，称为Boltzmann 机模型。
(3)、BP神经网络模型：1986年，儒默哈特（D.E.Ru melhart）等人在多层神经网络模型的基础上，提出了多层神经网络权值修正的反向传播学习算法----BP算法（Error Back-Propagation），解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。
(4)、并行分布处理理论：1986年，由Rumelhart和McCkekkand主编的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，该书中，他们建立了并行分布处理理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。可以求解感知机所不能解决的问题，回答了《Perceptrons》一书中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力。
(5)、细胞神经网络模型：1988年，Chua和Yang提出了细胞神经网络（CNN）模型，它是一个细胞自动机特性的大规模非线性计算机仿真系统。Kosko建立了双向联想存储模型（BAM），它具有非监督学习能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初产生了很大的影响，他建立了一种神经网络系统理论。
(7)、1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。
(8)、1988年，Broomhead和Lowe用径向基函数(Radialbasis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。
(9)、1991年，Haken把协同引入神经网络，在他的理论框架中，他认为，认知过程是自发的，并断言模式识别过程即是模式形成过程。
(10)、1994年，廖晓昕关于细胞神经网络的数学理论与基础的提出，带来了这个领域新的进展。通过拓广神经网络的激活函数类，给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络（HNN）、双向联想记忆网络（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量机(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。
经过多年的发展，已有上百种的神经网络模型被提出。

深度学习(Deep Learning,DL)由Hinton等人于2006年提出，是机器学习的一个新领域。深度学习本质上是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量更具代表性的特征信息。深度学习算法打破了传统神经网络对层数的限制，可根据设计者需要选择网络层数。

突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。
大脑可视作为1000多亿神经元组成的神经网络。神经元的信息传递和处理是一种电化学活动．树突由于电化学作用接受外界的刺激，通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元．从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程。
神经元的功能特性：（1）时空整合功能；（2）神经元的动态极化性；（3）兴奋与抑制状态；（4）结构的可塑性；（5）脉冲与电位信号的转换；（6）突触延期和不应期；（7）学习、遗忘和疲劳。

神经网络从两个方面模拟大脑：
(1)、神经网络获取的知识是从外界环境中学习得来的。
(2)、内部神经元的连接强度，即突触权值，用于储存获取的知识。
神经网络系统由能够处理人类大脑不同部分之间信息传递的由大量神经元连接形成的拓扑结构组成，依赖于这些庞大的神经元数目和它们之间的联系，人类的大脑能够收到输入的信息的刺激由分布式并行处理的神经元相互连接进行非线性映射处理，从而实现复杂的信息处理和推理任务。
对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi, i=0,1,…,n-1,处理单元的内部阈值为θ。那么本处理单元（神经元）的输入为：

，而处理单元的输出为：

式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联权重即神经元连接权值。f称为激活函数或作用函数，它决定节点（神经元）的输出。θ表示隐含层神经节点的阈值。

神经网络的主要工作是建立模型和确定权值，一般有前向型和反馈型两种网络结构。通常神经网络的学习和训练需要一组输入数据和输出数据对，选择网络模型和传递、训练函数后，神经网络计算得到输出结果，根据实际输出和期望输出之间的误差进行权值的修正，在网络进行判断的时候就只有输入数据而没有预期的输出结果。神经网络一个相当重要的能力是其网络能通过它的神经元权值和阈值的不断调整从环境中进行学习，直到网络的输出误差达到预期的结果，就认为网络训练结束。

对于这样一种多输入、单输出的基本单元可以进一步从生物化学、电生物学、数学等方面给出描述其功能的模型。利用大量神经元相互连接组成的人工神经网络，将显示出人脑的若干特征，人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重wij值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以至超过设计者原有的知识水平。通常，它的学习(或训练)方式可分为两种，一种是有监督(supervised)或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督(unsupervised)学习或称无导师学习，这时，只规定学习方式或某些规则，而具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似于人脑的功能。
在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即神经元激活函数、神经元之间的连接形式和网络的学习(训练)。

G. 神经网络的工作原理

“人脑是如何工作的？”
“人类能否制作模拟人脑的人工神经元？”
多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对于写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。
人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。
神经网络就像是一个爱学习的孩子，您教她的知识她是不会忘记而且会学以致用的。我们把学习集（Learning Set）中的每个输入加到神经网络中，并告诉神经网络输出应该是什么分类。在全部学习集都运行完成之后，神经网络就根据这些例子总结出她自己的想法，到底她是怎么归纳的就是一个黑盒了。之后我们就可以把测试集（Testing Set）中的测试例子用神经网络来分别作测试，如果测试通过（比如80%或90%的正确率），那么神经网络就构建成功了。我们之后就可以用这个神经网络来判断事务的分类了。
神经网络是通过对人脑的基本单元——神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。神经网络的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网络的突触连接中。神经网络的学习是一个过程，在其所处环境的激励下，相继给网络输入一些样本模式，并按照一定的规则（学习算法）调整网络各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束。然后我们就可以用生成的神经网络来对真实数据做分类。