神经元建立网络连接的过程

A. 如何连结神经元

一种用于实时过程的神经网络在线自学习逆控制算法
发布时间：2004.11.10 阅览次数：2280 作者：彭一江 单位：长沙天海分析检测自动化有限公司

摘 要： 本文探讨了神经网络控制应用于实时过程的实现问题，提出一种网络训练与控制分离并行的算法。该算法在对过程的逆模型进行实时在线自学习的同时，对过程实施逆控制，实现对复杂对象的自学习、自适应控制功能。文中还给出了一个计算机仿真实例的结果。
关键词：实时过程；神经网络；在线自学习；逆控制。

ONE NEURAL NETWORK INVERSE CONTROL ALGORITHM
WITH ON-LINE SELF-LEARNING FOR REAL-TIME PROCESSES Abstract : In this paper , the study on the realization of application of neural network control to the real-time process is made and the algorithm with separated and parallel method for neural network training and control is advanced . Useing this algorithm,the on-line learning to the inverse model of real-time process can be performed, and concurrently , the inverse control can be performed in the process. It can realize functions of self-learning and adaptive control to complex processes.The result of one example of the computer simulation of the system is presented .
Key words: real-time process ; neural network ; on-line self-learning ; inverse control.

1 引言
近年来，人工神经网络 (简称神经网络或NN) 越来越多地应用于工业自动化控制领域。由于神经网络能够充分逼近任意复杂的非线性关系和能够学习与适应严重不确定性系统的动态特性，因此，采用基于NN人工智能控制方法，引入自学习、自适应功能而构成的实时系统，在处理那些实时性要求高且难于用模型或规则描述、随机性事件多、非线性严重、存在多个不同类型输入和输出的实时过程方面，显示了极大的优越性。众所周知，由于神经网络的学习需要耗费较长的时间，其实时应用策略仍是控制领域研究的热点。
通常，神经网络在过程控制中用作控制器模仿器或过程模仿器,构成基于神经网络的控制系统。目前，这种控制系统常采用软件方法实现。然而，神经网络的学习过程是一个慢过程，而作为一个实时系统，其主要目标是保证系统响应的及时性，必须同时满足逻辑正确性和时间约束两个条件。因此，对于快速有时甚至是慢速的实时过程，特别是对于有强实时任务（即要求该任务在时限内完成，否则其结果将失去可用性的任务）的过程，神经网络的学习慢速性是NN实时控制算法实现的难点。一般采用NN离线学习与在线控制相结合的方法。在线学习与控制的方法大多局限于在一个控制周期内串行完成的算法。本文在NN软件实现上结合中断处理技术，使网络的学习与控制分离和并行嵌套，提出一种用于实时过程的神经网络在线自学习逆控制算法，用以处理难于建立对象模型 (包括快速和强实时) 的过程。

2 基于NN的实时过程控制原理
实时过程控制系统是指该系统实时地从外界获得被控系统的当前状态，进行预定的处理，并根据处理结果对外界被控系统进行及时控制，使其处于要求的状态下。实时过程控制系统的模型是一个反馈环结构。如图 1 所示。

2.1 系统NN基本结构
采用具有非线性特性函数的神经元及多层非循环连接模式的神经网络（NN）和反向传播（B-P）学习算法。
根据一般实时过程的特点，设神经网络输入层共取n个神经元，分别代表输入端x1，x2，···xi···xn。完成将外部各工艺参数输入神经网络的功能；中间层取1∽2 层共设2n+m个神经元，代表神经网络的感知层；输出层取m 个神经元，代表过程的输出参数y1，y2，···yj，···ym。从外部特性看，网络相当于一个n输入m输出的多变量传递函数。而其内部特性却充分反应了对象的动力学特性。系统NN基本结构如图 2 所示。其中：(a)网络连接模型， (b)神经元模型。

在图2所示的神经网络中，某一个神经元的结构如图2(b)所示。其中Xi为输入信息，Wi为权值，θi 为阈值，F是表示神经元活动的特性函数，F刻划了神经元输入信号与
输出信息之间对应的关系 。
2.2 网络权值学习算法
神经元特性函数取S型函数，即：
F(X)= 1/(1+e-x) （2－1）
网络采用的B-P算法是前向计算输出与反向传播误差相结合的进行权值调整的过程。
设网络中第i层某个神经元与后一层第j层的连接权值为W[ij]，输入为X[j] ，输出为X[i]'。由图3可得：
Xi '＝F(Xi )＝1／（1＋e-Xi+θi） （2－2）
Xi ＝∑Wij ·Xj （2－3）
误差反传采用改进的Delta权值调整公式[4] ：
Wij(n+1)＝Wij(n)+ΔWij(n+1) （2－4）
ΔWij(n+1)＝η·δj·X'i+α(ΔWij(n)) （2－5）
式中：
η为学习率（取η＝0.1~0.9）；
α为动量系数（取α＝0.1~0.8）；
δj为神经元输出误差。
采用基于系统误差梯度的方法调整权值 [4] ，即：
当 j 为输出层时：
δj＝－( Xi '－Xj)·X'j·(1－X'j) （2－6）
当j为中间层时：
δj＝(∑δk·Wjk)·X'j·(1－X'j) （2－7）
2.3 NN在线学习控制结构
系统以过程输出量Y为控制对象，以Y=Ysr（给定常数）为控制目标，以 U过程控制量，以事先离线进行过权值初始化训练、并且在生产过程中不断进行在线学习的神经网络系统辩识模型NN为控制模型，并由此辩识模型计算某一时刻所需控制量U值。构成基于神经网络的实时控制系统，实现对Yr的自动跟踪。系统控制原理框图如图3所示。图3中，P为实时过程的实际模型；BP为输出误差向网络内部连接权值反传调整权值的算法。S为网络权值传送软件开关。
2.4 过程模型在线自学习
系统首先采用离线训练的方式形成网络的连接权值矩阵初始值，包括建立各种不同神经网络模型结构参数，以提高在线学习速度。
系统投入实时控制后，程序在一定条件下启动NN自学习功能，将实时采集的工艺参数通过特定处理后，作为训练样本输入网络，进行连接权值的调整。由于NN模型不需要知道对象的任何先验知识，在限定NN拓扑下，其连接权值不仅规定了模型的参数，同时也规定了模型的结构性质，因此，用这种方式训练出来的的神经网络模型，可以充当对象的模仿器[1]。系统不断地根据生产过程中的各种相关参数，反复调整网络权值，在线建立过程逆模型。

2.5 模型逆控制
过程模型模仿网络NN2投入实时控制前经过离线训练，使系统在投入控制后的初始阶段有较好的稳定性并使NN2能较快地完成以后的在线学习。在NN2不断学习和NN1调节控制量的过程中，NN2输入输出特性能够越来越准确地模拟实际过程模型的输入输出特性。经若干个模型学习周期，NN2 学习误差达到期望值，NN2 的连接权值暂时固定下来。当过程输出与系统设定的偏差大于期望值时，NN2的连接权值传送给调节器模仿器NN1，作为调节器计算新的控制量，同时，启动在线学习开关 S，NN2开始进行新的学习。当系统产生控制中断而进入控制周期，系统先对过程状态参数进行一次实时检测，根据当前的过程状态由NN1对控制量进行调节，完成一次在特定工艺状态参数下的控制量的动态设定。
当NN充分接近实际模型，即：NN2=P-1时，由于NN1=NN2，NN1·P=P-1·P＝1，则Y=Ysr，即系统可实现对给定目标值的跟踪。

3 软件实现
对实时控制系统而言，软件设计应着重考虑NN学习算法、样本形成、网络推理之间的时序问题。系统采用内部中断与外部中断相结合的方式处理时序问题。软件设计两个中断处理子程序，其中一个为定时与采样中断处理子程序，

采用修改机器内部定时中断向量的方法，另一个为实时控制及样本提取中断处理子程序。采用外部脉冲信号产生中断申请的响应方法。网络学习则在主程序的大循环中进行。
系统投运前，NN通过离线训练获初始知识。离线训线的样本可以利用工艺过程中的历史数据产生，或由该领域专家的知识形成。
实时控制中NN以在线学习方式运行。学习是一个的大循环，不断以样本子集缓冲区的实时样本对网络进行训练。而样本缓冲区的实时样本的刷新是由外部中断服务子程序根据样本提取逻辑进行的，系统实时地将实际过程中产生的新样本替换样本缓冲区中最先前的样本。同时，一旦时间达到某一设定的周期，系统将样本缓冲区的样本存入硬盘作为历史样本供以后使用。内部中断服务子程序采集的现场数据供显示用，并且提供样本提取逻辑所需的计时信息。采用这种大循环进行NN学习；内部时钟定时中断进行数据采集与处理并提供样本获取和控制时序逻辑；外部中断请求进行样本提取和实时控制的程序结构，充分利用了CPU的大量空闲时间，即照顾了学习的耗时性，又满足了数据采集的及时性和控制的适时性。实时控制流程及中断服务子程序见图4。
其中：(a) 实时控制主模块； (b) 实时数据采集及定时中断处理子程序；(c)控制输出及样本提取中断处理子程序。

4 计算机仿真实例结果
计算机仿真实验程序用C++编制，在486微机上运行。
系统仿真所用数学模型为螺纹钢筋轧后控冷工艺过程的一个多输入单输出 (根据生产实际数据产生的回归分析模型)[5,6]：
Ts= -4.1·Qy -156.8·t -4.6·Tw +29.3·Φ+0.21·Tf +50·C +850 ( 4-1)
其中过程输出为Y = Ts ，目标值Yr = 620 。
设NN输入 X= { t , Tw , Φ , Tf , C , Ts } ；NN输出U = Qy 。
网络为6×12×12×1结构，运行前离线训练重复次数为7000次，学习时间为8分钟，网络输出总误差为0.00005。经过训练的NN用于仿真运行，模拟在线自学习控制，学习 时间小于0.5秒。仿真运行结果见表1。表中数据经归一化处理，以保证网络输出值在(0，1) 区间内；其中Qy、Ts为初始值，Qy'、Ts'为执行的结果值。

由表1可知，系统能够在钢筋终轧温度Tf变化时，自动改变水量设定值Qy，使其自回火温度稳定在目标值Tsr=602℃ (误差小于1℃)左右。仿真结果表明，这种基于NN模型自学习的逆控制方法，有较强的自学习、自适应能力。在处理一般非线性、随机性、时变及多变量输入输出的实时过程方面，有较好的开发应用前景。

参 考 文 献
[1] 周节其，徐建闽. 神经网络控制系统的研究与展望. 控制理论与应用，1992，9(6):569∽575
[2]焦李成. 神经网络的应用与实现. 西安:西安电子科技大学大学出版社.1995,261~264
[3] 袁曾任，郭新钢. 基于B-P算法的神经网络作为离散时间非线性对象的逆控制, 电气自动化，1994,(4):39~41
[4]包约翰着. 自适应模式识别与神经网络. 马颂德等译. 北京:科学出版社.1992,109~125
[5] 张泰山,彭一江. 基于神经网络的钢筋轧后冷却自学习控制系统 .中国有色金属学报，1995 ,Vol.5, Suppl.4, 380~384
[6] 彭一江. 基于神经网络的钢筋轧后冷却智能控制系统 .中南工业大学硕士学位论文. 长沙. 1996

B. 关于神经元连接的一些问题，神经元是怎么连接的

A、神经元包括树突和轴突，以及细胞体构成的，图中共有突触7个，完整神经元3个，A正确；
B、在神经纤维上，兴奋的传导是双向的，在神经元之间，兴奋的传递是单向的，在A处给一个适宜的刺激，兴奋可沿着4条途径传到B处，B错误；
C、经过突触越多，消耗的时间越长，A处给一个适宜的刺激，其中耗时最长的一条途径经过5个突触，C正确；
D、神经元释放的神经递质有兴奋性递质和抑制性递质，图中①②③有的可能为抑制性神经元，也可能是兴奋性神经元，D正确．
故选：B．

C. 深度神经网络具体的工作流程是什么样的

第一，深度神经网络不是黑盒，个人电脑开机直到神经网络运行在内存中的每一比特的变化都是可以很细微的观察的。没有任何神秘力量，没有超出科学解释的现象发生。第二，深度神经网络的工作方式是基于传统的电脑架构之上的，就是数据+算法。但人们确实从中窥探到了一种全新的电子大脑方式。所以目前有研究提炼一些常用神经网络算法加速硬件。微软等巨头则在开发量子计算。第三，深度神经网络是一个很初级的特征自动提取器。说初级因为简单粗暴。以前为了节约算力特征关键模型都是人工亲自设定。而现在这部分工作随着算力的提高可以自动化。所以从某种意义上来说深度神经网络也是一种自动编程机，但和人们相比，一点点小小的自动化都需要很多很多的计算力支持，这一点也不重要，重要的是，它能工作(手动英文)。那么深度神经网络究竟是什么呢？它是一个能迭代更新自己的特征提取算法。现在这个算法可是像全自动高级工厂，数据往里一丢，不得了！整个工厂里面所有机器都动了起来。没见过的小伙伴当场就被吓呆瓜了，用流行的话说叫懵住。几千只机械手把数据搬来搬去，拿出魔方一样的盒子装来装去又倒出来。整个场面就叫一个震撼。算法运行规模也更大了。

D. 神经元的连接方式

（1）突触包括轴突-树突和轴突-胞体两种常见类型．
（2）兴奋在突触上的传导只能由突触前膜传导到突触后膜．在A处给予一个适宜的刺激，若N的指针不能偏转，只能说明突触前膜释放的是抑制性递质，因此此时①的膜外电位为正电位．
（3）分析图解可知，图中①②或①②③都收尾相接，即产生的兴奋可以循环传导．若图中的神经元在兴奋时均释放兴奋性神经递质．在B处给予一个适宜的刺激，N的指针将偏转多次．
（4）利用图中标注的A、B、C三个位点，设计实验证明某药物只能阻断兴奋在神经元之间的传递，而不能阻断兴奋在神经纤维上的传递．可以把某药物分别放在B、C两处，在A处给予一个适宜的刺激，观测电流计N的指针能否偏转．
预期实验现象：把药物放在C处，N的指针不偏转；把药物放在B处，N的指针偏转．
故答案为：
（1）轴突-胞体
（2）正电位
（3）多次
设计简要思路：把某药物分别放在B、C两处，在A处给予一个适宜的刺激，观测电流计N的指针能否偏转．
预期实验现象：把药物放在C处，N的指针不偏转；把药物放在B处，N的指针偏转．

E. 神经网络连接方式分为哪几类每一类有哪些特点

神经网络模型的分类
人工神经网络的模型很多，可以按照不同的方法进行分类。其中，常见的两种分类方法是，按照网络连接的拓朴结构分类和按照网络内部的信息流向分类。
1 按照网络拓朴结构分类
网络的拓朴结构，即神经元之间的连接方式。按此划分，可将神经网络结构分为两大类：层次型结构和互联型结构。
层次型结构的神经网络将神经元按功能和顺序的不同分为输出层、中间层（隐层）、输出层。输出层各神经元负责接收来自外界的输入信息，并传给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换。根据需要可设计为一层或多层；最后一个隐层将信息传递给输出层神经元经进一步处理后向外界输出信息处理结果。

而互连型网络结构中，任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的连接程度将互连型网络细分为三种情况：全互连型、局部互连型和稀疏连接型
2 按照网络信息流向分类
从神经网络内部信息传递方向来看，可以分为两种类型：前馈型网络和反馈型网络。
单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名的。前馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。
反馈型网络的结构与单层全互连结构网络相同。在反馈型网络中的所有节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。

F. 什么是BP神经网络

BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下：
1、从训练集中取出某一样本，把信息输入网络中。
2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。
3、计算网络实际输出与期望输出的误差。
4、将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。
5、対训练集中每一个输入—输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。

G. 人工神经网络的定义，详细说明

人工神经网络（Artificial Neural Networks, ANN），一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。（引自《环球科学》2007年第一期《神经语言：老鼠胡须下的秘密》）

概念

由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。
人工神经网络具有四个基本特征：

（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。
人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。

历史沿革

1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。60年代，人工神经网络的到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。

基本内容

人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：

（1）前向网络 网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。

（2）反馈网络 网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。
根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。
研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。混沌轨线是整体上稳定与局部不稳定相结合的结果，称之为奇异吸引子。一个奇异吸引子有如下一些特征：（1）奇异吸引子是一个吸引子，但它既不是不动点，也不是周期解；（2）奇异吸引子是不可分割的，即不能分为两个以及两个以上的吸引子；（3）它对初始值十分敏感，不同的初始值会导致极不相同的行为。

发展趋势

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

H. 神经网络具体是什么

神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。 举个手写识别的例子，给定一个未知数字，让神经网络识别是什么数字。此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义。在通过非线性激活函数进行非线性变换后，神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。从而识别当前数字是什么字。 神经网络的每个神经元如下

基本wx + b的形式，其中 x1、x2表示输入向量 w1、w2为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重 b为偏置bias g(z) 为激活函数 a 为输出 如果只是上面这样一说，估计以前没接触过的十有八九又必定迷糊了。事实上，上述简单模型可以追溯到20世纪50/60年代的感知器，可以把感知器理解为一个根据不同因素、以及各个因素的重要性程度而做决策的模型。 举个例子，这周末北京有一草莓音乐节，那去不去呢？决定你是否去有二个因素，这二个因素可以对应二个输入，分别用x1、x2表示。此外，这二个因素对做决策的影响程度不一样，各自的影响程度用权重w1、w2表示。一般来说，音乐节的演唱嘉宾会非常影响你去不去，唱得好的前提下 即便没人陪同都可忍受，但如果唱得不好还不如你上台唱呢。所以，我们可以如下表示： x1：是否有喜欢的演唱嘉宾。x1 = 1 你喜欢这些嘉宾，x1 = 0 你不喜欢这些嘉宾。嘉宾因素的权重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 没人陪你同去。是否有人陪同的权重w2 = 3。 这样，咱们的决策模型便建立起来了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函数，这里的b可以理解成 为更好达到目标而做调整的偏置项。 一开始为了简单，人们把激活函数定义成一个线性函数，即对于结果做一个线性变化，比如一个简单的线性激活函数是g(z) = z，输出都是输入的线性变换。后来实际应用中发现，线性激活函数太过局限，于是引入了非线性激活函数。

I. BP神经网络原理

人工神经网络有很多模型，但是日前应用最广、基本思想最直观、最容易被理解的是多层前馈神经网络及误差逆传播学习算法（Error Back-Prooaeation），简称为BP网络。

在1986年以Rumelhart和McCelland为首的科学家出版的《Parallel Distributed Processing》一书中，完整地提出了误差逆传播学习算法，并被广泛接受。多层感知网络是一种具有三层或三层以上的阶层型神经网络。典型的多层感知网络是三层、前馈的阶层网络（图4.1），即：输入层、隐含层（也称中间层）、输出层，具体如下：

图4.1 三层BP网络结构

（1）输入层

输入层是网络与外部交互的接口。一般输入层只是输入矢量的存储层，它并不对输入矢量作任何加工和处理。输入层的神经元数目可以根据需要求解的问题和数据表示的方式来确定。一般而言，如果输入矢量为图像，则输入层的神经元数目可以为图像的像素数，也可以是经过处理后的图像特征数。

（2）隐含层

1989年，Robert Hecht Nielsno证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的BP网络来逼近，因而一个三层的BP网络可以完成任意的n维到m维的映射。增加隐含层数虽然可以更进一步的降低误差、提高精度，但是也使网络复杂化，从而增加了网络权值的训练时间。误差精度的提高也可以通过增加隐含层中的神经元数目来实现，其训练效果也比增加隐含层数更容易观察和调整，所以一般情况应优先考虑增加隐含层的神经元个数，再根据具体情况选择合适的隐含层数。

（3）输出层

输出层输出网络训练的结果矢量，输出矢量的维数应根据具体的应用要求来设计，在设计时，应尽可能减少系统的规模，使系统的复杂性减少。如果网络用作识别器，则识别的类别神经元接近1，而其它神经元输出接近0。

以上三层网络的相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接，连接强度构成网络的权值矩阵W。

BP网络是以一种有教师示教的方式进行学习的。首先由教师对每一种输入模式设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播（称为“模式顺传播”）。实际输出与期望输出的差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”（陈正昌，2005）。所以误差逆传播神经网络也简称BP（Back Propagation）网。随着“模式顺传播”和“误差逆传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下各层间的连接权值后。典型三层BP神经网络学习及程序运行过程如下（标志渊，2006）：

（1）首先，对各符号的形式及意义进行说明：

网络输入向量P_k=（a₁，a₂，...，a_n）；

网络目标向量T_k=（y₁，y₂，...，y_n）；

中间层单元输入向量S_k=（s₁，s₂，...，s_p），输出向量B_k=（b₁，b₂，...，b_p）；

输出层单元输入向量L_k=（l₁，l₂，...，l_q），输出向量C_k=（c₁，c₂，...，c_q）；

输入层至中间层的连接权w_ij，i=1，2，...，n，j=1，2，...p；

中间层至输出层的连接权v_jt，j=1，2，...，p，t=1，2，...，p；

中间层各单元的输出阈值θ_j，j=1，2，...，p；

输出层各单元的输出阈值γ_j，j=1，2，...，p；

参数k=1，2，...，m。

（2）初始化。给每个连接权值w_ij、v_jt、阈值θ_j与γ_j赋予区间（-1，1）内的随机值。

（3）随机选取一组输入和目标样本

提供给网络。

（4）用输入样本

、连接权w_ij和阈值θ_j计算中间层各单元的输入s_j，然后用s_j通过传递函数计算中间层各单元的输出b_j。

基坑降水工程的环境效应与评价方法

b_j=f（s_j） j=1，2，...，p （4.5）

（5）利用中间层的输出b_j、连接权v_jt和阈值γ_t计算输出层各单元的输出L_t，然后通过传递函数计算输出层各单元的响应C_t。

基坑降水工程的环境效应与评价方法

C_t=f（L_t） t=1，2，...，q （4.7）

（6）利用网络目标向量

，网络的实际输出C_t，计算输出层的各单元一般化误差

。

基坑降水工程的环境效应与评价方法

（7）利用连接权v_jt、输出层的一般化误差d_t和中间层的输出b_j计算中间层各单元的一般化误差

。

基坑降水工程的环境效应与评价方法

（8）利用输出层各单元的一般化误差

与中间层各单元的输出b_j来修正连接权v_jt和阈值γ_t。

基坑降水工程的环境效应与评价方法

（9）利用中间层各单元的一般化误差

，输入层各单元的输入P_k=（a₁，a₂，...，a_n）来修正连接权w_ij和阈值θ_j。

基坑降水工程的环境效应与评价方法

（10）随机选取下一个学习样本向量提供给网络，返回到步骤（3），直到m个训练样本训练完毕。

（11）重新从m个学习样本中随机选取一组输入和目标样本，返回步骤（3），直到网路全局误差E小于预先设定的一个极小值，即网络收敛。如果学习次数大于预先设定的值，网络就无法收敛。

（12）学习结束。

可以看出，在以上学习步骤中，（8）、（9）步为网络误差的“逆传播过程”，（10）、（11）步则用于完成训练和收敛过程。

通常，经过训练的网络还应该进行性能测试。测试的方法就是选择测试样本向量，将其提供给网络，检验网络对其分类的正确性。测试样本向量中应该包含今后网络应用过程中可能遇到的主要典型模式（宋大奇，2006）。这些样本可以直接测取得到，也可以通过仿真得到，在样本数据较少或者较难得到时，也可以通过对学习样本加上适当的噪声或按照一定规则插值得到。为了更好地验证网络的泛化能力，一个良好的测试样本集中不应该包含和学习样本完全相同的模式（董军，2007）。

J. 神经网络原理及应用

神经网络原理及应用
1. 什么是神经网络？
神经网络是一种模拟动物神经网络行为特征，进行分布式并行信息处理的算法。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
人类的神经网络

2. 神经网络基础知识
构成：大量简单的基础元件——神经元相互连接
工作原理：模拟生物的神经处理信息的方式
功能：进行信息的并行处理和非线性转化
特点：比较轻松地实现非线性映射过程，具有大规模的计算能力
神经网络的本质：

神经网络的本质就是利用计算机语言模拟人类大脑做决定的过程。
3. 生物神经元结构

4. 神经元结构模型

xj为输入信号，θi为阈值，wij表示与神经元连接的权值，yi表示输出值
判断xjwij是否大于阈值θi
5. 什么是阈值？
临界值。
神经网络是模仿大脑的神经元，当外界刺激达到一定的阈值时，神经元才会受刺激，影响下一个神经元。

6. 几种代表性的网络模型
单层前向神经网络——线性网络
阶跃网络
多层前向神经网络（反推学习规则即BP神经网络）
Elman网络、Hopfield网络、双向联想记忆网络、自组织竞争网络等等
7. 神经网络能干什么？
运用这些网络模型可实现函数逼近、数据聚类、模式分类、优化计算等功能。因此，神经网络广泛应用于人工智能、自动控制、机器人、统计学等领域的信息处理中。虽然神经网络的应用很广，但是在具体的使用过程中到底应当选择哪种网络结构比较合适是值得考虑的。这就需要我们对各种神经网络结构有一个较全面的认识。
8. 神经网络应用