神經元建立網路連接的過程

A. 如何連結神經元

一種用於實時過程的神經網路在線自學習逆控制演算法
發布時間：2004.11.10 閱覽次數：2280 作者：彭一江 單位：長沙天海分析檢測自動化有限公司

摘 要： 本文探討了神經網路控制應用於實時過程的實現問題，提出一種網路訓練與控制分離並行的演算法。該演算法在對過程的逆模型進行實時在線自學習的同時，對過程實施逆控制，實現對復雜對象的自學習、自適應控制功能。文中還給出了一個計算機模擬實例的結果。
關鍵詞：實時過程；神經網路；在線自學習；逆控制。

ONE NEURAL NETWORK INVERSE CONTROL ALGORITHM
WITH ON-LINE SELF-LEARNING FOR REAL-TIME PROCESSES Abstract : In this paper , the study on the realization of application of neural network control to the real-time process is made and the algorithm with separated and parallel method for neural network training and control is advanced . Useing this algorithm,the on-line learning to the inverse model of real-time process can be performed, and concurrently , the inverse control can be performed in the process. It can realize functions of self-learning and adaptive control to complex processes.The result of one example of the computer simulation of the system is presented .
Key words: real-time process ; neural network ; on-line self-learning ; inverse control.

1 引言
近年來，人工神經網路 (簡稱神經網路或NN) 越來越多地應用於工業自動化控制領域。由於神經網路能夠充分逼近任意復雜的非線性關系和能夠學習與適應嚴重不確定性系統的動態特性，因此，採用基於NN人工智慧控制方法，引入自學習、自適應功能而構成的實時系統，在處理那些實時性要求高且難於用模型或規則描述、隨機性事件多、非線性嚴重、存在多個不同類型輸入和輸出的實時過程方面，顯示了極大的優越性。眾所周知，由於神經網路的學習需要耗費較長的時間，其實時應用策略仍是控制領域研究的熱點。
通常，神經網路在過程式控制制中用作控制器模仿器或過程模仿器,構成基於神經網路的控制系統。目前，這種控制系統常採用軟體方法實現。然而，神經網路的學習過程是一個慢過程，而作為一個實時系統，其主要目標是保證系統響應的及時性，必須同時滿足邏輯正確性和時間約束兩個條件。因此，對於快速有時甚至是慢速的實時過程，特別是對於有強實時任務（即要求該任務在時限內完成，否則其結果將失去可用性的任務）的過程，神經網路的學習慢速性是NN實時控制演算法實現的難點。一般採用NN離線學習與在線控制相結合的方法。在線學習與控制的方法大多局限於在一個控制周期內串列完成的演算法。本文在NN軟體實現上結合中斷處理技術，使網路的學習與控制分離和並行嵌套，提出一種用於實時過程的神經網路在線自學習逆控制演算法，用以處理難於建立對象模型 (包括快速和強實時) 的過程。

2 基於NN的實時過程式控制制原理
實時過程式控制制系統是指該系統實時地從外界獲得被控系統的當前狀態，進行預定的處理，並根據處理結果對外界被控系統進行及時控制，使其處於要求的狀態下。實時過程式控制制系統的模型是一個反饋環結構。如圖 1 所示。

2.1 系統NN基本結構
採用具有非線性特性函數的神經元及多層非循環連接模式的神經網路（NN）和反向傳播（B-P）學習演算法。
根據一般實時過程的特點，設神經網路輸入層共取n個神經元，分別代表輸入端x1，x2，···xi···xn。完成將外部各工藝參數輸入神經網路的功能；中間層取1∽2 層共設2n+m個神經元，代表神經網路的感知層；輸出層取m 個神經元，代表過程的輸出參數y1，y2，···yj，···ym。從外部特性看，網路相當於一個n輸入m輸出的多變數傳遞函數。而其內部特性卻充分反應了對象的動力學特性。系統NN基本結構如圖 2 所示。其中：(a)網路連接模型， (b)神經元模型。

在圖2所示的神經網路中，某一個神經元的結構如圖2(b)所示。其中Xi為輸入信息，Wi為權值，θi 為閾值，F是表示神經元活動的特性函數，F刻劃了神經元輸入信號與
輸出信息之間對應的關系 。
2.2 網路權值學習演算法
神經元特性函數取S型函數，即：
F(X)= 1/(1+e-x) （2－1）
網路採用的B-P演算法是前向計算輸出與反向傳播誤差相結合的進行權值調整的過程。
設網路中第i層某個神經元與後一層第j層的連接權值為W[ij]，輸入為X[j] ，輸出為X[i]'。由圖3可得：
Xi '＝F(Xi )＝1／（1＋e-Xi+θi） （2－2）
Xi ＝∑Wij ·Xj （2－3）
誤差反傳採用改進的Delta權值調整公式[4] ：
Wij(n+1)＝Wij(n)+ΔWij(n+1) （2－4）
ΔWij(n+1)＝η·δj·X'i+α(ΔWij(n)) （2－5）
式中：
η為學習率（取η＝0.1~0.9）；
α為動量系數（取α＝0.1~0.8）；
δj為神經元輸出誤差。
採用基於系統誤差梯度的方法調整權值 [4] ，即：
當 j 為輸出層時：
δj＝－( Xi '－Xj)·X'j·(1－X'j) （2－6）
當j為中間層時：
δj＝(∑δk·Wjk)·X'j·(1－X'j) （2－7）
2.3 NN在線學習控制結構
系統以過程輸出量Y為控制對象，以Y=Ysr（給定常數）為控制目標，以 U過程式控制制量，以事先離線進行過權值初始化訓練、並且在生產過程中不斷進行在線學習的神經網路系統辯識模型NN為控制模型，並由此辯識模型計算某一時刻所需控制量U值。構成基於神經網路的實時控制系統，實現對Yr的自動跟蹤。系統控制原理框圖如圖3所示。圖3中，P為實時過程的實際模型；BP為輸出誤差向網路內部連接權值反傳調整權值的演算法。S為網路權值傳送軟體開關。
2.4 過程模型在線自學習
系統首先採用離線訓練的方式形成網路的連接權值矩陣初始值，包括建立各種不同神經網路模型結構參數，以提高在線學習速度。
系統投入實時控制後，程序在一定條件下啟動NN自學習功能，將實時採集的工藝參數通過特定處理後，作為訓練樣本輸入網路，進行連接權值的調整。由於NN模型不需要知道對象的任何先驗知識，在限定NN拓撲下，其連接權值不僅規定了模型的參數，同時也規定了模型的結構性質，因此，用這種方式訓練出來的的神經網路模型，可以充當對象的模仿器[1]。系統不斷地根據生產過程中的各種相關參數，反復調整網路權值，在線建立過程逆模型。

2.5 模型逆控制
過程模型模仿網路NN2投入實時控制前經過離線訓練，使系統在投入控制後的初始階段有較好的穩定性並使NN2能較快地完成以後的在線學習。在NN2不斷學習和NN1調節控制量的過程中，NN2輸入輸出特性能夠越來越准確地模擬實際過程模型的輸入輸出特性。經若干個模型學習周期，NN2 學習誤差達到期望值，NN2 的連接權值暫時固定下來。當過程輸出與系統設定的偏差大於期望值時，NN2的連接權值傳送給調節器模仿器NN1，作為調節器計算新的控制量，同時，啟動在線學習開關 S，NN2開始進行新的學習。當系統產生控制中斷而進入控制周期，系統先對過程狀態參數進行一次實時檢測，根據當前的過程狀態由NN1對控制量進行調節，完成一次在特定工藝狀態參數下的控制量的動態設定。
當NN充分接近實際模型，即：NN2=P-1時，由於NN1=NN2，NN1·P=P-1·P＝1，則Y=Ysr，即系統可實現對給定目標值的跟蹤。

3 軟體實現
對實時控制系統而言，軟體設計應著重考慮NN學習演算法、樣本形成、網路推理之間的時序問題。系統採用內部中斷與外部中斷相結合的方式處理時序問題。軟體設計兩個中斷處理子程序，其中一個為定時與采樣中斷處理子程序，

採用修改機器內部定時中斷向量的方法，另一個為實時控制及樣本提取中斷處理子程序。採用外部脈沖信號產生中斷申請的響應方法。網路學習則在主程序的大循環中進行。
系統投運前，NN通過離線訓練獲初始知識。離線訓線的樣本可以利用工藝過程中的歷史數據產生，或由該領域專家的知識形成。
實時控制中NN以在線學習方式運行。學習是一個的大循環，不斷以樣本子集緩沖區的實時樣本對網路進行訓練。而樣本緩沖區的實時樣本的刷新是由外部中斷服務子程序根據樣本提取邏輯進行的，系統實時地將實際過程中產生的新樣本替換樣本緩沖區中最先前的樣本。同時，一旦時間達到某一設定的周期，系統將樣本緩沖區的樣本存入硬碟作為歷史樣本供以後使用。內部中斷服務子程序採集的現場數據供顯示用，並且提供樣本提取邏輯所需的計時信息。採用這種大循環進行NN學習；內部時鍾定時中斷進行數據採集與處理並提供樣本獲取和控制時序邏輯；外部中斷請求進行樣本提取和實時控制的程序結構，充分利用了CPU的大量空閑時間，即照顧了學習的耗時性，又滿足了數據採集的及時性和控制的適時性。實時控制流程及中斷服務子程序見圖4。
其中：(a) 實時控制主模塊； (b) 實時數據採集及定時中斷處理子程序；(c)控制輸出及樣本提取中斷處理子程序。

4 計算機模擬實例結果
計算機模擬實驗程序用C++編制，在486微機上運行。
系統模擬所用數學模型為螺紋鋼筋軋後控冷工藝過程的一個多輸入單輸出 (根據生產實際數據產生的回歸分析模型)[5,6]：
Ts= -4.1·Qy -156.8·t -4.6·Tw +29.3·Φ+0.21·Tf +50·C +850 ( 4-1)
其中過程輸出為Y = Ts ，目標值Yr = 620 。
設NN輸入 X= { t , Tw , Φ , Tf , C , Ts } ；NN輸出U = Qy 。
網路為6×12×12×1結構，運行前離線訓練重復次數為7000次，學習時間為8分鍾，網路輸出總誤差為0.00005。經過訓練的NN用於模擬運行，模擬在線自學習控制，學習 時間小於0.5秒。模擬運行結果見表1。表中數據經歸一化處理，以保證網路輸出值在(0，1) 區間內；其中Qy、Ts為初始值，Qy'、Ts'為執行的結果值。

由表1可知，系統能夠在鋼筋終軋溫度Tf變化時，自動改變水量設定值Qy，使其自回火溫度穩定在目標值Tsr=602℃ (誤差小於1℃)左右。模擬結果表明，這種基於NN模型自學習的逆控制方法，有較強的自學習、自適應能力。在處理一般非線性、隨機性、時變及多變數輸入輸出的實時過程方面，有較好的開發應用前景。

參 考 文 獻
[1] 周節其，徐建閩. 神經網路控制系統的研究與展望. 控制理論與應用，1992，9(6):569∽575
[2]焦李成. 神經網路的應用與實現. 西安:西安電子科技大學大學出版社.1995,261~264
[3] 袁曾任，郭新鋼. 基於B-P演算法的神經網路作為離散時間非線性對象的逆控制, 電氣自動化，1994,(4):39~41
[4]包約翰著. 自適應模式識別與神經網路. 馬頌德等譯. 北京:科學出版社.1992,109~125
[5] 張泰山,彭一江. 基於神經網路的鋼筋軋後冷卻自學習控制系統 .中國有色金屬學報，1995 ,Vol.5, Suppl.4, 380~384
[6] 彭一江. 基於神經網路的鋼筋軋後冷卻智能控制系統 .中南工業大學碩士學位論文. 長沙. 1996

B. 關於神經元連接的一些問題，神經元是怎麼連接的

A、神經元包括樹突和軸突，以及細胞體構成的，圖中共有突觸7個，完整神經元3個，A正確；
B、在神經纖維上，興奮的傳導是雙向的，在神經元之間，興奮的傳遞是單向的，在A處給一個適宜的刺激，興奮可沿著4條途徑傳到B處，B錯誤；
C、經過突觸越多，消耗的時間越長，A處給一個適宜的刺激，其中耗時最長的一條途徑經過5個突觸，C正確；
D、神經元釋放的神經遞質有興奮性遞質和抑制性遞質，圖中①②③有的可能為抑制性神經元，也可能是興奮性神經元，D正確．
故選：B．

C. 深度神經網路具體的工作流程是什麼樣的

第一，深度神經網路不是黑盒，個人電腦開機直到神經網路運行在內存中的每一比特的變化都是可以很細微的觀察的。沒有任何神秘力量，沒有超出科學解釋的現象發生。第二，深度神經網路的工作方式是基於傳統的電腦架構之上的，就是數據+演算法。但人們確實從中窺探到了一種全新的電子大腦方式。所以目前有研究提煉一些常用神經網路演算法加速硬體。微軟等巨頭則在開發量子計算。第三，深度神經網路是一個很初級的特徵自動提取器。說初級因為簡單粗暴。以前為了節約算力特徵關鍵模型都是人工親自設定。而現在這部分工作隨著算力的提高可以自動化。所以從某種意義上來說深度神經網路也是一種自動編程機，但和人們相比，一點點小小的自動化都需要很多很多的計算力支持，這一點也不重要，重要的是，它能工作(手動英文)。那麼深度神經網路究竟是什麼呢？它是一個能迭代更新自己的特徵提取演算法。現在這個演算法可是像全自動高級工廠，數據往裡一丟，不得了！整個工廠裡面所有機器都動了起來。沒見過的小夥伴當場就被嚇呆瓜了，用流行的話說叫懵住。幾千隻機械手把數據搬來搬去，拿出魔方一樣的盒子裝來裝去又倒出來。整個場面就叫一個震撼。演算法運行規模也更大了。

D. 神經元的連接方式

（1）突觸包括軸突-樹突和軸突-胞體兩種常見類型．
（2）興奮在突觸上的傳導只能由突觸前膜傳導到突觸後膜．在A處給予一個適宜的刺激，若N的指針不能偏轉，只能說明突觸前膜釋放的是抑制性遞質，因此此時①的膜外電位為正電位．
（3）分析圖解可知，圖中①②或①②③都收尾相接，即產生的興奮可以循環傳導．若圖中的神經元在興奮時均釋放興奮性神經遞質．在B處給予一個適宜的刺激，N的指針將偏轉多次．
（4）利用圖中標注的A、B、C三個位點，設計實驗證明某葯物只能阻斷興奮在神經元之間的傳遞，而不能阻斷興奮在神經纖維上的傳遞．可以把某葯物分別放在B、C兩處，在A處給予一個適宜的刺激，觀測電流計N的指針能否偏轉．
預期實驗現象：把葯物放在C處，N的指針不偏轉；把葯物放在B處，N的指針偏轉．
故答案為：
（1）軸突-胞體
（2）正電位
（3）多次
設計簡要思路：把某葯物分別放在B、C兩處，在A處給予一個適宜的刺激，觀測電流計N的指針能否偏轉．
預期實驗現象：把葯物放在C處，N的指針不偏轉；把葯物放在B處，N的指針偏轉．

E. 神經網路連接方式分為哪幾類每一類有哪些特點

神經網路模型的分類
人工神經網路的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網路連接的拓樸結構分類和按照網路內部的信息流向分類。
1 按照網路拓樸結構分類
網路的拓樸結構，即神經元之間的連接方式。按此劃分，可將神經網路結構分為兩大類：層次型結構和互聯型結構。
層次型結構的神經網路將神經元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經元負責接收來自外界的輸入信息，並傳給中間各隱層神經元；隱層是神經網路的內部信息處理層，負責信息變換。根據需要可設計為一層或多層；最後一個隱層將信息傳遞給輸出層神經元經進一步處理後向外界輸出信息處理結果。

而互連型網路結構中，任意兩個節點之間都可能存在連接路徑，因此可以根據網路中節點的連接程度將互連型網路細分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網路信息流向分類
從神經網路內部信息傳遞方向來看，可以分為兩種類型：前饋型網路和反饋型網路。
單純前饋網路的結構與分層網路結構相同，前饋是因網路信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網路中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環路。因此這類網路很容易串聯起來建立多層前饋網路。
反饋型網路的結構與單層全互連結構網路相同。在反饋型網路中的所有節點都具有信息處理功能，而且每個節點既可以從外界接受輸入，同時又可以向外界輸出。

F. 什麼是BP神經網路

BP演算法的基本思想是：學習過程由信號正向傳播與誤差的反向回傳兩個部分組成；正向傳播時，輸入樣本從輸入層傳入，經各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調整信號逐層反向回傳，對神經元之間的連接權矩陣做出處理，使誤差減小。經反復學習，最終使誤差減小到可接受的范圍。具體步驟如下：
1、從訓練集中取出某一樣本，把信息輸入網路中。
2、通過各節點間的連接情況正向逐層處理後，得到神經網路的實際輸出。
3、計算網路實際輸出與期望輸出的誤差。
4、將誤差逐層反向回傳至之前各層，並按一定原則將誤差信號載入到連接權值上，使整個神經網路的連接權值向誤差減小的方向轉化。
5、対訓練集中每一個輸入—輸出樣本對重復以上步驟，直到整個訓練樣本集的誤差減小到符合要求為止。

G. 人工神經網路的定義，詳細說明

人工神經網路（Artificial Neural Networks, ANN），一種模範動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。人工神經網路具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入－輸出數據，分析掌握兩者之間潛在的規律，最終根據這些規律，用新的輸入數據來推算輸出結果，這種學習分析的過程被稱為「訓練」。（引自《環球科學》2007年第一期《神經語言：老鼠胡須下的秘密》）

概念

由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網路處理、記憶信息的方式進行信息處理。
人工神經網路具有四個基本特徵：

（1）非線性 非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網路具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性 一個神經網路通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決於單個神經元的特徵，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。

（3）非常定性 人工神經網路具有自適應、自組織、自學習能力。神經網路不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統本身也在不斷變化。經常採用迭代過程描寫動力系統的演化過程。

（4）非凸性 一個系統的演化方向，在一定條件下將取決於某個特定的狀態函數。例如能量函數，它的極值相應於系統比較穩定的狀態。非凸性是指這種函數有多個極值，故系統具有多個較穩定的平衡態，這將導致系統演化的多樣性。

人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。它是涉及神經科學、思維科學、人工智慧、計算機科學等多個領域的交叉學科。
人工神經網路是並行分布式系統，採用了與傳統人工智慧和信息處理技術完全不同的機理，克服了傳統的基於邏輯符號的人工智慧在處理直覺、非結構化信息方面的缺陷，具有自適應、自組織和實時學習的特點。

歷史沿革

1943年，心理學家W.S.McCulloch和數理邏輯學家W.Pitts建立了神經網路和數學模型，稱為MP模型。他們通過MP模型提出了神經元的形式化數學描述和網路結構方法，證明了單個神經元能執行邏輯功能，從而開創了人工神經網路研究的時代。1949年，心理學家提出了突觸聯系強度可變的設想。60年代，人工神經網路的到了進一步發展，更完善的神經網路模型被提出，其中包括感知器和自適應線性元件等。M.Minsky等仔細分析了以感知器為代表的神經網路系統的功能及局限後，於1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經網路的研究，加之當時串列計算機和人工智慧所取得的成就，掩蓋了發展新型計算機和人工智慧新途徑的必要性和迫切性，使人工神經網路的研究處於低潮。在此期間，一些人工神經網路的研究者仍然致力於這一研究，提出了適應諧振理論（ART網）、自組織映射、認知機網路，同時進行了神經網路數學理論的研究。以上研究為神經網路的研究和發展奠定了基礎。1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經網格模型，引入了「計算能量」概念，給出了網路穩定性判斷。 1984年，他又提出了連續時間Hopfield神經網路模型，為神經計算機的研究做了開拓性的工作，開創了神經網路用於聯想記憶和優化計算的新途徑，有力地推動了神經網路的研究，1985年，又有學者提出了波耳茲曼模型，在學習中採用統計熱力學模擬退火技術，保證整個系統趨於全局穩定點。1986年進行認知微觀結構地研究，提出了並行分布處理的理論。人工神經網路的研究受到了各個發達國家的重視，美國國會通過決議將1990年1月5日開始的十年定為「腦的十年」，國際研究組織號召它的成員國將「腦的十年」變為全球行為。在日本的「真實世界計算（RWC）」項目中，人工智慧的研究成了一個重要的組成部分。

基本內容

人工神經網路模型主要考慮網路連接的拓撲結構、神經元的特徵、學習規則等。目前，已有近40種神經網路模型，其中有反傳網路、感知器、自組織映射、Hopfield網路、波耳茲曼機、適應諧振理論等。根據連接的拓撲結構，神經網路模型可以分為：

（1）前向網路 網路中各個神經元接受前一級的輸入，並輸出到下一級，網路中沒有反饋，可以用一個有向無環路圖表示。這種網路實現信號從輸入空間到輸出空間的變換，它的信息處理能力來自於簡單非線性函數的多次復合。網路結構簡單，易於實現。反傳網路是一種典型的前向網路。

（2）反饋網路 網路內神經元間有反饋，可以用一個無向的完備圖表示。這種神經網路的信息處理是狀態的變換，可以用動力學系統理論處理。系統的穩定性與聯想記憶功能有密切關系。Hopfield網路、波耳茲曼機均屬於這種類型。

學習是神經網路研究的一個重要內容，它的適應性是通過學習實現的。根據環境的變化，對權值進行調整，改善系統的行為。由Hebb提出的Hebb學習規則為神經網路的學習演算法奠定了基礎。Hebb規則認為學習過程最終發生在神經元之間的突觸部位，突觸的聯系強度隨著突觸前後神經元的活動而變化。在此基礎上，人們提出了各種學習規則和演算法，以適應不同網路模型的需要。有效的學習演算法，使得神經網路能夠通過連接權值的調整，構造客觀世界的內在表示，形成具有特色的信息處理方法，信息存儲和處理體現在網路的連接中。
根據學習環境不同，神經網路的學習方式可分為監督學習和非監督學習。在監督學習中，將訓練樣本的數據加到網路輸入端，同時將相應的期望輸出與網路輸出相比較，得到誤差信號，以此控制權值連接強度的調整，經多次訓練後收斂到一個確定的權值。當樣本情況發生變化時，經學習可以修改權值以適應新的環境。使用監督學習的神經網路模型有反傳網路、感知器等。非監督學習時，事先不給定標准樣本，直接將網路置於環境之中，學習階段與工作階段成為一體。此時，學習規律的變化服從連接權值的演變方程。非監督學習最簡單的例子是Hebb學習規則。競爭學習規則是一個更復雜的非監督學習的例子，它是根據已建立的聚類進行權值調整。自組織映射、適應諧振理論網路等都是與競爭學習有關的典型模型。
研究神經網路的非線性動力學性質，主要採用動力學系統理論、非線性規劃理論和統計理論，來分析神經網路的演化過程和吸引子的性質，探索神經網路的協同行為和集體計算功能，了解神經信息處理機制。為了探討神經網路在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會發揮作用。混沌是一個相當難以精確定義的數學概念。一般而言，「混沌」是指由確定性方程描述的動力學系統中表現出的非確定性行為，或稱之為確定的隨機性。「確定性」是因為它由內在的原因而不是外來的雜訊或干擾所產生，而「隨機性」是指其不規則的、不能預測的行為，只可能用統計的方法描述。混沌動力學系統的主要特徵是其狀態對初始條件的靈敏依賴性，混沌反映其內在的隨機性。混沌理論是指描述具有混沌行為的非線性動力學系統的基本理論、概念、方法，它把動力學系統的復雜行為理解為其自身與其在同外界進行物質、能量和信息交換過程中內在的有結構的行為，而不是外來的和偶然的行為，混沌狀態是一種定態。混沌動力學系統的定態包括：靜止、平穩量、周期性、准同期性和混沌解。混沌軌線是整體上穩定與局部不穩定相結合的結果，稱之為奇異吸引子。一個奇異吸引子有如下一些特徵：（1）奇異吸引子是一個吸引子，但它既不是不動點，也不是周期解；（2）奇異吸引子是不可分割的，即不能分為兩個以及兩個以上的吸引子；（3）它對初始值十分敏感，不同的初始值會導致極不相同的行為。

發展趨勢

人工神經網路特有的非線性適應性信息處理能力，克服了傳統人工智慧方法對於直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經專家系統、模式識別、智能控制、組合優化、預測等領域得到成功應用。人工神經網路與其它傳統方法相結合，將推動人工智慧和信息處理技術不斷發展。近年來，人工神經網路正向模擬人類認知的道路上更加深入發展，與模糊系統、遺傳演算法、進化機制等結合，形成計算智能，成為人工智慧的一個重要方向，將在實際應用中得到發展。將信息幾何應用於人工神經網路的研究，為人工神經網路的理論研究開辟了新的途徑。神經計算機的研究發展很快，已有產品進入市場。光電結合的神經計算機為人工神經網路的發展提供了良好條件。

H. 神經網路具體是什麼

神經網路由大量的神經元相互連接而成。每個神經元接受線性組合的輸入後，最開始只是簡單的線性加權，後來給每個神經元加上了非線性的激活函數，從而進行非線性變換後輸出。每兩個神經元之間的連接代表加權值，稱之為權重（weight）。不同的權重和激活函數，則會導致神經網路不同的輸出。 舉個手寫識別的例子，給定一個未知數字，讓神經網路識別是什麼數字。此時的神經網路的輸入由一組被輸入圖像的像素所激活的輸入神經元所定義。在通過非線性激活函數進行非線性變換後，神經元被激活然後被傳遞到其他神經元。重復這一過程，直到最後一個輸出神經元被激活。從而識別當前數字是什麼字。 神經網路的每個神經元如下

基本wx + b的形式，其中 x1、x2表示輸入向量 w1、w2為權重，幾個輸入則意味著有幾個權重，即每個輸入都被賦予一個權重 b為偏置bias g(z) 為激活函數 a 為輸出 如果只是上面這樣一說，估計以前沒接觸過的十有八九又必定迷糊了。事實上，上述簡單模型可以追溯到20世紀50/60年代的感知器，可以把感知器理解為一個根據不同因素、以及各個因素的重要性程度而做決策的模型。 舉個例子，這周末北京有一草莓音樂節，那去不去呢？決定你是否去有二個因素，這二個因素可以對應二個輸入，分別用x1、x2表示。此外，這二個因素對做決策的影響程度不一樣，各自的影響程度用權重w1、w2表示。一般來說，音樂節的演唱嘉賓會非常影響你去不去，唱得好的前提下 即便沒人陪同都可忍受，但如果唱得不好還不如你上台唱呢。所以，我們可以如下表示： x1：是否有喜歡的演唱嘉賓。x1 = 1 你喜歡這些嘉賓，x1 = 0 你不喜歡這些嘉賓。嘉賓因素的權重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 沒人陪你同去。是否有人陪同的權重w2 = 3。 這樣，咱們的決策模型便建立起來了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函數，這里的b可以理解成 為更好達到目標而做調整的偏置項。 一開始為了簡單，人們把激活函數定義成一個線性函數，即對於結果做一個線性變化，比如一個簡單的線性激活函數是g(z) = z，輸出都是輸入的線性變換。後來實際應用中發現，線性激活函數太過局限，於是引入了非線性激活函數。

I. BP神經網路原理

人工神經網路有很多模型，但是日前應用最廣、基本思想最直觀、最容易被理解的是多層前饋神經網路及誤差逆傳播學習演算法（Error Back-Prooaeation），簡稱為BP網路。

在1986年以Rumelhart和McCelland為首的科學家出版的《Parallel Distributed Processing》一書中，完整地提出了誤差逆傳播學習演算法，並被廣泛接受。多層感知網路是一種具有三層或三層以上的階層型神經網路。典型的多層感知網路是三層、前饋的階層網路（圖4.1），即：輸入層、隱含層（也稱中間層）、輸出層，具體如下：

圖4.1 三層BP網路結構

（1）輸入層

輸入層是網路與外部交互的介面。一般輸入層只是輸入矢量的存儲層，它並不對輸入矢量作任何加工和處理。輸入層的神經元數目可以根據需要求解的問題和數據表示的方式來確定。一般而言，如果輸入矢量為圖像，則輸入層的神經元數目可以為圖像的像素數，也可以是經過處理後的圖像特徵數。

（2）隱含層

1989年，Robert Hecht Nielsno證明了對於任何在閉區間內的一個連續函數都可以用一個隱層的BP網路來逼近，因而一個三層的BP網路可以完成任意的n維到m維的映射。增加隱含層數雖然可以更進一步的降低誤差、提高精度，但是也使網路復雜化，從而增加了網路權值的訓練時間。誤差精度的提高也可以通過增加隱含層中的神經元數目來實現，其訓練效果也比增加隱含層數更容易觀察和調整，所以一般情況應優先考慮增加隱含層的神經元個數，再根據具體情況選擇合適的隱含層數。

（3）輸出層

輸出層輸出網路訓練的結果矢量，輸出矢量的維數應根據具體的應用要求來設計，在設計時，應盡可能減少系統的規模，使系統的復雜性減少。如果網路用作識別器，則識別的類別神經元接近1，而其它神經元輸出接近0。

以上三層網路的相鄰層之間的各神經元實現全連接，即下一層的每一個神經元與上一層的每個神經元都實現全連接，而且每層各神經元之間無連接，連接強度構成網路的權值矩陣W。

BP網路是以一種有教師示教的方式進行學習的。首先由教師對每一種輸入模式設定一個期望輸出值。然後對網路輸入實際的學習記憶模式，並由輸入層經中間層向輸出層傳播（稱為「模式順傳播」）。實際輸出與期望輸出的差即是誤差。按照誤差平方最小這一規則，由輸出層往中間層逐層修正連接權值，此過程稱為「誤差逆傳播」（陳正昌，2005）。所以誤差逆傳播神經網路也簡稱BP（Back Propagation）網。隨著「模式順傳播」和「誤差逆傳播」過程的交替反復進行。網路的實際輸出逐漸向各自所對應的期望輸出逼近，網路對輸入模式的響應的正確率也不斷上升。通過此學習過程，確定下各層間的連接權值後。典型三層BP神經網路學習及程序運行過程如下（標志淵，2006）：

（1）首先，對各符號的形式及意義進行說明：

網路輸入向量P_k=（a₁，a₂，...，a_n）；

網路目標向量T_k=（y₁，y₂，...，y_n）；

中間層單元輸入向量S_k=（s₁，s₂，...，s_p），輸出向量B_k=（b₁，b₂，...，b_p）；

輸出層單元輸入向量L_k=（l₁，l₂，...，l_q），輸出向量C_k=（c₁，c₂，...，c_q）；

輸入層至中間層的連接權w_ij，i=1，2，...，n，j=1，2，...p；

中間層至輸出層的連接權v_jt，j=1，2，...，p，t=1，2，...，p；

中間層各單元的輸出閾值θ_j，j=1，2，...，p；

輸出層各單元的輸出閾值γ_j，j=1，2，...，p；

參數k=1，2，...，m。

（2）初始化。給每個連接權值w_ij、v_jt、閾值θ_j與γ_j賦予區間（-1，1）內的隨機值。

（3）隨機選取一組輸入和目標樣本

提供給網路。

（4）用輸入樣本

、連接權w_ij和閾值θ_j計算中間層各單元的輸入s_j，然後用s_j通過傳遞函數計算中間層各單元的輸出b_j。

基坑降水工程的環境效應與評價方法

b_j=f（s_j） j=1，2，...，p （4.5）

（5）利用中間層的輸出b_j、連接權v_jt和閾值γ_t計算輸出層各單元的輸出L_t，然後通過傳遞函數計算輸出層各單元的響應C_t。

基坑降水工程的環境效應與評價方法

C_t=f（L_t） t=1，2，...，q （4.7）

（6）利用網路目標向量

，網路的實際輸出C_t，計算輸出層的各單元一般化誤差

。

基坑降水工程的環境效應與評價方法

（7）利用連接權v_jt、輸出層的一般化誤差d_t和中間層的輸出b_j計算中間層各單元的一般化誤差

。

基坑降水工程的環境效應與評價方法

（8）利用輸出層各單元的一般化誤差

與中間層各單元的輸出b_j來修正連接權v_jt和閾值γ_t。

基坑降水工程的環境效應與評價方法

（9）利用中間層各單元的一般化誤差

，輸入層各單元的輸入P_k=（a₁，a₂，...，a_n）來修正連接權w_ij和閾值θ_j。

基坑降水工程的環境效應與評價方法

（10）隨機選取下一個學習樣本向量提供給網路，返回到步驟（3），直到m個訓練樣本訓練完畢。

（11）重新從m個學習樣本中隨機選取一組輸入和目標樣本，返回步驟（3），直到網路全局誤差E小於預先設定的一個極小值，即網路收斂。如果學習次數大於預先設定的值，網路就無法收斂。

（12）學習結束。

可以看出，在以上學習步驟中，（8）、（9）步為網路誤差的「逆傳播過程」，（10）、（11）步則用於完成訓練和收斂過程。

通常，經過訓練的網路還應該進行性能測試。測試的方法就是選擇測試樣本向量，將其提供給網路，檢驗網路對其分類的正確性。測試樣本向量中應該包含今後網路應用過程中可能遇到的主要典型模式（宋大奇，2006）。這些樣本可以直接測取得到，也可以通過模擬得到，在樣本數據較少或者較難得到時，也可以通過對學習樣本加上適當的雜訊或按照一定規則插值得到。為了更好地驗證網路的泛化能力，一個良好的測試樣本集中不應該包含和學習樣本完全相同的模式（董軍，2007）。

J. 神經網路原理及應用

神經網路原理及應用
1. 什麼是神經網路？
神經網路是一種模擬動物神經網路行為特徵，進行分布式並行信息處理的演算法。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
人類的神經網路

2. 神經網路基礎知識
構成：大量簡單的基礎元件——神經元相互連接
工作原理：模擬生物的神經處理信息的方式
功能：進行信息的並行處理和非線性轉化
特點：比較輕松地實現非線性映射過程，具有大規模的計算能力
神經網路的本質：

神經網路的本質就是利用計算機語言模擬人類大腦做決定的過程。
3. 生物神經元結構

4. 神經元結構模型

xj為輸入信號，θi為閾值，wij表示與神經元連接的權值，yi表示輸出值
判斷xjwij是否大於閾值θi
5. 什麼是閾值？
臨界值。
神經網路是模仿大腦的神經元，當外界刺激達到一定的閾值時，神經元才會受刺激，影響下一個神經元。

6. 幾種代表性的網路模型
單層前向神經網路——線性網路
階躍網路
多層前向神經網路（反推學習規則即BP神經網路）
Elman網路、Hopfield網路、雙向聯想記憶網路、自組織競爭網路等等
7. 神經網路能幹什麼？
運用這些網路模型可實現函數逼近、數據聚類、模式分類、優化計算等功能。因此，神經網路廣泛應用於人工智慧、自動控制、機器人、統計學等領域的信息處理中。雖然神經網路的應用很廣，但是在具體的使用過程中到底應當選擇哪種網路結構比較合適是值得考慮的。這就需要我們對各種神經網路結構有一個較全面的認識。
8. 神經網路應用