神經網路自反饋連接

① 神經網路Hopfield模型

一、Hopfield模型概述

1982年，美國加州工學院J.Hopfield發表一篇對人工神經網路研究頗有影響的論文。他提出了一種具有相互連接的反饋型人工神經網路模型——Hopfield人工神經網路。

Hopfield人工神經網路是一種反饋網路(Recurrent Network)，又稱自聯想記憶網路。其目的是為了設計一個網路，存儲一組平衡點，使得當給網路一組初始值時，網路通過自行運行而最終收斂到所存儲的某個平衡點上。

Hopfield網路是單層對稱全反饋網路，根據其激活函數的選取不同，可分為離散型Hopfield網路(Discrete Hopfield Neural Network，簡稱 DHNN)和連續型 Hopfield 網路(Continue Hopfield Neural Network，簡稱CHNN)。離散型Hopfield網路的激活函數為二值型階躍函數，主要用於聯想記憶、模式分類、模式識別。這個軟體為離散型Hopfield網路的設計、應用。

二、Hopfield模型原理

離散型Hopfield網路的設計目的是使任意輸入矢量經過網路循環最終收斂到網路所記憶的某個樣本上。

正交化的權值設計

這一方法的基本思想和出發點是為了滿足下面4個要求：

1)保證系統在非同步工作時的穩定性，即它的權值是對稱的，滿足

w_ij=w_ji，i，j=1，2…，N；

2)保證所有要求記憶的穩定平衡點都能收斂到自己；

3)使偽穩定點的數目盡可能地少；

4)使穩定點的吸引力盡可能地大。

正交化權值的計算公式推導如下：

1)已知有P個需要存儲的穩定平衡點x₁，x₂…，x_P-1，x_P，x_p∈R^N，計算N×(P-1)階矩陣A∈R^N×(P-1)：

A=(x₁-x_Px₂-x_P…x_P-1-x_P)^T。

2)對A做奇異值分解

A=USV^T，

U=(u₁u₂…u_N)，

V=(υ₁υ₂…υ_P-1)，

中國礦產資源評價新技術與評價新模型

Σ=diαg(λ₁，λ₂，…，λ_K)，O為零矩陣。

K維空間為N維空間的子空間，它由K個獨立的基組成：

K=rαnk(A)，

設{u₁u₂…u_K}為A的正交基，而{u_K+1u_K+2…u_N}為N維空間的補充正交基。下面利用U矩陣來設計權值。

3)構造

中國礦產資源評價新技術與評價新模型

總的連接權矩陣為：

W_t=W_p-T·W_m，

其中，T為大於-1的參數，預設值為10。

W_p和W_m均滿足對稱條件，即

(w_p)_ij=(w_p)_ji，

(w_m)_ij=(w_m)_ji，

因而W_t中分量也滿足對稱條件。這就保證了系統在非同步時能夠收斂並且不會出現極限環。

4)網路的偏差構造為

b_t=x_P-W_t·x_P。

下面推導記憶樣本能夠收斂到自己的有效性。

(1)對於輸入樣本中的任意目標矢量x_p，p=1，2，…，P，因為(x_p-x_P)是A中的一個矢量，它屬於A的秩所定義的K個基空間的矢量，所以必存在系數α₁，α₂，…，α_K，使

x_p-x_P=α₁u₁+α₂u₂+…+α_Ku_K，

即

x_p=α₁u₁+α₂u₂+…+α_Ku_K+x_P，

對於U中任意一個u_i，有

中國礦產資源評價新技術與評價新模型

由正交性質可知，上式中

當i=j，

；

當i≠j，

；

對於輸入模式x_i，其網路輸出為

y_i=sgn(W_tx_i+b_t)

=sgn(W_px_i-T·W_mx_i+x_P-W_px_P+T·W_mx_P)

=sgn[W_p(x_i-x_P)-T·W_m(x_i-x_P)+x_P]

=sgn[(W_p-T·W_m)(x_i-x_P)+x_P]

=sgn[W_t(x_i-x_P)+x_P]

=sgn[(x_i-x_P)+x_P]

=x_i。

(2)對於輸入模式x_P，其網路輸出為

y_P=sgn(W_tx_P+b_t)

=sgn(W_tx_P+x_P-W_tx_P)

=sgn(x_P)

=x_P。

(3)如果輸入一個不是記憶樣本的x，網路輸出為

y=sgn(W_tx+b_t)

=sgn[(W_p-T·W_m)(x-x_P)+x_P]

=sgn[W_t(x-x_P)+x_P]。

因為x不是已學習過的記憶樣本，x-x_P不是A中的矢量，則必然有

W_t(x_-x_P)≠x-x_P，

並且再設計過程中可以通過調節W_t=W_p-T·W_m中的參數T的大小來控制(x-x_P)與x_P的符號，以保證輸入矢量x與記憶樣本之間存在足夠的大小余額，從而使sgn(W_tx+b_t)≠x，使x不能收斂到自身。

用輸入模式給出一組目標平衡點，函數HopfieldDesign( )可以設計出 Hopfield 網路的權值和偏差，保證網路對給定的目標矢量能收斂到穩定的平衡點。

設計好網路後，可以應用函數HopfieldSimu( )，對輸入矢量進行分類，這些輸入矢量將趨近目標平衡點，最終找到他們的目標矢量，作為對輸入矢量進行分類。

三、總體演算法

1.Hopfield網路權值W[N][N]、偏差b[N]設計總體演算法

應用正交化權值設計方法，設計Hopfield網路；

根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]；

使Hopfield網路的穩定輸出矢量與給定的目標矢量一致。

1)輸入P個輸入模式X=(x[1]，x[2]，…，x[P-1]，x[P])

輸入參數，包括T、h；

2)由X[N][P]構造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；

3)對A[N][P-1]作奇異值分解A=USV^T；

4)求A[N][P-1]的秩rank；

5)由U=(u[1]，u[2]，…，u[K])構造W_p[N][N]；

6)由U=(u[K+1]，…，u[N])構造W_m[N][N]；

7)構造W_t[N][N]=W_p[N][N]-T*W_m[N][N]；

8)構造b_t[N]=X[N][P]-W_t[N][N]*X[N][P]；

9)構造W[N][N](9～13)，

構造W1[N][N]=h*W_t[N][N]；

10)求W1[N][N]的特徵值矩陣Val[N][N](對角線元素為特徵值，其餘為0)，特徵向量矩陣Vec[N][N]；

11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；

12)求Vec[N][N]的逆Invec[N][N]；

13)構造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；

14)構造b[N]，(14～15)，

C1=exp(h)-1，

C2=-(exp(-T*h)-1)/T；

15)構造

中國礦產資源評價新技術與評價新模型

Uˊ——U的轉置；

16)輸出W[N][N]，b[N]；

17)結束。

2.Hopfield網路預測應用總體演算法

Hopfield網路由一層N個斜坡函數神經元組成。

應用正交化權值設計方法，設計Hopfield網路。

根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]。

初始輸出為X[N][P]，

計算X[N][P]=f(W[N][N]*X[N][P]+b[N])，

進行T次迭代，

返回最終輸出X[N][P]，可以看作初始輸出的分類。

3.斜坡函數

中國礦產資源評價新技術與評價新模型

輸出范圍[-1，1]。

四、數據流圖

Hopfield網數據流圖見附圖3。

五、調用函數說明

1.一般實矩陣奇異值分解

(1)功能

用豪斯荷爾德(Householder)變換及變形QR演算法對一般實矩陣進行奇異值分解。

(2)方法說明

設A為m×n的實矩陣，則存在一個m×m的列正交矩陣U和n×n的列正交矩陣V，使

中國礦產資源評價新技術與評價新模型

成立。其中

Σ=diag(σ₀，σ₁，…σ_p)p⩽min(m，n)-1，

且σ₀≥σ₁≥…≥σ_p＞0，

上式稱為實矩陣A的奇異值分解式，σ_i(i=0，1，…，p)稱為A的奇異值。

奇異值分解分兩大步：

第一步：用豪斯荷爾德變換將A約化為雙對角線矩陣。即

中國礦產資源評價新技術與評價新模型

其中

中國礦產資源評價新技術與評價新模型

中的每一個變換U_j(j=0，1，…，k-1)將A中的第j列主對角線以下的元素變為0，而

中的每一個變換V_j(j=0，1，…，l-1)將A中的第j行主對角線緊鄰的右次對角線元素右邊的元素變為0。]]

j具有如下形式：

中國礦產資源評價新技術與評價新模型

其中ρ為一個比例因子，以避免計算過程中的溢出現象與誤差的累積，V_j是一個列向量。即

V_j=(υ₀，υ₁，…，υ_n-1)，

則

中國礦產資源評價新技術與評價新模型

其中

中國礦產資源評價新技術與評價新模型

第二步：用變形的QR演算法進行迭代，計算所有的奇異值。即：用一系列的平面旋轉變換對雙對角線矩陣B逐步變換成對角矩陣。

在每一次的迭代中，用變換

中國礦產資源評價新技術與評價新模型

其中變換

將B中第j列主對角線下的一個非0元素變為0，同時在第j行的次對角線元素的右邊出現一個非0元素；而變換V_j，j+1將第j-1行的次對角線元素右邊的一個0元素變為0，同時在第j列的主對角線元素的下方出現一個非0元素。由此可知，經過一次迭代(j=0，1，…，p-1)後，B′仍為雙對角線矩陣。但隨著迭代的進行。最後收斂為對角矩陣，其對角線上的元素為奇異值。

在每次迭代時，經過初始化變換V₀₁後，將在第0列的主對角線下方出現一個非0元素。在變換V₀₁中，選擇位移植u的計算公式如下：

中國礦產資源評價新技術與評價新模型

最後還需要對奇異值按非遞增次序進行排列。

在上述變換過程中，若對於某個次對角線元素e_j滿足

｜e_j｜⩽ε(｜s_j+1｜+｜s_j｜)

則可以認為e_j為0。

若對角線元素s_j滿足

｜s_j｜⩽ε(｜e_j-1｜+｜e_j｜)

則可以認為s_j為0(即為0奇異值)。其中ε為給定的精度要求。

(3)調用說明

int bmuav(double^*a，int m，int n，double^*u，double^*v，double eps，int ka)，

本函數返回一個整型標志值，若返回的標志值小於0，則表示出現了迭代60次還未求得某個奇異值的情況。此時，矩陣的分解式為UAV^T；若返回的標志值大於0，則表示正常返回。

形參說明：

a——指向雙精度實型數組的指針，體積為m×n。存放m×n的實矩陣A；返回時，其對角線給出奇異值(以非遞增次序排列)，其餘元素為0；

m——整型變數，實矩陣A的行數；

n——整型變數，實矩陣A的列數；

u——指向雙精度實型數組的指針，體積為m×m。返回時存放左奇異向量U；

υ——指向雙精度實型數組的指針，體積為n×n。返回時存放右奇異向量V^T；

esp——雙精度實型變數，給定的精度要求；

ka——整型變數，其值為max(m，n)+1。

2.求實對稱矩陣特徵值和特徵向量的雅可比過關法

(1)功能

用雅可比(Jacobi)方法求實對稱矩陣的全部特徵值與相應的特徵向量。

(2)方法說明

雅可比方法的基本思想如下。

設n階矩陣A為對稱矩陣。在n階對稱矩陣A的非對角線元素中選取一個絕對值最大的元素，設為a_pq。利用平面旋轉變換矩陣R₀(p，q，θ)對A進行正交相似變換：

A₁=R₀(p，q，θ)^TA，

其中R₀(p，q，θ)的元素為

r_pp=cosθ，r_qq=cosθ，r_pq=sinθ，

r_qp=sinθ，r_ij=0，i，j≠p，q。

如果按下式確定角度θ，

中國礦產資源評價新技術與評價新模型

則對稱矩陣A經上述變換後，其非對角線元素的平方和將減少

，對角線元素的平方和增加

，而矩陣中所有元素的平方和保持不變。由此可知，對稱矩陣A每次經過一次變換，其非對角線元素的平方和「向零接近一步」。因此，只要反復進行上述變換，就可以逐步將矩陣A變為對角矩陣。對角矩陣中對角線上的元素λ₀，λ₁，…，λ_n-1即為特徵值，而每一步中的平面旋轉矩陣的乘積的第i列(i=0，1，…，n-1)即為與λ_i相應的特徵向量。

綜上所述，用雅可比方法求n階對稱矩陣A的特徵值及相應特徵向量的步驟如下：

1)令S=I_n(I_n為單位矩陣)；

2)在A中選取非對角線元素中絕對值最大者，設為a_pq；

3)若｜a_pq｜＜ε，則迭代過程結束。此時對角線元素a_ii(i=0，1，…，n-1)即為特徵值λ_i，矩陣S的第i列為與λ_i相應的特徵向量。否則，繼續下一步；

4)計算平面旋轉矩陣的元素及其變換後的矩陣A₁的元素。其計算公式如下

中國礦產資源評價新技術與評價新模型

5)S=S·R(p，q，θ)，轉(2)。

在選取非對角線上的絕對值最大的元素時用如下方法：

首先計算實對稱矩陣A的非對角線元素的平方和的平方根

中國礦產資源評價新技術與評價新模型

然後設置關口υ₁=υ₀/n，在非對角線元素中按行掃描選取第一個絕對值大於或等於υ₁的元素α_pq進行平面旋轉變換，直到所有非對角線元素的絕對值均小於υ₁為止。再設關口υ₂=υ₁/n，重復這個過程。以此類推，這個過程一直作用到對於某個υ_k＜ε為止。

(3)調用說明

void cjcbj(double^*a，int n，double^*v，double eps)。

形參說明：

a——指向雙精度實型數組的指針，體積為n×n，存放n階實對稱矩陣A；返回時，其對角線存放n個特徵值；

n——整型變數，實矩陣A的階數；

υ——指向雙精度實型數組的指針，體積為n×n，返回特徵向量，其中第i列為與λ_i(即返回的α_ii，i=0，1，……，n-1)對應的特徵向量；

esp——雙精度實型變數。給定的精度要求。

3.矩陣求逆

(1)功能

用全選主元高斯-約當(Gauss-Jordan)消去法求n階實矩陣A的逆矩陣。

(2)方法說明

高斯-約當法(全選主元)求逆的步驟如下：

首先，對於k從0到n-1做如下幾步：

1)從第k行、第k列開始的右下角子陣中選取絕對值最大的元素，並記住此元素所在的行號和列號，再通過行交換和列交換將它交換到主元素位置上，這一步稱為全選主元；

2)

；

3)

，i，j=0，1，…，n-1(i，j≠k)；

4)α_ij-

，i，j=0，1，…，n-1(i，j≠k)；

5)-

，i，j=0，1，…，n-1(i≠k)；

最後，根據在全選主元過程中所記錄的行、列交換的信息進行恢復，恢復原則如下：在全選主元過程中，先交換的行、列後進行恢復；原來的行(列)交換用列(行)交換來恢復。

圖8-4 東昆侖—柴北緣地區基於HOPFIELD模型的銅礦分類結果圖

(3)調用說明

int brinv(double^*a，int n)。

本函數返回一個整型標志位。若返回的標志位為0，則表示矩陣A奇異，還輸出信息「err^**not inv」；若返回的標志位不為0，則表示正常返回。

形參說明：

a——指向雙精度實型數組的指針，體積為n×n。存放原矩陣A；返回時，存放其逆矩陣A^-1；

n——整型變數，矩陣的階數。

六、實例

實例：柴北緣—東昆侖地區銅礦分類預測。

選取8種因素，分別是重砂異常存在標志、水化異常存在標志、化探異常峰值、地質圖熵值、Ms存在標志、Gs存在標志、Shdadlie到區的距離、構造線線密度。

構置原始變數，並根據原始數據構造預測模型。

HOPFIELD模型參數設置：訓練模式維數8，預測樣本個數774，參數個數8，迭代次數330。

結果分44類(圖8-4，表8-5)。

表8-5 原始數據表及分類結果（部分）

續表

② 某Hopfield網路有九個神經元,每個神經元都不存在自反饋,試計算網路連接權的個數

根據拓撲結構不同，也就是神經元連接方式的不同，神經網路分為層次型結構和互連型結構。它們下面，又可繼續分類，如：層次型可分為單純型、輸入輸出有連接層次型；互連型分為全互連、局部互連、稀疏連接等。這個問題你只要仔細看書，應該不難找到答案。

③ 神經網路 的四個基本屬性是什麼

神經網路 的四個基本屬性：

（1）非線性：非線性是自然界的普遍特徵。腦智能是一種非線性現象。人工神經元處於兩種不同的激活或抑制狀態，它們在數學上是非線性的。由閾值神經元組成的網路具有更好的性能，可以提高網路的容錯性和存儲容量。

（2）無限制性：神經網路通常由多個連接廣泛的神經元組成。一個系統的整體行為不僅取決於單個神經元的特性，而且還取決於單元之間的相互作用和互連。通過單元之間的大量連接來模擬大腦的非限制性。聯想記憶是一個典型的無限制的例子。

（3）非常定性：人工神經網路具有自適應、自組織和自學習的能力。神經網路處理的信息不僅會發生變化，而且非線性動態系統本身也在發生變化。迭代過程通常用來描述動態系統的演化。

（4）非凸性：在一定條件下，系統的演化方向取決於特定的狀態函數。例如，能量函數的極值對應於系統的相對穩定狀態。非凸性是指函數具有多個極值，系統具有多個穩定平衡態，從而導致系統演化的多樣性。

(3)神經網路自反饋連接擴展閱讀：

神經網路的特點優點：

人工神經網路的特點和優越性，主要表現在三個方面：

第一，具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、市場預測、效益預測，其應用前途是很遠大的。

第二，具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

第三，具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

④ 反饋神經網路的介紹

反饋神經網路是一種將輸出經過一步時移再接入到輸入層的神經網路系統。

⑤ 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系

一、計算方法不同

1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。

2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。

3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。

二、用途不同

1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。

2、BP神經網路：

（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；

（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；

（3）分類：把輸入向量所定義的合適方式進行分類；

（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。

3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。

聯系：

BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。

三、作用不同

1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。

2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。

3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。

(5)神經網路自反饋連接擴展閱讀：

1、BP神經網路優劣勢

BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。

①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。

②容易陷入局部極小值。

③網路層數、神經元個數的選擇沒有相應的理論指導。

④網路推廣能力有限。

2、人工神經網路的特點和優越性，主要表現在以下三個方面

①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。

②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

⑥ 神經網路演算法原理

一共有四種演算法及原理，如下所示：

1、自適應諧振理論（ART）網路

自適應諧振理論（ART）網路具有不同的方案。一個ART-1網路含有兩層一個輸入層和一個輸出層。這兩層完全互連，該連接沿著正向（自底向上）和反饋（自頂向下）兩個方向進行。

2、學習矢量量化（LVQ）網路

學習矢量量化（LVQ）網路，它由三層神經元組成，即輸入轉換層、隱含層和輸出層。該網路在輸入層與隱含層之間為完全連接，而在隱含層與輸出層之間為部分連接，每個輸出神經元與隱含神經元的不同組相連接。

3、Kohonen網路

Kohonen網路或自組織特徵映射網路含有兩層，一個輸入緩沖層用於接收輸入模式，另一個為輸出層，輸出層的神經元一般按正則二維陣列排列，每個輸出神經元連接至所有輸入神經元。連接權值形成與已知輸出神經元相連的參考矢量的分量。

4、Hopfield網路

Hopfield網路是一種典型的遞歸網路，這種網路通常只接受二進制輸入（0或1）以及雙極輸入（+1或-1）。它含有一個單層神經元，每個神經元與所有其他神經元連接，形成遞歸結構。

(6)神經網路自反饋連接擴展閱讀：

人工神經網路演算法的歷史背景：

該演算法系統是 20 世紀 40 年代後出現的。它是由眾多的神經元可調的連接權值連接而成，具有大規模並行處理、分布式信息存儲、良好的自組織自學習能力等特點。

BP演算法又稱為誤差反向傳播演算法，是人工神經網路中的一種監督式的學習演算法。BP 神經網路演算法在理論上可以逼近任意函數，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。

而且網路的中間層數、各層的處理單元數及網路的學習系數等參數可根據具體情況設定，靈活性很大，在優化、信號處理與模式識別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。

⑦ 什麼是BP神經網路

BP演算法的基本思想是：學習過程由信號正向傳播與誤差的反向回傳兩個部分組成；正向傳播時，輸入樣本從輸入層傳入，經各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調整信號逐層反向回傳，對神經元之間的連接權矩陣做出處理，使誤差減小。經反復學習，最終使誤差減小到可接受的范圍。具體步驟如下：
1、從訓練集中取出某一樣本，把信息輸入網路中。
2、通過各節點間的連接情況正向逐層處理後，得到神經網路的實際輸出。
3、計算網路實際輸出與期望輸出的誤差。
4、將誤差逐層反向回傳至之前各層，並按一定原則將誤差信號載入到連接權值上，使整個神經網路的連接權值向誤差減小的方向轉化。
5、対訓練集中每一個輸入—輸出樣本對重復以上步驟，直到整個訓練樣本集的誤差減小到符合要求為止。

⑧ 神經網路連接方式分為哪幾類每一類有哪些特點

神經網路模型的分類
人工神經網路的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網路連接的拓樸結構分類和按照網路內部的信息流向分類。
1 按照網路拓樸結構分類
網路的拓樸結構，即神經元之間的連接方式。按此劃分，可將神經網路結構分為兩大類：層次型結構和互聯型結構。
層次型結構的神經網路將神經元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經元負責接收來自外界的輸入信息，並傳給中間各隱層神經元；隱層是神經網路的內部信息處理層，負責信息變換。根據需要可設計為一層或多層；最後一個隱層將信息傳遞給輸出層神經元經進一步處理後向外界輸出信息處理結果。

而互連型網路結構中，任意兩個節點之間都可能存在連接路徑，因此可以根據網路中節點的連接程度將互連型網路細分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網路信息流向分類
從神經網路內部信息傳遞方向來看，可以分為兩種類型：前饋型網路和反饋型網路。
單純前饋網路的結構與分層網路結構相同，前饋是因網路信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網路中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環路。因此這類網路很容易串聯起來建立多層前饋網路。
反饋型網路的結構與單層全互連結構網路相同。在反饋型網路中的所有節點都具有信息處理功能，而且每個節點既可以從外界接受輸入，同時又可以向外界輸出。

⑨ 什麼是多層後向反饋神經網路

反饋網路的特點是處理單元之間除前饋連接外還有反饋連接的情況。同時延網路相比，反饋網路只需要增加和隱含層單元個數相同的聯系單元，這無疑使得網路結構有了較大地減少，特別是當輸入單元較多時。另外，網路的動態特性僅有內部的連接提供，因此無須直接使用狀態作為輸入或訓練信號，這也是反饋網路相對於靜態網路的優越之處。根據網路結構的特點，將它們分為兩類：全反饋網路結構和部分反饋網路結構。

全反饋神經網路結構復雜，在實際應用時往往需要簡化，為了保留網路的動態特性，往往採用部分反饋的形式。反饋連接有一組所謂聯系單元構成，它記憶網路過去的狀態，並在下一時刻連同網路輸入一起作為隱含層的輸入，這種網路的反饋連接規定了網路的內部狀態和記憶形式，使其輸出不僅依賴於當前的輸入，也與過去的輸出有關。這一性質使部分反饋網路具有動態記憶的能力。

Hopfield和Elman神經網路應該就屬於這種類型，一個是全反饋，一個是部分反饋。

⑩ 人工神經網路的知識表示形式和推理機制

神經網路有多種分類方式，例如，按網路性能可分為連續型與離散型網路，確定型與隨機型網路:按網路拓撲結構可分為前向神經網路與反饋神經網路。本章土要簡介前向神經網路、反饋神經網路和自組織特徵映射神經網路。

前向神經網路是數據挖掘中廣為應用的一種網路，其原理或演算法也是很多神經網路模型的基礎。徑向基函數神經網路就是一種前向型神經網路。Hopfield神經網路是反饋網路的代表。Hvpfi}ld網路的原型是一個非線性動力學系統，目前，已經在聯想記憶和優化計算中得到成功應用。

基本特徵

非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網路具有更好的性能，可以提高容錯性和存儲容量。

一個神經網路通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決於單個神經元的特徵，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。

以上內容參考：網路-人工神經網路