全連接神經網路實現矩陣分解

⑴ 神經網路演算法的三大類分別是

神經網路演算法的三大類分別是：

1、前饋神經網路：

這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。

2、循環網路：

循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。

循環網路的目的是用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。

循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

3、對稱連接網路：

對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。

這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。

(1)全連接神經網路實現矩陣分解擴展閱讀：

應用及發展：

心理學家和認知科學家研究神經網路的目的在於探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。

生物學、醫學、腦科學專家試圖通過神經網路的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望於臨床醫學的新突破；信息處理和計算機科學家研究這一問題的目的在於尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。

⑵ 如何在tensorflow的卷積神經網路中使用自定義的矩陣運算

你這個問題好深奧的樣子

⑶ 神經網路 訓練出的模型是什麼 矩陣

lim n→∞(1/n^2+2/n^2+……n/n^2)
=lim n→∞([(1+n)*n/2 ]/n^2)
=lim n→∞((1+n)/(2n))
=lim n→∞((1/n +1)/2)
=1/2

⑷ 神經網路Hopfield模型

一、Hopfield模型概述

1982年，美國加州工學院J.Hopfield發表一篇對人工神經網路研究頗有影響的論文。他提出了一種具有相互連接的反饋型人工神經網路模型——Hopfield人工神經網路。

Hopfield人工神經網路是一種反饋網路(Recurrent Network)，又稱自聯想記憶網路。其目的是為了設計一個網路，存儲一組平衡點，使得當給網路一組初始值時，網路通過自行運行而最終收斂到所存儲的某個平衡點上。

Hopfield網路是單層對稱全反饋網路，根據其激活函數的選取不同，可分為離散型Hopfield網路(Discrete Hopfield Neural Network，簡稱 DHNN)和連續型 Hopfield 網路(Continue Hopfield Neural Network，簡稱CHNN)。離散型Hopfield網路的激活函數為二值型階躍函數，主要用於聯想記憶、模式分類、模式識別。這個軟體為離散型Hopfield網路的設計、應用。

二、Hopfield模型原理

離散型Hopfield網路的設計目的是使任意輸入矢量經過網路循環最終收斂到網路所記憶的某個樣本上。

正交化的權值設計

這一方法的基本思想和出發點是為了滿足下面4個要求：

1)保證系統在非同步工作時的穩定性，即它的權值是對稱的，滿足

w_ij=w_ji，i，j=1，2…，N；

2)保證所有要求記憶的穩定平衡點都能收斂到自己；

3)使偽穩定點的數目盡可能地少；

4)使穩定點的吸引力盡可能地大。

正交化權值的計算公式推導如下：

1)已知有P個需要存儲的穩定平衡點x₁，x₂…，x_P-1，x_P，x_p∈R^N，計算N×(P-1)階矩陣A∈R^N×(P-1)：

A=(x₁-x_Px₂-x_P…x_P-1-x_P)^T。

2)對A做奇異值分解

A=USV^T，

U=(u₁u₂…u_N)，

V=(υ₁υ₂…υ_P-1)，

中國礦產資源評價新技術與評價新模型

Σ=diαg(λ₁，λ₂，…，λ_K)，O為零矩陣。

K維空間為N維空間的子空間，它由K個獨立的基組成：

K=rαnk(A)，

設{u₁u₂…u_K}為A的正交基，而{u_K+1u_K+2…u_N}為N維空間的補充正交基。下面利用U矩陣來設計權值。

3)構造

中國礦產資源評價新技術與評價新模型

總的連接權矩陣為：

W_t=W_p-T·W_m，

其中，T為大於-1的參數，預設值為10。

W_p和W_m均滿足對稱條件，即

(w_p)_ij=(w_p)_ji，

(w_m)_ij=(w_m)_ji，

因而W_t中分量也滿足對稱條件。這就保證了系統在非同步時能夠收斂並且不會出現極限環。

4)網路的偏差構造為

b_t=x_P-W_t·x_P。

下面推導記憶樣本能夠收斂到自己的有效性。

(1)對於輸入樣本中的任意目標矢量x_p，p=1，2，…，P，因為(x_p-x_P)是A中的一個矢量，它屬於A的秩所定義的K個基空間的矢量，所以必存在系數α₁，α₂，…，α_K，使

x_p-x_P=α₁u₁+α₂u₂+…+α_Ku_K，

即

x_p=α₁u₁+α₂u₂+…+α_Ku_K+x_P，

對於U中任意一個u_i，有

中國礦產資源評價新技術與評價新模型

由正交性質可知，上式中

當i=j，

；

當i≠j，

；

對於輸入模式x_i，其網路輸出為

y_i=sgn(W_tx_i+b_t)

=sgn(W_px_i-T·W_mx_i+x_P-W_px_P+T·W_mx_P)

=sgn[W_p(x_i-x_P)-T·W_m(x_i-x_P)+x_P]

=sgn[(W_p-T·W_m)(x_i-x_P)+x_P]

=sgn[W_t(x_i-x_P)+x_P]

=sgn[(x_i-x_P)+x_P]

=x_i。

(2)對於輸入模式x_P，其網路輸出為

y_P=sgn(W_tx_P+b_t)

=sgn(W_tx_P+x_P-W_tx_P)

=sgn(x_P)

=x_P。

(3)如果輸入一個不是記憶樣本的x，網路輸出為

y=sgn(W_tx+b_t)

=sgn[(W_p-T·W_m)(x-x_P)+x_P]

=sgn[W_t(x-x_P)+x_P]。

因為x不是已學習過的記憶樣本，x-x_P不是A中的矢量，則必然有

W_t(x_-x_P)≠x-x_P，

並且再設計過程中可以通過調節W_t=W_p-T·W_m中的參數T的大小來控制(x-x_P)與x_P的符號，以保證輸入矢量x與記憶樣本之間存在足夠的大小余額，從而使sgn(W_tx+b_t)≠x，使x不能收斂到自身。

用輸入模式給出一組目標平衡點，函數HopfieldDesign( )可以設計出 Hopfield 網路的權值和偏差，保證網路對給定的目標矢量能收斂到穩定的平衡點。

設計好網路後，可以應用函數HopfieldSimu( )，對輸入矢量進行分類，這些輸入矢量將趨近目標平衡點，最終找到他們的目標矢量，作為對輸入矢量進行分類。

三、總體演算法

1.Hopfield網路權值W[N][N]、偏差b[N]設計總體演算法

應用正交化權值設計方法，設計Hopfield網路；

根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]；

使Hopfield網路的穩定輸出矢量與給定的目標矢量一致。

1)輸入P個輸入模式X=(x[1]，x[2]，…，x[P-1]，x[P])

輸入參數，包括T、h；

2)由X[N][P]構造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；

3)對A[N][P-1]作奇異值分解A=USV^T；

4)求A[N][P-1]的秩rank；

5)由U=(u[1]，u[2]，…，u[K])構造W_p[N][N]；

6)由U=(u[K+1]，…，u[N])構造W_m[N][N]；

7)構造W_t[N][N]=W_p[N][N]-T*W_m[N][N]；

8)構造b_t[N]=X[N][P]-W_t[N][N]*X[N][P]；

9)構造W[N][N](9～13)，

構造W1[N][N]=h*W_t[N][N]；

10)求W1[N][N]的特徵值矩陣Val[N][N](對角線元素為特徵值，其餘為0)，特徵向量矩陣Vec[N][N]；

11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；

12)求Vec[N][N]的逆Invec[N][N]；

13)構造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；

14)構造b[N]，(14～15)，

C1=exp(h)-1，

C2=-(exp(-T*h)-1)/T；

15)構造

中國礦產資源評價新技術與評價新模型

Uˊ——U的轉置；

16)輸出W[N][N]，b[N]；

17)結束。

2.Hopfield網路預測應用總體演算法

Hopfield網路由一層N個斜坡函數神經元組成。

應用正交化權值設計方法，設計Hopfield網路。

根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]。

初始輸出為X[N][P]，

計算X[N][P]=f(W[N][N]*X[N][P]+b[N])，

進行T次迭代，

返回最終輸出X[N][P]，可以看作初始輸出的分類。

3.斜坡函數

中國礦產資源評價新技術與評價新模型

輸出范圍[-1，1]。

四、數據流圖

Hopfield網數據流圖見附圖3。

五、調用函數說明

1.一般實矩陣奇異值分解

(1)功能

用豪斯荷爾德(Householder)變換及變形QR演算法對一般實矩陣進行奇異值分解。

(2)方法說明

設A為m×n的實矩陣，則存在一個m×m的列正交矩陣U和n×n的列正交矩陣V，使

中國礦產資源評價新技術與評價新模型

成立。其中

Σ=diag(σ₀，σ₁，…σ_p)p⩽min(m，n)-1，

且σ₀≥σ₁≥…≥σ_p＞0，

上式稱為實矩陣A的奇異值分解式，σ_i(i=0，1，…，p)稱為A的奇異值。

奇異值分解分兩大步：

第一步：用豪斯荷爾德變換將A約化為雙對角線矩陣。即

中國礦產資源評價新技術與評價新模型

其中

中國礦產資源評價新技術與評價新模型

中的每一個變換U_j(j=0，1，…，k-1)將A中的第j列主對角線以下的元素變為0，而

中的每一個變換V_j(j=0，1，…，l-1)將A中的第j行主對角線緊鄰的右次對角線元素右邊的元素變為0。]]

j具有如下形式：

中國礦產資源評價新技術與評價新模型

其中ρ為一個比例因子，以避免計算過程中的溢出現象與誤差的累積，V_j是一個列向量。即

V_j=(υ₀，υ₁，…，υ_n-1)，

則

中國礦產資源評價新技術與評價新模型

其中

中國礦產資源評價新技術與評價新模型

第二步：用變形的QR演算法進行迭代，計算所有的奇異值。即：用一系列的平面旋轉變換對雙對角線矩陣B逐步變換成對角矩陣。

在每一次的迭代中，用變換

中國礦產資源評價新技術與評價新模型

其中變換

將B中第j列主對角線下的一個非0元素變為0，同時在第j行的次對角線元素的右邊出現一個非0元素；而變換V_j，j+1將第j-1行的次對角線元素右邊的一個0元素變為0，同時在第j列的主對角線元素的下方出現一個非0元素。由此可知，經過一次迭代(j=0，1，…，p-1)後，B′仍為雙對角線矩陣。但隨著迭代的進行。最後收斂為對角矩陣，其對角線上的元素為奇異值。

在每次迭代時，經過初始化變換V₀₁後，將在第0列的主對角線下方出現一個非0元素。在變換V₀₁中，選擇位移植u的計算公式如下：

中國礦產資源評價新技術與評價新模型

最後還需要對奇異值按非遞增次序進行排列。

在上述變換過程中，若對於某個次對角線元素e_j滿足

｜e_j｜⩽ε(｜s_j+1｜+｜s_j｜)

則可以認為e_j為0。

若對角線元素s_j滿足

｜s_j｜⩽ε(｜e_j-1｜+｜e_j｜)

則可以認為s_j為0(即為0奇異值)。其中ε為給定的精度要求。

(3)調用說明

int bmuav(double^*a，int m，int n，double^*u，double^*v，double eps，int ka)，

本函數返回一個整型標志值，若返回的標志值小於0，則表示出現了迭代60次還未求得某個奇異值的情況。此時，矩陣的分解式為UAV^T；若返回的標志值大於0，則表示正常返回。

形參說明：

a——指向雙精度實型數組的指針，體積為m×n。存放m×n的實矩陣A；返回時，其對角線給出奇異值(以非遞增次序排列)，其餘元素為0；

m——整型變數，實矩陣A的行數；

n——整型變數，實矩陣A的列數；

u——指向雙精度實型數組的指針，體積為m×m。返回時存放左奇異向量U；

υ——指向雙精度實型數組的指針，體積為n×n。返回時存放右奇異向量V^T；

esp——雙精度實型變數，給定的精度要求；

ka——整型變數，其值為max(m，n)+1。

2.求實對稱矩陣特徵值和特徵向量的雅可比過關法

(1)功能

用雅可比(Jacobi)方法求實對稱矩陣的全部特徵值與相應的特徵向量。

(2)方法說明

雅可比方法的基本思想如下。

設n階矩陣A為對稱矩陣。在n階對稱矩陣A的非對角線元素中選取一個絕對值最大的元素，設為a_pq。利用平面旋轉變換矩陣R₀(p，q，θ)對A進行正交相似變換：

A₁=R₀(p，q，θ)^TA，

其中R₀(p，q，θ)的元素為

r_pp=cosθ，r_qq=cosθ，r_pq=sinθ，

r_qp=sinθ，r_ij=0，i，j≠p，q。

如果按下式確定角度θ，

中國礦產資源評價新技術與評價新模型

則對稱矩陣A經上述變換後，其非對角線元素的平方和將減少

，對角線元素的平方和增加

，而矩陣中所有元素的平方和保持不變。由此可知，對稱矩陣A每次經過一次變換，其非對角線元素的平方和「向零接近一步」。因此，只要反復進行上述變換，就可以逐步將矩陣A變為對角矩陣。對角矩陣中對角線上的元素λ₀，λ₁，…，λ_n-1即為特徵值，而每一步中的平面旋轉矩陣的乘積的第i列(i=0，1，…，n-1)即為與λ_i相應的特徵向量。

綜上所述，用雅可比方法求n階對稱矩陣A的特徵值及相應特徵向量的步驟如下：

1)令S=I_n(I_n為單位矩陣)；

2)在A中選取非對角線元素中絕對值最大者，設為a_pq；

3)若｜a_pq｜＜ε，則迭代過程結束。此時對角線元素a_ii(i=0，1，…，n-1)即為特徵值λ_i，矩陣S的第i列為與λ_i相應的特徵向量。否則，繼續下一步；

4)計算平面旋轉矩陣的元素及其變換後的矩陣A₁的元素。其計算公式如下

中國礦產資源評價新技術與評價新模型

5)S=S·R(p，q，θ)，轉(2)。

在選取非對角線上的絕對值最大的元素時用如下方法：

首先計算實對稱矩陣A的非對角線元素的平方和的平方根

中國礦產資源評價新技術與評價新模型

然後設置關口υ₁=υ₀/n，在非對角線元素中按行掃描選取第一個絕對值大於或等於υ₁的元素α_pq進行平面旋轉變換，直到所有非對角線元素的絕對值均小於υ₁為止。再設關口υ₂=υ₁/n，重復這個過程。以此類推，這個過程一直作用到對於某個υ_k＜ε為止。

(3)調用說明

void cjcbj(double^*a，int n，double^*v，double eps)。

形參說明：

a——指向雙精度實型數組的指針，體積為n×n，存放n階實對稱矩陣A；返回時，其對角線存放n個特徵值；

n——整型變數，實矩陣A的階數；

υ——指向雙精度實型數組的指針，體積為n×n，返回特徵向量，其中第i列為與λ_i(即返回的α_ii，i=0，1，……，n-1)對應的特徵向量；

esp——雙精度實型變數。給定的精度要求。

3.矩陣求逆

(1)功能

用全選主元高斯-約當(Gauss-Jordan)消去法求n階實矩陣A的逆矩陣。

(2)方法說明

高斯-約當法(全選主元)求逆的步驟如下：

首先，對於k從0到n-1做如下幾步：

1)從第k行、第k列開始的右下角子陣中選取絕對值最大的元素，並記住此元素所在的行號和列號，再通過行交換和列交換將它交換到主元素位置上，這一步稱為全選主元；

2)

；

3)

，i，j=0，1，…，n-1(i，j≠k)；

4)α_ij-

，i，j=0，1，…，n-1(i，j≠k)；

5)-

，i，j=0，1，…，n-1(i≠k)；

最後，根據在全選主元過程中所記錄的行、列交換的信息進行恢復，恢復原則如下：在全選主元過程中，先交換的行、列後進行恢復；原來的行(列)交換用列(行)交換來恢復。

圖8-4 東昆侖—柴北緣地區基於HOPFIELD模型的銅礦分類結果圖

(3)調用說明

int brinv(double^*a，int n)。

本函數返回一個整型標志位。若返回的標志位為0，則表示矩陣A奇異，還輸出信息「err^**not inv」；若返回的標志位不為0，則表示正常返回。

形參說明：

a——指向雙精度實型數組的指針，體積為n×n。存放原矩陣A；返回時，存放其逆矩陣A^-1；

n——整型變數，矩陣的階數。

六、實例

實例：柴北緣—東昆侖地區銅礦分類預測。

選取8種因素，分別是重砂異常存在標志、水化異常存在標志、化探異常峰值、地質圖熵值、Ms存在標志、Gs存在標志、Shdadlie到區的距離、構造線線密度。

構置原始變數，並根據原始數據構造預測模型。

HOPFIELD模型參數設置：訓練模式維數8，預測樣本個數774，參數個數8，迭代次數330。

結果分44類(圖8-4，表8-5)。

表8-5 原始數據表及分類結果（部分）

續表

⑸ Hopfield神經網路用python實現講解

神經網路結構具有以下三個特點：

神經元之間全連接，並且為單層神經網路。

每個神經元既是輸入又是輸出，導致得到的權重矩陣相對稱，故可節約計算量。

在輸入的激勵下，其輸出會產生不斷的狀態變化，這個反饋過程會一直反復進行。假如Hopfield神經網路是一個收斂的穩定網路，則這個反饋與迭代的計算過程所產生的變化越來越小，一旦達到了穩定的平衡狀態，Hopfield網路就會輸出一個穩定的恆值。

Hopfield網路可以儲存一組平衡點，使得當給定網路一組初始狀態時，網路通過自行運行而最終收斂於這個設計的平衡點上。當然，根據熱力學上，平衡狀態分為stable state和metastable state, 這兩種狀態在網路的收斂過程中都是非常可能的。

為遞歸型網路，t時刻的狀態與t-1時刻的輸出狀態有關。之後的神經元更新過程也採用的是非同步更新法(Asynchronous)。

Hopfield神經網路用python實現

⑹ 神經網路的工作原理

「人腦是如何工作的？」
「人類能否製作模擬人腦的人工神經元？」
多少年以來，人們從醫學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協同學等各個角度企圖認識並解答上述問題。在尋找上述問題答案的研究過程中，逐漸形成了一個新興的多學科交叉技術領域，稱之為「神經網路」。神經網路的研究涉及眾多學科領域，這些領域互相結合、相互滲透並相互推動。不同領域的科學家又從各自學科的興趣與特色出發，提出不同的問題，從不同的角度進行研究。
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對於寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。
普通計算機的功能取決於程序中給出的知識和能力。顯然，對於智能活動要通過總結編製程序將十分困難。
人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境 （即輸入信號情況）而異，系統可以自動發現環境特徵和規律性，具有更近似人腦的功能。
神經網路就像是一個愛學習的孩子，您教她的知識她是不會忘記而且會學以致用的。我們把學習集（Learning Set）中的每個輸入加到神經網路中，並告訴神經網路輸出應該是什麼分類。在全部學習集都運行完成之後，神經網路就根據這些例子總結出她自己的想法，到底她是怎麼歸納的就是一個黑盒了。之後我們就可以把測試集（Testing Set）中的測試例子用神經網路來分別作測試，如果測試通過（比如80%或90%的正確率），那麼神經網路就構建成功了。我們之後就可以用這個神經網路來判斷事務的分類了。
神經網路是通過對人腦的基本單元——神經元的建模和聯接，探索模擬人腦神經系統功能的模型，並研製一種具有學習、聯想、記憶和模式識別等智能信息處理功能的人工系統。神經網路的一個重要特性是它能夠從環境中學習，並把學習的結果分布存儲於網路的突觸連接中。神經網路的學習是一個過程，在其所處環境的激勵下，相繼給網路輸入一些樣本模式，並按照一定的規則（學習演算法）調整網路各層的權值矩陣，待網路各層權值都收斂到一定值，學習過程結束。然後我們就可以用生成的神經網路來對真實數據做分類。
人工神經網路早期的研究工作應追溯至20世紀40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹

⑺ 什麼是全連接神經網路怎麼理解「全連接」

1、全連接神經網路解析：對n-1層和n層而言，n-1層的任意一個節點，都和第n層所有節點有連接。即第n層的每個節點在進行計算的時候，激活函數的輸入是n-1層所有節點的加權。

2、全連接的神經網路示意圖：

3、「全連接」是一種不錯的模式，但是網路很大的時候，訓練速度回很慢。部分連接就是認為的切斷某兩個節點直接的連接，這樣訓練時計算量大大減小。

⑻ 為什麼全連接神經網路在圖像識別中不如卷積神經網路

輸入數據是n*n的像素矩陣，再使用全連接神經網路，那麼參數的個數會是指數級的增長，需要訓練的數據太多。
而CNN的話，可以通過共享同一個參數，來提取特定方向上的特徵，所以訓練量將比全連接神經網路小了很多。

⑼ 我已經得到了特徵矩陣怎麼用神經網路分類

建神經網路要確定好神經網路的輸入的個數，輸出個數，然後根據想要實現的功能選擇神經網路。 如果你這個神經網路只是做一個簡單的分類， p是輸入，2x15,那麼神經網路的輸入個數為2，而樣本數為15. goal是目標輸出，一般情況下不會是這么隨便的，