神經網路如何導出模型

『壹』 BP神經網路

神經網路能很好地解決不同的機器學習問題。神經網路模型是許多邏輯單元按照不同層級組織起來的網路，每一層的輸出變數都是下一層的輸入變數。

上圖顯示了人工神經網路是一個分層模型，邏輯上可以分為三層：

輸入層 ：輸入層接收特徵向量 x

輸出層 ：輸出層產出最終的預測 h

隱含層 ：隱含層介於輸入層與輸出層之間，之所以稱之為隱含層，是因為當中產生的值並不像輸入層使用的樣本矩陣 X或者輸出層用到的標簽矩陣 y 那樣直接可見。

下面引入一些標記法來幫助描述模型：

!$ a^{(j)}_{i} $ 代表第j層的第i個激活單元。 !$ heta^{(j)} $ 代表從第 j 層映射到第 j+1 層時的權重的矩陣，例如 !$ heta^{(1)} $ 代表從第一層映射到第二層的權重的矩陣。其尺寸為：以第 j+1層的激活單元數量為行數，以第 j 層的激活單元數加一為列數的矩陣。例如：上圖所示的神經網路中 !$ heta^{(1)} $ 的尺寸為 3*4。

對於上圖所示的模型，激活單元和輸出分別表達為：

!$ a^{(2)}_{1} = g( heta^{(1)}_{10}x_0 + heta^{(1)}_{11}x_1 + heta^{(1)}_{12}x_2 + heta^{(1)}_{13}x_3 ) $

!$a^{(2)}_{2} = g( heta^{(1)}_{20}x_0 + heta^{(1)}_{21}x_1 + heta^{(1)}_{22}x_2 + heta^{(1)}_{23}x_3 ) $

!$a^{(2)}_{3} = g( heta^{(1)}_{30}x_0 + heta^{(1)}_{31}x_1 + heta^{(1)}_{32}x_2 + heta^{(1)}_{33}x_3 ) $

!$h_{ heta}{(x)} = g( heta^{(2)}_{10}a^{2}_{0} + heta^{(2)}_{11}a^{2}_{1} + heta^{(2)}_{12}a^{2}_{2} + heta^{(2)}_{13}a^{2}_{3} ) $

下面用向量化的方法以上面的神經網路為例，試著計算第二層的值：

對於多類分類問題來說:

我們可將神經網路的分類定義為兩種情況:二類分類和多類分類。

二類分類： !$ S_{L} = 0,y = 0,y = 1$

多類分類： !$ S_{L} = k, y_{i} = 1表示分到第i類；(k>2)$

在神經網路中，我們可以有很多輸出變數，我們的 !$h_{ heta}{(x)} $ 是一個維度為K的向量，並且我們訓練集中的因變數也是同樣維度的一個向量，因此我們的代價函數會比邏輯回歸更加復雜一些，為： !$ h_{ heta}{(x)} in R^{K}(h_{ heta}{(x)})_{i} = i^{th} output$

我們希望通過代價函數來觀察演算法預測的結果與真實情況的誤差有多大，唯一不同的是，對於每一行特徵，我們都會給出K個預測，基本上我們可以利用循環，對每一行特徵都預測K個不同結果，然後在利用循環在K個預測中選擇可能性最高的一個，將其與y中的實際數據進行比較。

正則化的那一項只是排除了每一層 !$ heta_0$ 後，每一層的 矩陣的和。最里層的循環j循環所有的行（由 +1 層的激活單元數決定），循環i則循環所有的列，由該層（ !$ s_l$ 層）的激活單元數所決定。即： !$h_{ heta}{(x)}$ 與真實值之間的距離為每個樣本-每個類輸出的加和，對參數進行 regularization 的 bias 項處理所有參數的平方和。

由於神經網路允許多個隱含層，即各層的神經元都會產出預測，因此，就不能直接利用傳統回歸問題的梯度下降法來最小化 !$J( heta)$ ，而需要逐層考慮預測誤差，並且逐層優化。為此，在多層神經網路中，使用反向傳播演算法（Backpropagation Algorithm）來優化預測，首先定義各層的預測誤差為向量 !$ δ^{(l)} $

訓練過程：

當我們對一個較為復雜的模型（例如神經網路）使用梯度下降演算法時，可能會存在一些不容易察覺的錯誤，意味著，雖然代價看上去在不斷減小，但最終的結果可能並不是最優解。

為了避免這樣的問題，我們採取一種叫做梯度的數值檢驗（ Numerical Gradient Checking ）方法。這種方法的思想是通過估計梯度值來檢驗我們計算的導數值是否真的是我們要求的。

對梯度的估計採用的方法是在代價函數上沿著切線的方向選擇離兩個非常近的點然後計算兩個點的平均值用以估計梯度。即對於某個特定的 ，我們計算出在 !$ heta - epsilon$ 處和 !$ heta + epsilon$ 的代價值（是一個非常小的值，通常選取 0.001），然後求兩個代價的平均，用以估計在 !$ heta$ 處的代價值。

當 !$ heta$ 是一個向量時，我們則需要對偏導數進行檢驗。因為代價函數的偏導數檢驗只針對一個參數的改變進行檢驗，下面是一個只針對 !$ heta_1$ 進行檢驗的示例：

如果上式成立，則證明網路中BP演算法有效，此時關閉梯度校驗演算法（因為梯度的近似計算效率很慢），繼續網路的訓練過程。

『貳』 神經網路（Neural Network）

（1）結構：許多樹突（dendrite）用於輸入，一個軸突 （axon）用於輸出。

（2）特性：興奮性和傳導性。興奮性是指當信號量超過某個閾值時，細胞體就會被激活，產生電脈沖。傳導性是指電脈沖沿著軸突並通過突觸傳遞到其它神經元。

（3）有兩種狀態的機器：激活時為「是」，不激活時為「否」。神經細胞的狀態取決於從其他神經細胞接收到的信號量，以及突觸的性質（抑制或加強）。

（1）神經元——不重要

① 神經元是包含權重和偏置項的 函數 ：接收數據後，執行一些計算，然後使用激活函數將數據限制在一個范圍內（多數情況下）。

② 單個神經元：線性可分的情況下，本質是一條直線， ，這條直線將數據劃分為兩類。而線性分類器本身就是一個單層神經網路。

③ 神經網路：非線性可分的情況下，神經網路通過多個隱層的方法來實現非線性的函數。

（2）權重/參數/連接（Weight）——最重要

每一個連接上都有一個權重。一個神經網路的訓練演算法就是讓權重的值調整到最佳，以使得整個網路的預測效果最好。

（3）偏置項（Bias Units）——必須

① 如果沒有偏置項，所有的函數都會經過原點。

② 正則化偏置會導致欠擬合：若對偏置正則化，會導致激活變得更加簡單，偏差就會上升，學習的能力就會下降。

③ 偏置的大小度量了神經元產生激勵（激活）的難易程度。

（1）定義：也稱為轉換函數，是一種將輸入 (input) 轉成輸出 (output) 的函數。

（2）作用：一般直線擬合的精確度要比曲線差很多，引入激活函數能給神經網路 增加一些非線性 的特性。

（3）性質：

① 非線性：導數不是常數，否則就退化成直線。對於一些畫一條直線仍然無法分開的問題，非線性可以把直線變彎，就能包羅萬象；

② 可微性：當優化方法是基於梯度的時候，處處可導為後向傳播演算法提供了核心條件；

③ 輸出范圍：一般限定在[0,1]，使得神經元對一些比較大的輸入會比較穩定；

④ 非飽和性：飽和就是指，當輸入比較大的時候輸出幾乎沒變化，會導致梯度消失；

⑤ 單調性：導數符號不變，輸出不會上躥下跳，讓神經網路訓練容易收斂。

（1）線性函數 (linear function)—— purelin()

（2）符號函數 (sign function)—— hardlim() 

① 如果z值高於閾值，則激活設置為1或yes，神經元將被激活。

② 如果z值低於閾值，則激活設置為0或no，神經元不會被激活。

（3）對率函數 (sigmoid function)—— logsig()

① 優點：光滑S型曲線連續可導，函數閾值有上限。

② 缺點：❶ 函數飽和使梯度消失，兩端梯度幾乎為0，更新困難，做不深；

                ❷ 輸出不是0中心，將影響梯度下降的運作，收斂異常慢；

                ❸ 冪運算相對來講比較耗時

（4）雙曲正切函數(hyperbolic tangent function)—— tansig()

① 優點：取值范圍0中心化，防止了梯度偏差

② 缺點：梯度消失現象依然存在，但相對於sigmoid函數問題較輕

（5）整流線性單元 ReLU 函數(rectified linear unit)

① 優點：❶ 分段線性函數，它的非線性性很弱，因此網路做得很深；

                ❷ 由於它的線性、非飽和性， 對於隨機梯度下降的收斂有巨大的加速作用；

② 缺點：❶ 當x<0，梯度都變成0，參數無法更新，也導致了數據多樣化的丟失；

                ❷ 輸出不是0中心

（6）滲漏型整流線性單元激活函數 Leaky ReLU 函數

① 優點：❶ 是為解決「ReLU死亡」問題的嘗試，在計算導數時允許較小的梯度；

                ❷ 非飽和的公式，不包含指數運算，計算速度快。

② 缺點：❶ 無法避免梯度爆炸問題； （沒有體現優於ReLU）

                ❷ 神經網路不學習 α 值。

（7）指數線性單元 ELU (Exponential Linear Units)

① 優點：❶ 能避免「死亡 ReLU」 問題；

                ❷ 能得到負值輸出，這能幫助網路向正確的方向推動權重和偏置變化；

                ❸ 在計算梯度時能得到激活，而不是讓它們等於 0。

② 缺點：❶ 由於包含指數運算，所以計算時間更長；

                ❷ 無法避免梯度爆炸問題； （沒有體現優於ReLU）

                ❸ 神經網路不學習 α 值。

（8）Maxout（對 ReLU 和 Leaky ReLU的一般化歸納）

① 優點：❶ 擁有ReLU的所有優點（線性和不飽和）

                ❷ 沒有ReLU的缺點（死亡的ReLU單元）

                ❸ 可以擬合任意凸函數

② 缺點 ：參數數量增加了一倍。難訓練，容易過擬合

（9）Swish

① 優點：❶ 在負半軸也有一定的不飽和區，參數的利用率更大

                ❷ 無上界有下界、平滑、非單調

                ❸ 在深層模型上的效果優於 ReLU

每個層都包含一定數量的單元（units）。增加層可增加神經網路輸出的非線性。

（1）輸入層：就是接收原始數據，然後往隱層送

（2）輸出層：神經網路的決策輸出

（3）隱藏層：神經網路的關鍵。把前一層的向量變成新的向量，讓數據變得線性可分。

（1）結構：僅包含輸入層和輸出層，直接相連。

（2）作用：僅能表示 線性可分 函數或決策，且一定可以在有限的迭代次數中收斂。

（3）局限：可以建立與門、或門、非門等，但無法建立更為復雜的異或門（XOR），即兩個輸入相同時輸出1，否則輸出0。 （「AI winter」）

（1）目的：擬合某個函數      （兩層神經網路可以逼近任意連續函數）

（2）結構：包含輸入層、隱藏層和輸出層 ，由於從輸入到輸出的過程中不存在與模型自身的反饋連接，因此被稱為「前饋」。    （層與層之間全連接）

（3）作用： 非線性 分類、聚類、預測等，通過訓練，可以學習到數據中隱含的知識。

（4）局限：計算復雜、計算速度慢、容易陷入局部最優解，通常要將它們與其他網路結合形成新的網路。

（5）前向傳播演算法（Forward Propagation）

① 方法：從左至右逐級依賴的演算法模型，即網路如何根據輸入X得到輸出Y，最終的輸出值和樣本值作比較， 計算出誤差 。

② 目的：完成了一次正反向傳播，就完成了一次神經網路的訓練迭代。通過輸出層的誤差，快速求解對每個ω、b的偏導，利用梯度下降法，使Loss越來越小。

② 局限：為使最終的誤差達到最小，要不斷修改參數值，但神經網路的每條連接線上都有不同權重參數，修改這些參數變得棘手。

（6）誤差反向傳播（Back Propagation）

① 原理：梯度下降法求局部極值

② 方法：從後往前，從輸出層開始計算 L 對當前層的微分，獲得各層的誤差信號，此誤差信號即作為修正單元權值的依據。計算結束以後，所要的兩個參數矩陣的 梯度 就都有了。

③ 局限：如果激活函數是飽和的，帶來的缺陷就是系統迭代更新變慢，系統收斂就慢，當然這是可以有辦法彌補的，一種方法是使用 交叉熵函數 作為損失函數。

（1）原理：隨著網路的層數增加，每一層對於前一層次的抽象表示更深入。在神經網路中，每一層神經元學習到的是前一層神經元值的更抽象的表示。通過抽取更抽象的特徵來對事物進行區分，從而獲得更好的區分與分類能力。

（2）方法：ReLU函數在訓練多層神經網路時，更容易收斂，並且預測性能更好。

（3）優點：① 易於構建，表達能力強，基本單元便可擴展為復雜的非線性函數

                      ② 並行性號，有利於在分布是系統上應用

（4）局限：① 優化演算法只能獲得局部極值，性能與初始值相關

                      ② 調參理論性缺乏

                      ③ 不可解釋，與實際任務關聯性模糊

（1）原理：由手工設計卷積核變成自動學習卷積核

（2）卷積（Convolutional layer）： 輸入與卷積核相乘再累加 （內積、加權疊加）

① 公式：

② 目的：提取輸入的不同特徵，得到維度很大的 特徵圖（feature map）

③ 卷積核：需要訓練的參數。一般為奇數維，有中心像素點，便於定位卷積核

④ 特點：局部感知、參數變少、權重共享、分層提取

（3）池化（Pooling Layer）：用更高層的抽象表達來表示主要特徵，又稱「降采樣」

① 分類： 最大 （出現與否）、平均（保留整體）、隨機（避免過擬合）

② 目的：降維，不需要訓練參數，得到新的、維度較小的特徵

（4）步長（stride）：若假設輸入大小是n∗n，卷積核的大小是f∗f，步長是s，則最後的feature map的大小為o∗o，其中

（5）填充（zero-padding）

① Full模式：即從卷積核（fileter）和輸入剛相交開始做卷積，沒有元素的部分做補0操作。

② Valid模式：卷積核和輸入完全相交開始做卷積，這種模式不需要補0。

③ Same模式：當卷積核的中心C和輸入開始相交時做卷積。沒有元素的部分做補0操作。

（7）激活函數：加入非線性特徵

（8）全連接層（Fully-connected layer）

如果說卷積層、池化層和激活函數層等是將原始數據映射到隱層特徵空間（決定計算速度），全連接層則起到將學到的「分布式特徵表示」映射到樣本標記空間的作用（決定參數個數）。

參考：

[1]  神經網路（入門最詳細）_ruthy的博客-CSDN博客_神經網路演算法入門

[2]  神經網路（容易被忽視的基礎知識） - Evan的文章 - 知乎

[3]  人工神經網路——王的機器

[4]  如何簡單形象又有趣地講解神經網路是什麼？ - 舒小曼的回答 - 知乎

[5]  神經網路15分鍾入門！足夠通俗易懂了吧 - Mr.括弧的文章 - 知乎

[6]  神經網路——最易懂最清晰的一篇文章_illikang的博客-CSDN博客_神經網路

[7]  直覺化深度學習教程——什麼是前向傳播——CSDN

[8]  「反向傳播演算法」過程及公式推導（超直觀好懂的Backpropagation）_aift的專欄-CSDN

[9]  卷積、反卷積、池化、反池化——CSDN

[10]  浙大機器學習課程- bilibili.com

『叄』 急問求助。用spss我已經分析好了神經網路模型。如何調用它，輸如其他因變數，輸出自變數的值

1. 你說錯了吧？ 應該是輸入自變數，輸出因變數。

2. 如果你想在當前打開的文件中，再輸入數據，進行預測值的輸出，應該先輸入好自變數，保持因變數欄位空缺，再進行一次分析模型（參數不要做任何改變）。

3. 如果你是想在新的文件中進行預測，那就先把模型導出為xml文件。然後打開新數據，然後在『實用程序』下的菜單欄里點擊'評分向導'，把原先保存下來的xml文件導入進來，進行預測。--這個做法和其他模型的使用是一樣的。

『肆』 神經網路BP模型

一、BP模型概述

誤差逆傳播(Error Back-Propagation)神經網路模型簡稱為BP(Back-Propagation)網路模型。

Pall Werbas博士於1974年在他的博士論文中提出了誤差逆傳播學習演算法。完整提出並被廣泛接受誤差逆傳播學習演算法的是以Rumelhart和McCelland為首的科學家小組。他們在1986年出版「Parallel Distributed Processing，Explorations in the Microstructure of Cognition」(《並行分布信息處理》)一書中，對誤差逆傳播學習演算法進行了詳盡的分析與介紹，並對這一演算法的潛在能力進行了深入探討。

BP網路是一種具有3層或3層以上的階層型神經網路。上、下層之間各神經元實現全連接，即下層的每一個神經元與上層的每一個神經元都實現權連接，而每一層各神經元之間無連接。網路按有教師示教的方式進行學習，當一對學習模式提供給網路後，神經元的激活值從輸入層經各隱含層向輸出層傳播，在輸出層的各神經元獲得網路的輸入響應。在這之後，按減小期望輸出與實際輸出的誤差的方向，從輸入層經各隱含層逐層修正各連接權，最後回到輸入層，故得名「誤差逆傳播學習演算法」。隨著這種誤差逆傳播修正的不斷進行，網路對輸入模式響應的正確率也不斷提高。

BP網路主要應用於以下幾個方面：

1)函數逼近：用輸入模式與相應的期望輸出模式學習一個網路逼近一個函數；

2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯系起來；

3)分類：把輸入模式以所定義的合適方式進行分類；

4)數據壓縮：減少輸出矢量的維數以便於傳輸或存儲。

在人工神經網路的實際應用中，80%～90%的人工神經網路模型採用BP網路或它的變化形式，它也是前向網路的核心部分，體現了人工神經網路最精華的部分。

二、BP模型原理

下面以三層BP網路為例，說明學習和應用的原理。

1.數據定義

P對學習模式(x_p，d_p)，p=1，2，…，P；

輸入模式矩陣X[N][P]=(x₁，x₂，…，x_P)；

目標模式矩陣d[M][P]=(d₁，d₂，…，d_P)。

三層BP網路結構

輸入層神經元節點數S0=N，i=1，2，…，S0；

隱含層神經元節點數S1，j=1，2，…，S1；

神經元激活函數f1[S1]；

權值矩陣W1[S1][S0]；

偏差向量b1[S1]。

輸出層神經元節點數S2=M，k=1，2，…，S2；

神經元激活函數f2[S2]；

權值矩陣W2[S2][S1]；

偏差向量b2[S2]。

學習參數

目標誤差ϵ；

初始權更新值Δ₀；

最大權更新值Δ_max；

權更新值增大倍數η⁺；

權更新值減小倍數η^-。

2.誤差函數定義

對第p個輸入模式的誤差的計算公式為

中國礦產資源評價新技術與評價新模型

y2_kp為BP網的計算輸出。

3.BP網路學習公式推導

BP網路學習公式推導的指導思想是，對網路的權值W、偏差b修正，使誤差函數沿負梯度方向下降，直到網路輸出誤差精度達到目標精度要求，學習結束。

各層輸出計算公式

輸入層

y0_i=x_i，i=1，2，…，S0；

隱含層

中國礦產資源評價新技術與評價新模型

y1_j=f1(z1_j)，

j=1，2，…，S1；

輸出層

中國礦產資源評價新技術與評價新模型

y2_k=f2(z2_k)，

k=1，2，…，S2。

輸出節點的誤差公式

中國礦產資源評價新技術與評價新模型

對輸出層節點的梯度公式推導

中國礦產資源評價新技術與評價新模型

E是多個y2_m的函數，但只有一個y2_k與w_kj有關，各y2_m間相互獨立。

其中

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

設輸出層節點誤差為

δ2_k=(d_k-y2_k)·f2′(z2_k)，

則

中國礦產資源評價新技術與評價新模型

同理可得

中國礦產資源評價新技術與評價新模型

對隱含層節點的梯度公式推導

中國礦產資源評價新技術與評價新模型

E是多個y2_k的函數，針對某一個w1_ji，對應一個y1_j，它與所有的y2_k有關。因此，上式只存在對k的求和，其中

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

設隱含層節點誤差為

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

同理可得

中國礦產資源評價新技術與評價新模型

4.採用彈性BP演算法(RPROP)計算權值W、偏差b的修正值ΔW，Δb

1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文「A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm」中，提出Resilient Backpropagation演算法——彈性BP演算法(RPROP)。這種方法試圖消除梯度的大小對權步的有害影響，因此，只有梯度的符號被認為表示權更新的方向。

權改變的大小僅僅由權專門的「更新值」

確定

中國礦產資源評價新技術與評價新模型

其中

表示在模式集的所有模式(批學習)上求和的梯度信息，(t)表示t時刻或第t次學習。

權更新遵循規則：如果導數是正(增加誤差)，這個權由它的更新值減少。如果導數是負，更新值增加。

中國礦產資源評價新技術與評價新模型

RPROP演算法是根據局部梯度信息實現權步的直接修改。對於每個權，我們引入它的

各自的更新值

，它獨自確定權更新值的大小。這是基於符號相關的自適應過程，它基

於在誤差函數E上的局部梯度信息，按照以下的學習規則更新

中國礦產資源評價新技術與評價新模型

其中0＜η^-＜1＜η⁺。

在每個時刻，如果目標函數的梯度改變它的符號，它表示最後的更新太大，更新值

應由權更新值減小倍數因子η^-得到減少；如果目標函數的梯度保持它的符號，更新值應由權更新值增大倍數因子η⁺得到增大。

為了減少自由地可調參數的數目，增大倍數因子η⁺和減小倍數因子η^–被設置到固定值

η⁺=1.2，

η^-=0.5，

這兩個值在大量的實踐中得到了很好的效果。

RPROP演算法採用了兩個參數：初始權更新值Δ₀和最大權更新值Δ_max

當學習開始時，所有的更新值被設置為初始值Δ₀，因為它直接確定了前面權步的大小，它應該按照權自身的初值進行選擇，例如，Δ₀=0.1(默認設置)。

為了使權不至於變得太大，設置最大權更新值限制Δ_max，默認上界設置為

Δ_max=50.0。

在很多實驗中，發現通過設置最大權更新值Δ_max到相當小的值，例如

Δ_max=1.0。

我們可能達到誤差減小的平滑性能。

5.計算修正權值W、偏差b

第t次學習，權值W、偏差b的的修正公式

W^(t)=W^(t-1)+ΔW^(t)，

b^(t)=b^(t-1)+Δb^(t)，

其中，t為學習次數。

6.BP網路學習成功結束條件每次學習累積誤差平方和

中國礦產資源評價新技術與評價新模型

每次學習平均誤差

中國礦產資源評價新技術與評價新模型

當平均誤差MSE＜ε，BP網路學習成功結束。

7.BP網路應用預測

在應用BP網路時，提供網路輸入給輸入層，應用給定的BP網路及BP網路學習得到的權值W、偏差b，網路輸入經過從輸入層經各隱含層向輸出層的「順傳播」過程，計算出BP網的預測輸出。

8.神經元激活函數f

線性函數

f(x)=x，

f′(x)=1，

f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。

一般用於輸出層，可使網路輸出任何值。

S型函數S(x)

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。

f′(x)=f(x)[1-f(x)]，

f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，

]。

一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

在用於模式識別時，可用於輸出層，產生逼近於0或1的二值輸出。

雙曲正切S型函數

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。

f′(x)=1-f(x)·f(x)，

f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。

一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

階梯函數

類型1

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

f′(x)=0。

類型2

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。

f′(x)=0。

斜坡函數

類型1

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。

中國礦產資源評價新技術與評價新模型

f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

類型2

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。

中國礦產資源評價新技術與評價新模型

f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

三、總體演算法

1.三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b初始化總體演算法

(1)輸入參數X[N][P]，S₀，S₁，f₁[S₁]，S₂，f₂[S₂]；

(2)計算輸入模式X[N][P]各個變數的最大值，最小值矩陣 X_max[N]，X_min[N]；

(3)隱含層的權值W₁，偏差b₁初始化。

情形1：隱含層激活函數f( )都是雙曲正切S型函數

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣Randnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9))輸出W₁[S₁][S₀]，b₁[S₁]。

情形2：隱含層激活函數f( )都是S型函數

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣R_andnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9)輸出W₁[S₁][S₀]，b₁[S₁]。

情形3：隱含層激活函數f( )為其他函數的情形

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣R_andnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9)輸出W₁[S₁][S₀]，b₁[S₁]。

(4)輸出層的權值W₂，偏差b₂初始化

1)產生[-1，1]之間均勻分布的S₂×S₁維隨機數矩陣W₂[S₂][S₁]；

2)產生[-1，1]之間均勻分布的S₂×1維隨機數矩陣b₂[S₂]；

3)輸出W₂[S₂][S₁]，b₂[S₂]。

2.應用彈性BP演算法(RPROP)學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b總體演算法

函數：Train3BP_RPROP(S₀，X，P，S₁，W₁，b₁，f₁，S₂，W₂，b₂，f₂，d，TP)

(1)輸入參數

P對模式(x_p，d_p)，p=1，2，…，P；

三層BP網路結構；

學習參數。

(2)學習初始化

1)

；

2)各層W，b的梯度值

，

初始化為零矩陣。

(3)由輸入模式X求第一次學習各層輸出y₀，y₁，y₂及第一次學習平均誤差MSE

(4)進入學習循環

epoch=1

(5)判斷每次學習誤差是否達到目標誤差要求

如果MSE＜ϵ，

則，跳出epoch循環，

轉到(12)。

(6)保存第epoch-1次學習產生的各層W，b的梯度值

，

(7)求第epoch次學習各層W，b的梯度值

，

1)求各層誤差反向傳播值δ；

2)求第p次各層W，b的梯度值

，

；

3)求p=1，2，…，P次模式產生的W，b的梯度值

，

的累加。

(8)如果epoch=1，則將第epoch-1次學習的各層W，b的梯度值

，

設為第epoch次學習產生的各層W，b的梯度值

，

。

(9)求各層W，b的更新

1)求權更新值Δ_ij更新；

2)求W，b的權更新值

，

；

3)求第epoch次學習修正後的各層W，b。

(10)用修正後各層W、b，由X求第epoch次學習各層輸出y₀，y₁，y₂及第epoch次學習誤差MSE

(11)epoch=epoch+1，

如果epoch≤MAX_EPOCH，轉到(5)；

否則，轉到(12)。

(12)輸出處理

1)如果MSE＜ε，

則學習達到目標誤差要求，輸出W₁，b₁，W₂，b₂。

2)如果MSE≥ε，

則學習沒有達到目標誤差要求，再次學習。

(13)結束

3.三層BP網路(含輸入層，隱含層，輸出層)預測總體演算法

首先應用Train3lBP_RPROP( )學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b，然後應用三層BP網路(含輸入層，隱含層，輸出層)預測。

函數：Simu3lBP( )。

1)輸入參數：

P個需預測的輸入數據向量x_p，p=1，2，…，P；

三層BP網路結構；

學習得到的各層權值W、偏差b。

2)計算P個需預測的輸入數據向量x_p(p=1，2，…，P)的網路輸出 y₂[S₂][P]，輸出預測結果y₂[S₂][P]。

四、總體演算法流程圖

BP網路總體演算法流程圖見附圖2。

五、數據流圖

BP網數據流圖見附圖1。

六、實例

實例一 全國銅礦化探異常數據BP 模型分類

1.全國銅礦化探異常數據准備

在全國銅礦化探數據上用穩健統計學方法選取銅異常下限值33.1，生成全國銅礦化探異常數據。

2.模型數據准備

根據全國銅礦化探異常數據，選取7類33個礦點的化探數據作為模型數據。這7類分別是岩漿岩型銅礦、斑岩型銅礦、矽卡岩型、海相火山型銅礦、陸相火山型銅礦、受變質型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。

3.測試數據准備

全國化探數據作為測試數據集。

4.BP網路結構

隱層數2，輸入層到輸出層向量維數分別為14，9、5、1。學習率設置為0.9，系統誤差1e-5。沒有動量項。

表8-1 模型數據表

續表

5.計算結果圖

如圖8-2、圖8-3。

圖8-2

圖8-3 全國銅礦礦床類型BP模型分類示意圖

實例二 全國金礦礦石量品位數據BP 模型分類

1.模型數據准備

根據全國金礦儲量品位數據，選取4類34個礦床數據作為模型數據，這4類分別是綠岩型金礦、與中酸性浸入岩有關的熱液型金礦、微細浸染型型金礦、火山熱液型金礦(表8-2)。

2.測試數據准備

模型樣本點和部分金礦點金屬量、礦石量、品位數據作為測試數據集。

3.BP網路結構

輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學習率設置為0.8，系統誤差1e-4，迭代次數5000。

表8-2 模型數據

4.計算結果

結果見表8-3、8-4。

表8-3 訓練學習結果

表8-4 預測結果(部分)

續表