神經網路如何查每一層參數

Ⅰ 卷積神經網路參數解析

（1）現象：

        （1-1）一次性將batch數量個樣本feed神經網路，進行前向傳播；然後再進行權重的調整，這樣的一整個過程叫做一個回合（epoch），也即一個batch大小樣本的全過程就是一次迭代。

        （1-2）將訓練數據分塊，做成批(batch training)訓練可以將多個訓練數據元的loss function求和，使用梯度下降法，最小化 求和後的loss function ，進而對神經網路的參數進行優化更新

（2）一次迭代：包括前向傳播計算輸出向量、輸出向量與label的loss計算和後向傳播求loss對權重向量 w 導數（梯度下降法計算），並實現權重向量 w 的更新。

（3）優點：

        （a）對梯度向量（代價函數對權值向量 w 的導數）的精確估計，保證以最快的速度下降到局部極小值的收斂性；一個batch一次梯度下降；

        （b）學習過程的並行運行；

        （c）更加接近隨機梯度下降的演算法效果；

        （d）Batch Normalization 使用同批次的統計平均和偏差對數據進行正則化，加速訓練，有時可提高正確率 [7]

（4）現實工程問題：存在計算機存儲問題，一次載入的batch大小受到內存的影響；

（5）batch參數選擇：

        （5-1）從收斂速度的角度來說，小批量的樣本集合是最優的，也就是我們所說的mini-batch，這時的batch size往往從幾十到幾百不等，但一般不會超過幾千

        （5-2）GPU對2的冪次的batch可以發揮更佳的性能，因此設置成16、32、64、128...時往往要比設置為整10、整100的倍數時表現更優

    （6）4種加速批梯度下降的方法 [8] ：

        （6-1）使用動量－使用權重的 速度 而非 位置 來改變權重。

        （6-2）針對不同權重參數使用不同學習率。

        （6-3）RMSProp－這是Prop 的均方根 ( Mean Square ) 改進形式，Rprop 僅僅使用梯度的符號，RMSProp 是其針對 Mini-batches 的平均化版本

        （6-4）利用曲率信息的最優化方法。

（1）定義：運用梯度下降演算法優化loss成本函數時，權重向量的更新規則中，在梯度項前會乘以一個系數，這個系數就叫學習速率η

（2）效果：

        （2-1）學習率η越小，每次迭代權值向量變化小，學習速度慢，軌跡在權值空間中較光滑，收斂慢；

        （2-2）學習率η越大，每次迭代權值向量變化大，學習速度快，但是有可能使變化處於震盪中，無法收斂；

    （3）處理方法：

        （3-1）既要加快學習速度又要保持穩定的方法修改delta法則，即添加動量項。

    （4）選擇經驗：

        （4-1）基於經驗的手動調整。 通過嘗試不同的固定學習率，如0.1, 0.01, 0.001等，觀察迭代次數和loss的變化關系，找到loss下降最快關系對應的學習率。

        （4-2）基於策略的調整。

                （4-2-1）fixed 、exponential、polynomial

                （4-2-2）自適應動態調整。adadelta、adagrad、ftrl、momentum、rmsprop、sgd

    （5）學習率η的調整：學習速率在學習過程中實現自適應調整（一般是衰減）

        （5-1）非自適應學習速率可能不是最佳的。

        （5-2）動量是一種自適應學習速率方法的參數，允許沿淺方向使用較高的速度，同時沿陡峭方向降低速度前進

        （5-3）降低學習速率是必要的，因為在訓練過程中，較高學習速率很可能陷入局部最小值。

參考文獻：

[1]  Simon Haykin. 神經網路與機器學習[M]. 機械工業出版社, 2011.

[2]   訓練神經網路時如何確定batch的大小？

[3]   學習筆記：Batch Size 對深度神經網路預言能力的影響  

[4]   機器學習演算法中如何選取超參數：學習速率、正則項系數、minibatch size.  http://blog.csdn.net/u012162613/article/details/44265967

[5]   深度學習如何設置學習率 . http://blog.csdn.net/mao_feng/article/details/52902666

[6]   調整學習速率以優化神經網路訓練. https://zhuanlan.hu.com/p/28893986

[7]   機器學習中用來防止過擬合的方法有哪些？

[8]   Neural Networks for Machine Learning by Geoffrey Hinton .

[9]   如何確定卷積神經網路的卷積核大小、卷積層數、每層map個數

[10]   卷積神經網路的卷積核大小、卷積層數、每層map個數都是如何確定下來的呢？

Ⅱ BP神經網路的梳理

BP神經網路被稱為「深度學習之旅的開端」，是神經網路的入門演算法。
各種高大上的神經網路都是基於BP網路出發的，最基礎的原理都是由BP網路而來 [1] ，另外由於BP神經網路結構簡單，演算法經典， 是神經網路中應用最廣泛的一種。

BP神經網路（back propagation neural network）全稱是反向傳播神經網路。
神經網路發展部分背景如下 [2] ：

為解決非線性問題，BP神經網路應運而生。

那麼什麼是BP神經網路？稍微專業點的解釋要怎麼說呢？

很喜歡 最簡單的神經網路--Bp神經網路 一文對演算法原理的解釋，語言活潑，案例簡單，由淺入深。
文中提到所謂的 AI 技術，本質上是一種數據處理處理技術，它的強大來自於兩方面：1.互聯網的發展帶來的海量數據信息；2.計算機深度學習演算法的快速發展。AI 其實並沒有什麼神秘，只是在演算法上更為復雜 [3] 。

我們從上面的定義出發來解釋BP神經網路的原理。

BP神經網路整個網路結構包含了：一層輸入層，一到多層隱藏層，一層輸出層。
一般說L層神經網路，指的是有L個隱層，輸入層和輸出層都不計算在內的 [6] 。

BP神經網路模型訓練的學習過程由信號的 正向傳播 和誤差的 反向傳播 兩個過程組成。

什麼是信號的正向傳播？顧名思義，就是結構圖從左到右的運算過程。

我們來看看結構圖中每個小圓圈是怎麼運作的。我們把小圈圈叫做神經元，是組成神經網路的基本單元。

正向傳播就是輸入數據經過一層一層的神經元運算、輸出的過程，最後一層輸出值作為演算法預測值y'。

前面正向傳播的時候我們提到權重w、偏置b，但我們並不知道權重w、偏置b的值應該是什麼。關於最優參數的求解，我們在 線性回歸 、 邏輯回歸 兩章中有了詳細說明。大致來講就是：

BP神經網路全稱 back propagation neural network，back propagation反向傳播是什麼？
反向傳播的建設本質上就是尋找最優的參數組合，和上面的流程差不多，根據演算法預測值和實際值之間的損失函數L(y',y)，來反方向地計算每一層的z、a、w、b的偏導數，從而更新參數。
對反向傳播而言，輸入的內容是預測值和實際值的誤差，輸出的內容是對參數的更新，方向是從右往左，一層一層的更新每一層的參數。

BP神經網路通過先正向傳播，構建參數和輸入值的關系，通過預測值和實際值的誤差，反向傳播修復權重；讀入新數據再正向傳播預測，再反向傳播修正，...，通過多次循環達到最小損失值，此時構造的模型擁有最優的參數組合。

以一個簡單的BP神經網路為例，由3個輸入層，2層隱藏層，每層2個神經元，1個輸出層組成。

【輸入層】傳入
【第一層隱藏層】
對於 神經元而言，傳入 ，加權求和加偏置激活函數處理後，輸出 ；
對於 神經元而言，傳入 ，加權求和加偏置函數處理後，輸出 ；
輸出：

【第二層隱藏層】
對於 神經元而言，傳入 ，加權求和加偏置激活函數處理後，輸出 ；
對於 神經元而言，傳入 ，加權求和加偏置激活函數處理後，輸出 ；
輸出：

【輸出層】
對於輸出層神經元而言，輸入 ，加權求和加偏置激活函數處理後，輸出 ，輸出的是一個值

第一次運行正向傳播這個流程時隨用隨機參數就好，通過反向傳播不斷優化。因此需要在一開始對 設置一個隨機的初始值。

首先計算正向傳播輸出值 與實際值的損失 ，是一個數值。所謂反向是從右到左一步步來的，先回到 ，修正參數 。

以此類推，通過對損失函數求偏導跟新參數 ，再跟新參數 。這時又回到了起點，新的數據傳入又可以開始正向傳播了。

keras可以快速搭建神經網路，例如以下為輸入層包含7129個結點，一層隱藏層，包含128個結點，一個輸出層，是二分類模型。

神經網路反向傳播的優化目標為loss，可以觀察到loss的值在不斷的優化。

可以通過model.get_layer().get_weights()獲得每一層訓練後的參數結果。通過model.predict()預測新數據。

至此，BP神經網路的整個運算流程已經過了一遍。之前提到BP神經網路是為解決非線性問題應運而生的，那麼為什麼BP神經網路可以解決非線性問題呢？
還記得神經元里有一個激活函數的操作嗎？神經網路通過激活函數的使用加入非線性因素。
通過使用非線性的激活函數可以使神經網路隨意逼近復雜函數，從而使BP神經網路既可以處理線性問題，也可以處理非線性問題。

為什麼激活函數的使用可以加入非線性因素 [7] ？

其實邏輯回歸演算法可以看作只有一個神經元的單層神經網路，只對線性可分的數據進行分類。
輸入參數，加權求和，sigmoid作為激活函數計算後輸出結果，模型預測值和實際值計算損失Loss,反向傳播梯度下降求編導，獲得最優參數。

BP神經網路是比 Logistic Regression 復雜得多的模型，它的擬合能力很強，可以處理很多 Logistic Regression處理不了的數據，但是也更容易過擬合。

具體用什麼演算法還是要看訓練數據的情況，沒有一種演算法是使用所有情況的。

常見的前饋神經網路有BP網路，RBF網路等。

BP神經網路的一個主要問題是：結構不好設計。
網路隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。

但是BP神經網路簡單、易行、計算量小、並行性強，目前仍是多層前向網路的首選演算法。

[1] 深度學習開端---BP神經網路： https://blog.csdn.net/Chile_Wang/article/details/100557010
[2] BP神經網路發展歷史： https://zhuanlan.hu.com/p/47998728
[3] 最簡單的神經網路--Bp神經網路： https://blog.csdn.net/weixin_40432828/article/details/82192709
[4] 神經網路的基本概念： https://blog.csdn.net/jinyuan7708/article/details/82466653
[5] 神經網路中的 「隱藏層」 理解： https://blog.csdn.net/nanhuaibeian/article/details/100183000
[6] AI學習筆記：神經元與神經網路： https://www.jianshu.com/p/65eb2fce0e9e
[7] 線性模型和非線性模型的區別： https://www.cnblogs.com/toone/p/8574294.html
[8] BP神經網路是否優於logistic回歸： https://www.hu.com/question/27823925/answer/38460833

Ⅲ 神經網路參數如何確定

神經網路各個網路參數設定原則：

①、網路節點  網路輸入層神經元節點數就是系統的特徵因子(自變數)個數，輸出層神經元節點數就是系統目標個數。隱層節點選按經驗選取，一般設為輸入層節點數的75%。如果輸入層有7個節點，輸出層1個節點，那麼隱含層可暫設為5個節點，即構成一個7-5-1 BP神經網路模型。在系統訓練時，實際還要對不同的隱層節點數4、5、6個分別進行比較，最後確定出最合理的網路結構。

②、初始權值的確定  初始權值是不應完全相等的一組值。已經證明，即便確定  存在一組互不相等的使系統誤差更小的權值，如果所設Wji的的初始值彼此相等，它們將在學習過程中始終保持相等。故而，在程序中，我們設計了一個隨機發生器程序，產生一組一0.5~+0.5的隨機數，作為網路的初始權值。

③、最小訓練速率  在經典的BP演算法中，訓練速率是由經驗確定，訓練速率越大，權重變化越大，收斂越快；但訓練速率過大，會引起系統的振盪，因此，訓練速率在不導致振盪前提下，越大越好。因此，在DPS中，訓練速率會自動調整，並盡可能取大一些的值，但用戶可規定一個最小訓練速率。該值一般取0.9。

④、動態參數  動態系數的選擇也是經驗性的，一般取0.6 ~0.8。

⑤、允許誤差  一般取0.001~0.00001，當2次迭代結果的誤差小於該值時，系統結束迭代計算，給出結果。

⑥、迭代次數  一般取1000次。由於神經網路計算並不能保證在各種參數配置下迭代結果收斂，當迭代結果不收斂時，允許最大的迭代次數。

⑦、Sigmoid參數 該參數調整神經元激勵函數形式，一般取0.9~1.0之間。

⑧、數據轉換。在DPS系統中，允許對輸入層各個節點的數據進行轉換，提供轉換的方法有取對數、平方根轉換和數據標准化轉換。

(3)神經網路如何查每一層參數擴展閱讀：

神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

1.生物原型

從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

2.建立模型

根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

3.演算法

在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

神經網路用到的演算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性，是神經網路的幾個基本優點，也是神經網路計算方法與傳統方法的區別所在。

Ⅳ 卷積神經網路用全連接層的參數是怎麼確定的

卷積神經網路用全連接層的參數確定：卷積神經網路與傳統的人臉檢測方法不同，它是通過直接作用於輸入樣本，用樣本來訓練網路並最終實現檢測任務的。

它是非參數型的人臉檢測方法，可以省去傳統方法中建模、參數估計以及參數檢驗、重建模型等的一系列復雜過程。本文針對圖像中任意大小、位置、姿勢、方向、膚色、面部表情和光照條件的人臉。

輸入層

卷積神經網路的輸入層可以處理多維數據，常見地，一維卷積神經網路的輸入層接收一維或二維數組，其中一維數組通常為時間或頻譜采樣；二維數組可能包含多個通道；二維卷積神經網路的輸入層接收二維或三維數組；三維卷積神經網路的輸入層接收四維數組。

由於卷積神經網路在計算機視覺領域應用較廣，因此許多研究在介紹其結構時預先假設了三維輸入數據，即平面上的二維像素點和RGB通道。

Ⅳ 用MATLAB的newrb函數建立的神經網路，怎麼查看網路參數

newrb設計了徑向基網路，調用格式：
net = newrb
[net,tr] = newrb(P,T,goal,spread,MN,DF)

P-Q組輸入向量組成的R×Q維矩陣；
T-Q組目標分類向量組成的S×Q維矩陣；
goal-均方誤差,默認值為0；
spread-徑向基函數的擴展速度,默認值為1；
MN-神經元的最大數目,默認是Q
DF-兩次顯示之間所添加的神經元數目,默認值為25；
net-返回值，一個徑向基網路；
tr-返回值，訓練紀錄。

Ⅵ 卷積神經網路參數個數的計算

我們在用keras進行神經網路建模後，列印模型的摘要(print(model.summary))會出現每一層參數的個數，很多初學者可能會對參數個數怎麼計算的非常困惑，本文將由淺至深的講解卷積神經網路各層參數的計算方法，對卷積神經網路結構還不了解的同學請自行網路了解。
1.什麼是卷積神經網路的參數
我們都知道神經網路是一個前向傳播和反向優化的過程，這個優化過程其實優化的是層與層之間的連接權重w和權重b。其實每一層連接都可以簡單的抽象為：W X+b=Y
其中X為輸入，Y為預測值，都可以作為訓練數據輸入，因此是我們已知的。在整個過程中未知的就是W和b了也是需要通過訓練得到的參數。
卷積神經網路的參數因為卷積網路的特性而稍微有些特殊，但整體來講還是對權重W和偏置b的擬合。
2.卷積層參數個數計算
卷積層是通過卷積核對原始輸入進行掃描，然後獲得具有局部特徵的輸出，預測准確性與卷積核的設置有重要關系，因此卷積核就是我們需要擬合的參數，至於參數個數怎麼計算，需要細致的進行分解。
(1)卷積核個數
通常用一個卷積核無法獲得輸入的全部信息，因此通常會設置多個卷積核，每個卷積核都是獨立的，計算方式完全一致。每個卷積核對原始輸入進行處理後都會生成一個feature_map，因此卷積核的個數和feature_map的個數其實是相同的。
(2)卷積核大小
在二維神經網路中（即圖像處理的常用卷積神經網路模式），通常用正方形的卷積核對原始輸入進行卷積，常用的有3 3，5 5，7 7等。
(3)原始圖像通道數
通道數的不同會影響子卷積核的個數，比如有是三個通道的圖像，每一個通道都需要用卷積核進行處理，但卷積核的參數其實是不同的，最終對所有通道進行加和加上一個偏置就是我們最終得到的feature_map，因此參數個數實際變為3 3 3+1。其中1代表偏置，在所有通道中是共享的。
(4)最終參數個數
用卷積核個數乘上卷積核大小，其實就是最終的參數個數，本文為2 （3 3 3+1）。2代表卷積核的個數，第一個3代表通道數，第二個3和第三個3代表卷積核大小，1代表偏置。
3.池化層參數個數計算
池化層為根據池化層大小確定保留值，可以理解為對feature_map的降維，其中不涉及參數的計算。
4.全連接層參數個數計算
全連接層首先對池化層輸出的數據進行flattern處理，即400 30轉換為12000 1，假設輸出為12維的，那麼參數個數為12000 12+12，加號後邊的12代表每個全連接層後都跟一個偏置b。
5.總結
無論是一維、二維還是三維卷積神經網路的哪一層參數計算，都可以用卷積層參數計算的思路解決，首先確定卷積核大小，其次確定卷積核個數，最終確定圖像輸入的通道數。這幾個東西確定後，再求解參數就十分簡單了。
本篇文章假設你已經十分了解卷積神經網路的基礎知識，因此沒有相關的圖解，只是介紹了參數確定的思路，希望對大家有所啟發。

Ⅶ 一文讀懂神經網路

要說近幾年最引人注目的技術，無疑的，非人工智慧莫屬。無論你是否身處科技互聯網行業，隨處可見人工智慧的身影：從 AlphaGo 擊敗世界圍棋冠軍，到無人駕駛概念的興起，再到科技巨頭 All in AI，以及各大高校向社會輸送海量的人工智慧專業的畢業生。以至於人們開始萌生一個想法：新的革命就要來了，我們的世界將再次發生一次巨變；而後開始焦慮：我的工作是否會被機器取代？我該如何才能抓住這次革命？

人工智慧背後的核心技術是深度神經網路（Deep Neural Network），大概是一年前這個時候，我正在回老家的高鐵上學習 3Blue1Brown 的 Neural Network 系列視頻課程，短短 4 集 60 多分鍾的時間，就把神經網路從 High Level 到推導細節說得清清楚楚，當時的我除了獲得新知的興奮之外，還有一點新的認知，算是給頭腦中的革命性的技術潑了盆冷水：神經網路可以解決一些復雜的、以前很難通過寫程序來完成的任務——例如圖像、語音識別等，但它的實現機制告訴我，神經網路依然沒有達到生物級別的智能，短期內期待它來取代人也是不可能的。

一年後的今天，依然在這個春運的時間點，將我對神經網路的理解寫下來，算是對這部分知識的一個學習筆記，運氣好的話，還可以讓不了解神經網路的同學了解起來。

維基網路這樣解釋 神經網路 ：

這個定義比較寬泛，你甚至還可以用它來定義其它的機器學習演算法，例如之前我們一起學習的邏輯回歸和 GBDT 決策樹。下面我們具體一點，下圖是一個邏輯回歸的示意圖：

其中 x1 和 x2 表示輸入，w1 和 w2 是模型的參數，z 是一個線性函數：

接著我們對 z 做一個 sigmod 變換（圖中藍色圓），得到輸出 y：

其實，上面的邏輯回歸就可以看成是一個只有 1 層 輸入層 ， 1 層 輸出層 的神經網路，圖中容納數字的圈兒被稱作 神經元 ；其中，層與層之間的連接 w1、w2 以及 b，是這個 神經網路的參數 ，層之間如果每個神經元之間都保持著連接，這樣的層被稱為 全連接層 （Full Connection Layer），或 稠密層 （Dense Layer）；此外，sigmoid 函數又被稱作 激活函數 （Activation Function），除了 sigmoid 外，常用的激活函數還有 ReLU、tanh 函數等，這些函數都起到將線性函數進行非線性變換的作用。我們還剩下一個重要的概念： 隱藏層 ，它需要把 2 個以上的邏輯回歸疊加起來加以說明：

如上圖所示，除輸入層和輸出層以外，其他的層都叫做 隱藏層 。如果我們多疊加幾層，這個神經網路又可以被稱作 深度神經網路 （Deep Neural Network），有同學可能會問多少層才算「深」呢？這個沒有絕對的定論，個人認為 3 層以上就算吧：）

以上，便是神經網路，以及神經網路中包含的概念，可見，神經網路並不特別，廣義上講，它就是

可見，神經網路和人腦神經也沒有任何關聯，如果我們說起它的另一個名字—— 多層感知機（Mutilayer Perceptron） ，就更不會覺得有多麼玄乎了，多層感知機創造於 80 年代，可為什麼直到 30 年後的今天才爆發呢？你想得沒錯，因為改了個名字……開個玩笑；實際上深度學習這項技術也經歷過很長一段時間的黑暗低谷期，直到人們開始利用 GPU 來極大的提升訓練模型的速度，以及幾個標志性的事件：如 AlphaGo戰勝李世石、Google 開源 TensorFlow 框架等等，感興趣的同學可以翻一下這里的歷史。

就拿上圖中的 3 個邏輯回歸組成的神經網路作為例子，它和普通的邏輯回歸比起來，有什麼優勢呢？我們先來看下單邏輯回歸有什麼劣勢，對於某些情況來說，邏輯回歸可能永遠無法使其分類，如下面數據：

這 4 個樣本畫在坐標系中如下圖所示

因為邏輯回歸的決策邊界（Decision Boundary）是一條直線，所以上圖中的兩個分類，無論你怎麼做，都無法找到一條直線將它們分開，但如果藉助神經網路，就可以做到這一點。

由 3 個邏輯回歸組成的網路（這里先忽略 bias）如下：

觀察整個網路的計算過程，在進入輸出層之前，該網路所做的計算實際上是：

即把輸入先做了一次線性變換（Linear Transformation），得到 [z1, z2] ，再把 [z1, z2] 做了一個非線性變換（sigmoid），得到 [x1', x2'] ，（線性變換的概念可以參考 這個視頻 ）。從這里開始，後面的操作就和一個普通的邏輯回歸沒有任何差別了，所以它們的差異在於： 我們的數據在輸入到模型之前，先做了一層特徵變換處理（Feature Transformation，有時又叫做特徵抽取 Feature Extraction），使之前不可能被分類的數據變得可以分類了 。

我們繼續來看下特徵變換的效果，假設 為 ，帶入上述公式，算出 4 個樣本對應的 [x1', x2'] 如下：

再將變換後的 4 個點繪制在坐標系中：

顯然，在做了特徵變換之後，這兩個分類就可以很容易的被一條決策邊界分開了。

所以， 神經網路的優勢在於，它可以幫助我們自動的完成特徵變換或特徵提取 ，尤其對於聲音、圖像等復雜問題，因為在面對這些問題時，人們很難清晰明確的告訴你，哪些特徵是有用的。

在解決特徵變換的同時，神經網路也引入了新的問題，就是我們需要設計各式各樣的網路結構來針對性的應對不同的場景，例如使用卷積神經網路（CNN）來處理圖像、使用長短期記憶網路（LSTM）來處理序列問題、使用生成式對抗網路（GAN）來寫詩和作圖等，就連去年自然語言處理（NLP）中取得突破性進展的 Transformer/Bert 也是一種特定的網路結構。所以， 學好神經網路，對理解其他更高級的網路結構也是有幫助的 。

上面說了，神經網路可以看作一個非線性函數，該函數的參數是連接神經元的所有的 Weights 和 Biases，該函數可以簡寫為 f(W, B) ，以手寫數字識別的任務作為例子：識別 MNIST 數據集 中的數字，數據集（MNIST 數據集是深度學習中的 HelloWorld）包含上萬張不同的人寫的數字圖片，共有 0-9 十種數字，每張圖片為 28*28=784 個像素，我們設計一個這樣的網路來完成該任務：

把該網路函數所具備的屬性補齊：

接下來的問題是，這個函數是如何產生的？這個問題本質上問的是這些參數的值是怎麼確定的。

在機器學習中，有另一個函數 c 來衡量 f 的好壞，c 的參數是一堆數據集，你輸入給 c 一批 Weights 和 Biases，c 輸出 Bad 或 Good，當結果是 Bad 時，你需要繼續調整 f 的 Weights 和 Biases，再次輸入給 c，如此往復，直到 c 給出 Good 為止，這個 c 就是損失函數 Cost Function（或 Loss Function）。在手寫數字識別的列子中，c 可以描述如下：

可見，要完成手寫數字識別任務，只需要調整這 12730 個參數，讓損失函數輸出一個足夠小的值即可，推而廣之，絕大部分神經網路、機器學習的問題，都可以看成是定義損失函數、以及參數調優的問題。

在手寫識別任務中，我們既可以使用交叉熵（Cross Entropy）損失函數，也可以使用 MSE（Mean Squared Error）作為損失函數，接下來，就剩下如何調優參數了。

神經網路的參數調優也沒有使用特別的技術，依然是大家剛接觸機器學習，就學到的梯度下降演算法，梯度下降解決了上面迭代過程中的遺留問題——當損失函數給出 Bad 結果時，如何調整參數，能讓 Loss 減少得最快。

梯度可以理解為：

把 Loss 對應到 H，12730 個參數對應到 (x,y)，則 Loss 對所有參數的梯度可以表示為下面向量，該向量的長度為 12730：
$$
abla L(w,b) = left[

frac{partial L}{partial w_1},
frac{partial L}{partial w_2},...,
frac{partial L}{partial b_{26}}

ight] ^ op
$$
所以，每次迭代過程可以概括為

用梯度來調整參數的式子如下（為了簡化，這里省略了 bias）：

上式中， 是學習率，意為每次朝下降最快的方向前進一小步，避免優化過頭（Overshoot）。

由於神經網路參數繁多，所以需要更高效的計算梯度的演算法，於是，反向傳播演算法（Backpropagation）呼之欲出。

在學習反向傳播演算法之前，我們先復習一下微積分中的鏈式法則（Chain Rule）：設 g = u(h) ， h = f(x) 是兩個可導函數，x 的一個很小的變化 △x 會使 h 產生一個很小的變化 △h，從而 g 也產生一個較小的變化 △g，現要求 △g/△x，可以使用鏈式法則：

有了以上基礎，理解反向傳播演算法就簡單了。

假設我們的演示網路只有 2 層，輸入輸出都只有 2 個神經元，如下圖所示：

其中 是輸入， 是輸出， 是樣本的目標值，這里使用的損失函數 L 為 MSE；圖中的上標 (1) 或 (2) 分別表示參數屬於第 (1) 層或第 (2) 層，下標 1 或 2 分別表示該層的第 1 或 第 2 個神經元。

現在我們來計算 和 ，掌握了這 2 個參數的偏導數計算之後，整個梯度的計算就掌握了。

所謂反向傳播演算法，指的是從右向左來計算每個參數的偏導數，先計算 ，根據鏈式法則

對左邊項用鏈式法則展開

又 是輸出值， 可以直接通過 MSE 的導數算出：

而 ，則 就是 sigmoid 函數的導數在 處的值，即

於是 就算出來了：

再來看 這一項，因為

所以

注意：上面式子對於所有的 和 都成立，且結果非常直觀，即 對 的偏導為左邊的輸入 的大小；同時，這里還隱含著另一層意思：需要調整哪個 來影響 ，才能使 Loss 下降得最快，從該式子可以看出，當然是先調整較大的 值所對應的 ，效果才最顯著 。

於是，最後一層參數 的偏導數就算出來了

我們再來算上一層的 ，根據鏈式法則 ：

繼續展開左邊這一項

你發現沒有，這幾乎和計算最後一層一摸一樣，但需要注意的是，這里的 對 Loss 造成的影響有多條路徑，於是對於只有 2 個輸出的本例來說：

上式中， 都已經在最後一層算出，下面我們來看下 ，因為

於是

同理

注意：這里也引申出梯度下降的調參直覺：即要使 Loss 下降得最快，優先調整 weight 值比較大的 weight。

至此， 也算出來了

觀察上式， 所謂每個參數的偏導數，通過反向傳播演算法，都可以轉換成線性加權（Weighted Sum）計算 ，歸納如下：

式子中 n 代表分類數，(l) 表示第 l 層，i 表示第 l 層的第 i 個神經元。 既然反向傳播就是一個線性加權，那整個神經網路就可以藉助於 GPU 的矩陣並行計算了 。

最後，當你明白了神經網路的原理，是不是越發的認為，它就是在做一堆的微積分運算，當然，作為能證明一個人是否學過微積分，神經網路還是值得學一下的。Just kidding ..

本文我們通過

這四點，全面的學習了神經網路這個知識點，希望本文能給你帶來幫助。

參考：

Ⅷ 訓練好的RBF徑向基神經網路這么查看相關參數，例如訓練時間，epochs，MSE

newrb()可以用來設計一個近似徑向基網路，用newrb()創建RBF網路是一個不斷嘗試的過程，在創建過程中，需要不斷增加中間神經元的個數，直到網路的輸出誤差滿足預先設定的值為止。和newrb()，newrbe()用於創建一個嚴格的徑向基網路，它能夠基於設計向量快速地、無誤差地設計一個徑向基網路。這就是兩個函數運行時間相差很大的原因。

Ⅸ 理解神經網路卷積層、全連接層

https://zhuanlan.hu.com/p/32472241

卷積神經網路，這玩意兒乍一聽像是生物和數學再帶點計算機技術混合起來的奇怪東西。奇怪歸奇怪，不得不說，卷積神經網路是計算機視覺領域最有影響力的創造之一。

2012年是卷積神經網路崛起之年。這一年，Alex Krizhevsky帶著卷積神經網路參加了ImageNet競賽（其重要程度相當於奧運會）並一鳴驚人，將識別錯誤率從26%降到了15%,。從那開始，很多公司開始使用深度學習作為他們服務的核心。比如，Facebook在他們的自動標記演算法中使用了它，Google在照片搜索中使用了，Amazon在商品推薦中使用，Printerst應用於為他們的家庭飼養服務提供個性化定製，而Instagram應用於他們的搜索引擎。

然而，神經網路最開始也是最多的應用領域是圖像處理。那我們就挑這塊來聊聊，怎樣使用卷積神經網路（下面簡稱CNN）來進行圖像分類。

圖像分類是指，向機器輸入一張圖片，然後機器告訴我們這張圖片的類別（一隻貓，一條狗等等），或者如果它不確定的話，它會告訴我們屬於某個類別的可能性（很可能是條狗但是我不太確定）。對我們人類來說，這件事情簡單的不能再簡單了，從出生起，我們就可以很快地識別周圍的物體是什麼。當我們看到一個場景，我們總能快速地識別出所有物體，甚至是下意識的，沒有經過有意的思考。但這種能力，機器並不具有。所以我們更加要好好珍惜自己的大腦呀！ (:зゝ∠)

電腦和人看到的圖片並不相同。當我們輸入一張圖片時，電腦得到的只是一個數組，記錄著像素的信息。數組的大小由圖像的清晰度和大小決定。假設我們有一張jpg格式的480 480大小的圖片，那麼表示它的數組便是480 480*3大小的。數組中所有數字都描述了在那個位置處的像素信息，大小在[0,255]之間。

這些數字對我們來說毫無意義，但這是電腦們可以得到的唯一的信息（也足夠了）。抽象而簡單的說，我們需要一個接受數組為輸入，輸出一個數組表示屬於各個類別概率的模型。

既然問題我們已經搞明白了，現在我們得想想辦法解決它。我們想讓電腦做的事情是找出不同圖片之間的差別，並可以識別狗狗（舉個例子）的特徵。

我們人類可以通過一些與眾不同的特徵來識別圖片，比如狗狗的爪子和狗有四條腿。同樣地，電腦也可以通過識別更低層次的特徵（曲線，直線）來進行圖像識別。電腦用卷積層識別這些特徵，並通過更多層卷積層結合在一起，就可以像人類一樣識別出爪子和腿之類的高層次特徵，從而完成任務。這正是CNN所做的事情的大概脈絡。下面，我們進行更具體的討論。

在正式開始之前，我們先來聊聊CNN的背景故事。當你第一次聽說卷積神經網路的時候，你可能就會聯想到一些與神經學或者生物學有關的東西，不得不說，卷積神經網路還真的與他們有某種關系。

CNN的靈感的確來自大腦中的視覺皮層。視覺皮層某些區域中的神經元只對特定視野區域敏感。1962年，在一個Hubel與Wiesel進行的試驗（ 視頻 ）中，這一想法被證實並且拓展了。他們發現，一些獨立的神經元只有在特定方向的邊界在視野中出現時才會興奮。比如，一些神經元在水平邊出現時興奮，而另一些只有垂直邊出現時才會。並且所有這種類型的神經元都在一個柱狀組織中，並且被認為有能力產生視覺。

在一個系統中，一些特定的組件發揮特定的作用（視覺皮層中的神經元尋找各自特定的特徵）。這一想法應用於很多機器中，並且也是CNN背後的基本原理。 （譯者註：作者沒有說清楚。類比到CNN中，應是不同的卷積核尋找圖像中不同的特徵）

回到主題。

更詳細的說，CNN的工作流程是這樣的：你把一張圖片傳遞給模型，經過一些卷積層，非線性化（激活函數），池化，以及全連層，最後得到結果。就像我們之前所說的那樣，輸出可以是單獨的一個類型，也可以是一組屬於不同類型的概率。現在，最不容易的部分來了：理解各個層的作用。

首先，你要搞清楚的是，什麼樣的數據輸入了卷積層。就像我們之前提到的那樣，輸入是一個32 × 32 × 3（打個比方）的記錄像素值的數組。現在，讓我來解釋卷積層是什麼。解釋卷積層最好的方法，是想像一個手電筒照在圖片的左上角。讓我們假設手電筒的光可以招到一個5 × 5的區域。現在，讓我們想像這個手電筒照過了圖片的所有區域。在機器學習術語中，這樣一個手電筒被稱為卷積核（或者說過濾器，神經元） (kernel, filter, neuron) 。而它照到的區域被稱為感知域 (receptive field) 。卷積核同樣也是一個數組（其中的數被稱為權重或者參數）。很重要的一點就是卷積核的深度和輸入圖像的深度是一樣的（這保證可它能正常工作），所以這里卷積核的大小是5 × 5 × 3。

現在，讓我們拿卷積核的初始位置作為例子，它應該在圖像的左上角。當卷積核掃描它的感知域（也就是這張圖左上角5 × 5 × 3的區域）的時候，它會將自己保存的權重與圖像中的像素值相乘（或者說，矩陣元素各自相乘，注意與矩陣乘法區分），所得的積會相加在一起（在這個位置，卷積核會得到5 × 5 × 3 = 75個積）。現在你得到了一個數字。然而，這個數字只表示了卷積核在圖像左上角的情況。現在，我們重復這一過程，讓卷積核掃描完整張圖片，（下一步應該往右移動一格，再下一步就再往右一格，以此類推），每一個不同的位置都產生了一個數字。當掃描完整張圖片以後，你會得到一組新的28 × 28 × 1的數。 （譯者註：(32 - 5 + 1) × (32 - 5 + 1) × 1） 。這組數，我們稱為激活圖或者特徵圖 (activation map or feature map) 。

如果增加卷積核的數目，比如，我們現在有兩個卷積核，那麼我們就會得到一個28 × 28 × 2的數組。通過使用更多的卷積核，我們可以更好的保留數據的空間尺寸。

在數學層面上說，這就是卷積層所做的事情。

讓我們來談談，從更高角度來說，卷積在做什麼。每一個卷積核都可以被看做特徵識別器。我所說的特徵，是指直線、簡單的顏色、曲線之類的東西。這些都是所有圖片共有的特點。拿一個7 × 7 × 3的卷積核作為例子，它的作用是識別一種曲線。（在這一章節，簡單起見，我們忽略卷積核的深度，只考慮第一層的情況）。作為一個曲線識別器，這個卷積核的結構中，曲線區域內的數字更大。（記住，卷積核是一個數組）

現在我們來直觀的看看這個。舉個例子，假設我們要把這張圖片分類。讓我們把我們手頭的這個卷積核放在圖片的左上角。

記住，我們要做的事情是把卷積核中的權重和輸入圖片中的像素值相乘。

(譯者註：圖中最下方應是由於很多都是0所以把0略過不寫了。)

基本上，如果輸入圖像中有與卷積核代表的形狀很相似的圖形，那麼所有乘積的和會很大。現在我們來看看，如果我們移動了卷積核呢？

可以看到，得到的值小多了！這是因為感知域中沒有與卷積核表示的相一致的形狀。還記得嗎，卷積層的輸出是一張激活圖。所以，在單卷積核卷積的簡單情況下，假設卷積核是一個曲線識別器，那麼所得的激活圖會顯示出哪些地方最有可能有曲線。在這個例子中，我們所得激活圖的左上角的值為6600。這樣大的數字表明很有可能這片區域中有一些曲線，從而導致了卷積核的激活 （譯者註：也就是產生了很大的數值。） 而激活圖中右上角的數值是0，因為那裡沒有曲線來讓卷積核激活（簡單來說就是輸入圖像的那片區域沒有曲線）。

但請記住，這只是一個卷積核的情況，只有一個找出向右彎曲的曲線的卷積核。我們可以添加其他卷積核，比如識別向左彎曲的曲線的。卷積核越多，激活圖的深度就越深，我們得到的關於輸入圖像的信息就越多。

在傳統的CNN結構中，還會有其他層穿插在卷積層之間。我強烈建議有興趣的人去閱覽並理解他們。但總的來說，他們提供了非線性化，保留了數據的維度，有助於提升網路的穩定度並且抑制過擬合。一個經典的CNN結構是這樣的：

網路的最後一層很重要，我們稍後會講到它。

現在，然我們回頭看看我們已經學到了什麼。

我們講到了第一層卷積層的卷積核的目的是識別特徵，他們識別像曲線和邊這樣的低層次特徵。但可以想像，如果想預測一個圖片的類別，必須讓網路有能力識別高層次的特徵，例如手、爪子或者耳朵。讓我們想想網路第一層的輸出是什麼。假設我們有5個5 × 5 × 3的卷積核，輸入圖像是32 × 32 × 3的，那麼我們會得到一個28 × 28 × 5的數組。來到第二層卷積層，第一層的輸出便成了第二層的輸入。這有些難以可視化。第一層的輸入是原始圖片，可第二層的輸入只是第一層產生的激活圖，激活圖的每一層都表示了低層次特徵的出現位置。如果用一些卷積核處理它，得到的會是表示高層次特徵出現的激活圖。這些特徵的類型可能是半圓（曲線和邊的組合）或者矩形（四條邊的組合）。隨著卷積層的增多，到最後，你可能會得到可以識別手寫字跡、粉色物體等等的卷積核。

如果，你想知道更多關於可視化卷積核的信息，可以看這篇 研究報告 ，以及這個 視頻 。

還有一件事情很有趣，當網路越來越深，卷積核會有越來越大的相對於輸入圖像的感知域。這意味著他們有能力考慮來自輸入圖像的更大范圍的信息（或者說，他們對一片更大的像素區域負責）。

到目前為止，我們已經識別出了那些高層次的特徵吧。網路最後的畫龍點睛之筆是全連層。

簡單地說，這一層接受輸入（來自卷積層，池化層或者激活函數都可以），並輸出一個N維向量，其中，N是所有有可能的類別的總數。例如，如果你想寫一個識別數字的程序，那麼N就是10，因為總共有10個數字。N維向量中的每一個數字都代表了屬於某個類別的概率。打個比方，如果你得到了[0 0.1 0.1 0.75 0 0 0 0 0 0.05]，這代表著這張圖片是1的概率是10%，是2的概率是10%，是3的概率是75%，是9的概率5%（小貼士：你還有其他表示輸出的方法，但現在我只拿softmax (譯者註：一種常用於分類問題的激活函數) 來展示）。全連層的工作方式是根據上一層的輸出（也就是之前提到的可以用來表示特徵的激活圖）來決定這張圖片有可能屬於哪個類別。例如，如果程序需要預測哪些圖片是狗，那麼全連層在接收到一個包含類似於一個爪子和四條腿的激活圖時輸出一個很大的值。同樣的，如果要預測鳥，那麼全連層會對含有翅膀和喙的激活圖更感興趣。

基本上，全連層尋找那些最符合特定類別的特徵，並且具有相應的權重，來使你可以得到正確的概率。

現在讓我們來說說我之前有意沒有提到的神經網路的可能是最重要的一個方面。剛剛在你閱讀的時候，可能會有一大堆問題想問。第一層卷積層的卷積核們是怎麼知道自己該識別邊還是曲線的？全連層怎麼知道該找哪一種激活圖？每一層中的參數是怎麼確定的？機器確定參數（或者說權重）的方法叫做反向傳播演算法。

在講反向傳播之前，我們得回頭看看一個神經網路需要什麼才能工作。我們出生的時候並不知道一條狗或者一隻鳥長什麼樣。同樣的，在CNN開始之前，權重都是隨機生成的。卷積核並不知道要找邊還是曲線。更深的卷積層也不知道要找爪子還是喙。

等我們慢慢長大了，我們的老師和父母給我們看不同的圖片，並且告訴我們那是什麼（或者說，他們的類別）。這種輸入一幅圖像以及這幅圖像所屬的類別的想法，是CNN訓練的基本思路。在細細講反向傳播之前，我們先假設我們有一個包含上千張不同種類的動物以及他們所屬類別的訓練集。

反向傳播可以被分成四個不同的部分。前向傳播、損失函數、反向傳播和權重更新。

在前向傳播的階段，我們輸入一張訓練圖片，並讓它通過整個神經網路。對於第一個輸入圖像，由於所有權重都是隨機生成的，網路的輸出很有可能是類似於[.1 .1 .1 .1 .1 .1 .1 .1 .1 .1]的東西，一般來說並不對任一類別有偏好。具有當前權重的網路並沒有能力找出低層次的特徵並且總結出可能的類別。

下一步，是損失函數部分。注意，我們現在使用的是訓練數據。這些數據又有圖片又有類別。打個比方，第一張輸入的圖片是數字「3」。那麼它的標簽應該是[0 0 0 1 0 0 0 0 0 0]。一個損失函數可以有很多定義的方法，但比較常見的是MSE（均方誤差）。被定義為(實際−預測)22(實際−預測)22。

記變數L為損失函數的值。正如你想像的那樣，在第一組訓練圖片輸入的時候，損失函數的值可能非常非常高。來直觀地看看這個問題。我們想到達CNN的預測與數據標簽完全一樣的點（這意味著我們的網路預測的很對）。為了到達那裡，我們想要最小化誤差。如果把這個看成一個微積分問題，那我們只要找到哪些權重與網路的誤差關系最大。

這就相當於數學中的δLδWδLδW (譯者註：對L關於W求導) ，其中，W是某個層的權重。現在，我們要對網路進行 反向傳播 。這決定了哪些權重與誤差的關系最大，並且決定了怎樣調整他們來讓誤差減小。計算完這些導數以後，我們就來到了最後一步： 更新權重 。在這里，我們以與梯度相反的方向調整層中的權重。

學習率是一個有程序員決定的參數。一個很高的學習率意味著權重調整的幅度會很大，這可能會讓模型更快的擁有一組優秀的權重。然而，一個太高的學習率可能會讓調整的步伐過大，而不能精確地到達最佳點。

前向傳播、損失函數、反向傳播和更新權重，這四個過程是一次迭代。程序會對每一組訓練圖片重復這一過程（一組圖片通常稱為一個batch）。當對每一張圖片都訓練完之後，很有可能你的網路就已經訓練好了，權重已經被調整的很好。

最後，為了驗證CNN是否工作的很好，我們還有另一組特殊的數據。我們把這組數據中的圖片輸入到網路中，得到輸出並和標簽比較，這樣就能看出網路的表現如何了。