深度神經網路非全連接

⑴ 神經網路（深度學習）的幾個基礎概念

從廣義上說深度學習的網路結構也是多層神經網路的一種。傳統意義上的多層神經網路是只有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。而深度學習中最著名的卷積神經網路CNN，在原來多層神經網路的基礎上，加入了特徵學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級。輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- .... -- 隱藏層 -輸出層簡單來說，原來多層神經網路做的步驟是：特徵映射到值。特徵是人工挑選。深度學習做的步驟是 信號->特徵->值。 特徵是由網路自己選擇。

⑵ 神經網路：卷積神經網路（CNN）

神經網路 最早是由心理學家和神經學家提出的，旨在尋求開發和測試神經的計算模擬。

粗略地說， 神經網路 是一組連接的 輸入/輸出單元 ，其中每個連接都與一個 權 相關聯。在學習階段，通過調整權值，使得神經網路的預測准確性逐步提高。由於單元之間的連接，神經網路學習又稱 連接者學習。

神經網路是以模擬人腦神經元的數學模型為基礎而建立的，它由一系列神經元組成，單元之間彼此連接。從信息處理角度看，神經元可以看作是一個多輸入單輸出的信息處理單元，根據神經元的特性和功能，可以把神經元抽象成一個簡單的數學模型。

神經網路有三個要素： 拓撲結構、連接方式、學習規則

神經網路的拓撲結構 ：神經網路的單元通常按照層次排列，根據網路的層次數，可以將神經網路分為單層神經網路、兩層神經網路、三層神經網路等。結構簡單的神經網路，在學習時收斂的速度快，但准確度低。

神經網路的層數和每層的單元數由問題的復雜程度而定。問題越復雜，神經網路的層數就越多。例如，兩層神經網路常用來解決線性問題，而多層網路就可以解決多元非線性問題

神經網路的連接 ：包括層次之間的連接和每一層內部的連接，連接的強度用權來表示。

根據層次之間的連接方式，分為：

1）前饋式網路：連接是單向的，上層單元的輸出是下層單元的輸入，如反向傳播網路，Kohonen網路

2）反饋式網路：除了單項的連接外，還把最後一層單元的輸出作為第一層單元的輸入，如Hopfield網路

根據連接的范圍，分為：

1）全連接神經網路：每個單元和相鄰層上的所有單元相連

2）局部連接網路：每個單元只和相鄰層上的部分單元相連

神經網路的學習

根據學習方法分：

感知器：有監督的學習方法，訓練樣本的類別是已知的，並在學習的過程中指導模型的訓練

認知器：無監督的學習方法，訓練樣本類別未知，各單元通過競爭學習。

根據學習時間分：

離線網路：學習過程和使用過程是獨立的

在線網路：學習過程和使用過程是同時進行的

根據學習規則分：

相關學習網路：根據連接間的激活水平改變權系數

糾錯學習網路：根據輸出單元的外部反饋改變權系數

自組織學習網路：對輸入進行自適應地學習

摘自《數學之美》對人工神經網路的通俗理解：

神經網路種類很多，常用的有如下四種：

1）Hopfield網路，典型的反饋網路，結構單層，有相同的單元組成

2）反向傳播網路，前饋網路，結構多層，採用最小均方差的糾錯學習規則，常用於語言識別和分類等問題

3）Kohonen網路：典型的自組織網路，由輸入層和輸出層構成，全連接

4）ART網路：自組織網路

深度神經網路：

Convolutional Neural Networks(CNN)卷積神經網路

Recurrent neural Network(RNN)循環神經網路

Deep Belief Networks(DBN)深度信念網路

深度學習是指多層神經網路上運用各種機器學習演算法解決圖像，文本等各種問題的演算法集合。深度學習從大類上可以歸入神經網路，不過在具體實現上有許多變化。

深度學習的核心是特徵學習，旨在通過分層網路獲取分層次的特徵信息，從而解決以往需要人工設計特徵的重要難題。

Machine Learning vs. Deep Learning 

神經網路（主要是感知器）經常用於 分類

神經網路的分類知識體現在網路連接上，被隱式地存儲在連接的權值中。

神經網路的學習就是通過迭代演算法，對權值逐步修改的優化過程，學習的目標就是通過改變權值使訓練集的樣本都能被正確分類。

神經網路特別適用於下列情況的分類問題：

1) 數據量比較小，缺少足夠的樣本建立模型

2) 數據的結構難以用傳統的統計方法來描述

3) 分類模型難以表示為傳統的統計模型

缺點：

1) 需要很長的訓練時間，因而對於有足夠長訓練時間的應用更合適。

2) 需要大量的參數，這些通常主要靠經驗確定，如網路拓撲或「結構」。

3)  可解釋性差 。該特點使得神經網路在數據挖掘的初期並不看好。

優點：

1) 分類的准確度高

2)並行分布處理能力強

3)分布存儲及學習能力高

4)對噪音數據有很強的魯棒性和容錯能力

最流行的基於神經網路的分類演算法是80年代提出的 後向傳播演算法 。後向傳播演算法在多路前饋神經網路上學習。 

定義網路拓撲

在開始訓練之前，用戶必須說明輸入層的單元數、隱藏層數（如果多於一層）、每一隱藏層的單元數和輸出層的單元數，以確定網路拓撲。

對訓練樣本中每個屬性的值進行規格化將有助於加快學習過程。通常，對輸入值規格化，使得它們落入0.0和1.0之間。

離散值屬性可以重新編碼，使得每個域值一個輸入單元。例如，如果屬性A的定義域為(a0,a1,a2)，則可以分配三個輸入單元表示A。即，我們可以用I0 ,I1 ,I2作為輸入單元。每個單元初始化為0。如果A = a0，則I0置為1；如果A = a1，I1置1；如此下去。

一個輸出單元可以用來表示兩個類（值1代表一個類，而值0代表另一個）。如果多於兩個類，則每個類使用一個輸出單元。

隱藏層單元數設多少個「最好」 ，沒有明確的規則。

網路設計是一個實驗過程，並可能影響准確性。權的初值也可能影響准確性。如果某個經過訓練的網路的准確率太低，則通常需要採用不同的網路拓撲或使用不同的初始權值，重復進行訓練。

後向傳播演算法學習過程：

迭代地處理一組訓練樣本，將每個樣本的網路預測與實際的類標號比較。

每次迭代後，修改權值，使得網路預測和實際類之間的均方差最小。

這種修改「後向」進行。即，由輸出層，經由每個隱藏層，到第一個隱藏層（因此稱作後向傳播）。盡管不能保證，一般地，權將最終收斂，學習過程停止。

演算法終止條件：訓練集中被正確分類的樣本達到一定的比例，或者權系數趨近穩定。

後向傳播演算法分為如下幾步：

1) 初始化權

網路的權通常被初始化為很小的隨機數（例如，范圍從-1.0到1.0，或從-0.5到0.5）。

每個單元都設有一個偏置（bias），偏置也被初始化為小隨機數。

2) 向前傳播輸入

對於每一個樣本X，重復下面兩步：

向前傳播輸入，向後傳播誤差

計算各層每個單元的輸入和輸出。輸入層：輸出=輸入=樣本X的屬性；即，對於單元j，Oj = Ij = Xj。隱藏層和輸出層：輸入=前一層的輸出的線性組合,即，對於單元j， Ij =wij Oi + θj，輸出=

3) 向後傳播誤差

計算各層每個單元的誤差。

輸出層單元j，誤差：

Oj是單元j的實際輸出，而Tj是j的真正輸出。

隱藏層單元j，誤差：

wjk是由j到下一層中單元k的連接的權，Errk是單元k的誤差

更新 權 和 偏差 ，以反映傳播的誤差。

權由下式更新：

 其中，△wij是權wij的改變。l是學習率，通常取0和1之間的值。

 偏置由下式更新：

  其中，△θj是偏置θj的改變。

Example

人類視覺原理：

深度學習的許多研究成果，離不開對大腦認知原理的研究，尤其是視覺原理的研究。1981 年的諾貝爾醫學獎，頒發給了 David Hubel（出生於加拿大的美國神經生物學家） 和Torsten Wiesel，以及Roger Sperry。前兩位的主要貢獻，是「發現了視覺系統的信息處理」， 可視皮層是分級的 。

人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素Pixels），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然後抽象（大腦判定，眼前的物體的形狀，是圓形的），然後進一步抽象（大腦進一步判定該物體是只氣球）。

對於不同的物體，人類視覺也是通過這樣逐層分級，來進行認知的：

在最底層特徵基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特徵（輪子、眼睛、軀乾等），到最上層，不同的高級特徵最終組合成相應的圖像，從而能夠讓人類准確的區分不同的物體。

可以很自然的想到：可以不可以模仿人類大腦的這個特點，構造多層的神經網路，較低層的識別初級的圖像特徵，若干底層特徵組成更上一層特徵，最終通過多個層級的組合，最終在頂層做出分類呢？答案是肯定的，這也是許多深度學習演算法（包括CNN）的靈感來源。

卷積神經網路是一種多層神經網路，擅長處理圖像特別是大圖像的相關機器學習問題。卷積網路通過一系列方法，成功將數據量龐大的圖像識別問題不斷降維，最終使其能夠被訓練。

CNN最早由Yann LeCun提出並應用在手寫字體識別上。LeCun提出的網路稱為LeNet，其網路結構如下：

這是一個最典型的卷積網路，由 卷積層、池化層、全連接層 組成。其中卷積層與池化層配合，組成多個卷積組，逐層提取特徵，最終通過若干個全連接層完成分類。

CNN通過卷積來模擬特徵區分，並且通過卷積的權值共享及池化，來降低網路參數的數量級，最後通過傳統神經網路完成分類等任務。

降低參數量級：如果使用傳統神經網路方式，對一張圖片進行分類，那麼，把圖片的每個像素都連接到隱藏層節點上，對於一張1000x1000像素的圖片，如果有1M隱藏層單元，一共有10^12個參數，這顯然是不能接受的。

但是在CNN里，可以大大減少參數個數，基於以下兩個假設：

1）最底層特徵都是局部性的，也就是說，用10x10這樣大小的過濾器就能表示邊緣等底層特徵

2）圖像上不同小片段，以及不同圖像上的小片段的特徵是類似的，也就是說，能用同樣的一組分類器來描述各種各樣不同的圖像

基於以上兩個假設，就能把第一層網路結構簡化

用100個10x10的小過濾器，就能夠描述整幅圖片上的底層特徵。

卷積運算的定義如下圖所示：

如上圖所示，一個5x5的圖像，用一個3x3的 卷積核 ：

   101

   010

   101

來對圖像進行卷積操作（可以理解為有一個滑動窗口，把卷積核與對應的圖像像素做乘積然後求和），得到了3x3的卷積結果。

這個過程可以理解為使用一個過濾器（卷積核）來過濾圖像的各個小區域，從而得到這些小區域的特徵值。在實際訓練過程中， 卷積核的值是在學習過程中學到的。

在具體應用中，往往有多個卷積核，可以認為， 每個卷積核代表了一種圖像模式 ，如果某個圖像塊與此卷積核卷積出的值大，則認為此圖像塊十分接近於此卷積核。如果設計了6個卷積核，可以理解為這個圖像上有6種底層紋理模式，也就是用6種基礎模式就能描繪出一副圖像。以下就是24種不同的卷積核的示例：

池化 的過程如下圖所示：

可以看到，原始圖片是20x20的，對其進行采樣，采樣窗口為10x10，最終將其采樣成為一個2x2大小的特徵圖。

之所以這么做，是因為即使做完了卷積，圖像仍然很大（因為卷積核比較小），所以為了降低數據維度，就進行采樣。

即使減少了許多數據，特徵的統計屬性仍能夠描述圖像，而且由於降低了數據維度，有效地避免了過擬合。

在實際應用中，分為最大值采樣（Max-Pooling）與平均值采樣（Mean-Pooling）。

LeNet網路結構：

注意，上圖中S2與C3的連接方式並不是全連接，而是部分連接。最後，通過全連接層C5、F6得到10個輸出，對應10個數字的概率。

卷積神經網路的訓練過程與傳統神經網路類似，也是參照了反向傳播演算法

第一階段，向前傳播階段：

a）從樣本集中取一個樣本(X,Yp)，將X輸入網路；

b）計算相應的實際輸出Op

第二階段，向後傳播階段

a）計算實際輸出Op與相應的理想輸出Yp的差；

b）按極小化誤差的方法反向傳播調整權矩陣。

⑶ 一文看懂四種基本的神經網路架構

原文鏈接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/

更多干貨就在我的個人博客 http://blackblog.tech 歡迎關注

剛剛入門神經網路，往往會對眾多的神經網路架構感到困惑，神經網路看起來復雜多樣，但是這么多架構無非也就是三類，前饋神經網路，循環網路，對稱連接網路，本文將介紹四種常見的神經網路，分別是CNN，RNN，DBN，GAN。通過這四種基本的神經網路架構，我們來對神經網路進行一定的了解。

神經網路是機器學習中的一種模型，是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
一般來說，神經網路的架構可以分為三類：

前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。

循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的使用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。

其實之前的帖子講過一些關於感知機的內容，這里再復述一下。
首先還是這張圖
這是一個M-P神經元

一個神經元有n個輸入，每一個輸入對應一個權值w，神經元內會對輸入與權重做乘法後求和，求和的結果與偏置做差，最終將結果放入激活函數中，由激活函數給出最後的輸出，輸出往往是二進制的，0 狀態代表抑制，1 狀態代表激活。

可以把感知機看作是 n 維實例空間中的超平面決策面，對於超平面一側的樣本，感知器輸出 1，對於另一側的實例輸出 0，這個決策超平面方程是 w⋅x=0。 那些可以被某一個超平面分割的正反樣例集合稱為線性可分(linearly separable)樣例集合，它們就可以使用圖中的感知機表示。
與、或、非問題都是線性可分的問題，使用一個有兩輸入的感知機能容易地表示，而異或並不是一個線性可分的問題，所以使用單層感知機是不行的，這時候就要使用多層感知機來解決疑惑問題了。

如果我們要訓練一個感知機，應該怎麼辦呢？
我們會從隨機的權值開始，反復地應用這個感知機到每個訓練樣例，只要它誤分類樣例就修改感知機的權值。重復這個過程，直到感知機正確分類所有的樣例。每一步根據感知機訓練法則來修改權值，也就是修改與輸入 xi 對應的權 wi，法則如下：

這里 t 是當前訓練樣例的目標輸出，o 是感知機的輸出，η 是一個正的常數稱為學習速率。學習速率的作用是緩和每一步調整權的程度，它通常被設為一個小的數值（例如 0.1），而且有時會使其隨著權調整次數的增加而衰減。

多層感知機，或者說是多層神經網路無非就是在輸入層與輸出層之間加了多個隱藏層而已，後續的CNN，DBN等神經網路只不過是將重新設計了每一層的類型。感知機可以說是神經網路的基礎，後續更為復雜的神經網路都離不開最簡單的感知機的模型，

談到機器學習，我們往往還會跟上一個詞語，叫做模式識別，但是真實環境中的模式識別往往會出現各種問題。比如：
圖像分割：真實場景中總是摻雜著其它物體。很難判斷哪些部分屬於同一個對象。對象的某些部分可以隱藏在其他對象的後面。
物體光照：像素的強度被光照強烈影響。
圖像變形：物體可以以各種非仿射方式變形。例如，手寫也可以有一個大的圓圈或只是一個尖頭。
情景支持：物體所屬類別通常由它們的使用方式來定義。例如，椅子是為了讓人們坐在上面而設計的，因此它們具有各種各樣的物理形狀。
卷積神經網路與普通神經網路的區別在於，卷積神經網路包含了一個由卷積層和子采樣層構成的特徵抽取器。在卷積神經網路的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特徵平面(featureMap)，每個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網路的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網路各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
卷積神經網路由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
這里舉AlexNet為例：

·輸入：224×224大小的圖片，3通道
·第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
·第一層max-pooling：2×2的核。
·第二層卷積：5×5卷積核256個，每個GPU上128個。
·第二層max-pooling：2×2的核。
·第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
·第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
·第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
·第五層max-pooling：2×2的核。
·第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
·第二層全連接：4096維
·Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。

卷積神經網路在模式識別領域有著重要應用，當然這里只是對卷積神經網路做了最簡單的講解，卷積神經網路中仍然有很多知識，比如局部感受野，權值共享，多卷積核等內容，後續有機會再進行講解。

傳統的神經網路對於很多問題難以處理，比如你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以稱為循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN能夠對任何長度的序列數據進行處理。
這是一個簡單的RNN的結構，可以看到隱藏層自己是可以跟自己進行連接的。

那麼RNN為什麼隱藏層能夠看到上一刻的隱藏層的輸出呢，其實我們把這個網路展開來開就很清晰了。

從上面的公式我們可以看出，循環層和全連接層的區別就是循環層多了一個權重矩陣 W。
如果反復把式2帶入到式1，我們將得到：

在講DBN之前，我們需要對DBN的基本組成單位有一定的了解，那就是RBM，受限玻爾茲曼機。
首先什麼是玻爾茲曼機？
[圖片上傳失敗...(image-d36b31-1519636788074)]
如圖所示為一個玻爾茲曼機，其藍色節點為隱層，白色節點為輸入層。
玻爾茲曼機和遞歸神經網路相比，區別體現在以下幾點：
1、遞歸神經網路本質是學習一個函數，因此有輸入和輸出層的概念，而玻爾茲曼機的用處在於學習一組數據的「內在表示」，因此其沒有輸出層的概念。
2、遞歸神經網路各節點鏈接為有向環，而玻爾茲曼機各節點連接成無向完全圖。

而受限玻爾茲曼機是什麼呢？
最簡單的來說就是加入了限制，這個限制就是將完全圖變成了二分圖。即由一個顯層和一個隱層構成，顯層與隱層的神經元之間為雙向全連接。

h表示隱藏層，v表示顯層
在RBM中，任意兩個相連的神經元之間有一個權值w表示其連接強度，每個神經元自身有一個偏置系數b（對顯層神經元）和c（對隱層神經元）來表示其自身權重。
具體的公式推導在這里就不展示了

DBN是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標簽之間的聯合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
DBN由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網路類型如圖所示。這些網路被「限制」為一個可視層和一個隱層，層間存在連接，但層內的單元間不存在連接。隱層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。

生成對抗網路其實在之前的帖子中做過講解，這里在說明一下。
生成對抗網路的目標在於生成，我們傳統的網路結構往往都是判別模型，即判斷一個樣本的真實性。而生成模型能夠根據所提供的樣本生成類似的新樣本，注意這些樣本是由計算機學習而來的。
GAN一般由兩個網路組成，生成模型網路，判別模型網路。
生成模型 G 捕捉樣本數據的分布，用服從某一分布（均勻分布，高斯分布等）的雜訊 z 生成一個類似真實訓練數據的樣本，追求效果是越像真實樣本越好；判別模型 D 是一個二分類器，估計一個樣本來自於訓練數據（而非生成數據）的概率，如果樣本來自於真實的訓練數據，D 輸出大概率，否則，D 輸出小概率。
舉個例子：生成網路 G 好比假幣製造團伙，專門製造假幣，判別網路 D 好比警察，專門檢測使用的貨幣是真幣還是假幣，G 的目標是想方設法生成和真幣一樣的貨幣，使得 D 判別不出來，D 的目標是想方設法檢測出來 G 生成的假幣。
傳統的判別網路：

生成對抗網路：

下面展示一個cDCGAN的例子（前面帖子中寫過的）
生成網路

判別網路

最終結果，使用MNIST作為初始樣本，通過學習後生成的數字，可以看到學習的效果還是不錯的。

本文非常簡單的介紹了四種神經網路的架構，CNN，RNN，DBN，GAN。當然也僅僅是簡單的介紹，並沒有深層次講解其內涵。這四種神經網路的架構十分常見，應用也十分廣泛。當然關於神經網路的知識，不可能幾篇帖子就講解完，這里知識講解一些基礎知識，幫助大家快速入（zhuang）門（bi）。後面的帖子將對深度自動編碼器，Hopfield 網路長短期記憶網路（LSTM）進行講解。

⑷ 「深度學習」和「多層神經網路」的區別

多層神經網路都是全連接結構，比如1000＊1000的圖片作為輸入，那麼一層的參數需要10^12個。這樣就帶來一些問題。
深度學習在多層神經網路的基礎上，採用局部連接，權職共享，下菜樣等技術，使得一層的參數從10w個，縮小到100*10*10=1w個。使得多層結構可以工作的更高效。

⑸ 30分鍾講清楚深度神經網路

這兩年神經網路各種火。但對很多人而言，只是聽著覺得各種高大上，究其本質，還是聽不懂。下面我們花三十分鍾把這個事情講清楚。

神經網路演算法是最早來源於某神經生理學家和某數學家聯合發表的一篇論文，他們對人類神經運行規律的提出了一個猜想，並嘗試給出一個建模來模擬人類神經元的運行規律。

神經網路一開始由於求解問題的不穩定，以及范圍有限被拋棄。後面又在各個大神的努力下，對遇到的問題一個個解決，加上因為游戲帶來的計算能力的提升獲得了一個爆發式的增長。

下面我們講講神經網路是啥以及遇到的問題和探索出來的解決方案，最終我們給出一個深度神經網路的默認的最優配置項。

建立M個隱藏層，按順序建立輸入層跟隱藏層的聯結，最後建立隱藏層跟輸出層的聯結。為每個隱藏層的每個節點選擇激活函數。求解每個聯結的權重和每個節點自帶的bias值。參見下圖。

所謂激活函數就是對各個路徑的輸入求和之後進一步增強的函數 。
典型的有如下幾個：

下面這個圖裡面，是已知的各個聯結線的權值，求y1, y2

這個練習可以測試對神經網路的理解。

所謂神經網路問題的訓練本質，就是已知 y1,y2....yn， 已知x1, x2....xm，求解每個連接的權值和每個神經元上的偏差值。對單層的激活函數為RELU的神經網路而言就是， y = max(sum(w * x)+b, 0)，已知y和x，求解w和b。

對於以上求解w和b的值，科學家們發現可以通過反向傳播和梯度下降相結合來求解。就是一開始用隨機數初始化我們每個聯結的權值，然後通過神經網路計算出來的y值跟真實的y值做比對。如果這個值相差比較大，則修改當前層的聯結的權重。當發現這個值相差不大時，則修改更低一層的權重。這個步驟一直重復，逐步傳遞到第一層的權值 。

三大問題：

針對這三個問題，大拿們開始了一場探索之旅。

神經網路的求解是通過反向傳播的技術來解決的。通過梯度下降法。問題是，反向傳播從輸出層開始一步一步傳到Layer 1時，越到低層，聯結的權值變化越小，直到沒變化。這種叫梯度消失。還有一些呢？則是越到第一層，變化越來越大。這種叫梯度爆炸。常見於RNN。

解決方案探索如下：

目前來說，通常用1+2 多於 3 多於 4。就是現在一般使用He initialization跟ReLU的演進版本作為作為激活函數來解決梯度消失和爆炸的問題，其次才使用Batch Normalization，最後使用Gradient Clipping。

通常來說，我們很難獲得足夠的標記好的訓練數據。常用解決方案如下：

對於大規模數據的訓練，很多時候速度很慢。除了解決梯度消失或爆炸的問題之外，還有使用AdamOptimizer替代GradientDescentOptimizer會大大加快收斂速度 。

我們後面會教大家用tensorflow構造出一個神經網路並求解。

⑹ 深度神經網路具體的工作流程是什麼樣的

第一，深度神經網路不是黑盒，個人電腦開機直到神經網路運行在內存中的每一比特的變化都是可以很細微的觀察的。沒有任何神秘力量，沒有超出科學解釋的現象發生。第二，深度神經網路的工作方式是基於傳統的電腦架構之上的，就是數據+演算法。但人們確實從中窺探到了一種全新的電子大腦方式。所以目前有研究提煉一些常用神經網路演算法加速硬體。微軟等巨頭則在開發量子計算。第三，深度神經網路是一個很初級的特徵自動提取器。說初級因為簡單粗暴。以前為了節約算力特徵關鍵模型都是人工親自設定。而現在這部分工作隨著算力的提高可以自動化。所以從某種意義上來說深度神經網路也是一種自動編程機，但和人們相比，一點點小小的自動化都需要很多很多的計算力支持，這一點也不重要，重要的是，它能工作(手動英文)。那麼深度神經網路究竟是什麼呢？它是一個能迭代更新自己的特徵提取演算法。現在這個演算法可是像全自動高級工廠，數據往裡一丟，不得了！整個工廠裡面所有機器都動了起來。沒見過的小夥伴當場就被嚇呆瓜了，用流行的話說叫懵住。幾千隻機械手把數據搬來搬去，拿出魔方一樣的盒子裝來裝去又倒出來。整個場面就叫一個震撼。演算法運行規模也更大了。

⑺ 誰能科普一下「深度學習」網路和以前那種「多層神經網路」的區別

多層神經網路又叫全連接神經網路。當輸入圖像為1000*1000的解析度時，神經網路一層的系數就達到10^12。系數過多引起收斂問題導致訓練無法達到最優，並且容易過擬合。讓它不具有實現意義。深度學習採用權值共享和局部連接等技術，大大降低了系數的個數和各種避免過擬合的方法，使得網路層數可以達到數百，使得深層網路成為可能。感興趣可以搜搜我的課程，用Python做深度學習1——數學基礎

⑻ 有哪些深度神經網路模型

卷積神經元（Convolutional cells）和前饋神經元非常相似，除了它們只跟前一神經細胞層的部分神經元有連接。因為它們不是和某些神經元隨機連接的，而是與特定范圍內的神經元相連接，通常用來保存空間信息。這讓它們對於那些擁有大量局部信息，比如圖像數據、語音數據（但多數情況下是圖像數據），會非常實用。

解卷積神經元恰好相反：它們是通過跟下一神經細胞層的連接來解碼空間信息。這兩種神經元都有很多副本，它們都是獨立訓練的；每個副本都有自己的權重，但連接方式卻完全相同。可以認為，這些副本是被放在了具備相同結構的不同的神經網路中。這兩種神經元本質上都是一般意義上的神經元，但是，它們的使用方式卻不同。

池化神經元和插值神經元（Pooling and interpolating cells）經常和卷積神經元結合起來使用。它們不是真正意義上的神經元，只能進行一些簡單的操作。

池化神經元接受到來自其它神經元的輸出過後，決定哪些值可以通過，哪些值不能通過。在圖像領域，可以理解成是把一個圖像縮小了（在查看圖片的時候，一般軟體都有一個放大、縮小的功能；這里的圖像縮小，就相當於軟體上的縮小圖像；也就是說我們能看到圖像的內容更加少了；在這個池化的過程當中，圖像的大小也會相應地減少）。這樣，你就再也不能看到所有的像素了，池化函數會知道什麼像素該保留，什麼像素該舍棄。

插值神經元恰好是相反的操作：它們獲取一些信息，然後映射出更多的信息。額外的信息都是按照某種方式製造出來的，這就好像在一張小解析度的圖片上面進行放大。插值神經元不僅僅是池化神經元的反向操作，而且，它們也是很常見，因為它們運行非常快，同時，實現起來也很簡單。池化神經元和插值神經元之間的關系，就像卷積神經元和解卷積神經元之間的關系。

均值神經元和標准方差神經元（Mean and standard deviation cells）（作為概率神經元它們總是成對地出現）是一類用來描述數據概率分布的神經元。均值就是所有值的平均值，而標准方差描述的是這些數據偏離（兩個方向）均值有多遠。比如：一個用於圖像處理的概率神經元可以包含一些信息，比如：在某個特定的像素裡面有多少紅色。舉個例來說，均值可能是0.5，同時標准方差是0.2。當要從這些概率神經元取樣的時候，你可以把這些值輸入到一個高斯隨機數生成器，這樣就會生成一些分布在0.4和0.6之間的值；值離0.5越遠，對應生成的概率也就越小。它們一般和前一神經元層或者下一神經元層是全連接，而且，它們沒有偏差（bias）。

循環神經元（Recurrent cells ）不僅僅在神經細胞層之間有連接，而且在時間軸上也有相應的連接。每一個神經元內部都會保存它先前的值。它們跟一般的神經元一樣更新，但是，具有額外的權重：與當前神經元之前值之間的權重，還有大多數情況下，與同一神經細胞層各個神經元之間的權重。當前值和存儲的先前值之間權重的工作機制，與非永久性存儲器（比如RAM）的工作機制很相似，繼承了兩個性質：

• 第一，維持一個特定的狀態；

• 第二：如果不對其持續進行更新（輸入），這個狀態就會消失。

由於先前的值是通過激活函數得到的，而在每一次的更新時，都會把這個值和其它權重一起輸入到激活函數，因此，信息會不斷地流失。實際上，信息的保存率非常的低，以至於僅僅四次或者五次迭代更新過後，幾乎之前所有的信息都會流失掉。

⑼ 卷積神經網路和深度神經網路的區別是什麼

沒有卷積神經網路的說法，只有卷積核的說法。
電腦圖像處理的真正價值在於：一旦圖像存儲在電腦上，就可以對圖像進行各種有效的處理。如減小像素的顏色值，可以解決曝光過度的問題，模糊的圖像也可以進行銳化處理，清晰的圖像可以使用模糊處理模擬攝像機濾色鏡產生的柔和效果。
用Photoshop等圖像處理軟體，施展的魔法幾乎是無止境的。四種基本圖像處理效果是模糊、銳化、浮雕和水彩。ß這些效果是不難實現的，它們的奧妙部分是一個稱為卷積核的小矩陣。這個3*3的核含有九個系數。為了變換圖像中的一個像素，首先用卷積核中心的系數乘以這個像素值，再用卷積核中其它八個系數分別乘以像素周圍的八個像素，最後把這九個乘積相加，結果作為這個像素的值。對圖像中的每個像素都重復這一過程，對圖像進行了過濾。採用不同的卷積核，就可以得到不同的處理效果。ß用PhotoshopCS6，可以很方便地對圖像進行處理。
模糊處理——模糊的卷積核由一組系數構成，每個系數都小於1，但它們的和恰好等於1，每個像素都吸收了周圍像素的顏色，每個像素的顏色分散給了它周圍的像素，最後得到的圖像中，一些刺目的邊緣變得柔和。
銳化卷積核中心的系數大於1，周圍八個系數和的絕對值比中間系數小1，這將擴大一個像素與之周圍像素顏色之間的差異，最後得到的圖像比原來的圖像更清晰。
浮雕卷積核中的系數累加和等於零，背景像素的值為零，非背景像素的值為非零值。照片上的圖案好像金屬表面的浮雕一樣，輪廓似乎凸出於其表面。
要進行水彩處理，首先要對圖像中的色彩進行平滑處理，把每個像素的顏色值和它周圍的二十四個相鄰的像素顏色值放在一個表中，然後由小到大排序，把表中間的一個顏色值作為這個像素的顏色值。然後用銳化卷積核對圖像中的每個像素進行處理，以使得輪廓更加突出，最後得到的圖像很像一幅水彩畫。
我們把一些圖像處理技術結合起來使用，就能產生一些不常見的光學效果，例如光暈等等。
希望我能幫助你解疑釋惑。

⑽ 深度卷積網路

LeNet網路的結構如下圖所示，可以看出，LeNet網路並沒有使用padding，每進行一次卷積，圖像的高度和寬度都會縮小，而通道數會一直增加。在全連接層中有400個節點，每個極點都有120個神經元，有時還會從這400個節點抽取一部分節點構建一個全連接層，即有兩個全連接層。在該網路中，最後一步就是利用84個特徵得到最後的輸出，該網路剛開始使用的是 sigmoid 函數 tanh 函數，而現在常常傾向於使用 softmax 函數。需要注意的是，LeNet-5網路進行圖像分類時，輸入的圖像是單通道的灰度圖像。

AlexNet是以論文第一作者的名字命名的，該網路的結構，如下圖所示，該網路的輸出層使用了 softmax 函數。AlexNet網路比LeNet網路規模更大，大約有6000萬個參數，用於訓練圖像和數據集時，能夠處理非常相似的基本構造模塊，這些模塊中包含著大量的隱藏單元，並且與LeNet網路不同的是，該網路使用了ReLu的激活函數。

VGG-16網路沒有太多的超參數，這是一種專注於構建卷積層的簡單網路。如下圖所示，該網路首先利用64個過濾器進行了兩次卷積，接著在池化層將輸入圖像壓縮，接著又是128個過濾器進行兩次卷積，接著載池化。繼續用256個過濾器進行3次卷積，再池化，接著再利用512個過濾器卷積3次，再池化，將稍後得到的特徵圖進行全連接操作，再進 softmax 激活。

由於存在梯度消失和梯度爆炸的原因，深層次的神經網路是很難訓練的，如果採用一種跳躍連接的方式，即從某一層網路層獲取激活，然後迅速反饋給另外一層，甚至是神經網路的更深層。這種利用跳躍連接構建的深度神經網路ResNets，深度能夠超過100層

一個簡單的兩層神經網路示例，如下圖所示：

常規的輸出和輸出之間的關系可以用如下的公式表示：

如上公式所述，這是一條神經網路的主路徑。如果將 的輸入直接到深層的激活函數之前，此時，神經網路有了一條副路徑，其對應輸出將有公式（5）變成如下所示的公式（6）

此時的輸入除了原先的輸入 外，多了一個 項，即由於 產生了一個殘差塊。

構建一個ResNet網路就是將很多這樣的殘差塊堆積在一起，形成一個深度神經網路，如下所示：

使用傳統的標准優化演算法訓練一個網路，隨著網路深度的增加，訓練誤差會先減小再增加，隨著網路層數的增加，優化演算法會越難以訓練，訓練誤差也會越來越多。但是，使用ResNet網路，能夠有效地避免這種情況。

如上所述，加入殘差網路之後，其輸出計算公式如公式（6）所示，展開這個公式，則有：

如果使用L2正則化或者權重衰減，則會壓縮權重參數 的值，如果參數 和參數 等於0，其輸出將由公式（7）變成 ，假定使用ReLU激活函數，則有：

由於殘差網路存在的這種跳躍連接，很容易得出以上等式，這意味著，即使給神經網路增加兩層，但是其效率並不遜色與更簡單的神經網路。並且由於存在以上恆等式，使得網路學習隱藏層的單元的信息更加容易。而普通網路，隨著網路層數的增加，學習參數會變得很困難。

此外，關於殘差網路，如公式（6）所示，假設 與 具有相同的維度，由於ResNets使用了許多same卷積， 的維度等於輸出層的維度。如果輸入和輸出具有不同的維度，可以再增加一個矩陣 ，使得 和 具有相同的維度。而 的維度可以通過0值填充調節。

在卷積網路的架構設計中，一種有趣的想法是會使用到1×1的過濾矩陣，實際上，對於單通道的圖像而言，1×1的過濾矩陣，意義不大，但是，對於多通道的圖像而言，1×1的過濾矩陣能夠有效減少圖像卷積之後的通道數量。

根據卷積和池化的基本知識，隨著神經網路層數的增加，圖像的通道數量會逐漸增加，採用1×1的過濾矩陣卷積之後，可以有效減少圖像的通道數量，一個簡單的示例，如下所示：

假設有一個6×6×32的圖片，使用1×1×32的過濾矩陣進行卷積運算，整個運算過程將會遍歷36個單元格，並計算過濾矩陣所覆蓋區域的元素積之和，將其應用到ReLu非線性函數，會得到一個輸出值。此計算過程中，可能會用到多個1×1×32的過濾器，那麼，通過以上計算會得到一個 6×6×過濾器數量 的矩陣。

構建卷積神經網路時，有時會很難決定過濾器的大小，而Inception網路的引入，卻能很好的解決這個問題。

Inception網路的作用就是代替人工確定選擇卷積層的過濾器類型。如下圖所示，對於一個多通道圖像，可以使用不同的過濾矩陣或者池化層，得到不同的輸出，將這些輸出堆積起來。

有了如上圖所示的Inception塊，最終輸出為32+32+64+128=256，而Inception模塊的輸入為28×28×192，其整個計算成本，以5×5的過濾矩陣為例，其乘法的計算次數為：28×28×32×5×5×192，整個計算次數超過了1.2億次。而如果使用如下所示的優化計算方法，則可以有效減少計算量。

如果利用1×1的過濾器，將輸入矩陣的通道減少至16，則可以有效減少計算量，如下所示：

如上圖所示的價格中，整個網路的運算次數為：28×28×192×16+28×28×32×5×5×16=1240萬，整個計算成本降低至原來的十分之一。而，通過1×1×192過濾器卷積得到的這個網路層被稱之為瓶頸層。

如上，所示，可以給每一個非1×1的卷積層之前，加入一個1×1的瓶頸層，就可以構建一個基本的inception模塊了，如下圖所示：

而一個inception網路就是多個Inception模塊連接起來，如下圖所示：

事實上，以上網路中，還存在一些分支，如編號1所示，這些分支就是全連接層，而全連接層之後就是一個softmax層用於預測。又如分支2所示，包含一些隱藏層（編號3），通過全連接層和softmax進行預測。這些分支結構能夠確保，即使是隱藏層和中間層也參與了特徵計算，並且也能夠預測圖片的分類。這種做法能夠有效避免網路過擬合。

對於計算機視覺領域而言，神經網路的訓練可能需要大量的數據，但是當數據量有限時，可以通過數據增強來實現數據量的擴充，以提高系統的魯棒性，具體的數據增強方法如下所示：

除了以上三種數據增強的方法外，更多的數據增強方法和實現可以參考 圖像數據增強

數據增強可以利用計算機多線程實現，一個線程用來實現載入數據，實現數據增強，其他線程可以訓練這些數據以加快整體的運算速度。