『壹』 一文讀懂神經網路
要說近幾年最引人注目的技術，無疑的，非人工智慧莫屬。無論你是否身處科技互聯網行業，隨處可見人工智慧的身影：從 AlphaGo 擊敗世界圍棋冠軍，到無人駕駛概念的興起，再到科技巨頭 All in AI，以及各大高校向社會輸送海量的人工智慧專業的畢業生。以至於人們開始萌生一個想法：新的革命就要來了，我們的世界將再次發生一次巨變；而後開始焦慮：我的工作是否會被機器取代？我該如何才能抓住這次革命？
人工智慧背後的核心技術是深度神經網路（Deep Neural Network），大概是一年前這個時候，我正在回老家的高鐵上學習 3Blue1Brown 的 Neural Network 系列視頻課程，短短 4 集 60 多分鍾的時間，就把神經網路從 High Level 到推導細節說得清清楚楚，當時的我除了獲得新知的興奮之外，還有一點新的認知，算是給頭腦中的革命性的技術潑了盆冷水：神經網路可以解決一些復雜的、以前很難通過寫程序來完成的任務——例如圖像、語音識別等，但它的實現機制告訴我，神經網路依然沒有達到生物級別的智能，短期內期待它來取代人也是不可能的。
一年後的今天，依然在這個春運的時間點，將我對神經網路的理解寫下來，算是對這部分知識的一個學習筆記，運氣好的話，還可以讓不了解神經網路的同學了解起來。
維基網路這樣解釋 神經網路 ：
這個定義比較寬泛，你甚至還可以用它來定義其它的機器學習演算法，例如之前我們一起學習的邏輯回歸和 GBDT 決策樹。下面我們具體一點，下圖是一個邏輯回歸的示意圖：
其中 x1 和 x2 表示輸入，w1 和 w2 是模型的參數，z 是一個線性函數：
接著我們對 z 做一個 sigmod 變換（圖中藍色圓），得到輸出 y：
其實，上面的邏輯回歸就可以看成是一個只有 1 層 輸入層 ， 1 層 輸出層 的神經網路，圖中容納數字的圈兒被稱作 神經元 ；其中，層與層之間的連接 w1、w2 以及 b，是這個 神經網路的參數 ，層之間如果每個神經元之間都保持著連接，這樣的層被稱為 全連接層 （Full Connection Layer），或 稠密層 （Dense Layer）；此外，sigmoid 函數又被稱作 激活函數 （Activation Function），除了 sigmoid 外，常用的激活函數還有 ReLU、tanh 函數等，這些函數都起到將線性函數進行非線性變換的作用。我們還剩下一個重要的概念： 隱藏層 ，它需要把 2 個以上的邏輯回歸疊加起來加以說明：
如上圖所示，除輸入層和輸出層以外，其他的層都叫做 隱藏層 。如果我們多疊加幾層，這個神經網路又可以被稱作 深度神經網路 （Deep Neural Network），有同學可能會問多少層才算「深」呢？這個沒有絕對的定論，個人認為 3 層以上就算吧：）
以上，便是神經網路，以及神經網路中包含的概念，可見，神經網路並不特別，廣義上講，它就是
可見，神經網路和人腦神經也沒有任何關聯，如果我們說起它的另一個名字—— 多層感知機（Mutilayer Perceptron） ，就更不會覺得有多麼玄乎了，多層感知機創造於 80 年代，可為什麼直到 30 年後的今天才爆發呢？你想得沒錯，因為改了個名字……開個玩笑；實際上深度學習這項技術也經歷過很長一段時間的黑暗低谷期，直到人們開始利用 GPU 來極大的提升訓練模型的速度，以及幾個標志性的事件：如 AlphaGo戰勝李世石、Google 開源 TensorFlow 框架等等，感興趣的同學可以翻一下這里的歷史。
就拿上圖中的 3 個邏輯回歸組成的神經網路作為例子，它和普通的邏輯回歸比起來，有什麼優勢呢？我們先來看下單邏輯回歸有什麼劣勢，對於某些情況來說，邏輯回歸可能永遠無法使其分類，如下面數據：
這 4 個樣本畫在坐標系中如下圖所示
因為邏輯回歸的決策邊界（Decision Boundary）是一條直線，所以上圖中的兩個分類，無論你怎麼做，都無法找到一條直線將它們分開，但如果藉助神經網路，就可以做到這一點。
由 3 個邏輯回歸組成的網路（這里先忽略 bias）如下：
觀察整個網路的計算過程，在進入輸出層之前，該網路所做的計算實際上是：
即把輸入先做了一次線性變換（Linear Transformation），得到 [z1, z2] ，再把 [z1, z2] 做了一個非線性變換（sigmoid），得到 [x1', x2'] ，（線性變換的概念可以參考 這個視頻 ）。從這里開始，後面的操作就和一個普通的邏輯回歸沒有任何差別了，所以它們的差異在於： 我們的數據在輸入到模型之前，先做了一層特徵變換處理（Feature Transformation，有時又叫做特徵抽取 Feature Extraction），使之前不可能被分類的數據變得可以分類了 。
我們繼續來看下特徵變換的效果，假設 為 ，帶入上述公式，算出 4 個樣本對應的 [x1', x2'] 如下：
再將變換後的 4 個點繪制在坐標系中：
顯然，在做了特徵變換之後，這兩個分類就可以很容易的被一條決策邊界分開了。
所以， 神經網路的優勢在於，它可以幫助我們自動的完成特徵變換或特徵提取 ，尤其對於聲音、圖像等復雜問題，因為在面對這些問題時，人們很難清晰明確的告訴你，哪些特徵是有用的。
在解決特徵變換的同時，神經網路也引入了新的問題，就是我們需要設計各式各樣的網路結構來針對性的應對不同的場景，例如使用卷積神經網路（CNN）來處理圖像、使用長短期記憶網路（LSTM）來處理序列問題、使用生成式對抗網路（GAN）來寫詩和作圖等，就連去年自然語言處理（NLP）中取得突破性進展的 Transformer/Bert 也是一種特定的網路結構。所以， 學好神經網路，對理解其他更高級的網路結構也是有幫助的 。
上面說了，神經網路可以看作一個非線性函數，該函數的參數是連接神經元的所有的 Weights 和 Biases，該函數可以簡寫為 f(W, B) ，以手寫數字識別的任務作為例子：識別 MNIST 數據集 中的數字，數據集（MNIST 數據集是深度學習中的 HelloWorld）包含上萬張不同的人寫的數字圖片，共有 0-9 十種數字，每張圖片為 28*28=784 個像素，我們設計一個這樣的網路來完成該任務：
把該網路函數所具備的屬性補齊：
接下來的問題是，這個函數是如何產生的？這個問題本質上問的是這些參數的值是怎麼確定的。
在機器學習中，有另一個函數 c 來衡量 f 的好壞，c 的參數是一堆數據集，你輸入給 c 一批 Weights 和 Biases，c 輸出 Bad 或 Good，當結果是 Bad 時，你需要繼續調整 f 的 Weights 和 Biases，再次輸入給 c，如此往復，直到 c 給出 Good 為止，這個 c 就是損失函數 Cost Function（或 Loss Function）。在手寫數字識別的列子中，c 可以描述如下：
可見，要完成手寫數字識別任務，只需要調整這 12730 個參數，讓損失函數輸出一個足夠小的值即可，推而廣之，絕大部分神經網路、機器學習的問題，都可以看成是定義損失函數、以及參數調優的問題。
在手寫識別任務中，我們既可以使用交叉熵（Cross Entropy）損失函數，也可以使用 MSE（Mean Squared Error）作為損失函數，接下來，就剩下如何調優參數了。
神經網路的參數調優也沒有使用特別的技術，依然是大家剛接觸機器學習，就學到的梯度下降演算法，梯度下降解決了上面迭代過程中的遺留問題——當損失函數給出 Bad 結果時，如何調整參數，能讓 Loss 減少得最快。
梯度可以理解為：
把 Loss 對應到 H，12730 個參數對應到 (x,y)，則 Loss 對所有參數的梯度可以表示為下面向量，該向量的長度為 12730：
$$
abla L(w,b) = left[
frac{partial L}{partial w_1},
frac{partial L}{partial w_2},...,
frac{partial L}{partial b_{26}}
ight] ^ op
$$
所以，每次迭代過程可以概括為
用梯度來調整參數的式子如下（為了簡化，這里省略了 bias）：
上式中， 是學習率，意為每次朝下降最快的方向前進一小步，避免優化過頭（Overshoot）。
由於神經網路參數繁多，所以需要更高效的計算梯度的演算法，於是，反向傳播演算法（Backpropagation）呼之欲出。
在學習反向傳播演算法之前，我們先復習一下微積分中的鏈式法則（Chain Rule）：設 g = u(h) ， h = f(x) 是兩個可導函數，x 的一個很小的變化 △x 會使 h 產生一個很小的變化 △h，從而 g 也產生一個較小的變化 △g，現要求 △g/△x，可以使用鏈式法則：
有了以上基礎，理解反向傳播演算法就簡單了。
假設我們的演示網路只有 2 層，輸入輸出都只有 2 個神經元，如下圖所示：
其中 是輸入， 是輸出， 是樣本的目標值，這里使用的損失函數 L 為 MSE；圖中的上標 (1) 或 (2) 分別表示參數屬於第 (1) 層或第 (2) 層，下標 1 或 2 分別表示該層的第 1 或 第 2 個神經元。
現在我們來計算 和 ，掌握了這 2 個參數的偏導數計算之後，整個梯度的計算就掌握了。
所謂反向傳播演算法，指的是從右向左來計算每個參數的偏導數，先計算 ，根據鏈式法則
對左邊項用鏈式法則展開
又 是輸出值， 可以直接通過 MSE 的導數算出：
而 ，則 就是 sigmoid 函數的導數在 處的值，即
於是 就算出來了：
再來看 這一項，因為
所以
注意：上面式子對於所有的 和 都成立，且結果非常直觀，即 對 的偏導為左邊的輸入 的大小；同時，這里還隱含著另一層意思：需要調整哪個 來影響 ，才能使 Loss 下降得最快，從該式子可以看出，當然是先調整較大的 值所對應的 ，效果才最顯著 。
於是，最後一層參數 的偏導數就算出來了
我們再來算上一層的 ，根據鏈式法則 ：
繼續展開左邊這一項
你發現沒有，這幾乎和計算最後一層一摸一樣，但需要注意的是，這里的 對 Loss 造成的影響有多條路徑，於是對於只有 2 個輸出的本例來說：
上式中， 都已經在最後一層算出，下面我們來看下 ，因為
於是
同理
注意：這里也引申出梯度下降的調參直覺：即要使 Loss 下降得最快，優先調整 weight 值比較大的 weight。
至此， 也算出來了
觀察上式， 所謂每個參數的偏導數，通過反向傳播演算法，都可以轉換成線性加權（Weighted Sum）計算 ，歸納如下：
式子中 n 代表分類數，(l) 表示第 l 層，i 表示第 l 層的第 i 個神經元。 既然反向傳播就是一個線性加權，那整個神經網路就可以藉助於 GPU 的矩陣並行計算了 。
最後，當你明白了神經網路的原理，是不是越發的認為，它就是在做一堆的微積分運算，當然，作為能證明一個人是否學過微積分，神經網路還是值得學一下的。Just kidding ..
本文我們通過
這四點，全面的學習了神經網路這個知識點，希望本文能給你帶來幫助。
參考：
『貳』 神經網路模型-27種神經網路模型們的簡介
【1】Perceptron(P) 感知機
【1】感知機
感知機是我們知道的最簡單和最古老的神經元模型，它接收一些輸入，然後把它們加總，通過激活函數並傳遞到輸出層。
【2】Feed Forward(FF)前饋神經網路
【2】前饋神經網路
前饋神經網路（FF），這也是一個很古老的方法——這種方法起源於50年代。它的工作原理通常遵循以下規則：
1.所有節點都完全連接
2.激活從輸入層流向輸出，無回環
3.輸入和輸出之間有一層（隱含層）
在大多數情況下，這種類型的網路使用反向傳播方法進行訓練。
【3】Radial Basis Network(RBF) RBF神經網路
【3】RBF神經網路
RBF 神經網路實際上是 激活函數是徑向基函數 而非邏輯函數的FF前饋神經網路（FF）。兩者之間有什麼區別呢？
邏輯函數--- 將某個任意值映射到[0 ,... 1]范圍內來，回答「是或否」問題。適用於分類決策系統，但不適用於連續變數。
相反， 徑向基函數--- 能顯示「我們距離目標有多遠」。 這完美適用於函數逼近和機器控制（例如作為PID控制器的替代）。
簡而言之，RBF神經網路其實就是， 具有不同激活函數和應用方向的前饋網路 。
【4】Deep Feed Forword(DFF)深度前饋神經網路
【4】DFF深度前饋神經網路
DFF深度前饋神經網路在90年代初期開啟了深度學習的潘多拉盒子。 這些依然是前饋神經網路，但有不止一個隱含層 。那麼，它到底有什麼特殊性？
在訓練傳統的前饋神經網路時，我們只向上一層傳遞了少量的誤差信息。由於堆疊更多的層次導致訓練時間的指數增長，使得深度前饋神經網路非常不實用。 直到00年代初，我們開發了一系列有效的訓練深度前饋神經網路的方法; 現在它們構成了現代機器學習系統的核心 ，能實現前饋神經網路的功能，但效果遠高於此。
【5】Recurrent Neural Network(RNN) 遞歸神經網路
【5】RNN遞歸神經網路
RNN遞歸神經網路引入不同類型的神經元——遞歸神經元。這種類型的第一個網路被稱為約旦網路（Jordan Network），在網路中每個隱含神經元會收到它自己的在固定延遲（一次或多次迭代）後的輸出。除此之外，它與普通的模糊神經網路非常相似。
當然，它有許多變化 — 如傳遞狀態到輸入節點，可變延遲等，但主要思想保持不變。這種類型的神經網路主要被使用在上下文很重要的時候——即過去的迭代結果和樣本產生的決策會對當前產生影響。最常見的上下文的例子是文本——一個單詞只能在前面的單詞或句子的上下文中進行分析。
【6】Long/Short Term Memory (LSTM) 長短時記憶網路
【6】LSTM長短時記憶網路
LSTM長短時記憶網路引入了一個存儲單元，一個特殊的單元，當數據有時間間隔（或滯後）時可以處理數據。遞歸神經網路可以通過「記住」前十個詞來處理文本，LSTM長短時記憶網路可以通過「記住」許多幀之前發生的事情處理視頻幀。 LSTM網路也廣泛用於寫作和語音識別。
存儲單元實際上由一些元素組成，稱為門，它們是遞歸性的，並控制信息如何被記住和遺忘。
【7】Gated Recurrent Unit (GRU)
【7】GRU是具有不同門的LSTM
GRU是具有不同門的LSTM。
聽起來很簡單，但缺少輸出門可以更容易基於具體輸入重復多次相同的輸出，目前此模型在聲音（音樂）和語音合成中使用得最多。
實際上的組合雖然有點不同：但是所有的LSTM門都被組合成所謂的更新門(Update Gate)，並且復位門(Reset Gate)與輸入密切相關。
它們比LSTM消耗資源少，但幾乎有相同的效果。
【8】Auto Encoder (AE) 自動編碼器
【8】AE自動編碼器
Autoencoders自動編碼器用於分類，聚類和特徵壓縮。
當您訓練前饋(FF)神經網路進行分類時，您主要必須在Y類別中提供X個示例，並且期望Y個輸出單元格中的一個被激活。 這被稱為「監督學習」。
另一方面，自動編碼器可以在沒有監督的情況下進行訓練。它們的結構 - 當隱藏單元數量小於輸入單元數量（並且輸出單元數量等於輸入單元數）時，並且當自動編碼器被訓練時輸出盡可能接近輸入的方式，強制自動編碼器泛化數據並搜索常見模式。
【9】Variational AE (VAE) 變分自編碼器
【9】VAE變分自編碼器
變分自編碼器，與一般自編碼器相比，它壓縮的是概率，而不是特徵。
盡管如此簡單的改變，但是一般自編碼器只能回答當「我們如何歸納數據？」的問題時，變分自編碼器回答了「兩件事情之間的聯系有多強大？我們應該在兩件事情之間分配誤差還是它們完全獨立的？」的問題。
【10】Denoising AE (DAE) 降噪自動編碼器
【10】DAE降噪自動編碼器
雖然自動編碼器很酷，但它們有時找不到最魯棒的特徵，而只是適應輸入數據（實際上是過擬合的一個例子）。
降噪自動編碼器（DAE）在輸入單元上增加了一些雜訊 - 通過隨機位來改變數據，隨機切換輸入中的位，等等。通過這樣做，一個強制降噪自動編碼器從一個有點嘈雜的輸入重構輸出，使其更加通用，強制選擇更常見的特徵。
【11】Sparse AE (SAE) 稀疏自編碼器
【11】SAE稀疏自編碼器
稀疏自編碼器（SAE）是另外一個有時候可以抽離出數據中一些隱藏分組樣試的自動編碼的形式。結構和AE是一樣的，但隱藏單元的數量大於輸入或輸出單元的數量。
【12】Markov Chain (MC) 馬爾科夫鏈
【12】Markov Chain (MC) 馬爾科夫鏈
馬爾可夫鏈（Markov Chain, MC）是一個比較老的圖表概念了，它的每一個端點都存在一種可能性。過去，我們用它來搭建像「在單詞hello之後有0.0053％的概率會出現dear，有0.03551%的概率出現you」這樣的文本結構。
這些馬爾科夫鏈並不是典型的神經網路，它可以被用作基於概率的分類（像貝葉斯過濾），用於聚類（對某些類別而言），也被用作有限狀態機。
【13】Hopfield Network (HN) 霍普菲爾網路
【13】HN霍普菲爾網路
霍普菲爾網路（HN）對一套有限的樣本進行訓練，所以它們用相同的樣本對已知樣本作出反應。
在訓練前，每一個樣本都作為輸入樣本，在訓練之中作為隱藏樣本，使用過之後被用作輸出樣本。
在HN試著重構受訓樣本的時候，他們可以用於給輸入值降噪和修復輸入。如果給出一半圖片或數列用來學習，它們可以反饋全部樣本。
【14】Boltzmann Machine (BM) 波爾滋曼機
【14】 BM 波爾滋曼機
波爾滋曼機（BM）和HN非常相像，有些單元被標記為輸入同時也是隱藏單元。在隱藏單元更新其狀態時，輸入單元就變成了輸出單元。（在訓練時，BM和HN一個一個的更新單元，而非並行）。
這是第一個成功保留模擬退火方法的網路拓撲。
多層疊的波爾滋曼機可以用於所謂的深度信念網路，深度信念網路可以用作特徵檢測和抽取。
【15】Restricted BM (RBM) 限制型波爾滋曼機
【15】 RBM 限制型波爾滋曼機
在結構上，限制型波爾滋曼機（RBM）和BM很相似，但由於受限RBM被允許像FF一樣用反向傳播來訓練（唯一的不同的是在反向傳播經過數據之前RBM會經過一次輸入層）。
【16】Deep Belief Network (DBN) 深度信念網路
【16】DBN 深度信念網路
像之前提到的那樣，深度信念網路（DBN）實際上是許多波爾滋曼機（被VAE包圍）。他們能被連在一起（在一個神經網路訓練另一個的時候），並且可以用已經學習過的樣式來生成數據。
【17】Deep Convolutional Network (DCN) 深度卷積網路
【17】 DCN 深度卷積網路
當今，深度卷積網路（DCN）是人工神經網路之星。它具有卷積單元（或者池化層）和內核，每一種都用以不同目的。
卷積核事實上用來處理輸入的數據，池化層是用來簡化它們（大多數情況是用非線性方程，比如max），來減少不必要的特徵。
他們通常被用來做圖像識別，它們在圖片的一小部分上運行（大約20x20像素）。輸入窗口一個像素一個像素的沿著圖像滑動。然後數據流向卷積層，卷積層形成一個漏斗（壓縮被識別的特徵）。從圖像識別來講，第一層識別梯度，第二層識別線，第三層識別形狀，以此類推，直到特定的物體那一級。DFF通常被接在卷積層的末端方便未來的數據處理。
【18】Deconvolutional Network (DN) 去卷積網路
【18】 DN 去卷積網路
去卷積網路（DN）是將DCN顛倒過來。DN能在獲取貓的圖片之後生成像（狗：0，蜥蜴：0，馬：0，貓：1）一樣的向量。DNC能在得到這個向量之後，能畫出一隻貓。
【19】Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷積反轉圖像網路
【19】 DCIGN 深度卷積反轉圖像網路
深度卷積反轉圖像網路（DCIGN），長得像DCN和DN粘在一起，但也不完全是這樣。
事實上，它是一個自動編碼器，DCN和DN並不是作為兩個分開的網路，而是承載網路輸入和輸出的間隔區。大多數這種神經網路可以被用作圖像處理，並且可以處理他們以前沒有被訓練過的圖像。由於其抽象化的水平很高，這些網路可以用於將某個事物從一張圖片中移除，重畫，或者像大名鼎鼎的CycleGAN一樣將一匹馬換成一個斑馬。
【20】Generative Adversarial Network (GAN) 生成對抗網路
【20】 GAN 生成對抗網路
生成對抗網路（GAN）代表了有生成器和分辨器組成的雙網路大家族。它們一直在相互傷害——生成器試著生成一些數據，而分辨器接收樣本數據後試著分辨出哪些是樣本，哪些是生成的。只要你能夠保持兩種神經網路訓練之間的平衡，在不斷的進化中，這種神經網路可以生成實際圖像。
【21】Liquid State Machine (LSM) 液體狀態機
【21】 LSM 液體狀態機
液體狀態機（LSM）是一種稀疏的，激活函數被閾值代替了的（並不是全部相連的）神經網路。只有達到閾值的時候，單元格從連續的樣本和釋放出來的輸出中積累價值信息，並再次將內部的副本設為零。
這種想法來自於人腦，這些神經網路被廣泛的應用於計算機視覺，語音識別系統，但目前還沒有重大突破。
【22】Extreme Learning Machine (ELM) 極端學習機
【22】ELM 極端學習機
極端學習機（ELM）是通過產生稀疏的隨機連接的隱藏層來減少FF網路背後的復雜性。它們需要用到更少計算機的能量，實際的效率很大程度上取決於任務和數據。
【23】Echo State Network (ESN) 回聲狀態網路
【23】 ESN 回聲狀態網路
回聲狀態網路（ESN）是重復網路的細分種類。數據會經過輸入端，如果被監測到進行了多次迭代（請允許重復網路的特徵亂入一下），只有在隱藏層之間的權重會在此之後更新。
據我所知，除了多個理論基準之外，我不知道這種類型的有什麼實際應用。。。。。。。
【24】Deep Resial Network (DRN) 深度殘差網路
【24】 DRN 深度殘差網路
深度殘差網路（DRN）是有些輸入值的部分會傳遞到下一層。這一特點可以讓它可以做到很深的層級（達到300層），但事實上它們是一種沒有明確延時的RNN。
【25】Kohonen Network (KN) Kohonen神經網路
【25】 Kohonen神經網路
Kohonen神經網路（KN）引入了「單元格距離」的特徵。大多數情況下用於分類，這種網路試著調整它們的單元格使其對某種特定的輸入作出最可能的反應。當一些單元格更新了， 離他們最近的單元格也會更新。
像SVM一樣，這些網路總被認為不是「真正」的神經網路。
【26】Support Vector Machine (SVM)
【26】 SVM 支持向量機
支持向量機（SVM）用於二元分類工作，無論這個網路處理多少維度或輸入，結果都會是「是」或「否」。
SVM不是所有情況下都被叫做神經網路。
【27】Neural Turing Machine (NTM) 神經圖靈機
【27】NTM 神經圖靈機
神經網路像是黑箱——我們可以訓練它們，得到結果，增強它們，但實際的決定路徑大多數我們都是不可見的。
神經圖靈機（NTM）就是在嘗試解決這個問題——它是一個提取出記憶單元之後的FF。一些作者也說它是一個抽象版的LSTM。
記憶是被內容編址的，這個網路可以基於現狀讀取記憶，編寫記憶，也代表了圖靈完備神經網路。
『叄』 Keras快速構建神經網路模型
用Keras搭建神經網路的步驟：
深度學習框架Keras——像搭積木般構建神經網路，主要分為7個部分，每個部分只需要幾個keras API函數就能實現，用戶即可像搭積木般一層層構建神經網路模型。
1. 創建模型 Create model
2. 添加層級 Add Layer
3. 模型編譯 Compile
4. 數據填充 Fit
5. 模型評估 Evaluate
6. 模型預測 Predict
7. 模型保存 Save model
下面章節會對每一部分具體來介紹。。。
Keras 中主要有三類模型：Sequential model, Functional model, Subclass model
在開始創建模型之前，首先需要引入tensorflow和keras模塊，然後再創建一個Sequential model
Sequential API定義如下:
layers參數可以為空， 然後通過add method向模型中添加layer，相對應的通過pop method移除模型中layer。
創建Function API模型，可以調用Keras.Model來指定多輸入多數出。
Keras.Model定義:
Layers是神經網路基本構建塊。一個Layer包含了tensor-in/tensor-out的計算方法和一些狀態，並保存在TensorFlow變數中（即layers的權重weights）。
Layers主要分為6個類別，基礎層，核心層，卷基層，池化層，循環層，融合層。
對派生類的實現可以用以下方法：
** init (): 定義layer的屬性，創建layer的靜態變數。
** build(self, input_shape): 創建依賴於輸入的變數，可以調用add_weight()。
** call(self, *args, **kwargs): 在確保已調用build()之後，在 call 中調用。
** get_config(self): 返回包含用於初始化此層的配置的字典類型。
創建SimpleDense派生類，在build()函數里添加trainable weights。實現y=input*w +b
結果輸出：
創建ComputeSum派生類，在 init 函數里添加 non-trainable weights。實現輸入矩陣沿軸0元素相加後，x=x+self.total
結果輸出：
核心層是最常用的層，涉及到數據的轉換和處理的時候都會用到這些層。
Dense層就是所謂的全連接神經網路層，簡稱全連接層。全連接層中的每個神經元與其前一層的所有神經元進行全連接。
Dense 實現以下操作： output = activation(dot(input, kernel) + bias) 其中 activation 是按逐個元素計算的激活函數，kernel 是由網路層創建的權值矩陣，以及 bias 是其創建的偏置向量 (只在 use_bias 為 True 時才有用)。
將激活函數應用於輸出。輸入信號進入神經元後進行的運算處理。
sigmoid、tanh、ReLU、softplus的對比曲線如下圖所示：
激活函數可以通過設置單獨的激活層Activation實現，也可以在構造層對象時通過傳遞 activation 參數實現：
Dropout在訓練中每次更新時，將輸入單元的按比率隨機設置為0，這有助於防止過擬合。未設置為0的輸入將按1 /（1-rate）放大，以使所有輸入的總和不變。
請注意，僅當訓練設置為True時才應用Dropout層，以便在推理過程中不會丟棄任何值。 使用model.fit時，訓練將自動適當地設置為True。
將輸入展平。不影響批量大小。注意：如果輸入的形狀是(batch,)沒有特徵軸，則展平會增加通道尺寸，而輸出的形狀是(batch, 1)。
將輸入重新調整為特定的尺寸
將任意表達式封裝為Layer對象。在Lambda層，以便在構造模型時可以使用任意TensorFlow函數。 Lambda層最適合簡單操作或快速實驗。 Lambda層是通過序列化Python位元組碼來保存的。
使用覆蓋值覆蓋序列，以跳過時間步。
對於輸入張量的每一個時間步（張量的第一個維度），如果所有時間步中輸入張量的值與mask_value相等，則將在所有下游層中屏蔽（跳過）該時間步。如果任何下游層不支持覆蓋但仍然收到此類輸入覆蓋信息，會引發異常。
舉例說明：
Embedding 是一個將離散變數轉為連續向量表示的一個方式。該層只能用作模型中的第一層。
Embedding 有以下3個主要目的： 在 embedding 空間中查找最近鄰，這可以很好的用於根據用戶的興趣來進行推薦。 作為監督性學習任務的輸入。 用於可視化不同離散變數之間的關系.
舉例說明：
輸出結果：
由維基網路的介紹我們可以得知，卷積是一種定義在兩個函數(𝑓跟𝑔)上的數學操作，旨在產生一個新的函數。那麼𝑓和𝑔的卷積就可以寫成𝑓∗𝑔，數學定義如下：
對應到不同方面，卷積可以有不同的解釋：𝑔 既可以看作我們在深度學習里常說的核(Kernel)，也可以對應到信號處理中的濾波器(Filter)。而 𝑓 可以是我們所說的機器學習中的特徵(Feature)，也可以是信號處理中的信號(Signal)。f和g的卷積 (𝑓∗𝑔)就可以看作是對𝑓的加權求和。
一維時域卷積操作：
二維圖像卷積操作：
卷積運算的目的是提取輸入的不同特徵，第一層卷積層可能只能提取一些低級的特徵如邊緣、線條和角等層級，更多層的網路能從低級特徵中迭代提取更復雜的特徵。
一維卷積層（即時域卷積），用以在一維輸入信號上進行鄰域濾波。
舉例說明：
結果輸出：
2D 卷積層 (例如對圖像的空間卷積)。
舉例說明：
結果輸出：
3D卷積層（例如體積上的空間卷積）
舉例說明：
結果輸出：
深度可分離1D卷積。該層執行分別作用在通道上的深度卷積，然後是混合通道的逐點卷積。 如果use_bias為True並提供了一個偏差初始值設定項，則它將偏差向量添加到輸出中。 然後，它可選地應用激活函數以產生最終輸出。
深度可分離的2D卷積。可分離的卷積包括首先執行深度空間卷積（它分別作用於每個輸入通道），然後是點向卷積，它將混合所得的輸出通道。 depth_multiplier參數控制在深度步驟中每個輸入通道生成多少個輸出通道。
直觀上，可分離的卷積可以理解為將卷積內核分解為兩個較小內核的一種方式，或者是Inception塊的一種極端版本。
轉置卷積層 (有時被成為反卷積)。對轉置卷積的需求一般來自希望使用 與正常卷積相反方向的變換，將具有卷積輸出尺寸的東西 轉換為具有卷積輸入尺寸的東西， 同時保持與所述卷積相容的連通性模式。
池化層是模仿人的視覺系統對數據進行降維，用更高層次的特徵表示圖像。實施池化的目的：降低信息冗餘；提升模型的尺度不變性、旋轉不變性。 防止過擬合。
通常有最大池化層，平均池化層。
池化層有三種形態：1D 用於一維數據，2D 一般用於二維圖像數據，3D 帶時間序列數據的圖像數據
循環神經網路（Recurrent Neural Network, 簡稱 RNN），循環神經網路的提出便是基於記憶模型的想法，期望網路能夠記住前面出現的特徵，並依據特徵推斷後面的結果，而且整體的網路結構不斷循環，因此得名為循環神經網路。
長短期記憶網路（Long-Short Term Memory, LSTM ）論文首次發表於1997年。由於獨特的設計結構，LSTM適合於處理和預測時間序列中間隔和延遲非常長的重要事件。
舉例說明：
結果輸出：
GRU 門控循環單元- Cho et al. 2014.
在LSTM中引入了三個門函數：輸入門、遺忘門和輸出門來控制輸入值、記憶值和輸出值。而在GRU模型中只有兩個門：分別是更新門和重置門。與LSTM相比，GRU內部少了一個」門控「，參數比LSTM少，但是卻也能夠達到與LSTM相當的功能。考慮到硬體的計算能力和時間成本，因而很多時候我們也就會選擇更加」實用「的GRU。
舉例說明：
結果輸出：
循環神經網路層基類。
關於指定 RNN 初始狀態的說明
您可以通過使用關鍵字參數 initial_state 調用它們來符號化地指定 RNN 層的初始狀態。 initial_state 的值應該是表示 RNN 層初始狀態的張量或張量列表。
可以通過調用帶有關鍵字參數 states 的 reset_states 方法來數字化地指定 RNN 層的初始狀態。 states 的值應該是一個代表 RNN 層初始狀態的 Numpy 數組或者 Numpy 數組列表。
關於給 RNN 傳遞外部常量的說明
可以使用 RNN. call （以及 RNN.call）的 constants 關鍵字參數將「外部」常量傳遞給單元。 這要求 cell.call 方法接受相同的關鍵字參數 constants。 這些常數可用於調節附加靜態輸入（不隨時間變化）上的單元轉換，也可用於注意力機制。
舉例說明：
在訓練模型之前，我們需要配置學習過程，這是通過compile方法完成的。
他接收三個參數：優化器 opt
『肆』 一文看懂四種基本的神經網路架構
原文鏈接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/
更多干貨就在我的個人博客 http://blackblog.tech 歡迎關注
剛剛入門神經網路，往往會對眾多的神經網路架構感到困惑，神經網路看起來復雜多樣，但是這么多架構無非也就是三類，前饋神經網路，循環網路，對稱連接網路，本文將介紹四種常見的神經網路，分別是CNN，RNN，DBN，GAN。通過這四種基本的神經網路架構，我們來對神經網路進行一定的了解。
神經網路是機器學習中的一種模型，是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
一般來說，神經網路的架構可以分為三類：
前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。
循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的使用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。
對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。
其實之前的帖子講過一些關於感知機的內容，這里再復述一下。
首先還是這張圖
這是一個M-P神經元
一個神經元有n個輸入，每一個輸入對應一個權值w，神經元內會對輸入與權重做乘法後求和，求和的結果與偏置做差，最終將結果放入激活函數中，由激活函數給出最後的輸出，輸出往往是二進制的，0 狀態代表抑制，1 狀態代表激活。
可以把感知機看作是 n 維實例空間中的超平面決策面，對於超平面一側的樣本，感知器輸出 1，對於另一側的實例輸出 0，這個決策超平面方程是 w⋅x=0。 那些可以被某一個超平面分割的正反樣例集合稱為線性可分(linearly separable)樣例集合，它們就可以使用圖中的感知機表示。
與、或、非問題都是線性可分的問題，使用一個有兩輸入的感知機能容易地表示，而異或並不是一個線性可分的問題，所以使用單層感知機是不行的，這時候就要使用多層感知機來解決疑惑問題了。
如果我們要訓練一個感知機，應該怎麼辦呢？
我們會從隨機的權值開始，反復地應用這個感知機到每個訓練樣例，只要它誤分類樣例就修改感知機的權值。重復這個過程，直到感知機正確分類所有的樣例。每一步根據感知機訓練法則來修改權值，也就是修改與輸入 xi 對應的權 wi，法則如下：
這里 t 是當前訓練樣例的目標輸出，o 是感知機的輸出，η 是一個正的常數稱為學習速率。學習速率的作用是緩和每一步調整權的程度，它通常被設為一個小的數值（例如 0.1），而且有時會使其隨著權調整次數的增加而衰減。
多層感知機，或者說是多層神經網路無非就是在輸入層與輸出層之間加了多個隱藏層而已，後續的CNN，DBN等神經網路只不過是將重新設計了每一層的類型。感知機可以說是神經網路的基礎，後續更為復雜的神經網路都離不開最簡單的感知機的模型，
談到機器學習，我們往往還會跟上一個詞語，叫做模式識別，但是真實環境中的模式識別往往會出現各種問題。比如：
圖像分割：真實場景中總是摻雜著其它物體。很難判斷哪些部分屬於同一個對象。對象的某些部分可以隱藏在其他對象的後面。
物體光照：像素的強度被光照強烈影響。
圖像變形：物體可以以各種非仿射方式變形。例如，手寫也可以有一個大的圓圈或只是一個尖頭。
情景支持：物體所屬類別通常由它們的使用方式來定義。例如，椅子是為了讓人們坐在上面而設計的，因此它們具有各種各樣的物理形狀。
卷積神經網路與普通神經網路的區別在於，卷積神經網路包含了一個由卷積層和子采樣層構成的特徵抽取器。在卷積神經網路的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特徵平面(featureMap)，每個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網路的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網路各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
卷積神經網路由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
這里舉AlexNet為例：
·輸入：224×224大小的圖片，3通道
·第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
·第一層max-pooling：2×2的核。
·第二層卷積：5×5卷積核256個，每個GPU上128個。
·第二層max-pooling：2×2的核。
·第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
·第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
·第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
·第五層max-pooling：2×2的核。
·第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
·第二層全連接：4096維
·Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。
卷積神經網路在模式識別領域有著重要應用，當然這里只是對卷積神經網路做了最簡單的講解，卷積神經網路中仍然有很多知識，比如局部感受野，權值共享，多卷積核等內容，後續有機會再進行講解。
傳統的神經網路對於很多問題難以處理，比如你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以稱為循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN能夠對任何長度的序列數據進行處理。
這是一個簡單的RNN的結構，可以看到隱藏層自己是可以跟自己進行連接的。
那麼RNN為什麼隱藏層能夠看到上一刻的隱藏層的輸出呢，其實我們把這個網路展開來開就很清晰了。
從上面的公式我們可以看出，循環層和全連接層的區別就是循環層多了一個權重矩陣 W。
如果反復把式2帶入到式1，我們將得到：
在講DBN之前，我們需要對DBN的基本組成單位有一定的了解，那就是RBM，受限玻爾茲曼機。
首先什麼是玻爾茲曼機？
[圖片上傳失敗...(image-d36b31-1519636788074)]
如圖所示為一個玻爾茲曼機，其藍色節點為隱層，白色節點為輸入層。
玻爾茲曼機和遞歸神經網路相比，區別體現在以下幾點：
1、遞歸神經網路本質是學習一個函數，因此有輸入和輸出層的概念，而玻爾茲曼機的用處在於學習一組數據的「內在表示」，因此其沒有輸出層的概念。
2、遞歸神經網路各節點鏈接為有向環，而玻爾茲曼機各節點連接成無向完全圖。
而受限玻爾茲曼機是什麼呢？
最簡單的來說就是加入了限制，這個限制就是將完全圖變成了二分圖。即由一個顯層和一個隱層構成，顯層與隱層的神經元之間為雙向全連接。
h表示隱藏層，v表示顯層
在RBM中，任意兩個相連的神經元之間有一個權值w表示其連接強度，每個神經元自身有一個偏置系數b（對顯層神經元）和c（對隱層神經元）來表示其自身權重。
具體的公式推導在這里就不展示了
DBN是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標簽之間的聯合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
DBN由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網路類型如圖所示。這些網路被「限制」為一個可視層和一個隱層，層間存在連接，但層內的單元間不存在連接。隱層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。
生成對抗網路其實在之前的帖子中做過講解，這里在說明一下。
生成對抗網路的目標在於生成，我們傳統的網路結構往往都是判別模型，即判斷一個樣本的真實性。而生成模型能夠根據所提供的樣本生成類似的新樣本，注意這些樣本是由計算機學習而來的。
GAN一般由兩個網路組成，生成模型網路，判別模型網路。
生成模型 G 捕捉樣本數據的分布，用服從某一分布（均勻分布，高斯分布等）的雜訊 z 生成一個類似真實訓練數據的樣本，追求效果是越像真實樣本越好；判別模型 D 是一個二分類器，估計一個樣本來自於訓練數據（而非生成數據）的概率，如果樣本來自於真實的訓練數據，D 輸出大概率，否則，D 輸出小概率。
舉個例子：生成網路 G 好比假幣製造團伙，專門製造假幣，判別網路 D 好比警察，專門檢測使用的貨幣是真幣還是假幣，G 的目標是想方設法生成和真幣一樣的貨幣，使得 D 判別不出來，D 的目標是想方設法檢測出來 G 生成的假幣。
傳統的判別網路：
生成對抗網路：
下面展示一個cDCGAN的例子（前面帖子中寫過的）
生成網路
判別網路
最終結果，使用MNIST作為初始樣本，通過學習後生成的數字，可以看到學習的效果還是不錯的。
本文非常簡單的介紹了四種神經網路的架構，CNN，RNN，DBN，GAN。當然也僅僅是簡單的介紹，並沒有深層次講解其內涵。這四種神經網路的架構十分常見，應用也十分廣泛。當然關於神經網路的知識，不可能幾篇帖子就講解完，這里知識講解一些基礎知識，幫助大家快速入（zhuang）門（bi）。後面的帖子將對深度自動編碼器，Hopfield 網路長短期記憶網路（LSTM）進行講解。