1. 一文讀懂神經網路
要說近幾年最引人注目的技術，無疑的，非人工智慧莫屬。無論你是否身處科技互聯網行業，隨處可見人工智慧的身影：從 AlphaGo 擊敗世界圍棋冠軍，到無人駕駛概念的興起，再到科技巨頭 All in AI，以及各大高校向社會輸送海量的人工智慧專業的畢業生。以至於人們開始萌生一個想法：新的革命就要來了，我們的世界將再次發生一次巨變；而後開始焦慮：我的工作是否會被機器取代？我該如何才能抓住這次革命？
人工智慧背後的核心技術是深度神經網路（Deep Neural Network），大概是一年前這個時候，我正在回老家的高鐵上學習 3Blue1Brown 的 Neural Network 系列視頻課程，短短 4 集 60 多分鍾的時間，就把神經網路從 High Level 到推導細節說得清清楚楚，當時的我除了獲得新知的興奮之外，還有一點新的認知，算是給頭腦中的革命性的技術潑了盆冷水：神經網路可以解決一些復雜的、以前很難通過寫程序來完成的任務——例如圖像、語音識別等，但它的實現機制告訴我，神經網路依然沒有達到生物級別的智能，短期內期待它來取代人也是不可能的。
一年後的今天，依然在這個春運的時間點，將我對神經網路的理解寫下來，算是對這部分知識的一個學習筆記，運氣好的話，還可以讓不了解神經網路的同學了解起來。
維基網路這樣解釋 神經網路 ：
這個定義比較寬泛，你甚至還可以用它來定義其它的機器學習演算法，例如之前我們一起學習的邏輯回歸和 GBDT 決策樹。下面我們具體一點，下圖是一個邏輯回歸的示意圖：
其中 x1 和 x2 表示輸入，w1 和 w2 是模型的參數，z 是一個線性函數：
接著我們對 z 做一個 sigmod 變換（圖中藍色圓），得到輸出 y：
其實，上面的邏輯回歸就可以看成是一個只有 1 層 輸入層 ， 1 層 輸出層 的神經網路，圖中容納數字的圈兒被稱作 神經元 ；其中，層與層之間的連接 w1、w2 以及 b，是這個 神經網路的參數 ，層之間如果每個神經元之間都保持著連接，這樣的層被稱為 全連接層 （Full Connection Layer），或 稠密層 （Dense Layer）；此外，sigmoid 函數又被稱作 激活函數 （Activation Function），除了 sigmoid 外，常用的激活函數還有 ReLU、tanh 函數等，這些函數都起到將線性函數進行非線性變換的作用。我們還剩下一個重要的概念： 隱藏層 ，它需要把 2 個以上的邏輯回歸疊加起來加以說明：
如上圖所示，除輸入層和輸出層以外，其他的層都叫做 隱藏層 。如果我們多疊加幾層，這個神經網路又可以被稱作 深度神經網路 （Deep Neural Network），有同學可能會問多少層才算「深」呢？這個沒有絕對的定論，個人認為 3 層以上就算吧：）
以上，便是神經網路，以及神經網路中包含的概念，可見，神經網路並不特別，廣義上講，它就是
可見，神經網路和人腦神經也沒有任何關聯，如果我們說起它的另一個名字—— 多層感知機（Mutilayer Perceptron） ，就更不會覺得有多麼玄乎了，多層感知機創造於 80 年代，可為什麼直到 30 年後的今天才爆發呢？你想得沒錯，因為改了個名字……開個玩笑；實際上深度學習這項技術也經歷過很長一段時間的黑暗低谷期，直到人們開始利用 GPU 來極大的提升訓練模型的速度，以及幾個標志性的事件：如 AlphaGo戰勝李世石、Google 開源 TensorFlow 框架等等，感興趣的同學可以翻一下這里的歷史。
就拿上圖中的 3 個邏輯回歸組成的神經網路作為例子，它和普通的邏輯回歸比起來，有什麼優勢呢？我們先來看下單邏輯回歸有什麼劣勢，對於某些情況來說，邏輯回歸可能永遠無法使其分類，如下面數據：
這 4 個樣本畫在坐標系中如下圖所示
因為邏輯回歸的決策邊界（Decision Boundary）是一條直線，所以上圖中的兩個分類，無論你怎麼做，都無法找到一條直線將它們分開，但如果藉助神經網路，就可以做到這一點。
由 3 個邏輯回歸組成的網路（這里先忽略 bias）如下：
觀察整個網路的計算過程，在進入輸出層之前，該網路所做的計算實際上是：
即把輸入先做了一次線性變換（Linear Transformation），得到 [z1, z2] ，再把 [z1, z2] 做了一個非線性變換（sigmoid），得到 [x1', x2'] ，（線性變換的概念可以參考 這個視頻 ）。從這里開始，後面的操作就和一個普通的邏輯回歸沒有任何差別了，所以它們的差異在於： 我們的數據在輸入到模型之前，先做了一層特徵變換處理（Feature Transformation，有時又叫做特徵抽取 Feature Extraction），使之前不可能被分類的數據變得可以分類了 。
我們繼續來看下特徵變換的效果，假設 為 ，帶入上述公式，算出 4 個樣本對應的 [x1', x2'] 如下：
再將變換後的 4 個點繪制在坐標系中：
顯然，在做了特徵變換之後，這兩個分類就可以很容易的被一條決策邊界分開了。
所以， 神經網路的優勢在於，它可以幫助我們自動的完成特徵變換或特徵提取 ，尤其對於聲音、圖像等復雜問題，因為在面對這些問題時，人們很難清晰明確的告訴你，哪些特徵是有用的。
在解決特徵變換的同時，神經網路也引入了新的問題，就是我們需要設計各式各樣的網路結構來針對性的應對不同的場景，例如使用卷積神經網路（CNN）來處理圖像、使用長短期記憶網路（LSTM）來處理序列問題、使用生成式對抗網路（GAN）來寫詩和作圖等，就連去年自然語言處理（NLP）中取得突破性進展的 Transformer/Bert 也是一種特定的網路結構。所以， 學好神經網路，對理解其他更高級的網路結構也是有幫助的 。
上面說了，神經網路可以看作一個非線性函數，該函數的參數是連接神經元的所有的 Weights 和 Biases，該函數可以簡寫為 f(W, B) ，以手寫數字識別的任務作為例子：識別 MNIST 數據集 中的數字，數據集（MNIST 數據集是深度學習中的 HelloWorld）包含上萬張不同的人寫的數字圖片，共有 0-9 十種數字，每張圖片為 28*28=784 個像素，我們設計一個這樣的網路來完成該任務：
把該網路函數所具備的屬性補齊：
接下來的問題是，這個函數是如何產生的？這個問題本質上問的是這些參數的值是怎麼確定的。
在機器學習中，有另一個函數 c 來衡量 f 的好壞，c 的參數是一堆數據集，你輸入給 c 一批 Weights 和 Biases，c 輸出 Bad 或 Good，當結果是 Bad 時，你需要繼續調整 f 的 Weights 和 Biases，再次輸入給 c，如此往復，直到 c 給出 Good 為止，這個 c 就是損失函數 Cost Function（或 Loss Function）。在手寫數字識別的列子中，c 可以描述如下：
可見，要完成手寫數字識別任務，只需要調整這 12730 個參數，讓損失函數輸出一個足夠小的值即可，推而廣之，絕大部分神經網路、機器學習的問題，都可以看成是定義損失函數、以及參數調優的問題。
在手寫識別任務中，我們既可以使用交叉熵（Cross Entropy）損失函數，也可以使用 MSE（Mean Squared Error）作為損失函數，接下來，就剩下如何調優參數了。
神經網路的參數調優也沒有使用特別的技術，依然是大家剛接觸機器學習，就學到的梯度下降演算法，梯度下降解決了上面迭代過程中的遺留問題——當損失函數給出 Bad 結果時，如何調整參數，能讓 Loss 減少得最快。
梯度可以理解為：
把 Loss 對應到 H，12730 個參數對應到 (x,y)，則 Loss 對所有參數的梯度可以表示為下面向量，該向量的長度為 12730：
$$
abla L(w,b) = left[
frac{partial L}{partial w_1},
frac{partial L}{partial w_2},...,
frac{partial L}{partial b_{26}}
ight] ^ op
$$
所以，每次迭代過程可以概括為
用梯度來調整參數的式子如下（為了簡化，這里省略了 bias）：
上式中， 是學習率，意為每次朝下降最快的方向前進一小步，避免優化過頭（Overshoot）。
由於神經網路參數繁多，所以需要更高效的計算梯度的演算法，於是，反向傳播演算法（Backpropagation）呼之欲出。
在學習反向傳播演算法之前，我們先復習一下微積分中的鏈式法則（Chain Rule）：設 g = u(h) ， h = f(x) 是兩個可導函數，x 的一個很小的變化 △x 會使 h 產生一個很小的變化 △h，從而 g 也產生一個較小的變化 △g，現要求 △g/△x，可以使用鏈式法則：
有了以上基礎，理解反向傳播演算法就簡單了。
假設我們的演示網路只有 2 層，輸入輸出都只有 2 個神經元，如下圖所示：
其中 是輸入， 是輸出， 是樣本的目標值，這里使用的損失函數 L 為 MSE；圖中的上標 (1) 或 (2) 分別表示參數屬於第 (1) 層或第 (2) 層，下標 1 或 2 分別表示該層的第 1 或 第 2 個神經元。
現在我們來計算 和 ，掌握了這 2 個參數的偏導數計算之後，整個梯度的計算就掌握了。
所謂反向傳播演算法，指的是從右向左來計算每個參數的偏導數，先計算 ，根據鏈式法則
對左邊項用鏈式法則展開
又 是輸出值， 可以直接通過 MSE 的導數算出：
而 ，則 就是 sigmoid 函數的導數在 處的值，即
於是 就算出來了：
再來看 這一項，因為
所以
注意：上面式子對於所有的 和 都成立，且結果非常直觀，即 對 的偏導為左邊的輸入 的大小；同時，這里還隱含著另一層意思：需要調整哪個 來影響 ，才能使 Loss 下降得最快，從該式子可以看出，當然是先調整較大的 值所對應的 ，效果才最顯著 。
於是，最後一層參數 的偏導數就算出來了
我們再來算上一層的 ，根據鏈式法則 ：
繼續展開左邊這一項
你發現沒有，這幾乎和計算最後一層一摸一樣，但需要注意的是，這里的 對 Loss 造成的影響有多條路徑，於是對於只有 2 個輸出的本例來說：
上式中， 都已經在最後一層算出，下面我們來看下 ，因為
於是
同理
注意：這里也引申出梯度下降的調參直覺：即要使 Loss 下降得最快，優先調整 weight 值比較大的 weight。
至此， 也算出來了
觀察上式， 所謂每個參數的偏導數，通過反向傳播演算法，都可以轉換成線性加權（Weighted Sum）計算 ，歸納如下：
式子中 n 代表分類數，(l) 表示第 l 層，i 表示第 l 層的第 i 個神經元。 既然反向傳播就是一個線性加權，那整個神經網路就可以藉助於 GPU 的矩陣並行計算了 。
最後，當你明白了神經網路的原理，是不是越發的認為，它就是在做一堆的微積分運算，當然，作為能證明一個人是否學過微積分，神經網路還是值得學一下的。Just kidding ..
本文我們通過
這四點，全面的學習了神經網路這個知識點，希望本文能給你帶來幫助。
參考：
2. 【神經網路原理】神經網路結構 & 符號約定
神經元模型的符號約定：輸入： ，權重(weight)： ，偏置(bias)： ，未激活值： ，激活輸出值：
神經元可用於解決部分二分類問題 ——當有一個類別未知的 輸入感知機，若 輸出值a = 1時，感知機被激活 ，代表 x 屬於第一類；若 輸出值a = 0時，感知機未激活 ，則代表 x 屬於第二類。而對於sigmoid神經元，若輸出值a ≥ 0.5時，代表 x 屬於第一類，否則為第二類。
不難看出，感知機可以輕松實現「與非」邏輯，而與非邏輯可以組合成其他任意的邏輯，但對於一些過於復雜的問題，我們難以寫出其背後地邏輯結構。 這時候神經網路就能大顯身手 ：它可以自適應的學習規律，調節網路地權重和偏置等參數，我們只需要用大量的數據對其正確地訓練，即可得到我們想要的效果！
那有一個很有意思的問題：相比於階躍函數，為什麼我們在神經網路中更願意採用sigmoid函數作為激活函數呢？
首先，由於感知機的激活函數為階躍函數（在0處突變），權重的一個小的變化就可能導致輸出值的突變，而如果將激活函數替換為sigmoid函數，輸出值的變化就能發生相應的小的變化，有利於網路學習；另外，由於採用二次代價函數作為損失函數時，利用BP演算法求梯度值需要對沖激函數求導，sigmoid函數正好時連續可導的，而且導數很好求。
為了便於理解，先畫一個三層的全連接神經網路示意圖，激活函數都選用sigmoid函數。 全連接神經網路 指除輸出層外，每一個神經元都與下一層中的各神經元相連接。網路的第一層為 輸入層 ，最後一層為 輸出層 ，中間的所有層統稱為 隱藏層 。其中，輸入層的神經元比較特殊，不含偏置 ，也沒有激活函數 。
神經網路結構的符號約定 ： 代表第 層的第 個神經元與第 層的第 個神經元連線上的權重； 代表第 層與第 層之間的所有權重 構成的權重矩陣。 分別代表第 層的第 個神經元對應的偏置、未激活值、激活值； 則分別代表第 層的所有偏置組成的列向量、所有未激活值組成的列向量以及所有激活值組成的列向量。
下面展示了一個手寫體識別的三層全連接神經網路結構：
隱藏層的功能可以看作是各種特徵檢測器的組合：檢測到相應特徵時，相應的隱藏層神經元就會被激活，從而使輸出層相應的神經元也被激活。
3. AlphaGo的神奇全靠它，詳解人工神經網路!
Alphago在不被看好的情況下，以4比1擊敗了圍棋世界冠軍李世石，令其名震天下。隨著AlphaGo知名度的不斷提高，人們不禁好奇，究竟是什麼使得AlphaGo得以戰勝人類大腦？AlphaGo的核心依託——人工神經網路。
什麼是神經網路?
人工神經網路是一種模仿生物神經網路(動物的中樞神經系統，特別是大腦)的結構和功能的數學模型或計算模型。神經網路由大量的人工神經元聯結進行計算。大多數情況下人工神經網路能在外界信息的基礎上改變內部結構，是一種自適應系統。現代神經網路是一種非線性統計性數據建模工具，常用來對輸入和輸出間復雜的關系進行建模，或用來探索數據的模式。
神經網路是一種運算模型，由大量的節點（或稱“神經元”，或“單元”）和之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重，這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。
例如，用於手寫識別的一個神經網路是被可由一個輸入圖像的像素被激活的一組輸入神經元所定義的。在通過函數（由網路的設計者確定）進行加權和變換之後，這些神經元被激活然後被傳遞到其他神經元。重復這一過程，直到最後一個輸出神經元被激活。這樣決定了被讀取的字。
它的構築理念是受到人或其他動物神經網路功能的運作啟發而產生的。人工神經網路通常是通過一個基於數學統計學類型的學習方法得以優化，所以人工神經網路也是數學統計學方法的一種實際應用，通過統計學的標准數學方法我們能夠得到大量的可以用函數來表達的局部結構空間，另一方面在人工智慧學的人工感知領域，我們通過數學統計學的應用可以來做人工感知方面的決定問題(也就是說通過統計學的方法，人工神經網路能夠類似人一樣具有簡單的決定能力和簡單的判斷能力)，這種方法比起正式的邏輯學推理演算更具有優勢。
人工神經網路是一個能夠學習，能夠總結歸納的系統，也就是說它能夠通過已知數據的實驗運用來學習和歸納總結。人工神經網路通過對局部情況的對照比較（而這些比較是基於不同情況下的自動學習和要實際解決問題的復雜性所決定的），它能夠推理產生一個可以自動識別的系統。與之不同的基於符號系統下的學習方法，它們也具有推理功能，只是它們是建立在邏輯演算法的基礎上，也就是說它們之所以能夠推理，基礎是需要有一個推理演算法則的集合。
2AlphaGo的原理回頂部
AlphaGo的原理
首先，AlphaGo同優秀的選手進行了150000場比賽，通過人工神經網路找到這些比賽的模式。然後通過總結，它會預測選手在任何位置高概率進行的一切可能。AlphaGo的設計師通過讓其反復的和早期版本的自己對戰來提高神經網路，使其逐步提高獲勝的機會。
從廣義上講，神經網路是一個非常復雜的數學模型，通過對其高達數百萬參數的調整來改變的它的行為。神經網路學習的意思是，電腦一直持續對其參數進行微小的調整，來嘗試使其不斷進行微小的改進。在學習的第一階段，神經網路提高模仿選手下棋的概率。在第二階段，它增加自我發揮，贏得比賽的概率。反復對極其復雜的功能進行微小的調整，聽起來十分瘋狂，但是如果有足夠長的時間，足夠快的計算能力，非常好的網路實施起來並不苦難。並且這些調整都是自動進行的。
經過這兩個階段的訓練，神經網路就可以同圍棋業余愛好者下一盤不錯的棋了。但對於職業來講，它還有很長的路要走。在某種意義上，它並不思考每一手之後的幾步棋，而是通過對未來結果的推算來決定下在哪裡。為了達到職業級別，AlphaGp需要一種新的估算方法。
為了克服這一障礙，研究人員採取的辦法是讓它反復的和自己進行對戰，以此來使其不斷其對於勝利的估算能力。盡可能的提高每一步的獲勝概率。（在實踐中，AlphaGo對這個想法進行了稍微復雜的調整。）然後，AlphaGo再結合多線程來使用這一方法進行下棋。
我們可以看到，AlphaGo的評估系統並沒有基於太多的圍棋知識，通過分析現有的無數場比賽的棋譜，以及無數次的自我對戰練習，AlphaGo的神經網路進行了數以十億計的微小調整，即便每次只是一個很小的增量改進。這些調整幫助AlphaGp建立了一個估值系統，這和那些出色圍棋選手的直覺相似，對於棋盤上的每一步棋都了如指掌。
此外AlphaGo也使用搜索和優化的思想，再加上神經網路的學習功能，這兩者有助於找到棋盤上更好的位置。這也是目前AlphaGo能夠高水平發揮的原因。
3神經網路的延伸和限制回頂部
神經網路的延伸和限制
神經網路的這種能力也可以被用在其他方面，比如讓神經網路學習一種藝術風格，然後再將這種風格應用到其他圖像上。這種想法很簡單：首先讓神經網路接觸到大量的圖像，然後來確認這些圖像的風格，接著將新的圖像帶入這種風格。
這雖然不是偉大的藝術，但它仍然是一個顯著的利用神經網路來捕捉直覺並且應用在其他地方的例子。
在過去的幾年中，神經網路在許多領域被用來捕捉直覺和模式識別。許多項目使用神經這些網路，涉及的任務如識別藝術風格或好的視頻游戲的發展戰略。但也有非常不同的網路模擬的直覺驚人的例子，比如語音和自然語言。
由於這種多樣性，我看到AlphaGo本身不是一個革命性的突破，而是作為一個極其重要的發展前沿：建立系統，可以捕捉的直覺和學會識別模式的能力。此前計算機科學家們已經做了幾十年，沒有取得長足的進展。但現在，神經網路的成功已經大大擴大，我們可以利用電腦攻擊范圍內的潛在問題。
事實上，目前現有的神經網路的理解能力是非常差的。神經網路很容易被愚弄。用神經網路識別圖像是一個不錯的手段。但是實驗證明，通過對圖像進行細微的改動，就可以愚弄圖像。例如，下面的圖像左邊的圖是原始圖，研究人員對中間的圖像進行了微小的調整後，神經網路就無法區分了，就將原圖顯示了出來。
另一個限制是，現有的系統往往需要許多模型來學習。例如，AlphaGo從150000場對戰來學習。這是一個很龐大額度數字！很多情況下，顯然無法提供如此龐大的模型案例。
4. 利用pytorch CNN手寫字母識別神經網路模型識別多手寫字母（A-Z）
往期的文章，我們分享了手寫字母的訓練與識別
使用EMNIST數據集訓練第一個pytorch CNN手寫字母識別神經網路
利用pytorch CNN手寫字母識別神經網路模型識別手寫字母
哪裡的文章，我們只是分享了單個字母的識別，如何進行多個字母的識別，其思路與多數字識別類似，首先對圖片進行識別，並進行每個字母悶梁歷的輪廓識別，然後進行字母的識別，識別完成後，直接在圖片上進行多個字母識別結果的備注
Pytorch利用CNN卷積神經網路進行多數字（0-9）識別
根據上期文章的分享，我們搭建一個手寫字母識別的神經網路
第一層，我們輸入Eminist的數據集，Eminist的數據圖片是一維 28*28的圖片，所以第一層的輸入（1，28，28），高度為1，設置輸出16通道，使用5*5的卷積核對圖片進行卷積運算，每步移動一格，為了避免圖片尺寸變化，設置pading為2，則經過第一層卷積就輸出（16，28，28）數據格式
再經過relu與maxpooling （使用2*2卷積核）數據輸出（16，14，14）
第二層卷積層是簡化寫法nn.Conv2d(16, 32, 5, 1, 2)的第一個參數為輸入通道數in_channels=16，其第二個參數是輸出通道數out_channels=32, # n_filters（輸出通道數），第三個參數為卷積核大小，第四個參數為卷積步數，最後一個為pading,此參數為保證輸入輸出圖片的尺寸大小一致
全連接層，最後使用nn.linear()全連接層進行數據的全連接數據結構（32*7*7,37）以上便是整個卷積神經網路的結構，
大致為：input-卷積-Relu-pooling-卷積
-Relu-pooling-linear-output
卷積神經網路建完後，使用forward（）前向傳播神經網路進行輸入圖片的識別
這里我們使用腐蝕，膨脹操作對圖片進行一下預處理操作，方便神經網路的識別，當然，我們往期的字母數字渣稿識別也可以添加此預處理操作，方便神經網路進行預測，提高精度
getContours函數主要是進行圖片中數字區域的區分，把每個數字的坐標檢測出來，這樣就可以 把每個字母進行CNN卷積神經網路的識別，進而實現多個字母識別的目的
首先，螞搜輸入一張需要檢測的圖片，通過preProccessing圖片預處理與getContours函數獲取圖片中的每個字母的輪廓位置
transforms.Compose此函數可以 把輸入圖片進行pytorch相關的圖片操作，包括轉換到torch，灰度空間轉換，resize，縮放等等操作
然後載入我們前期訓練好的模型
由於神經網路識別完成後，反饋給程序的是字母的 UTF-8編碼，我們通過查表來找到對應的字母
字元編碼表（UTF-8）
通過上面的操作，我們已經識別出了圖片中包括的字母輪廓，我們遍歷每個字母輪廓，獲取單個字母圖片數據，這里需要特殊提醒一下 ：我們知道EMNIST資料庫左右翻轉圖片後，又進行了圖片的逆時針旋轉90度
這里我們使用cv2.flip(imgRes,1)函數，進行圖片的鏡像，並使用getRotationMatrix2D函數與warpAffine函數配合來進行圖片的旋轉操作，這里就沒有PIL來的方便些
然後，我們對圖片數據進行torch轉換train_transform(imgRes)，並傳遞給神經網路進行識別
待識別完成後，就可以把結果備注在原始圖片上
5. 卷積神經網路
卷積神經網路 （Convolutional Neural Networks，CNN）是一種前饋神經網路。卷積神經網路是受生物學上感受野（Receptive Field）的機制而提出的。感受野主要是指聽覺系統、本體感覺系統和視覺系統中神經元的一些性質。比如在視覺神經系統中，一個神經元的感受野是指視網膜上的特定區域，只有這個區域內的刺激才能夠激活該神經元。
卷積神經網路又是怎樣解決這個問題的呢？主要有三個思路：
在使用CNN提取特徵時，到底使用哪一層的輸出作為最後的特徵呢？
答：倒數第二個全連接層的輸出才是最後我們要提取的特徵，也就是最後一個全連接層的輸入才是我們需要的特徵。
全連接層會忽視形狀。卷積層可以保持形狀不變。當輸入數據是圖像時，卷積層會以3維數據的形式接收輸入數據，並同樣以3維數據的形式輸出至下一層。因此，在CNN中，可以（有可能）正確理解圖像等具有形狀的數據。
CNN中，有時將 卷積層的輸入輸出數據稱為特徵圖（feature map） 。其中， 卷積層的輸入數據稱為輸入特徵圖（input feature map） ， 輸出數據稱為輸出特徵圖（output feature map）。
卷積層進行的處理就是 卷積運算 。卷積運算相當於圖像處理中的「濾波器運算」。
濾波器相當於權重或者參數，濾波器數值都是學習出來的。 卷積層實現的是垂直邊緣檢測 。
邊緣檢測實際就是將圖像由亮到暗進行區分，即邊緣的過渡(edge transitions)。
卷積層對應到全連接層，左上角經過濾波器，得到的3，相當於一個神經元輸出為3.然後相當於，我們把輸入矩陣拉直為36個數據，但是我們只對其中的9個數據賦予了權重。
步幅為1 ，移動一個，得到一個1，相當於另一個神經單元的輸出是1.
並且使用的是同一個濾波器，對應到全連接層，就是權值共享。
在這個例子中，輸入數據是有高長方向的形狀的數據，濾波器也一樣，有高長方向上的維度。假設用（height, width）表示數據和濾波器的形狀，則在本例中，輸入大小是(4, 4)，濾波器大小是(3, 3)，輸出大小是(2, 2)。另外，有的文獻中也會用「核」這個詞來表示這里所說的「濾波器」。
對於輸入數據，卷積運算以一定間隔滑動濾波器的窗口並應用。這里所說的窗口是指圖7-4中灰色的3 × 3的部分。如圖7-4所示，將各個位置上濾
波器的元素和輸入的對應元素相乘，然後再求和（有時將這個計算稱為乘積累加運算）。然後，將這個結果保存到輸出的對應位置。將這個過程在所有位置都進行一遍，就可以得到卷積運算的輸出。
CNN中，濾波器的參數就對應之前的權重。並且，CNN中也存在偏置。
在進行卷積層的處理之前，有時要向輸入數據的周圍填入固定的數據（比如0等），這稱為填充（padding），是卷積運算中經常會用到的處理。比如，在圖7-6的例子中，對大小為(4, 4)的輸入數據應用了幅度為1的填充。「幅度為1的填充」是指用幅度為1像素的0填充周圍。
應用濾波器的位置間隔稱為 步幅（stride） 。
假設輸入大小為(H, W)，濾波器大小為(FH, FW)，輸出大小為(OH, OW)，填充為P，步幅為S。
但是所設定的值必須使式（7.1）中的 和 分別可以除盡。當輸出大小無法除盡時（結果是小數時），需要採取報錯等對策。順便說一下，根據深度學習的框架的不同，當值無法除盡時，有時會向最接近的整數四捨五入，不進行報錯而繼續運行。
之前的卷積運算的例子都是以有高、長方向的2維形狀為對象的。但是，圖像是3維數據，除了高、長方向之外，還需要處理通道方向。
在3維數據的卷積運算中，輸入數據和濾波器的通道數要設為相同的值。
因此，作為4維數據，濾波器的權重數據要按(output_channel, input_channel, height, width)的順序書寫。比如，通道數為3、大小為5 × 5的濾
波器有20個時，可以寫成(20, 3, 5, 5)。
對於每個通道，均使用自己的權值矩陣進行處理，輸出時將多個通道所輸出的值進行加和即可。
卷積運算的批處理，需要將在各層間傳遞的數據保存為4維數據。具體地講，就是按(batch_num, channel, height, width)的順序保存數據。
這里需要注意的是，網路間傳遞的是4維數據，對這N個數據進行了卷積運算。也就是說，批處理將N次的處理匯總成了1次進行。
池化是縮小高、長方向上的空間的運算。比如，如圖7-14所示，進行將2 × 2的區域集約成1個元素的處理，縮小空間大小。
圖7-14的例子是按步幅2進行2 × 2的Max池化時的處理順序。「Max池化」是獲取最大值的運算，「2 × 2」表示目標區域的大小。如圖所示，從
2 × 2的區域中取出最大的元素。此外，這個例子中將步幅設為了2，所以2 × 2的窗口的移動間隔為2個元素。另外，一般來說，池化的窗口大小會和步幅設定成相同的值。比如，3 × 3的窗口的步幅會設為3，4 × 4的窗口的步幅會設為4等。
除了Max池化之外，還有Average池化等。相對於Max池化是從目標區域中取出最大值，Average池化則是計算目標區域的平均值。 在圖像識別領域，主要使用Max池化。 因此，本書中說到「池化層」時，指的是Max池化。
池化層的特徵
池化層有以下特徵。
沒有要學習的參數
池化層和卷積層不同，沒有要學習的參數。池化只是從目標區域中取最大值（或者平均值），所以不存在要學習的參數。
通道數不發生變化
經過池化運算，輸入數據和輸出數據的通道數不會發生變化。如圖7-15所示，計算是按通道獨立進行的。
對微小的位置變化具有魯棒性（健壯）
輸入數據發生微小偏差時，池化仍會返回相同的結果。因此，池化對輸入數據的微小偏差具有魯棒性。比如，3 × 3的池化的情況下，如圖
7-16所示，池化會吸收輸入數據的偏差（根據數據的不同，結果有可能不一致）。
經過卷積層和池化層之後，進行Flatten，然後丟到全連接前向傳播神經網路。
（找到一張圖片使得某個filter響應最大。相當於filter固定，未知的是輸入的圖片。）未知的是輸入的圖片？？？
k是第k個filter，x是我們要找的參數。?這里我不是很明白。我得理解應該是去尋找最具有代表性的特徵。
使用im2col來實現卷積層
卷積層的參數是需要學習的，但是池化層沒有參數需要學習。全連接層的參數需要訓練得到。
池化層不需要訓練參數。全連接層的參數最多。卷積核的個數逐漸增多。激活層的size，逐漸減少。
最大池化只是計算神經網路某一層的靜態屬性，沒有什麼需要學習的，它只是一個靜態屬性 。
像這樣展開之後，只需對展開的矩陣求各行的最大值，並轉換為合適的形狀即可（圖7-22）。
參數
• input_dim ― 輸入數據的維度：（ 通道，高，長 ）
• conv_param ― 卷積層的超參數（字典）。字典的關鍵字如下：
filter_num ― 濾波器的數量
filter_size ― 濾波器的大小
stride ― 步幅
pad ― 填充
• hidden_size ― 隱藏層（全連接）的神經元數量
• output_size ― 輸出層（全連接）的神經元數量
• weitght_int_std ― 初始化時權重的標准差
LeNet
LeNet在1998年被提出，是進行手寫數字識別的網路。如圖7-27所示，它有連續的卷積層和池化層（正確地講，是只「抽選元素」的子采樣層），最後經全連接層輸出結果。
和「現在的CNN」相比，LeNet有幾個不同點。第一個不同點在於激活函數。LeNet中使用sigmoid函數，而現在的CNN中主要使用ReLU函數。
此外，原始的LeNet中使用子采樣（subsampling）縮小中間數據的大小，而現在的CNN中Max池化是主流。
AlexNet
在LeNet問世20多年後，AlexNet被發布出來。AlexNet是引發深度學習熱潮的導火線，不過它的網路結構和LeNet基本上沒有什麼不同，如圖7-28所示。
AlexNet疊有多個卷積層和池化層，最後經由全連接層輸出結果。雖然結構上AlexNet和LeNet沒有大的不同，但有以下幾點差異。
• 激活函數使用ReLU。
• 使用進行局部正規化的LRN（Local Response Normalization）層。
• 使用Dropout
TF2.0實現卷積神經網路
valid意味著不填充，same是填充
or the SAME padding, the output height and width are computed as:
out_height = ceil(float(in_height) / float(strides[1]))
out_width = ceil(float(in_width) / float(strides[2]))
And
For the VALID padding, the output height and width are computed as:
out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))
out_width = ceil(float(in_width - filter_width + 1) / float(strides[2]))
因此，我們可以設定 padding 策略。在 tf.keras.layers.Conv2D 中，當我們將 padding 參數設為 same 時，會將周圍缺少的部分使用 0 補齊，使得輸出的矩陣大小和輸入一致。
6. 神經網路：卷積神經網路（CNN）
神經網路 最早是由心理學家和神經學家提出的，旨在尋求開發和測試神經的計算模擬。
粗略地說， 神經網路 是一組連接的 輸入/輸出單元 ，其中每個連接都與一個 權 相關聯。在學習階段，通過調整權值，使得神經網路的預測准確性逐步提高。由於單元之間的連接，神經網路學習又稱 連接者學習。
神經網路是以模擬人腦神經元的數學模型為基礎而建立的，它由一系列神經元組成，單元之間彼此連接。從信息處理角度看，神經元可以看作是一個多輸入單輸出的信息處理單元，根據神經元的特性和功能，可以把神經元抽象成一個簡單的數學模型。
神經網路有三個要素： 拓撲結構、連接方式、學習規則
神經網路的拓撲結構 ：神經網路的單元通常按照層次排列，根據網路的層次數，可以將神經網路分為單層神經網路、兩層神經網路、三層神經網路等。結構簡單的神經網路，在學習時收斂的速度快，但准確度低。
神經網路的層數和每層的單元數由問題的復雜程度而定。問題越復雜，神經網路的層數就越多。例如，兩層神經網路常用來解決線性問題，而多層網路就可以解決多元非線性問題
神經網路的連接 ：包括層次之間的連接和每一層內部的連接，連接的強度用權來表示。
根據層次之間的連接方式，分為：
1）前饋式網路：連接是單向的，上層單元的輸出是下層單元的輸入，如反向傳播網路，Kohonen網路
2）反饋式網路：除了單項的連接外，還把最後一層單元的輸出作為第一層單元的輸入，如Hopfield網路
根據連接的范圍，分為：
1）全連接神經網路：每個單元和相鄰層上的所有單元相連
2）局部連接網路：每個單元只和相鄰層上的部分單元相連
神經網路的學習
根據學習方法分：
感知器：有監督的學習方法，訓練樣本的類別是已知的，並在學習的過程中指導模型的訓練
認知器：無監督的學習方法，訓練樣本類別未知，各單元通過競爭學習。
根據學習時間分：
離線網路：學習過程和使用過程是獨立的
在線網路：學習過程和使用過程是同時進行的
根據學習規則分：
相關學習網路：根據連接間的激活水平改變權系數
糾錯學習網路：根據輸出單元的外部反饋改變權系數
自組織學習網路：對輸入進行自適應地學習
摘自《數學之美》對人工神經網路的通俗理解：
神經網路種類很多，常用的有如下四種：
1）Hopfield網路，典型的反饋網路，結構單層，有相同的單元組成
2）反向傳播網路，前饋網路，結構多層，採用最小均方差的糾錯學習規則，常用於語言識別和分類等問題
3）Kohonen網路：典型的自組織網路，由輸入層和輸出層構成，全連接
4）ART網路：自組織網路
深度神經網路：
Convolutional Neural Networks(CNN)卷積神經網路
Recurrent neural Network(RNN)循環神經網路
Deep Belief Networks(DBN)深度信念網路
深度學習是指多層神經網路上運用各種機器學習演算法解決圖像，文本等各種問題的演算法集合。深度學習從大類上可以歸入神經網路，不過在具體實現上有許多變化。
深度學習的核心是特徵學習，旨在通過分層網路獲取分層次的特徵信息，從而解決以往需要人工設計特徵的重要難題。
Machine Learning vs. Deep Learning
神經網路（主要是感知器）經常用於 分類
神經網路的分類知識體現在網路連接上，被隱式地存儲在連接的權值中。
神經網路的學習就是通過迭代演算法，對權值逐步修改的優化過程，學習的目標就是通過改變權值使訓練集的樣本都能被正確分類。
神經網路特別適用於下列情況的分類問題：
1) 數據量比較小，缺少足夠的樣本建立模型
2) 數據的結構難以用傳統的統計方法來描述
3) 分類模型難以表示為傳統的統計模型
缺點：
1) 需要很長的訓練時間，因而對於有足夠長訓練時間的應用更合適。
2) 需要大量的參數，這些通常主要靠經驗確定，如網路拓撲或「結構」。
3) 可解釋性差 。該特點使得神經網路在數據挖掘的初期並不看好。
優點：
1) 分類的准確度高
2)並行分布處理能力強
3)分布存儲及學習能力高
4)對噪音數據有很強的魯棒性和容錯能力
最流行的基於神經網路的分類演算法是80年代提出的 後向傳播演算法 。後向傳播演算法在多路前饋神經網路上學習。
定義網路拓撲
在開始訓練之前，用戶必須說明輸入層的單元數、隱藏層數（如果多於一層）、每一隱藏層的單元數和輸出層的單元數，以確定網路拓撲。
對訓練樣本中每個屬性的值進行規格化將有助於加快學習過程。通常，對輸入值規格化，使得它們落入0.0和1.0之間。
離散值屬性可以重新編碼，使得每個域值一個輸入單元。例如，如果屬性A的定義域為(a0,a1,a2)，則可以分配三個輸入單元表示A。即，我們可以用I0 ,I1 ,I2作為輸入單元。每個單元初始化為0。如果A = a0，則I0置為1；如果A = a1，I1置1；如此下去。
一個輸出單元可以用來表示兩個類（值1代表一個類，而值0代表另一個）。如果多於兩個類，則每個類使用一個輸出單元。
隱藏層單元數設多少個「最好」 ，沒有明確的規則。
網路設計是一個實驗過程，並可能影響准確性。權的初值也可能影響准確性。如果某個經過訓練的網路的准確率太低，則通常需要採用不同的網路拓撲或使用不同的初始權值，重復進行訓練。
後向傳播演算法學習過程：
迭代地處理一組訓練樣本，將每個樣本的網路預測與實際的類標號比較。
每次迭代後，修改權值，使得網路預測和實際類之間的均方差最小。
這種修改「後向」進行。即，由輸出層，經由每個隱藏層，到第一個隱藏層（因此稱作後向傳播）。盡管不能保證，一般地，權將最終收斂，學習過程停止。
演算法終止條件：訓練集中被正確分類的樣本達到一定的比例，或者權系數趨近穩定。
後向傳播演算法分為如下幾步：
1) 初始化權
網路的權通常被初始化為很小的隨機數（例如，范圍從-1.0到1.0，或從-0.5到0.5）。
每個單元都設有一個偏置（bias），偏置也被初始化為小隨機數。
2) 向前傳播輸入
對於每一個樣本X，重復下面兩步：
向前傳播輸入，向後傳播誤差
計算各層每個單元的輸入和輸出。輸入層：輸出=輸入=樣本X的屬性；即，對於單元j，Oj = Ij = Xj。隱藏層和輸出層：輸入=前一層的輸出的線性組合,即，對於單元j， Ij =wij Oi + θj，輸出=
3) 向後傳播誤差
計算各層每個單元的誤差。
輸出層單元j，誤差：
Oj是單元j的實際輸出，而Tj是j的真正輸出。
隱藏層單元j，誤差：
wjk是由j到下一層中單元k的連接的權，Errk是單元k的誤差
更新 權 和 偏差 ，以反映傳播的誤差。
權由下式更新：
其中，△wij是權wij的改變。l是學習率，通常取0和1之間的值。
偏置由下式更新：
其中，△θj是偏置θj的改變。
Example
人類視覺原理：
深度學習的許多研究成果，離不開對大腦認知原理的研究，尤其是視覺原理的研究。1981 年的諾貝爾醫學獎，頒發給了 David Hubel（出生於加拿大的美國神經生物學家） 和Torsten Wiesel，以及Roger Sperry。前兩位的主要貢獻，是「發現了視覺系統的信息處理」， 可視皮層是分級的 。
人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素Pixels），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然後抽象（大腦判定，眼前的物體的形狀，是圓形的），然後進一步抽象（大腦進一步判定該物體是只氣球）。
對於不同的物體，人類視覺也是通過這樣逐層分級，來進行認知的：
在最底層特徵基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特徵（輪子、眼睛、軀乾等），到最上層，不同的高級特徵最終組合成相應的圖像，從而能夠讓人類准確的區分不同的物體。
可以很自然的想到：可以不可以模仿人類大腦的這個特點，構造多層的神經網路，較低層的識別初級的圖像特徵，若干底層特徵組成更上一層特徵，最終通過多個層級的組合，最終在頂層做出分類呢？答案是肯定的，這也是許多深度學習演算法（包括CNN）的靈感來源。
卷積神經網路是一種多層神經網路，擅長處理圖像特別是大圖像的相關機器學習問題。卷積網路通過一系列方法，成功將數據量龐大的圖像識別問題不斷降維，最終使其能夠被訓練。
CNN最早由Yann LeCun提出並應用在手寫字體識別上。LeCun提出的網路稱為LeNet，其網路結構如下：
這是一個最典型的卷積網路，由 卷積層、池化層、全連接層 組成。其中卷積層與池化層配合，組成多個卷積組，逐層提取特徵，最終通過若干個全連接層完成分類。
CNN通過卷積來模擬特徵區分，並且通過卷積的權值共享及池化，來降低網路參數的數量級，最後通過傳統神經網路完成分類等任務。
降低參數量級：如果使用傳統神經網路方式，對一張圖片進行分類，那麼，把圖片的每個像素都連接到隱藏層節點上，對於一張1000x1000像素的圖片，如果有1M隱藏層單元，一共有10^12個參數，這顯然是不能接受的。
但是在CNN里，可以大大減少參數個數，基於以下兩個假設：
1）最底層特徵都是局部性的，也就是說，用10x10這樣大小的過濾器就能表示邊緣等底層特徵
2）圖像上不同小片段，以及不同圖像上的小片段的特徵是類似的，也就是說，能用同樣的一組分類器來描述各種各樣不同的圖像
基於以上兩個假設，就能把第一層網路結構簡化
用100個10x10的小過濾器，就能夠描述整幅圖片上的底層特徵。
卷積運算的定義如下圖所示：
如上圖所示，一個5x5的圖像，用一個3x3的 卷積核 ：
101
010
101
來對圖像進行卷積操作（可以理解為有一個滑動窗口，把卷積核與對應的圖像像素做乘積然後求和），得到了3x3的卷積結果。
這個過程可以理解為使用一個過濾器（卷積核）來過濾圖像的各個小區域，從而得到這些小區域的特徵值。在實際訓練過程中， 卷積核的值是在學習過程中學到的。
在具體應用中，往往有多個卷積核，可以認為， 每個卷積核代表了一種圖像模式 ，如果某個圖像塊與此卷積核卷積出的值大，則認為此圖像塊十分接近於此卷積核。如果設計了6個卷積核，可以理解為這個圖像上有6種底層紋理模式，也就是用6種基礎模式就能描繪出一副圖像。以下就是24種不同的卷積核的示例：
池化 的過程如下圖所示：
可以看到，原始圖片是20x20的，對其進行采樣，采樣窗口為10x10，最終將其采樣成為一個2x2大小的特徵圖。
之所以這么做，是因為即使做完了卷積，圖像仍然很大（因為卷積核比較小），所以為了降低數據維度，就進行采樣。
即使減少了許多數據，特徵的統計屬性仍能夠描述圖像，而且由於降低了數據維度，有效地避免了過擬合。
在實際應用中，分為最大值采樣（Max-Pooling）與平均值采樣（Mean-Pooling）。
LeNet網路結構：
注意，上圖中S2與C3的連接方式並不是全連接，而是部分連接。最後，通過全連接層C5、F6得到10個輸出，對應10個數字的概率。
卷積神經網路的訓練過程與傳統神經網路類似，也是參照了反向傳播演算法
第一階段，向前傳播階段：
a）從樣本集中取一個樣本(X,Yp)，將X輸入網路；
b）計算相應的實際輸出Op
第二階段，向後傳播階段
a）計算實際輸出Op與相應的理想輸出Yp的差；
b）按極小化誤差的方法反向傳播調整權矩陣。