卷積神經網路可以應用在哪裡

Ⅰ 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系

一、計算方法不同

1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。

2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。

3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。

二、用途不同

1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。

2、BP神經網路：

（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；

（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；

（3）分類：把輸入向量所定義的合適方式進行分類；

（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。

3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。

聯系：

BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。

三、作用不同

1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。

2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。

3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。

(1)卷積神經網路可以應用在哪裡擴展閱讀：

1、BP神經網路優劣勢

BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。

①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。

②容易陷入局部極小值。

③網路層數、神經元個數的選擇沒有相應的理論指導。

④網路推廣能力有限。

2、人工神經網路的特點和優越性，主要表現在以下三個方面

①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。

②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

Ⅱ 卷積神經網路主要做什麼用的

卷積網路的特點主要是卷積核參數共享，池化操作。
參數共享的話的話是因為像圖片等結構化的數據在不同的區域可能會存在相同的特徵，那麼就可以把卷積核作為detector，每一層detect不同的特徵，但是同層的核是在圖片的不同地方找相同的特徵。然後把底層的特徵組合傳給後層，再在後層對特徵整合(一般深度網路是說不清楚後面的網路層得到了什麼特徵的)。
而池化主要是因為在某些任務中降采樣並不會影響結果。所以可以大大減少參數量，另外，池化後在之前同樣大小的區域就可以包含更多的信息了。
綜上，所有有這種特徵的數據都可以用卷積網路來處理。有卷積做視頻的，有卷積做文本處理的(當然這兩者由於是序列信號，天然更適合用lstm處理)
另外，卷積網路只是個工具，看你怎麼使用它，有必要的話你可以隨意組合池化和卷積的順序，可以改變網路結構來達到自己所需目的的，不必太被既定框架束縛。

Ⅲ 卷積神經網路

一般由卷積層，匯聚層，和全連接層交叉堆疊而成，使用反向傳播演算法進行訓練（反向傳播，再重新看一下）
卷積神經網路有三個結構上的特性：局部連接，權重共享以及子采樣

濾波器filter 卷積核convolution kernel
局部連接，其實就是根據時間，權重遞減 最後為0 參數就傳播不到遠處了

局部連接 乘以 濾波器 得特徵映射

互相關，是一個衡量兩個序列相關性的函數，
互相關和卷積的區別在於 卷積核僅僅是否進行翻轉，因此互相關也可以稱為 不翻轉卷積
使用卷積 是為了進行特徵抽取，卷積核 是否進行翻轉和其特徵抽取的能力無關。
當卷積核是可以學習的參數，卷積和互相關是等價的，因此，其實兩者差不多。

Tips：P是代表特徵映射

Ⅳ PART 4 W1 卷積神經網路介紹

一個是圖像分類：如貓臉識別等；一個是目標檢測：如無人駕駛技術中的各種交通信號檢測技術

1. 卷積操作及過濾器/卷積核的概念

如上圖所示：最左側矩陣是一個灰度圖像，中間是一個3*3的小矩陣，稱為「卷積核」或「過濾器」。

卷積：先把卷積核放到灰度圖像左上角（綠色框），蓋住灰度圖像上一個3*3的矩陣區域，然後9對對應的元素相乘，然後求和（得到0），然後把卷積核逐漸移動一行一行的「掃描」，最終得到最右側矩陣。上述操作叫做「卷積」，最右側矩陣是卷積的輸出。

2. 垂直邊緣檢測

仍以上圖為例，可以看到3*3的卷積核具體的數值構成為「左邊一列1，中間一列0，右邊一列-1」，這種卷積核在「掃描」灰度圖像時，可以檢測到灰度圖像的垂直邊緣。分析如下：

1）假設正在掃描的灰度區域沒有垂直邊緣，意味著區域內的值在左右方向上分布差不多，與卷積核做完運算後，左邊的乘1，右邊的乘-1，相加正好有一定的抵消作用，其實計算出來的結果會接近0。即：卷積結果接近0代表沒有邊緣。

2）有垂直邊緣分為兩種情況：目標區域「左邊值較大，右邊值較小」 或「左邊值較小，右邊值較大」。前一種情況在卷積操作後會得到一個較大的正值，後一種情況卷積操作後會得到一個較大的負值。

可以看出，較大的正值代表著目標區域的變化趨勢與卷積核相同，即檢測到的是與卷積核相同的邊緣，而較大的負值代表目標區域的變化趨勢與卷積核相反，即檢測到的是與卷積核相反的邊緣。

3. 卷積應用在卷積神經網路中

卷積操作如何應用於神經網路中？簡言之，卷積核本身就是網路要學習的參數。如上圖所示，我們並不是事先設定好要檢測垂直邊緣或水平邊緣或其它什麼邊緣，而是要網路去學習要檢測什麼東西。

1. padding的原因

在上節展示的卷積操作中，可以看出，假設輸入圖像的大小為n*n，而卷積核的大小為f*f，那麼卷積核從輸入圖像的左上角掃描到右下角，最終得到的結果大小為(n-f+1)*(n-f+1)，意味著如果一次次進行卷積，那麼結果的尺寸會越來越小

另外，顯然輸入圖像邊緣的像素被使用的較少（最邊緣的像素僅被使用一次），這顯然會造成信息的丟失。

2. 如何進行padding

非常簡單：把輸入圖像的四周補充p = (f-1)/2 圈的0，這樣輸入的圖像尺寸變成了(n+2p)*(n+2p)，因此卷積後的大小變成了(n+2p -f + 1)*(n+2p -f + 1)=n*n，即與原始的圖像有了相同的大小，且原始圖像邊緣的像素也被較多的利用到。

3. 幾點補充

（1）卷積核的尺寸設置為 奇數 ：因為① 這樣(f-1)/2就恰好是整數了，方便進行padding，② 有中心像素，便於表徵卷積核的位置，等。

（2）根據是否進行padding，分為 普通卷積(valid) 和 同尺寸卷積(same)

1. 步長概念

在上文中講到卷積，即使用一個卷積核對輸入圖像進行「掃描」並進行相應計算時，提到這個「掃描」是逐個像素逐個像素的邁進的。但是，並不一定非得這樣，也可以每次跨越兩個或更多個像素，這就是「步長」的概念，一般用s表示

2. 卷積結果尺寸與步長的關系

前文提到，若輸入圖像尺寸為n*n，卷積核尺寸為f*f，則卷積結果尺寸為(n+f-1)*(n+f-1)，若算上padding操作，則結果為(n+2p -f + 1)*(n+2p -f + 1)。這是在步長s=1的前提下成立。若步長不為1，則結果為floor((n+2p-f)/s+1)**2

3. 其它：數學中的卷積和神經網路中的卷積

需要說明的是，神經網路中所說的卷積和數學中說的卷積不是一回事，但數學中的卷積是啥就不追究了。

神經網路中的卷積操作，在數學的描述上，更像是一種「交叉相關性」的計算，可以看出，若目標區域與卷積核有類似的分布，則會計算出較大的正值（正相關），若有相反的分布，則會計算出較大的負值（負相關），若沒什麼關系，則會計算出接近0的值（不相關）。卷積操作的確很像一種相關性的計算。

1. RGB圖像的數學構成

灰度圖像是一個n*n的二維矩陣，彩色圖像則是n*n*3 的三維矩陣，最外圍的三個維度分別代表了RGB三原色的值，其中數字「3」在卷積神經網路中被稱為通道數或信道數

2. 對RGB圖像進行卷積

在對灰度圖像進行卷積時，使用的是f*f的二維卷積核。在對RGB圖像進行卷積時，則卷積核的維度也+1，變成了f*f*3。一次卷積的結果仍然是把所有的值加起來輸出一個值。即： 一個三維的圖像，和一個三維的卷積核，在進行完卷積操作後，輸出的是一個二維的矩陣（如上圖） 。

3. 當使用多個卷積核時的輸出

如上圖所示，可以使用多個卷積核（一個亮黃色，一個屎黃色）。根據前文描述，一個立體的卷積核在一個立體的矩陣上掃描完，結果是一個二維的。但當使用多個卷積核時，則輸出了多個二維矩陣，這些二維矩陣沿著第三個維度排列到一起，使得結果重新變成了三維。此時，第三個維度的尺寸，反應的是卷積核數，也就是說 卷積核數就是信道數 。直觀理解，每一個卷積核代表著檢測了某一種特徵，多個卷積核就是同時檢測了多種特徵，傳遞了多種信息。

1. 一個卷積層的數據的基本流

如上圖所示，由於卷積核本身就是一堆待學參數w，所以卷積操作本質還是「加權求和」，之後會加入偏置值，然後進行非線性變換，然後輸出（到下一層），可見還是那一套。

需要提一下的是，卷積的輸入不一定是原始圖像構成的矩陣，還有可能是上一個卷積的結果。原始圖像是彩色的，有多個通道。卷積時可以用多個卷積核，最終產生的結果也是立體的。因此原始的輸入與中間卷積層的輸出，在數學形式上是統一的。因此可以「輸入->卷積層->卷積層->...」這樣操作。

2. 卷積層的參數規模

一個卷積層總的參數規模（包括w，不包括b）為： ，即：卷積核的大小的平方*上層輸出的通道數）*本層所用的卷積核數。與上層輸入的大小無關（但與通道數有關）

3. 一個卷積層涉及到的超參

卷積核的大小、是否padding、步長、卷積核數。

1. 一個示例

上圖為一個簡單的卷積神經網路示例： 一層一層的卷積，最後把所有的元素展開成一個一維向量，然後加一個全連接層。

2. 注意以下幾點：

1⃣️ 實際上CNN會有卷積層、池化層、全連接層，而非僅有卷積和全連接；

2⃣️ 從數據的構成形式上看，按照網路從前往後的順序，圖片尺寸不斷減小，信道數量不斷增加。一般遵從這個趨勢。

1. 池化

如上圖所示，假設輸入是一個4*4的矩陣，現在我們把它分割成2*2四個子矩陣（或者說使用一個2*2的核以2為步長掃描矩陣），對四個子區域分別求最大值，最終得到一個值為9、2、6、3的2*2的矩陣輸出。這種操作就叫池化，具體為最大值池化。

2. 池化的作用

1⃣️ 一般來說，較大的值往往代表學到了一個重要或典型的特徵，把原始輸入以某種方式濾除掉一些不重要的值，只保留一些較大的值，相當於 強化了一些重要信息的表達 。2⃣️ 降低圖片的尺寸，可以節省空間、加速運算等。

3. 池化的特點

並沒有需要學習的參數（w、b之類的），也因此「池化層」一般並不被稱為單獨的一層。在卷積神經網路中，通常把一個卷積層+一個池化層的組合叫一層。

4. 池化的超參數及經驗值

池化層沒有要學習的參數，只有核心的兩個超參：池化核的大小、池化步長。此外還有池化所用的rece操作：最大或者平均（沒有其它選項）。

一般把池化核的大小設置為3或2，步長為2。注意：步長為2意味著把圖片減小到原來的一半。

rece操作最常用最大池化，偶爾用平均池化，不會用其它操作。

上圖為一個典型的卷積神經網路示例，描述如下：

輸入層 ：彩色的手寫數字圖片，數學構成為32*32*3的矩陣，其中3為通道數。

Layer 1-卷積層 ：1）使用6個5*5*3的卷積核，以步長為1對輸入層進行卷積，輸出28*28*6的矩陣，2）然後使用2*2的最大池化，步長為2，最終輸出14*14*6的矩陣。其中14為圖片尺寸，6為信道數。

Layer2-卷積層 ：1）使用16個5*5*3的卷積核以步長1對上層輸出進行卷積，輸出10*10*16的矩陣，2）然後使用2*2的最大池化，步長為2，最終輸出5*5*16的矩陣。

Layer3-全連接層： 把上層輸出的5*5*16矩陣展開成1*400的一維向量，以120*400的權重矩陣送入本層120個神經元，激活後輸出。

Layer4-全連接層： 120->84，激活後輸出

輸出層 ：84 -> 10，然後softmax後輸出。

1. 參數少

假如原始圖片尺寸為100*100*3，假設使用全連接，即使第二層僅用100個神經元，那也已經產生了100*100*3*100 = 300w個參數，難以想像。

假設使用卷積層，使用10個10*10*3的卷積核，那就是只有3000個參數，而能輸出的矩陣規模是91*91*10=81000

2. 參數少的原因

1）稀疏連接：卷積核掃描矩陣產生輸出，這個過程就從「神經元連接」的角度看，輸入的左上角只連著輸出的左上角，右上角只連右上角，而非「全連接」，參數就會少很多。2）參數共享：這么稀疏的連接，還是使用了同一套參數，進一步減少了參數的量。

3. 參數共享的其它好處

如果圖片上有一隻貓，那麼不管這個貓在圖片的什麼位置，都不改變「這是一張貓的照片」。使用參數共享時，相當於用同樣的特徵提取作用到整個圖片的各個區域，適應平移不變性，增強魯棒性。

Ⅳ 卷積神經網路 有哪些改進的地方

卷積神經網路的研究的最新進展引發了人們完善立體匹配重建熱情。從概念看，基於學習演算法能夠捕獲全局的語義信息，比如基於高光和反射的先驗條件，便於得到更加穩健的匹配。目前已經探求一些兩視圖立體匹配，用神經網路替換手工設計的相似性度量或正則化方法。這些方法展現出更好的結果，並且逐步超過立體匹配領域的傳統方法。事實上，立體匹配任務完全適合使用CNN，因為圖像對是已經過修正過的，因此立體匹配問題轉化為水平方向上逐像素的視差估計。
與雙目立體匹配不同的是，MVS的輸入是任意數目的視圖，這是深度學習方法需要解決的一個棘手的問題。而且只有很少的工作意識到該問題，比如SurfaceNet事先重建彩色體素立方體，將所有像素的顏色信息和相機參數構成一個3D代價體，所構成的3D代價體即為網路的輸入。然而受限於3D代價體巨大的內存消耗，SurfaceNet網路的規模很難增大：SurfaceNet運用了一個啟發式的「分而治之」的策略，對於大規模重建場景則需要花費很長的時間。

Ⅵ 卷積神經網路

卷積神經網路 （Convolutional Neural Networks，CNN）是一種前饋神經網路。卷積神經網路是受生物學上感受野（Receptive Field）的機制而提出的。感受野主要是指聽覺系統、本體感覺系統和視覺系統中神經元的一些性質。比如在視覺神經系統中，一個神經元的感受野是指視網膜上的特定區域，只有這個區域內的刺激才能夠激活該神經元。

卷積神經網路又是怎樣解決這個問題的呢？主要有三個思路：

在使用CNN提取特徵時，到底使用哪一層的輸出作為最後的特徵呢？

答：倒數第二個全連接層的輸出才是最後我們要提取的特徵，也就是最後一個全連接層的輸入才是我們需要的特徵。

全連接層會忽視形狀。卷積層可以保持形狀不變。當輸入數據是圖像時，卷積層會以3維數據的形式接收輸入數據，並同樣以3維數據的形式輸出至下一層。因此，在CNN中，可以（有可能）正確理解圖像等具有形狀的數據。

CNN中，有時將 卷積層的輸入輸出數據稱為特徵圖（feature map） 。其中， 卷積層的輸入數據稱為輸入特徵圖（input feature map） ， 輸出數據稱為輸出特徵圖（output feature map）。

卷積層進行的處理就是 卷積運算 。卷積運算相當於圖像處理中的「濾波器運算」。

濾波器相當於權重或者參數，濾波器數值都是學習出來的。 卷積層實現的是垂直邊緣檢測 。

邊緣檢測實際就是將圖像由亮到暗進行區分，即邊緣的過渡(edge transitions)。

卷積層對應到全連接層，左上角經過濾波器，得到的3，相當於一個神經元輸出為3.然後相當於，我們把輸入矩陣拉直為36個數據，但是我們只對其中的9個數據賦予了權重。

步幅為1 ，移動一個，得到一個1，相當於另一個神經單元的輸出是1.

並且使用的是同一個濾波器，對應到全連接層，就是權值共享。

在這個例子中，輸入數據是有高長方向的形狀的數據，濾波器也一樣，有高長方向上的維度。假設用（height, width）表示數據和濾波器的形狀，則在本例中，輸入大小是(4, 4)，濾波器大小是(3, 3)，輸出大小是(2, 2)。另外，有的文獻中也會用「核」這個詞來表示這里所說的「濾波器」。

對於輸入數據，卷積運算以一定間隔滑動濾波器的窗口並應用。這里所說的窗口是指圖7-4中灰色的3 × 3的部分。如圖7-4所示，將各個位置上濾
波器的元素和輸入的對應元素相乘，然後再求和（有時將這個計算稱為乘積累加運算）。然後，將這個結果保存到輸出的對應位置。將這個過程在所有位置都進行一遍，就可以得到卷積運算的輸出。

CNN中，濾波器的參數就對應之前的權重。並且，CNN中也存在偏置。

在進行卷積層的處理之前，有時要向輸入數據的周圍填入固定的數據（比如0等），這稱為填充（padding），是卷積運算中經常會用到的處理。比如，在圖7-6的例子中，對大小為(4, 4)的輸入數據應用了幅度為1的填充。「幅度為1的填充」是指用幅度為1像素的0填充周圍。

應用濾波器的位置間隔稱為 步幅（stride） 。

假設輸入大小為(H, W)，濾波器大小為(FH, FW)，輸出大小為(OH, OW)，填充為P，步幅為S。

但是所設定的值必須使式（7.1）中的 和 分別可以除盡。當輸出大小無法除盡時（結果是小數時），需要採取報錯等對策。順便說一下，根據深度學習的框架的不同，當值無法除盡時，有時會向最接近的整數四捨五入，不進行報錯而繼續運行。

之前的卷積運算的例子都是以有高、長方向的2維形狀為對象的。但是，圖像是3維數據，除了高、長方向之外，還需要處理通道方向。

在3維數據的卷積運算中，輸入數據和濾波器的通道數要設為相同的值。

因此，作為4維數據，濾波器的權重數據要按(output_channel, input_channel, height, width)的順序書寫。比如，通道數為3、大小為5 × 5的濾
波器有20個時，可以寫成(20, 3, 5, 5)。

對於每個通道，均使用自己的權值矩陣進行處理，輸出時將多個通道所輸出的值進行加和即可。

卷積運算的批處理，需要將在各層間傳遞的數據保存為4維數據。具體地講，就是按(batch_num, channel, height, width)的順序保存數據。

這里需要注意的是，網路間傳遞的是4維數據，對這N個數據進行了卷積運算。也就是說，批處理將N次的處理匯總成了1次進行。

池化是縮小高、長方向上的空間的運算。比如，如圖7-14所示，進行將2 × 2的區域集約成1個元素的處理，縮小空間大小。

圖7-14的例子是按步幅2進行2 × 2的Max池化時的處理順序。「Max池化」是獲取最大值的運算，「2 × 2」表示目標區域的大小。如圖所示，從
2 × 2的區域中取出最大的元素。此外，這個例子中將步幅設為了2，所以2 × 2的窗口的移動間隔為2個元素。另外，一般來說，池化的窗口大小會和步幅設定成相同的值。比如，3 × 3的窗口的步幅會設為3，4 × 4的窗口的步幅會設為4等。

除了Max池化之外，還有Average池化等。相對於Max池化是從目標區域中取出最大值，Average池化則是計算目標區域的平均值。 在圖像識別領域，主要使用Max池化。 因此，本書中說到「池化層」時，指的是Max池化。

池化層的特徵
池化層有以下特徵。
沒有要學習的參數
池化層和卷積層不同，沒有要學習的參數。池化只是從目標區域中取最大值（或者平均值），所以不存在要學習的參數。
通道數不發生變化
經過池化運算，輸入數據和輸出數據的通道數不會發生變化。如圖7-15所示，計算是按通道獨立進行的。

​ 對微小的位置變化具有魯棒性（健壯）
​ 輸入數據發生微小偏差時，池化仍會返回相同的結果。因此，池化對輸入數據的微小偏差具有魯棒性。比如，3 × 3的池化的情況下，如圖
​ 7-16所示，池化會吸收輸入數據的偏差（根據數據的不同，結果有可能不一致）。

經過卷積層和池化層之後，進行Flatten，然後丟到全連接前向傳播神經網路。

（找到一張圖片使得某個filter響應最大。相當於filter固定，未知的是輸入的圖片。）未知的是輸入的圖片？？？

k是第k個filter，x是我們要找的參數。?這里我不是很明白。我得理解應該是去尋找最具有代表性的特徵。

使用im2col來實現卷積層

卷積層的參數是需要學習的，但是池化層沒有參數需要學習。全連接層的參數需要訓練得到。

池化層不需要訓練參數。全連接層的參數最多。卷積核的個數逐漸增多。激活層的size，逐漸減少。

最大池化只是計算神經網路某一層的靜態屬性，沒有什麼需要學習的，它只是一個靜態屬性 。

像這樣展開之後，只需對展開的矩陣求各行的最大值，並轉換為合適的形狀即可（圖7-22）。

參數
• input_dim ― 輸入數據的維度：（ 通道，高，長 ）
• conv_param ― 卷積層的超參數（字典）。字典的關鍵字如下：
filter_num ― 濾波器的數量
filter_size ― 濾波器的大小
stride ― 步幅
pad ― 填充
• hidden_size ― 隱藏層（全連接）的神經元數量
• output_size ― 輸出層（全連接）的神經元數量
• weitght_int_std ― 初始化時權重的標准差

LeNet

LeNet在1998年被提出，是進行手寫數字識別的網路。如圖7-27所示，它有連續的卷積層和池化層（正確地講，是只「抽選元素」的子采樣層），最後經全連接層輸出結果。

和「現在的CNN」相比，LeNet有幾個不同點。第一個不同點在於激活函數。LeNet中使用sigmoid函數，而現在的CNN中主要使用ReLU函數。
此外，原始的LeNet中使用子采樣（subsampling）縮小中間數據的大小，而現在的CNN中Max池化是主流。

AlexNet

在LeNet問世20多年後，AlexNet被發布出來。AlexNet是引發深度學習熱潮的導火線，不過它的網路結構和LeNet基本上沒有什麼不同，如圖7-28所示。

AlexNet疊有多個卷積層和池化層，最後經由全連接層輸出結果。雖然結構上AlexNet和LeNet沒有大的不同，但有以下幾點差異。
• 激活函數使用ReLU。
• 使用進行局部正規化的LRN（Local Response Normalization）層。
• 使用Dropout

TF2.0實現卷積神經網路

valid意味著不填充，same是填充
or the SAME padding, the output height and width are computed as:

out_height = ceil(float(in_height) / float(strides[1]))

out_width = ceil(float(in_width) / float(strides[2]))

And

For the VALID padding, the output height and width are computed as:

out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))

out_width = ceil(float(in_width - filter_width + 1) / float(strides[2]))
因此，我們可以設定 padding 策略。在 tf.keras.layers.Conv2D 中，當我們將 padding 參數設為 same 時，會將周圍缺少的部分使用 0 補齊，使得輸出的矩陣大小和輸入一致。

Ⅶ 卷積神經網路

關於花書中卷積網路的筆記記錄於 https://www.jianshu.com/p/5a3c90ea0807 。

卷積神經網路（Convolutional Neural Network，CNN或ConvNet）是一種具有 局部連接、權重共享 等特性的深層前饋神經網路。卷積神經網路是受生物學上感受野的機制而提出。 感受野（Receptive Field） 主要是指聽覺、視覺等神經系統中一些神經元的特性，即 神經元只接受其所支配的刺激區域內的信號 。

卷積神經網路最早是主要用來處理圖像信息。如果用全連接前饋網路來處理圖像時，會存在以下兩個問題：

目前的卷積神經網路一般是由卷積層、匯聚層和全連接層交叉堆疊而成的前饋神經網路，使用反向傳播演算法進行訓練。 卷積神經網路有三個結構上的特性：局部連接，權重共享以及匯聚 。這些特性使卷積神經網路具有一定程度上的平移、縮放和旋轉不變性。

卷積（Convolution）是分析數學中一種重要的運算。在信號處理或圖像處理中，經常使用一維或二維卷積。

一維卷積經常用在信號處理中，用於計算信號的延遲累積。假設一個信號發生器每個時刻t 產生一個信號 ，其信息的衰減率為 ，即在 個時間步長後，信息為原來的 倍。假設 ，那麼在時刻t收到的信號 為當前時刻產生的信息和以前時刻延遲信息的疊加：

我們把 稱為 濾波器（Filter）或卷積核（Convolution Kernel） 。假設濾波器長度為 ，它和一個信號序列 的卷積為：

信號序列 和濾波器 的卷積定義為：

一般情況下濾波器的長度 遠小於信號序列長度 ，下圖給出一個一維卷積示例，濾波器為 ：

二維卷積經常用在圖像處理中。因為圖像為一個兩維結構，所以需要將一維卷積進行擴展。給定一個圖像 和濾波器 ，其卷積為：

下圖給出一個二維卷積示例：

注意這里的卷積運算並不是在圖像中框定卷積核大小的方框並將各像素值與卷積核各個元素相乘並加和，而是先把卷積核旋轉180度，再做上述運算。

在圖像處理中，卷積經常作為特徵提取的有效方法。一幅圖像在經過卷積操作後得到結果稱為 特徵映射（Feature Map） 。

最上面的濾波器是常用的高斯濾波器，可以用來對圖像進行 平滑去噪 ；中間和最下面的過濾器可以用來 提取邊緣特徵 。

在機器學習和圖像處理領域，卷積的主要功能是在一個圖像（或某種特徵）上滑動一個卷積核（即濾波器），通過卷積操作得到一組新的特徵。在計算卷積的過程中，需要進行卷積核翻轉（即上文提到的旋轉180度）。 在具體實現上，一般會以互相關操作來代替卷積，從而會減少一些不必要的操作或開銷。

互相關（Cross-Correlation）是一個衡量兩個序列相關性的函數，通常是用滑動窗口的點積計算來實現 。給定一個圖像 和卷積核 ，它們的互相關為：

互相關和卷積的區別僅在於卷積核是否進行翻轉。因此互相關也可以稱為不翻轉卷積 。當卷積核是可學習的參數時，卷積和互相關是等價的。因此，為了實現上（或描述上）的方便起見，我們用互相關來代替卷積。事實上，很多深度學習工具中卷積操作其實都是互相關操作。

在卷積的標準定義基礎上，還可以引入濾波器的 滑動步長 和 零填充 來增加卷積多樣性，更靈活地進行特徵抽取。

濾波器的步長（Stride）是指濾波器在滑動時的時間間隔。

零填充（Zero Padding）是在輸入向量兩端進行補零。

假設卷積層的輸入神經元個數為 ，卷積大小為 ，步長為 ，神經元兩端各填補 個零，那麼該卷積層的神經元數量為 。

一般常用的卷積有以下三類：

因為卷積網路的訓練也是基於反向傳播演算法，因此我們重點關注卷積的導數性質：

假設 。

， ， 。函數 為一個標量函數。

則由 有：

可以看出， 關於 的偏導數為 和 的卷積 ：

同理得到：

當 或 時， ，即相當於對 進行 的零填充。從而 關於 的偏導數為 和 的寬卷積 。

用互相關的「卷積」表示，即為（注意 寬卷積運算具有交換性性質 ）：

在全連接前饋神經網路中，如果第 層有 個神經元，第 層有 個神經元，連接邊有 個，也就是權重矩陣有 個參數。當 和 都很大時，權重矩陣的參數非常多，訓練的效率會非常低。

如果採用卷積來代替全連接，第 層的凈輸入 為第 層活性值 和濾波器 的卷積，即：

根據卷積的定義，卷積層有兩個很重要的性質：

由於局部連接和權重共享，卷積層的參數只有一個m維的權重 和1維的偏置 ，共 個參數。參數個數和神經元的數量無關。此外，第 層的神經元個數不是任意選擇的，而是滿足 。

卷積層的作用是提取一個局部區域的特徵，不同的卷積核相當於不同的特徵提取器。

特徵映射（Feature Map）為一幅圖像（或其它特徵映射）在經過卷積提取到的特徵，每個特徵映射可以作為一類抽取的圖像特徵。 為了提高卷積網路的表示能力，可以在每一層使用多個不同的特徵映射，以更好地表示圖像的特徵。

在輸入層，特徵映射就是圖像本身。如果是灰度圖像，就是有一個特徵映射，深度 ；如果是彩色圖像，分別有RGB三個顏色通道的特徵映射，深度 。

不失一般性，假設一個卷積層的結構如下：

為了計算輸出特徵映射 ，用卷積核 分別對輸入特徵映射 進行卷積，然後將卷積結果相加，並加上一個標量偏置 得到卷積層的凈輸入 再經過非線性激活函數後得到輸出特徵映射 。

在輸入為 ，輸出為 的卷積層中，每個輸出特徵映射都需要 個濾波器以及一個偏置。假設每個濾波器的大小為 ，那麼共需要 個參數。

匯聚層（Pooling Layer）也叫子采樣層（Subsampling Layer），其作用是進行特徵選擇，降低特徵數量，並從而減少參數數量。

常用的匯聚函數有兩種：

其中 為區域 內每個神經元的激活值。

可以看出，匯聚層不但可以有效地減少神經元的數量，還可以使得網路對一些小的局部形態改變保持不變性，並擁有更大的感受野。

典型的匯聚層是將每個特徵映射劃分為 大小的不重疊區域，然後使用最大匯聚的方式進行下采樣。匯聚層也可以看做是一個特殊的卷積層，卷積核大小為 ，步長為 ，卷積核為 函數或 函數。過大的采樣區域會急劇減少神經元的數量，會造成過多的信息損失。

一個典型的卷積網路是由卷積層、匯聚層、全連接層交叉堆疊而成。

目前常用卷積網路結構如圖所示，一個卷積塊為連續 個卷積層和 個匯聚層（ 通常設置為 ， 為 或 ）。一個卷積網路中可以堆疊 個連續的卷積塊，然後在後面接著 個全連接層（ 的取值區間比較大，比如 或者更大； 一般為 ）。

目前，整個網路結構 趨向於使用更小的卷積核（比如 和 ）以及更深的結構（比如層數大於50） 。此外，由於卷積的操作性越來越靈活（比如不同的步長），匯聚層的作用變得也越來越小，因此目前比較流行的卷積網路中， 匯聚層的比例也逐漸降低，趨向於全卷積網路 。

在全連接前饋神經網路中，梯度主要通過每一層的誤差項 進行反向傳播，並進一步計算每層參數的梯度。在卷積神經網路中，主要有兩種不同功能的神經層：卷積層和匯聚層。而參數為卷積核以及偏置，因此 只需要計算卷積層中參數的梯度。

不失一般性，第 層為卷積層，第 層的輸入特徵映射為 ，通過卷積計算得到第 層的特徵映射凈輸入 ，第 層的第 個特徵映射凈輸入

由 得：

同理可得，損失函數關於第 層的第 個偏置 的偏導數為：

在卷積網路中，每層參數的梯度依賴其所在層的誤差項 。

卷積層和匯聚層中，誤差項的計算有所不同，因此我們分別計算其誤差項。

第 層的第 個特徵映射的誤差項 的具體推導過程如下：

其中 為第 層使用的激活函數導數， 為上采樣函數（upsampling），與匯聚層中使用的下采樣操作剛好相反。如果下采樣是最大匯聚（max pooling），誤差項 中每個值會直接傳遞到上一層對應區域中的最大值所對應的神經元，該區域中其它神經元的誤差項的都設為0。如果下采樣是平均匯聚（meanpooling），誤差項 中每個值會被平均分配到上一層對應區域中的所有神經元上。

第 層的第 個特徵映射的誤差項 的具體推導過程如下：

其中 為寬卷積。

LeNet-5雖然提出的時間比較早，但是是一個非常成功的神經網路模型。基於LeNet-5 的手寫數字識別系統在90年代被美國很多銀行使用，用來識別支票上面的手寫數字。LeNet-5 的網路結構如圖：

不計輸入層，LeNet-5共有7層，每一層的結構為：

AlexNet是第一個現代深度卷積網路模型，其首次使用了很多現代深度卷積網路的一些技術方法，比如採用了ReLU作為非線性激活函數，使用Dropout防止過擬合，使用數據增強來提高模型准確率等。AlexNet 贏得了2012 年ImageNet 圖像分類競賽的冠軍。

AlexNet的結構如圖，包括5個卷積層、3個全連接層和1個softmax層。因為網路規模超出了當時的單個GPU的內存限制，AlexNet 將網路拆為兩半，分別放在兩個GPU上，GPU間只在某些層（比如第3層）進行通訊。

AlexNet的具體結構如下：

在卷積網路中，如何設置卷積層的卷積核大小是一個十分關鍵的問題。 在Inception網路中，一個卷積層包含多個不同大小的卷積操作，稱為Inception模塊。Inception網路是由有多個inception模塊和少量的匯聚層堆疊而成 。

v1版本的Inception模塊，採用了4組平行的特徵抽取方式，分別為1×1、3× 3、5×5的卷積和3×3的最大匯聚。同時，為了提高計算效率，減少參數數量，Inception模塊在進行3×3、5×5的卷積之前、3×3的最大匯聚之後，進行一次1×1的卷積來減少特徵映射的深度。如果輸入特徵映射之間存在冗餘信息， 1×1的卷積相當於先進行一次特徵抽取 。

Ⅷ 神經網路：卷積神經網路（CNN）

神經網路 最早是由心理學家和神經學家提出的，旨在尋求開發和測試神經的計算模擬。

粗略地說， 神經網路 是一組連接的 輸入/輸出單元 ，其中每個連接都與一個 權 相關聯。在學習階段，通過調整權值，使得神經網路的預測准確性逐步提高。由於單元之間的連接，神經網路學習又稱 連接者學習。

神經網路是以模擬人腦神經元的數學模型為基礎而建立的，它由一系列神經元組成，單元之間彼此連接。從信息處理角度看，神經元可以看作是一個多輸入單輸出的信息處理單元，根據神經元的特性和功能，可以把神經元抽象成一個簡單的數學模型。

神經網路有三個要素： 拓撲結構、連接方式、學習規則

神經網路的拓撲結構 ：神經網路的單元通常按照層次排列，根據網路的層次數，可以將神經網路分為單層神經網路、兩層神經網路、三層神經網路等。結構簡單的神經網路，在學習時收斂的速度快，但准確度低。

神經網路的層數和每層的單元數由問題的復雜程度而定。問題越復雜，神經網路的層數就越多。例如，兩層神經網路常用來解決線性問題，而多層網路就可以解決多元非線性問題

神經網路的連接 ：包括層次之間的連接和每一層內部的連接，連接的強度用權來表示。

根據層次之間的連接方式，分為：

1）前饋式網路：連接是單向的，上層單元的輸出是下層單元的輸入，如反向傳播網路，Kohonen網路

2）反饋式網路：除了單項的連接外，還把最後一層單元的輸出作為第一層單元的輸入，如Hopfield網路

根據連接的范圍，分為：

1）全連接神經網路：每個單元和相鄰層上的所有單元相連

2）局部連接網路：每個單元只和相鄰層上的部分單元相連

神經網路的學習

根據學習方法分：

感知器：有監督的學習方法，訓練樣本的類別是已知的，並在學習的過程中指導模型的訓練

認知器：無監督的學習方法，訓練樣本類別未知，各單元通過競爭學習。

根據學習時間分：

離線網路：學習過程和使用過程是獨立的

在線網路：學習過程和使用過程是同時進行的

根據學習規則分：

相關學習網路：根據連接間的激活水平改變權系數

糾錯學習網路：根據輸出單元的外部反饋改變權系數

自組織學習網路：對輸入進行自適應地學習

摘自《數學之美》對人工神經網路的通俗理解：

神經網路種類很多，常用的有如下四種：

1）Hopfield網路，典型的反饋網路，結構單層，有相同的單元組成

2）反向傳播網路，前饋網路，結構多層，採用最小均方差的糾錯學習規則，常用於語言識別和分類等問題

3）Kohonen網路：典型的自組織網路，由輸入層和輸出層構成，全連接

4）ART網路：自組織網路

深度神經網路：

Convolutional Neural Networks(CNN)卷積神經網路

Recurrent neural Network(RNN)循環神經網路

Deep Belief Networks(DBN)深度信念網路

深度學習是指多層神經網路上運用各種機器學習演算法解決圖像，文本等各種問題的演算法集合。深度學習從大類上可以歸入神經網路，不過在具體實現上有許多變化。

深度學習的核心是特徵學習，旨在通過分層網路獲取分層次的特徵信息，從而解決以往需要人工設計特徵的重要難題。

Machine Learning vs. Deep Learning 

神經網路（主要是感知器）經常用於 分類

神經網路的分類知識體現在網路連接上，被隱式地存儲在連接的權值中。

神經網路的學習就是通過迭代演算法，對權值逐步修改的優化過程，學習的目標就是通過改變權值使訓練集的樣本都能被正確分類。

神經網路特別適用於下列情況的分類問題：

1) 數據量比較小，缺少足夠的樣本建立模型

2) 數據的結構難以用傳統的統計方法來描述

3) 分類模型難以表示為傳統的統計模型

缺點：

1) 需要很長的訓練時間，因而對於有足夠長訓練時間的應用更合適。

2) 需要大量的參數，這些通常主要靠經驗確定，如網路拓撲或「結構」。

3)  可解釋性差 。該特點使得神經網路在數據挖掘的初期並不看好。

優點：

1) 分類的准確度高

2)並行分布處理能力強

3)分布存儲及學習能力高

4)對噪音數據有很強的魯棒性和容錯能力

最流行的基於神經網路的分類演算法是80年代提出的 後向傳播演算法 。後向傳播演算法在多路前饋神經網路上學習。 

定義網路拓撲

在開始訓練之前，用戶必須說明輸入層的單元數、隱藏層數（如果多於一層）、每一隱藏層的單元數和輸出層的單元數，以確定網路拓撲。

對訓練樣本中每個屬性的值進行規格化將有助於加快學習過程。通常，對輸入值規格化，使得它們落入0.0和1.0之間。

離散值屬性可以重新編碼，使得每個域值一個輸入單元。例如，如果屬性A的定義域為(a0,a1,a2)，則可以分配三個輸入單元表示A。即，我們可以用I0 ,I1 ,I2作為輸入單元。每個單元初始化為0。如果A = a0，則I0置為1；如果A = a1，I1置1；如此下去。

一個輸出單元可以用來表示兩個類（值1代表一個類，而值0代表另一個）。如果多於兩個類，則每個類使用一個輸出單元。

隱藏層單元數設多少個「最好」 ，沒有明確的規則。

網路設計是一個實驗過程，並可能影響准確性。權的初值也可能影響准確性。如果某個經過訓練的網路的准確率太低，則通常需要採用不同的網路拓撲或使用不同的初始權值，重復進行訓練。

後向傳播演算法學習過程：

迭代地處理一組訓練樣本，將每個樣本的網路預測與實際的類標號比較。

每次迭代後，修改權值，使得網路預測和實際類之間的均方差最小。

這種修改「後向」進行。即，由輸出層，經由每個隱藏層，到第一個隱藏層（因此稱作後向傳播）。盡管不能保證，一般地，權將最終收斂，學習過程停止。

演算法終止條件：訓練集中被正確分類的樣本達到一定的比例，或者權系數趨近穩定。

後向傳播演算法分為如下幾步：

1) 初始化權

網路的權通常被初始化為很小的隨機數（例如，范圍從-1.0到1.0，或從-0.5到0.5）。

每個單元都設有一個偏置（bias），偏置也被初始化為小隨機數。

2) 向前傳播輸入

對於每一個樣本X，重復下面兩步：

向前傳播輸入，向後傳播誤差

計算各層每個單元的輸入和輸出。輸入層：輸出=輸入=樣本X的屬性；即，對於單元j，Oj = Ij = Xj。隱藏層和輸出層：輸入=前一層的輸出的線性組合,即，對於單元j， Ij =wij Oi + θj，輸出=

3) 向後傳播誤差

計算各層每個單元的誤差。

輸出層單元j，誤差：

Oj是單元j的實際輸出，而Tj是j的真正輸出。

隱藏層單元j，誤差：

wjk是由j到下一層中單元k的連接的權，Errk是單元k的誤差

更新 權 和 偏差 ，以反映傳播的誤差。

權由下式更新：

 其中，△wij是權wij的改變。l是學習率，通常取0和1之間的值。

 偏置由下式更新：

  其中，△θj是偏置θj的改變。

Example

人類視覺原理：

深度學習的許多研究成果，離不開對大腦認知原理的研究，尤其是視覺原理的研究。1981 年的諾貝爾醫學獎，頒發給了 David Hubel（出生於加拿大的美國神經生物學家） 和Torsten Wiesel，以及Roger Sperry。前兩位的主要貢獻，是「發現了視覺系統的信息處理」， 可視皮層是分級的 。

人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素Pixels），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然後抽象（大腦判定，眼前的物體的形狀，是圓形的），然後進一步抽象（大腦進一步判定該物體是只氣球）。

對於不同的物體，人類視覺也是通過這樣逐層分級，來進行認知的：

在最底層特徵基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特徵（輪子、眼睛、軀乾等），到最上層，不同的高級特徵最終組合成相應的圖像，從而能夠讓人類准確的區分不同的物體。

可以很自然的想到：可以不可以模仿人類大腦的這個特點，構造多層的神經網路，較低層的識別初級的圖像特徵，若干底層特徵組成更上一層特徵，最終通過多個層級的組合，最終在頂層做出分類呢？答案是肯定的，這也是許多深度學習演算法（包括CNN）的靈感來源。

卷積神經網路是一種多層神經網路，擅長處理圖像特別是大圖像的相關機器學習問題。卷積網路通過一系列方法，成功將數據量龐大的圖像識別問題不斷降維，最終使其能夠被訓練。

CNN最早由Yann LeCun提出並應用在手寫字體識別上。LeCun提出的網路稱為LeNet，其網路結構如下：

這是一個最典型的卷積網路，由 卷積層、池化層、全連接層 組成。其中卷積層與池化層配合，組成多個卷積組，逐層提取特徵，最終通過若干個全連接層完成分類。

CNN通過卷積來模擬特徵區分，並且通過卷積的權值共享及池化，來降低網路參數的數量級，最後通過傳統神經網路完成分類等任務。

降低參數量級：如果使用傳統神經網路方式，對一張圖片進行分類，那麼，把圖片的每個像素都連接到隱藏層節點上，對於一張1000x1000像素的圖片，如果有1M隱藏層單元，一共有10^12個參數，這顯然是不能接受的。

但是在CNN里，可以大大減少參數個數，基於以下兩個假設：

1）最底層特徵都是局部性的，也就是說，用10x10這樣大小的過濾器就能表示邊緣等底層特徵

2）圖像上不同小片段，以及不同圖像上的小片段的特徵是類似的，也就是說，能用同樣的一組分類器來描述各種各樣不同的圖像

基於以上兩個假設，就能把第一層網路結構簡化

用100個10x10的小過濾器，就能夠描述整幅圖片上的底層特徵。

卷積運算的定義如下圖所示：

如上圖所示，一個5x5的圖像，用一個3x3的 卷積核 ：

   101

   010

   101

來對圖像進行卷積操作（可以理解為有一個滑動窗口，把卷積核與對應的圖像像素做乘積然後求和），得到了3x3的卷積結果。

這個過程可以理解為使用一個過濾器（卷積核）來過濾圖像的各個小區域，從而得到這些小區域的特徵值。在實際訓練過程中， 卷積核的值是在學習過程中學到的。

在具體應用中，往往有多個卷積核，可以認為， 每個卷積核代表了一種圖像模式 ，如果某個圖像塊與此卷積核卷積出的值大，則認為此圖像塊十分接近於此卷積核。如果設計了6個卷積核，可以理解為這個圖像上有6種底層紋理模式，也就是用6種基礎模式就能描繪出一副圖像。以下就是24種不同的卷積核的示例：

池化 的過程如下圖所示：

可以看到，原始圖片是20x20的，對其進行采樣，采樣窗口為10x10，最終將其采樣成為一個2x2大小的特徵圖。

之所以這么做，是因為即使做完了卷積，圖像仍然很大（因為卷積核比較小），所以為了降低數據維度，就進行采樣。

即使減少了許多數據，特徵的統計屬性仍能夠描述圖像，而且由於降低了數據維度，有效地避免了過擬合。

在實際應用中，分為最大值采樣（Max-Pooling）與平均值采樣（Mean-Pooling）。

LeNet網路結構：

注意，上圖中S2與C3的連接方式並不是全連接，而是部分連接。最後，通過全連接層C5、F6得到10個輸出，對應10個數字的概率。

卷積神經網路的訓練過程與傳統神經網路類似，也是參照了反向傳播演算法

第一階段，向前傳播階段：

a）從樣本集中取一個樣本(X,Yp)，將X輸入網路；

b）計算相應的實際輸出Op

第二階段，向後傳播階段

a）計算實際輸出Op與相應的理想輸出Yp的差；

b）按極小化誤差的方法反向傳播調整權矩陣。