神經網路全鏈接層權值共享

1. 哪些神經網路結構會發生權重共享

說的確定應該就是訓練方法吧，神經網路的權值不是人工給定的。而是用訓練集（包括輸入和輸出）訓練，用訓練集訓練一遍稱為一個epoch，一般要許多epoch才行，目的是使得目標與訓練結果的誤差(一般採用均方誤差）小到一個給定的閾值。以上所說是有監督的學習方法，還有無監督的學習方法。

2. 如何理解人工智慧神經網路中的權值共享問題

權值(權重)共享這個詞是由LeNet5模型提出來的。以CNN為例，在對一張圖偏進行卷積的過程中，使用的是同一個卷積核的參數。比如一個3×3×1的卷積核，這個卷積核內9個的參數被整張圖共享，而不會因為圖像內位置的不同而改變卷積核內的權系數。說的再直白一些，就是用一個卷積核不改變其內權系數的情況下卷積處理整張圖片(當然CNN中每一層不會只有一個卷積核的，這樣說只是為了方便解釋而已)。

3. 深度學習是怎麼識別人臉的

深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據。

卷積神經網路(CNN)

局部連接

傳統的神經網路是全連接，即一層的神經元與上一層的所有神經元都建立連接，這樣導致參數非常多，計算量非常大，而CNN是局部連接，一層的神經元只與上一層的部分神經元建立連接，這樣可以減少參數和計算量。

Technology-MachineLearning-FaceRegonition-CNN-LocalConnected

權值共享

給一張輸入圖片，用一個filter去掃時，filter裡面的數就叫權重。用該filter對整個圖片進行了某個特徵的掃描，例如Edge detection，這個過程就是權值共享，因為權重不變。

Technology-MachineLearning-FaceRegonition-CNN-WeightSharing

人臉識別

多個CNN加其他層，遍歷而成的人臉識別處理結構：

Technology-MachineLearning-FaceRegonition-CNN-Example

層提取到的信息的演進：

Technology-MachineLearning-FaceRegonition-CNN-Example2

人臉檢測

傳統演算法

識別:滑動窗口+分類器

用一個固定大小的窗口去滑動掃描圖像，並通過分類器去分辨是否是人臉。有時候人臉在圖片中過小，所以還要通過放大圖片來掃描。

Technology-MachineLearning-FaceRegonition-Window&Classifier

訓練:特徵+Adaboost

傳統特徵:LBP/HOG/Harr

圖片原始的RGB信息，維度太高，計算量過大，且不具備魯棒性，即光照和旋轉，對RGB信息影響非常大。

利用LBP得到二進制值，再轉換成十進制:

Technology-MachineLearning-FaceRegonition-LBP

效果圖：

Technology-MachineLearning-FaceRegonition-LBP-Example

Adaboost

由於移動設備對計算速度有一定要求，所以用多個弱分類器加權疊加來完成一個強分類器，從而保證速度。

Technology-MachineLearning-FaceRegonition-Adaboost

深度學習

特徵的選取是比較復雜的，可能需要大量的統計學和生物學知識積累，而深度學習不需要選擇特徵，這是其很大優勢，另外通過GPU代替CPU等方式，可以得到一個更好的效果。

Technology-MachineLearning-FaceRegonition-DeepLeaning-Example

關鍵點檢測、跟蹤

傳統演算法

Cascade regression/ESR/SDM

傳統演算法步驟：

根據人臉檢測的框位置，先初始化初始臉部輪廓位置;

進行上一步位置和圖形特徵檢測下一步位置(一般是迭代殘差);

進行迭代，最終得到相對准確的輪廓位置。

Technology-MachineLearning-FaceRegonition-KeyPoints

深度學習

深度學習演算法步驟：

對圖像進行輪廓定位態校正;

全局粗定位;

局部精細定位。

作者：YI_LIN
來源：簡書

4. CNN卷積神經網路結構有哪些特點

局部連接，權值共享，池化操作，多層次結構。
1、局部連接使網路可以提取數據的局部特徵；

2、權值共享大大降低了網路的訓練難度，一個Filter只提取一個特徵，在整個圖片(或者語音/文本) 中進行卷積；

3、池化操作與多層次結構一起，實現了數據的降維，將低層次的局部特徵組合成為較高層次的特徵，從而對整個圖片進行表示。

5. 如何理解卷積神經網路中的權值共享

所謂的權值共享就是說，給一張輸入圖片，用一個filter去掃這張圖，filter裡面的數就叫權重，這張圖每個位置是被同樣的filter掃的，所以權重是一樣的，也就是共享。 這么說可能還不太明白，如果你能理解什麼叫全連接神經網路的話，那麼從一個盡量減少參數個數的角度去理解就可以了。 對於一張輸入圖片，大小為W*H，如果使用全連接網路，生成一張X*Y的feature map，需要W*H*X*Y個參數，如果原圖長寬是10^2級別的，而且XY大小和WH差不多的話，那麼這樣一層網路需要的參數個數是10^8~10^12級別。 這么多參數肯定是不行的，那麼我們就想辦法減少參數的個數對於輸出層feature map上的每一個像素，他與原圖片的每一個像素都有連接，每一個鏈接都需要一個參數。但注意到圖像一般都是局部相關的，那麼如果輸出層的每一個像素只和輸入層圖片的一個局部相連，那麼需要參數的個數就會大大減少。假設輸出層每個像素只與輸入圖片上F*F的一個小方塊有連接，也就是說輸出層的這個像素值，只是通過原圖的這個F*F的小方形中的像素值計算而來，那麼對於輸出層的每個像素，需要的參數個數就從原來的W*H減小到了F*F。如果對於原圖片的每一個F*F的方框都需要計算這樣一個輸出值，那麼需要的參數只是W*H*F*F，如果原圖長寬是10^2級別，而F在10以內的話，那麼需要的參數的個數只有10^5~10^6級別，相比於原來的10^8~10^12小了很多很多。

6. 誰能科普一下「深度學習」網路和以前那種「多層神經網路」的區別

多層神經網路又叫全連接神經網路。當輸入圖像為1000*1000的解析度時，神經網路一層的系數就達到10^12。系數過多引起收斂問題導致訓練無法達到最優，並且容易過擬合。讓它不具有實現意義。

深度學習採用權值共享和局部連接等技術，大大降低了系數的個數和各種避免過擬合的方法，使得網路層數可以達到數百，使得深層網路成為可能。

感興趣可以搜搜我的課程，用Python做深度學習1——數學基礎

7. 研究人工神經網路的權值分布有什麼意義

神經網路一般都是非常龐大的，每個邊對應一個權值，如果權值不共享的話，數據量就更大了，但是為了提高效率，引入了權值共享，但是還不夠，想再次提高效率和精確度，進行主成分分析，把一些重要的權重保留，不重要的舍棄，你這個權值分布就很有意義了，比如權重是5的權值在概率上佔到了百分之95，或者說主成分分析的結果前2類權重就占據了百分之80，那麼剩下的權值就可以省略，當然這都是理論上的

8. 卷積神經網路權值共享怎麼體現的

• 用局部連接而不是全連接，同時權值共享。

局部連接的概念參考局部感受域，即某個視神經元僅考慮某一個小區域的視覺輸入，因此相比普通神經網路的全連接層（下一層的某一個神經元需要與前一層的所有節點連接），卷積網路的某一個卷積層的所有節點只負責前層輸入的某一個區域（比如某個3*3的方塊）。這樣一來需要訓練的權值數相比全連接而言會大大減少，進而減小對樣本空間大小的需求。
權值共享的概念就是，某一隱藏層的所有神經元共用一組權值。
這兩個概念對應卷積層的話，恰好就是某個固定的卷積核。卷積核在圖像上滑動時每處在一個位置分別對應一個「局部連接」的神經元，同時因為「權值共享」的緣故，這些神經元的參數一致，正好對應同一個卷積核。
順便補充下，不同卷積核對應不同的特徵，比如不同方向的邊（edge）就會分別對應不同的卷積核。

• 激活函數f(x)用ReLU的話避免了x過大梯度趨於0（比如用sigmoid）而影響訓練的權值的情況（即GradientVanishing）。同時結果會更稀疏一些。


• 池化之後（例如保留鄰域內最大或~~平均以舍棄一些信息）一定程度也壓制了過擬合的情況。

綜述

總體來說就是重復卷積-relu來提取特徵，進行池化之後再作更深層的特徵提取，實質上深層卷積網路的主要作用在於特徵提取。最後一層直接用softmax來分類（獲得一個介於0~1的值表達輸入屬於這一類別的概率）。

9. 人工智慧CNN卷積神經網路如何共享權值

首先權值共享就是濾波器共享，濾波器的參數是固定的，即是用相同的濾波器去掃一遍圖像，提取一次特徵特徵，得到feature map。在卷積網路中，學好了一個濾波器，就相當於掌握了一種特徵，這個濾波器在圖像中滑動，進行特徵提取，然後所有進行這樣操作的區域都會被採集到這種特徵，就好比上面的水平線。

10. 神經網路權值是啥意思

神經網路的權值是通過對網路的訓練得到的。如果使用MATLAB的話不要自己設定，newff之後會自動賦值。也可以手動：net.IW{}= ; net.bias{}=。一般來說輸入歸一化，那麼w和b取0-1的隨機數就行。神經網路的權值確定的目的是為了讓神經網路在訓練過程中學習到有用的信息，這意味著參數梯度不應該為0。

網路是由若干節點和連接這些節點的鏈路構成，表示諸多對象及其相互聯系。

在1999年之前，人們一般認為網路的結構都是隨機的。但隨著Barabasi和Watts在1999年分別發現了網路的無標度和小世界特性並分別在世界著名的《科學》和《自然》雜志上發表了他們的發現之後，人們才認識到網路的復雜性。

網路會藉助文字閱讀、圖片查看、影音播放、下載傳輸、游戲、聊天等軟體工具從文字、圖片、聲音、視頻等方面給人們帶來極其豐富的生活和美好的享受。

漢語中，「網路」一詞最早用於電學《現代漢語詞典》（1993年版）做出這樣的解釋：「在電的系統中，由若干元件組成的用來使電信號按一定要求傳輸的電路或這種電路的部分，叫網路。」

在數學上，網路是一種圖，一般認為專指加權圖。網路除了數學定義外，還有具體的物理含義，即網路是從某種相同類型的實際問題中抽象出來的模型。在計算機領域中，網路是信息傳輸、接收、共享的虛擬平台，通過它把各個點、面、體的信息聯繫到一起，從而實現這些資源的共享。網路是人類發展史來最重要的發明，提高了科技和人類社會的發展。