如何融合殘差網路

① 新息與殘差有什麼區別

新息與殘差的區別在於：二者指代不同、二者特徵不同、二者代表相關分析不同。

1、特徵不同：

（1）由於其也是序列，所以也被稱為新息序列：x(t)=x(t)+e(t)，此式表明，x(t)可表達為兩項之和：第一項，x(t)它是被序列歷史所確定的；第二項e(t)，根據歷史數對其預報為零。

直觀而言，在無偏預報意義下，原序列歷史不包含對e(t)的信息，故此時稱為它對原序列的新息。對極特殊的情況下，e(t)恆等於0時，此序列無新息，這樣的序列稱為純確定型。

（2）在回歸分析中，測定值與按回歸方程預測的值之差，以δ表示。殘差δ遵從正態分布N(0，σ2)。（δ-殘差的均值）/殘差的標准差，稱為標准化殘差，以δ*表示。δ*遵從標准正態分布N(0，1)。實驗點的標准化殘差落在(-2，2)區間以外的概率≤0.05。

若某一實驗點的標准化殘差落在(-2，2)區間以外，可在95%置信度將其判為異常實驗點，不參與回歸直線擬合。顯然，有多少對數據，就有多少個殘差。殘差分析就是通過殘差所提供的信息，分析出數據的可靠性、周期性或其它干擾。

2、指代不同：

（1）考察時間序列{x(t)},根據歷史數據對x(n+1)的無偏預報x(n+1)，且用斜體代表x尖，即x的估計值，預報誤差e(n+1)=x(n+1)-x(n+1)，e(n+1)被稱為新息。

（2）殘差在數理統計中是指實際觀察值與估計值（擬合值）之間的差。

3、代表相關分析不同：

（1）新息定理是新息預報的基礎。新息預報雖然公式較復雜，但佔用的內存是有限的，並不隨t而增長，而且每步預報是用遞推計算，特別是MA序列，由新息預報公式可以看出，只要能判斷出MA模型的階數，不必計算出滑動平均參數就可以遞推進行新息預報。

由新息定理可以看出，時刻t的新息et是隨著樣本數據xt的輸入經過遞推而得到的。

可以證明，無論是AR、MA或ARMA序列，當k充分大後，新息適時預報都與平穩預報漸近趨於一致。因此，在實際應用時，對於連續預報問題如果要求從較少的數據開始預報，並希望盡可能給出精確的預報值，那麼，在開始一個階段，可以進行新息適時預報。

（2）殘差中殘差圖的分布趨勢可以幫助判明所擬合的線性模型是否滿足有關假設。如殘差是否近似正態分布、是否方差齊次，變數間是否有其它非線性關系及是否還有重要自變數未進入模型等。

當判明有某種假設條件欠缺時， 進一步的問題就是加以校正或補救。需分析具體情況，探索合適的校正方案，如非線性處理，引入新自變數，或考察誤差是否有自相關性。

(1)如何融合殘差網路擴展閱讀：

殘差應用——殘差網路：

深度殘差網路。如果深層網路的後面那些層是恆等映射，那麼模型就退化為一個淺層網路。那當前要解決的就是學習恆等映射函數了。 但是直接讓一些層去擬合一個潛在的恆等映射函數H(x)=x，比較困難，這可能就是深層網路難以訓練的原因。

但是，如果把網路設計為H(x)=F(x)+x，可以轉換為學習一個殘差函數F(x)=H(x)-x。只要F(x)=0，就構成了一個恆等映射H(X)=x。 而且，擬合殘差肯定更加容易。

F是求和前網路映射，H是從輸入到求和後的網路映射。比如把5映射到5.1，那麼引入殘差前是：F'(5)=5.1，引入殘差後是H(5)=5.1，H(5)=F(5)+5，F(5)=0.1。這里的F'和F都表示網路參數映射，引入殘差後的映射對輸出的變化更敏感。

比如s輸出從5.1變到5.2，映射的輸出增加了2%，而對於殘差結構輸出從5.1到5.2，映射F是從0.1到0.2，增加了100%。明顯後者輸出變化對權重的調整作用更大，所以效果更好。殘差的思想都是去掉相同的主體部分，從而突出微小的變化。

參考資料來源：網路-殘差

參考資料來源：網路-新息

參考資料來源：網路-新息定理

② 深度殘差網路是卷積網路的一種嗎

深度殘差網路Resnet實際上就是卷積神經網路的一種，只不過其結構比較特殊，對於非常深的網路優化的比較好

③ matlab中怎麼用rbf建立殘差網路模型求大俠指點

標准差：std(x) 方差：var(x)

④ ResNet網路

ResNet (Resial Neural Network，殘差網路)由微軟研究院何凱明等人提出的，通過在深度神經網路中加入殘差單元（Resial Unit）使得訓練深度比以前更加高效。ResNet在2015年的ILSVRC比賽中奪得冠軍，ResNet的結構可以極快的加速超深神經網路的訓練，模型准確率也有非常大的提升。

在ResNet之前，瑞士教授Schimidhuber提出了Highway Network，其原理與ResNet非常相似。通常認為神經網路的深度對其性能非常重要，但是網路越深訓練越困難，Highway Network的目標就是解決極深的神經網路難以訓練的問題。

Highway Network相當於修改了每一層激活函數，此前激活函數只是對輸入做一次非線性變換y=H(x, Wh), 而Highway Network則允許保留一部分比例的原始輸入x，即y=H(x, Wh)* T(x , Wt)+x*C(x, Wc)，其中T為變換系數，C為保留系數，論文中令C=1-T。這樣前面一層的信息，有一定比例可以不經過矩陣乘法和非線性變換，直接傳輸到下一層，彷彿一條信息高速公路，因此得名Highway Network。

結果顯示，B比A略好，這是因為A中的零填充確實沒有殘差學習。而C比B稍好，這是由於投影快捷連接引入了額外參數。但A、B、C之間的細微差異表明投影連接對於解決退化問題不是至關重要的，而不/少使用投影連接可以減少內存/時間復雜性和模型大小。而且無參數恆等快捷連接對於瓶頸架構（3層殘差學習單元）尤為重要，因為瓶頸架構中層具有較小的輸入輸出，快捷連接是連接到兩個高維端，此時恆等快捷連接無需參數，而使用投影的話則會顯示時間和模型復雜度加倍。因此，恆等快捷連接可以為瓶頸設計得到更有效的模型。

最後，作者嘗試了更深的1000層以上的神經網路，發現神經網路仍然能夠較好的學習，但是其測試誤差比100多層的殘差網路要差，而訓練誤差則與100多層的殘差網路相似，作者認為這可能是由於過擬合導致的，可通過加大正則化來解決這一問題。

在ResNet V1中，作者研究通過加入殘差單元使得訓練深度達到上百層的神經網路成為可能，解決了梯度消失/爆炸的問題。而在ResNet V2中作者進一步證明了恆等映射（Identity mapping）的重要性。同時作者還提出了一種新的殘差單元（採用了預激活）使得訓練變得更簡單，同時還提高了模型的泛化能力。

在ResNet V2中，作者提出了不止在殘差單元內部，而是在整個神經網路中都創建了『直接』的計算傳播路徑。在ResNet V1中，殘差學習單元的

上式同樣表明了在一個mini-batch中不可能出現梯度消失的現象，因為上式求導的第二部分對於一個mini-batch來說，不可能所有樣本其導數都為-1，因此，可能會出現權重很小的情況，但是不會出現梯度消失的情況。

通過研究這些不同的快捷連接，作者發現大部分快捷連接方式無法很好地收斂，其中很大部分是由於使用這些快捷連接後或多或少會出現梯度消失或者梯度爆炸的現象，最後結果顯示恆等映射效果最好。

雖然恆等映射在這些方法中表寫結果最好，仍需引起注意的是1×1的卷積捷徑連接引入了更多的參數，本應該比恆等捷徑連接具有更加強大的表達能力。事實上，shortcut-only gating 和1×1的卷積涵蓋了恆等捷徑連接的解空間(即，他們能夠以恆等捷徑連接的形式進行優化)。然而，它們的訓練誤差比恆等捷徑連接的訓練誤差要高得多，這表明了這些模型退化問題的原因是優化問題，而不是表達能力的問題。

在上圖b中，採用先加後BN再激活的方法，此時f(x)就包含了BN和ReLU。這樣的結果比原始a要差。這主要是因為BN層改變了流經快捷連接的信號，阻礙了信息的傳遞。

在c中，ReLU在相加之前，此時f(x)=x，為恆等映射。此時殘差單元中的F(x)輸出經由ReLU後變為非負，然而一個「殘差」函數的輸出應該是(−∞,+∞) 的。造成的結果就是，前向傳遞的信號是單調遞增的。這會影響表達能力，結果也變得更差了。

結果顯示，只使用ReLU預激活（d）的結果與原始ResNet結果很接近，這個與ReLU層不與BN層連接使用，因此無法獲得BN所帶來的好處。而當BN和ReLU都使用在預激活上時（e），結果得到了可觀的提升。

預激活的影響有兩個方面：第一，由於f(x)也是恆等映射，相比於V1優化變得更加簡單；第二，在預激活中使用BN能提高模型的正則化。

對於f(x)為恆等映射的好處：一方面若使用f= ReLU，如果信號是負的時候會造成一定的影響，無法傳遞有用的負信號，而當殘差單元很多時，這個影響將會變得尤為突出；另一方面當f是一個恆等映射時，信號在兩個單元間能夠很直接的傳遞。

在ResNet V1中作者提出了殘差學習單元，並從理論和實驗上證明使用直連的shortcuts有助於解決深度達到上百層的神經網路的訓練問題。而在ResNet V2中作者證明了在shortcuts中使用直接映射（即H(x) = h(x) + F(x)中h(x) = x）得到的效果最好。在ResNext中作者將bottleneck拆分成多個分支，提出了神經網路中的第三個維度（另外兩個維度分別為depth，神經網路層數深度，width，寬度，channel數），命名為 Cardinality ，並在多個數據集中證明了將bottleneck拆分能夠降低訓練錯誤率和提高准確率。

ResNext的靈感來源於VGG/ResNet和Inception：（1）在VGG、ResNet中，作者使用了相同結構的卷積層進行了堆疊，構建了層數很深但是結構簡單的神經網路；（2）而在Inception中，提出了一種叫做 split-transform-merge 的策略，將輸入（採用1x1 卷積核）分裂為幾個低維 embedding，再經過一系列特定卷積層的變換，最後連接在一起。

而在ResNet中，作者將原ResNet bottleneck中的一條path拆分為多個分支（multi branch），以此分支數量提出神經網路中的第三個重要維度——Cardinality。這一想法結合了VGG中的相同結構堆疊和Inception中的split-transform-merge策略，即如上圖所示，每個bottleneck 拆分為多個分支進行堆疊，這些分支的結構相同（這里借鑒了VGG的思想），而具體到分支的結構時又採用了Inception的split-transform-merge策略。與Inception不同的是Inception的每個分支結構都是需要認為的設計，而在ResNext中每個分支結構都相同。最終每個bottleneck的輸出就變成了：

這些所有的bottlenecks結構都遵循兩個原則：

作者提出了 三種效果相同的ResNext的表示方法，如下圖所示：

其中a,b 結構相似，只是在merge這一步的地方不同，而c則借鑒了AlexNet中分組卷積的思想，將輸入和輸出都分為多個組。

作者首先評估權衡了cardinality和width的關系。

接著，作者又評估了使用增加cardinality和depth/width來增加模型復雜度後的效果：

最後，作者還研究了shortcuts對於ResNext的重要性，在ResNet-50中，不使用shortcuts准確率下降了7%，而在ResNext-50中准確率也下降了4%，說明shortcuts對於殘差網路來說確實是非常重要的。

簡言之，增加cardinality比增加depth和width效果要好，同時，shortcuts對於模型的准確率也是至關重要的。

參考：
Deep Resial Learning for Image Recognition.
Aggregated Resial Transformations for Deep Neural Networks.
Identity Mappings in Deep Resial Networks.
ResNet論文翻譯——中文版
Identity Mappings in Deep Resial Networks（譯）
TensorFlow實現經典卷積網路. 黃文堅，唐源

⑤ 吳恩達 卷積神經網路 CNN

應用計算機視覺時要面臨的一個挑戰是數據的輸入可能會非常大。例如一張 1000x1000x3 的圖片，神經網路輸入層的維度將高達三百萬，使得網路權重 W 非常龐大。這樣會造成兩個後果：

神經網路結構復雜，數據量相對較少，容易出現過擬合；
所需內存和計算量巨大。
因此，一般的神經網路很難處理蘊含著大量數據的圖像。解決這一問題的方法就是使用卷積神經網路

我們之前提到過，神經網路由淺層到深層，分別可以檢測出圖片的邊緣特徵、局部特徵（例如眼睛、鼻子等），到最後面的一層就可以根據前面檢測的特徵來識別整體面部輪廓。這些工作都是依託卷積神經網路來實現的。

卷積運算（Convolutional Operation）是卷積神經網路最基本的組成部分。我們以邊緣檢測為例，來解釋卷積是怎樣運算的。

圖片最常做的邊緣檢測有兩類：垂直邊緣（Vertical Edges）檢測和水平邊緣（Horizontal Edges）檢測。

比如檢測一張6x6像素的灰度圖片的vertical edge，設計一個3x3的矩陣（稱之為filter或kernel），讓原始圖片和filter矩陣做卷積運算（convolution），得到一個4x4的圖片。 具體的做法是，將filter矩陣貼到原始矩陣上（從左到右從上到下），依次可以貼出4x4種情況。 讓原始矩陣與filter重合的部分做element wise的乘積運算再求和 ，所得的值作為4x4矩陣對應元素的值。如下圖是第一個元素的計算方法，以此類推。

可以看到，卷積運算的求解過程是從左到右，由上到下，每次在原始圖片矩陣中取與濾波器同等大小的一部分，每一部分中的值與濾波器中的值對應相乘後求和，將結果組成一個矩陣。

下圖對應一個垂直邊緣檢測的例子：

如果將最右邊的矩陣當作圖像，那麼中間一段亮一些的區域對應最左邊的圖像中間的垂直邊緣。

下圖3x3濾波器，通常稱為垂直 索伯濾波器 （Sobel filter）：

看看用它來處理知名的Lena照片會得到什麼：

現在可以解釋卷積操作的用處了：用輸出圖像中更亮的像素表示原始圖像中存在的邊緣。

你能看出為什麼邊緣檢測圖像可能比原始圖像更有用嗎？

回想一下MNIST手寫數字分類問題。在MNIST上訓練的CNN可以找到某個特定的數字。比如發現數字1，可以通過使用邊緣檢測發現圖像上兩個突出的垂直邊緣。

通常，卷積有助於我們找到特定的局部圖像特徵（如邊緣），用在後面的網路中。

假設輸入圖片的大小為 n×n，而濾波器的大小為 f×f，則卷積後的輸出圖片大小為 (n−f+1)×(n−f+1)。

這樣就有兩個問題：

為了解決這些問題，可以在進行卷積操作前，對原始圖片在邊界上進行填充（Padding），以增加矩陣的大小。通常將 0 作為填充值。

設每個方向擴展像素點數量為 p，則填充後原始圖片的大小為 (n+2p)×(n+2p)，濾波器大小保持 f×f不變，則輸出圖片大小為 (n+2p−f+1)×(n+2p−f+1)。

因此，在進行卷積運算時，我們有兩種選擇：

在計算機視覺領域，f通常為奇數。原因包括 Same 卷積中 p=（f−1）/ 2 能得到自然數結果，並且濾波器有一個便於表示其所在位置的中心點。

卷積過程中，有時需要通過填充來避免信息損失，有時也需要通過設置 步長（Stride） 來壓縮一部分信息。

步長表示濾波器在原始圖片的水平方向和垂直方向上每次移動的距離。之前，步長被默認為 1。而如果我們設置步長為 2，則卷積過程如下圖所示：

設步長為 s，填充長度為p, 輸入圖片大小為n x n, 濾波器大小為f x f, 則卷積後圖片的尺寸為：

注意公式中有一個向下取整的符號，用於處理商不為整數的情況。向下取整反映著當取原始矩陣的圖示藍框完全包括在圖像內部時，才對它進行運算。

如果我們想要對三通道的 RGB 圖片進行卷積運算，那麼其對應的濾波器組也同樣是三通道的。過程是將每個單通道（R，G，B）與對應的濾波器進行卷積運算求和，然後再將三個通道的和相加，將 27 個乘積的和作為輸出圖片的一個像素值。

如果想同時檢測垂直和水平邊緣，或者更多的邊緣檢測，可以增加更多的濾波器組。例如設置第一個濾波器組實現垂直邊緣檢測，第二個濾波器組實現水平邊緣檢測。設輸入圖片的尺寸為 n×n×nc（nc為通道數），濾波器尺寸為 f×f×nc，則卷積後的輸出圖片尺寸為 (n−f+1)×(n−f+1)×n′c，n′c為濾波器組的個數。

與之前的卷積過程相比較，卷積神經網路的單層結構多了激活函數和偏移量；而與標准神經網路相比，濾波器的數值對應著權重 W[l]，卷積運算對應著 W[l]與 A[l−1]的乘積運算，所選的激活函數變為 ReLU。

對於一個 3x3x3 的濾波器，包括偏移量 b（27+1）在內共有 28 個參數。不論輸入的圖片有多大，用這一個濾波器來提取特徵時，參數始終都是 28 個，固定不變。即選定濾波器組後，參數的數目與輸入圖片的尺寸無關。因此，卷積神經網路的參數相較於標准神經網路來說要少得多。這是 CNN 的優點之一。

圖像中的相鄰像素傾向於具有相似的值，因此通常卷積層相鄰的輸出像素也具有相似的值。這意味著，卷積層輸出中包含的大部分信息都是冗餘的。如果我們使用邊緣檢測濾波器並在某個位置找到強邊緣，那麼我們也可能會在距離這個像素1個偏移的位置找到相對較強的邊緣。但是它們都一樣是邊緣，我們並沒有找到任何新東西。池化層解決了這個問題。這個網路層所做的就是通過減小輸入的大小降低輸出值的數量。池化一般通過簡單的最大值、最小值或平均值操作完成。以下是池大小為2的最大池層的示例:

在計算神經網路的層數時，通常只統計具有權重和參數的層，因此池化層通常和之前的卷積層共同計為一層。

圖中的 FC3 和 FC4 為全連接層，與標準的神經網路結構一致。

個人推薦 一個直觀感受卷積神經網路的網站 。

相比標准神經網路，對於大量的輸入數據，卷積過程有效地減少了 CNN 的參數數量，原因有以下兩點：

-參數共享（Parameter sharing）：特徵檢測如果適用於圖片的某個區域，那麼它也可能適用於圖片的其他區域。即在卷積過程中，不管輸入有多大，一個特徵探測器（濾波器）就能對整個輸入的某一特徵進行探測。

-稀疏連接（Sparsity of connections）：在每一層中，由於濾波器的尺寸限制，輸入和輸出之間的連接是稀疏的，每個輸出值只取決於輸入在局部的一小部分值。

池化過程則在卷積後很好地聚合了特徵，通過降維來減少運算量。

由於 CNN 參數數量較小，所需的訓練樣本就相對較少，因此在一定程度上不容易發生過擬合現象。並且 CNN 比較擅長捕捉區域位置偏移。即進行物體檢測時，不太受物體在圖片中位置的影響，增加檢測的准確性和系統的健壯性。

在神經網路可以收斂的前提下，隨著網路深度增加，網路的表現先是逐漸增加至飽和，然後迅速下降

需要注意，網路退化問題不是過擬合導致的，即便在模型訓練過程中，同樣的訓練輪次下，退化的網路也比稍淺層的網路的訓練錯誤更高，如下圖所示。

這一點並不符合常理：如果存在某個 K層網路是當前F的最優的網路，我們構造更深的網路。那麼K之後的層數可以擬合成恆等映射，就可以取得和F一直的結果。如果K不是最佳層數，那麼我們比K深，可以訓練出的一定會不差於K的。總而言之，與淺層網路相比，更深的網路的表現不應該更差。因此，一個合理的猜測就是， 對神經網路來說，恆等映射並不容易擬合。

也許我們可以對網路單元進行一定的改造，來改善退化問題？這也就引出了殘差網路的基本思路

既然神經網路不容易擬合一個恆等映射，那麼一種思路就是構造天然的恆等映射。

實驗表明，殘差網路 很好地解決了深度神經網路的退化問題 ，並在ImageNet和CIFAR-10等圖像任務上取得了非常好的結果，同等層數的前提下殘差網路也 收斂得更快 。這使得前饋神經網路可以採用更深的設計。除此之外， 去除個別神經網路層，殘差網路的表現不會受到顯著影響 ，這與傳統的前饋神經網路大相徑庭。

2018年的一篇論文，The Shattered Gradients Problem: If resnets are the answer, then what is the question，指出了一個新的觀點，盡管殘差網路提出是為了解決梯度彌散和網路退化的問題， 它解決的實際上是梯度破碎問題

作者通過可視化的小型實驗(構建和訓練一個神經網路發現，在淺層神經網路中，梯度呈現為棕色雜訊(brown noise)，深層神經網路的梯度呈現為白雜訊。在標准前饋神經網路中，隨著深度增加， 神經元梯度的相關性(corelation)按指數級減少 (1 / 2^L) ；同時， 梯度的空間結構也隨著深度增加被逐漸消除 。這也就是梯度破碎現象。

梯度破碎為什麼是一個問題呢？這是因為許多優化方法假設梯度在相鄰點上是相似的，破碎的梯度會大大減小這類優化方法的有效性。另外，如果梯度表現得像白雜訊，那麼某個神經元對網路輸出的影響將會很不穩定。

相較標准前饋網路， 殘差網路中梯度相關性減少的速度從指數級下降到亞線性級 ) (1 / sqrt(L)) ，深度殘差網路中，神經元梯度介於棕色雜訊與白雜訊之間(參見上圖中的c,d,e)；殘差連接可以 極大地保留梯度的空間結構 。殘差結構緩解了梯度破碎問題。

1x1 卷積指濾波器的尺寸為 1。當通道數為 1 時，1x1 卷積意味著卷積操作等同於乘積操作。
而當通道數更多時，1x1 卷積的作用實際上類似全連接層的神經網路結構，從而降低（或升高，取決於濾波器組數）數據的維度。

池化能壓縮數據的高度（nH）及寬度（nW），而 1×1 卷積能壓縮數據的通道數（nC）。在如下圖所示的例子中，用 filters個大小為 1×1×32 的濾波器進行卷積，就能使原先數據包含的 32個通道壓縮為 filters 個。

在這之前，網路大都是這樣子的：

也就是卷積層和池化層的順序連接。這樣的話，要想提高精度，增加網路深度和寬度是一個有效途徑，但也面臨著參數量過多、過擬合等問題。（當然，改改超參數也可以提高性能）

有沒有可能在同一層就可以提取不同（稀疏或不稀疏）的特徵呢(使用不同尺寸的卷積核)？於是，2014年，在其他人都還在一味的增加網路深度時(比如vgg)，GoogleNet就率先提出了卷積核的並行合並（也稱Bottleneck Layer），如下圖。

和卷積層、池化層順序連接的結構（如VGG網路）相比，這樣的結構主要有以下改進：

按照這樣的結構來增加網路的深度，雖然可以提升性能，但是還面臨計算量大（參數多）的問題。為改善這種現象，GooLeNet借鑒Network-in-Network的思想，使用1x1的卷積核實現降維操作(也間接增加了網路的深度)，以此來減小網路的參數量(這里就不對兩種結構的參數量進行定量比較了)，如圖所示。

最後實現的inception v1網路是上圖結構的順序連接

由於卷積這門課的其他內容和計算機視覺關系比較密切。對我理解推薦系統幫助不大。所以這個系列就到這里。吳恩達的課還是很好的，作業和課和測驗我都認真做啦。

⑥ 殘差網路模型命名方式

在命令欄輸入 genr 新變數=resid 新變數名字你自己定 另外由於每做完一次回歸估計，殘差都會發生變化，所以如果你想保留殘差，每做完一次回歸你都要用上面的命令重新命名殘差才行。希望能幫到你