為什麼對抗生成網路會收斂

1. 網路收斂詳解

網路收斂性
由於一個路由項的改變，網路山局中的所有結點全部更新它們的路卜滾由表所需時間。
相關內容：路由型唯余協議的收斂性

2. 網路中的收斂速度是什麼意思

數據報文的流純知量收斂，是指數據報文在網路轉發過程中由於架構、設備等非故障原因而不能實現線速無丟包轉發。在流量收斂明褲顫時，網路設備會有部分埠擁塞，進而丟棄部分報文。

造成網路流量收斂的原因主要有兩個：交換機不支持線速轉發，在交換機內部可能形成流量收斂;網路架構設計不當，無論交換機是否線激敗速，轉發報文時也會存在流量收斂。

ž
交換機非線速導致的收斂指：某交換機只具有8Gbps線速轉發的交換能力，某時刻從交換機輸入的12個介面向輸出的12個介面同時轉發流量，當每個介面流量均跑滿1Gbps時，在交換機內部一定會有擁塞，此時便形成了轉發的收斂。實際每秒交換機接收流量為12Gbps，但轉發出去的報文只有8Gbps，收斂比為輸入帶寬(12Gbps)÷輸出帶寬(8Gbps)=3:2。

網路設計不當導致的收斂指：若4台伺服器分別通過千兆鏈路連接接入交換機，接入交換機通過1條千兆鏈路連接核心交換機。即接入交換機的下行帶寬為4Gbps，接入交換機的上行帶寬為1Gbps，為非對稱鏈路，下上行鏈路收斂比為下行帶寬(4Gbps)÷上行帶寬(1Gbps)=4:1。

較小的收斂比才能保證較高的網路的傳輸效率。

3. 生成式對抗網路GAN（一）

上面這張圖很好的很好的闡述了生成式對抗網路的結構~~ 博弈論

此圖給出了生成性對抗網路的概述。目前最重要的是要理解GAN是使兩個網路協同工作的一種方式 - 而Generator和Discriminator都有自己的架構。為了更好地理解這個想法的來源，我們需要回憶一些基本的代數並問自己 - 我們怎麼能欺騙一個比大多數人更好地分類圖像的神經網路？

在我們詳細描述GAN之前，讓我們看一下類似的主題。給定一個訓練有素的分類器，我們可以生成一個欺騙網路的樣本嗎？如果我們這樣做，它會是什麼樣子？

事實證明，我們可以。

甚至更多 - 對於幾乎任何給定的圖像分類器，可以將圖像變換為另一個圖像，這將被高度置信地錯誤分類，同時在視覺上與原始圖像無法區分！這種過程稱為對抗性攻擊，生成方法的簡單性解釋了很多關於GAN的內容。
精心計算的示例中的對抗性示例，其目的是錯誤分類。以下是此過程的說明。左邊的熊貓與右邊的熊貓無法區分 - 但它被歸類為長臂猿。

圖像分類器本質上是高維空間中的復雜決策邊界。當然，在對圖像進行分類時，我們無法繪制這個邊界。但我們可以安全地假設，當訓練結束時，網路並不是針對所有圖像進行推廣的 - 僅針對我們在訓練集中的那些圖像。這種概括可能不是現實生活的良好近似。換句話說，它適用於我們的數據 - 我們將利用它。

讓我們開始為圖像添加隨機雜訊並使其非常接近零。我們可以通過控制雜訊的L2范數來實現這一點。數學符號不應該讓您擔心 - 出於所有實際目的，您可以將L2范數視為向量的長度。這里的訣竅是你在圖像中擁有的像素越多 - 它的平均L2范數就越大。因此，如果雜訊的范數足夠低，您可以預期它在視覺上難以察覺，而損壞的圖像將遠離矢量空間中的原始圖像。

為什麼？

好吧，如果HxW圖像是矢量，那麼我們添加到它的HxW雜訊也是矢量。原始圖像具有相當密集的各種顏色 - 這增加了L2規范。另一方面，雜訊是一組視覺上混亂的相當蒼白的像素 - 一個小范數的矢量。最後，我們將它們添加到一起，為損壞的圖像獲取新的矢量，這與原始圖像相對接近 - 但卻錯誤分類！

現在，如果原始類 Dog 的決策邊界不是那麼遠（就L2范數而言），這種加性雜訊將新圖像置於決策邊界之外。

您不需要成為世界級拓撲學家來理解某些類別的流形或決策邊界。由於每個圖像只是高維空間中的矢量，因此在其上訓練的分類器將「所有猴子」定義為「由隱藏參數描述的該高維斑點中的所有圖像矢量」。我們將該blob稱為該類的決策邊界。

好的，所以，你說我們可以通過添加隨機雜訊輕松欺騙網路。它與生成新圖像有什麼關系？

現在我們假設有兩個結構模型，相當於兩個神經網路：

這是關於判別網路D和生成網路G的價值函數（Value Function），訓練網路D使得最大概率地分對訓練樣本的標簽（最大化log D(x)），訓練網路G最小化log(1 – D(G(z)))，即最大化D的損失。訓練過程中固定一方，更新另一個網路的參數，交替迭代，使得對方的錯誤最大化，最終，G 能估測出樣本數據的分布。生成模型G隱式地定義了一個概率分布Pg，我們希望Pg 收斂到數據真實分布Pdata。論文證明了這個極小化極大博弈當且僅當Pg = Pdata時存在最優解，即達到納什均衡，此時生成模型G恢復了訓練數據的分布，判別模型D的准確率等於50%。

接著上面最後一個問題：怎麼才能生成我指定的圖像呢？

指定標簽去訓練

顧名思義就是把標簽也帶進公式，得到有條件的公式：

具體怎麼讓CGAN更好的優化，這里不解釋，就是平常的優化網路了。

參考文章：

本文大部分翻譯此外文

通俗易懂

小博客的總結

唐宇迪大神

4. 什麼是網路「收斂」

數據報文的流量收斂，是指數據報文在網路轉發過程中由於架構、設備等非故障原因而不能實現線速無丟包轉祥攜發。在流量收斂時，網路設備會有部分埠擁塞，進而丟棄部分報文。

當某個網路事件引起路由可用或不可用時，路由器就發出更新信息。路由更新信息遍及整個網路，引發重新計算最佳路徑，最終達到所有路由器一致公認的最佳路徑。

這個過程即稱為收斂。收斂時間指從網路發生變化開始直到所有路由器識別到變化並針對該變化作出適應為止的這段時間。

(4)為什麼對抗生成網路會收斂擴展閱讀：

收斂慢的路由演算法會造成路徑循環或網路中斷。收斂過程既具協作性，又具獨立性。路由器之間既需要共享談段路由信息，各個路由器也必須獨立計算拓撲結構變化對各自路由過程所產生的影響。由於路由器獨立更新網路信息以與拓撲結構保持一致。

也可以說路由器通過收斂來達成一致。收斂的有關屬性包括路由信息的傳播速度以及最佳路徑的計算方法。可以根據收斂速度來評估路由協議。收斂速度含宴譽越快，路由協議的性能就越好。通常，RIP和IGRP收斂較慢，而EIGRP、OSPF和IS-IS收斂較快。

5. GAN生成對抗網路(一)

GAN(Generative Adversarial Networks)是兩個網路的的組合， 一個網路生成模擬數據， 另一個網路判斷生成的數據是真實的還是模擬的。生成模擬數據的網路要不斷優化自己讓判別的網路判斷不出來， 判別的網路也要優化自己讓自己判斷得更准確。 二者關系形成對抗博弈，因此叫 對抗神經網路 （生成對抗網路）。實驗證明， 利用這種網路間的對抗關系所形成的網路， 在無監督及半監督領域取得了很好的效果， 可以算是用網路來監督網路的一個自學習過程。在GAN發明之前，變分自編碼器被認為是理論完美、實現簡單，使用神經網路訓練起來很穩定， 生成的圖片逼近度也較高， 但是人類還是可以很輕易地分辨出真實圖片與機器生成的圖片。

生成對抗網路包含了 2 個子網路： 生成網路(Generator， G)和判別網路(Discriminator，D)， 其中生成網路負責學習樣本的真實分布，判別網路負責將生成網路采樣的樣本與真實樣本區分開來。

生成網路 G(𝐳) 生成網路 G 和自編碼器的 Decoder 功能類似， 從先驗分布 中采樣隱藏變數 ，通過生成網路 G 參數化的 分布， 獲得生成樣本 ，如下圖所示。 其中隱藏變數𝒛的先驗分布 可以假設屬於某中已知的分布，比如多元均勻分布 。

可以用深度神經網路來參數化， 如下圖所示， 從均勻分布 中采樣出隱藏變數𝒛， 經過多層轉置卷積層網路參數化的 分布中采樣出樣本 。

判別網路 D(𝒙) 判別網路和普通的二分類網路功能類似，它接受輸入樣本𝒙，包含了采樣自真實數據分布 的樣本 ，也包含了采樣自生成網路的假樣本 ， 和 共同組成了判別網路的訓練數據集。判別網路輸出為𝒙屬於真實樣本的概率 ，我們把所有真實樣本 的標簽標注為1，所有生成網路產生的樣本 標注為0， 通過最小化判別網路預測值與標簽之間的誤差來優化判別網路參數。

我們的目標很明確， 既要不斷提升判斷器辨別真假圖像樣本的能力， 又要不斷提升生成器生成更加逼真的圖像，使判別器越來越難判別。
對於判別網路 D ，它的目標是能夠很好地分辨出真樣本 與假樣本 。即最小化圖片的預測值和真實值之間的交叉熵損失函數：

其中 代表真實樣本 在判別網路 的輸出， 為判別網路的參數集， 為生成樣本 在判別網路的輸出， 為 的標簽，由於真實樣本標注為真，故 ， 為生成樣本的 的標簽，由於生成樣本標注為假，故 。 根據二分類問題的交叉熵損失函數定義:

因此判別網路的優化目標是:

去掉 中的負號，把 問題轉換為 問題，並寫為期望形式：

對於生成網路G(𝒛) ，我們希望 能夠很好地騙過判別網路 ， 假樣本 在判別網路的輸出越接近真實的標簽越好。也就是說，在訓練生成網路時， 希望判別網路的輸出 越逼近 1 越好，此時的交叉熵損失函數：

把 問題轉換為 問題，並寫為期望形式：

再等價轉化為：

GAN的優化過程不像通常的求損失函數的最小值， 而是保持生成與判別兩股力量的動態平衡。 因此， 其訓練過程要比一般神經網路難很多。

把判別網路的目標和生成網路的目標合並，寫成min-max形式：

原GAN論文中：

這里為了好理解，把各個符號梳理的更清晰了，注意符號和網路參數的對應。
理想情況下 ， 會有更精確的鑒別真偽數據的能力，經過大量次數的迭代訓練會使 盡可能模擬出以假亂真的樣本， 最終整個GAN會達到所謂的納什均衡， 即 對於生成樣本和真實樣本鑒別結果為正確率和錯誤率各佔50%。下面具體從理論層面來推導。

現在從理論層面進行分析， 通過博弈學習的訓練方式，生成器 G 和判別器 D 分別會達到什麼狀態。 具體地，來看以下 2 個問題：

首先我們通過 一維正態分布的例子給出一個直觀的解釋，如下圖所示，黑色虛線曲線代表了真實數據的分布 ， 為某正態分布 ， 綠色實線代表了生成網路學習到的分布 ， 藍色虛線代表了判別器的決策邊界曲線， 圖中(a)(b)(c)(d)分別代表了生成網路的學習軌跡。在初始狀態，如圖 (a)所示， 分布與 差異較大，判別器可以很輕松地學習到決策邊界，即圖(a)中的藍色虛線，將來自 的采樣點判定為 0， 中的采樣點判定為 1。 隨著生成網路的分布 越來越逼近真實分布 ，判別器越來越困難將真假樣本區分開，如圖 (b)(c)所示。 最後，生成網路性能達到最佳，學習到的分布 ，此時從生成網路中采樣的樣本非常逼真， 判別器無法區分，即判定為真假樣本的概率均等，如圖(d)所示。

固定生成器G的參數 ，判別器D最佳能達到的狀態：

證明： 對於給定的生成器G，要讓判別器D達到最優，我們的目標是最大化損失函數，其積分形式為：

對於給定的 ，真實分布始終是固定的，所以 和 都是定值，於是對於判別器D，要找出

的最大值，其中 是判別器網路參數，對於函數 ，不難得到 在 處取得極大值且是最大值。因此可得 的極值點也為

故判別器 能達到的最佳狀態為定理中給出的式子。

現在考慮第二個問題。
JS 散度(Jensen–Shannon divergence)

對於KL散度， ，是不對稱的。但JS散度是對稱的。

當 達到 時，考慮此時 和 的 散度：

考慮到判別網路到達 時，此時的損失函數為：

於是我們可以得到：

對於生成網路 而言，目標是最小化損失函數，由於 ，因此 取得最小值僅在 時(此時 )， 取得最小值:

此時生成網路達到 狀態是：

即 的學到的分布 與真實分布 一致，網路達到納什均衡點，此時：

即對於生成器生成的圖像有0.5的概率被判定為真，也有0.5的概率被判定為假。

6. 什麼是生成對抗網路

生成式對抗網路（GAN, Generative Adversarial Networks ）是一種深度學習模型，是近年來復雜分布上無監督學習最具前景的方法之一。模型通過框架中（至少）兩個模塊：生成模型（Generative Model）和判別模型（Discriminative Model）的互相博弈學習產生相當好的輸出。原始 GAN 理論中，並不要求 G 和 D 都是神經網路，只需要是能擬合相應生成和判別的函數即可。但實用中一般均使用深度神經網路作為 G 和 D 。一個優秀的GAN應用需要有良好的訓練方法，否則可能由於神經網路模型的自由性而導致輸出不理想。