主流的深度神經網路有哪些

1. 深度神經網路有哪些

深度神經網路有卷積神經網路，循環神經網路，生成對抗網咯

2. 常見的深度學習演算法主要有哪些

深度學習常見的3種演算法有：卷積神經網路、循環神經網路、生成對抗網路。
卷積神經網路(Convolutional Neural Networks, CNN)是一類包含卷積計算且具有深度結構的前饋神經網路(Feedforward Neural Networks)，是深度學習的代表演算法之一。
循環神經網路(Recurrent Neural Network, RNN)是一類以序列數據為輸入，在序列的演進方向進行遞歸且所有節點(循環單元)按鏈式連接的遞歸神經網路。
生成對抗網路(GAN, Generative Adversarial Networks )是一種深度學習模型，是最近兩年十分熱門的一種無監督學習演算法。

3. 深度學習中經常提到的神經網路是什麼

介紹深度學習就必須要介紹神經網路，因為深度學習是基於神經網路演算法的，其實最開始只有神經網路演算法，上文也提到2006年Geoffrey Hinton老爺子提出了Deep Learning，核心還是人工神經網路演算法，換了一個新的叫法，最基本的演算法沒有變。
通過神經元接收外界信號，達到一定閾值，觸發動作電位，通過突觸釋放神經遞質，可以是興奮或抑制，影響突觸後神經元。通過此實現大腦的計算、記憶、邏輯處理等，進行做出一系列行為等。同時不斷地在不同神經元之間構建新的突觸連接和對現有突觸進行改造，來進行調整。有時候不得不感嘆大自然的鬼斧神工，900億神經元組成的神經網路可以讓大腦實現如此復雜的計算和邏輯處理。

4. DNN、RNN、CNN分別是什麼意思

DNN（深度神經網路），是深度學習的基礎。

DNN可以理解為有很多隱藏層的神經網路。這個很多其實也沒有什麼度量標准, 多層神經網路和深度神經網路DNN其實也是指的一個東西，當然，DNN有時也叫做多層感知機（Multi-Layer perceptron,MLP）。

從DNN按不同層的位置劃分，DNN內部的神經網路層可以分為三類，輸入層，隱藏層和輸出層,如下圖示例，一般來說第一層是輸出層，最後一層是輸出層，而中間的層數都是隱藏層。

CNN（卷積神經網路），是一種前饋型的神經網路，目前深度學習技術領域中非常具有代表性的神經網路之一。

CNN在大型圖像處理方面有出色的表現，目前已經被大范圍使用到圖像分類、定位等領域中。相比於其他神經網路結構，卷積神經網路需要的參數相對較少，使的其能夠廣泛應用。

RNN（循環神經網路），一類用於處理序列數據的神經網路，RNN最大的不同之處就是在層之間的神經元之間也建立的權連接。

從廣義上來說，DNN被認為包含了CNN、RNN這些具體的變種形式。在實際應用中，深度神經網路DNN融合了多種已知的結構，包含卷積層或LSTM單元，特指全連接的神經元結構，並不包含卷積單元或時間上的關聯。

5. 2019年十大最佳深度學習框架

作者 | Python語音識別

來源 | 濤哥聊Python

雖然我們大多數人都驚嘆為什麼DL這么好？在使用大量數據進行訓練時，它在准確性方面非常出色。近幾年隨著深度學習演算法的發展，出現了很多深度學習的框架，這些框架各有所長，各具特色。下面將為大家介紹2019年最受歡迎的十大深度學習框架。

TensorFlow

谷歌的Tensorflow可以說是當今最受歡迎的深度學習框架。Gmail，Uber，Airbnb，Nvidia以及其他許多知名品牌都在使用。TF是目前深度學習的主流框架，Tensorflow主要特性：

TensorFlow支持python、JavaScript、C ++、Java和Go，C＃和Julia等多種編程語言。 TF不僅擁有強大的計算集群，還可以在iOS和Android等移動平台上運行模型。 TF編程入門難度較大。初學者需要仔細考慮神經網路的架構，正確評估輸入和輸出數據的維度和數量。 TF使用靜態計算圖進行操作 。也就是說我們需要先定義圖形，然後運行計算，如果我們需要對架構進行更改，我們會重新訓練模型。選擇這樣的方法是為了提高效率，但是許多現代神經網路工具能夠在學習過程中考慮改進而不會顯著降低學習速度。在這方面，TensorFlow的主要競爭對手是PyTorch 。

TensorFlow優點：

它非常適合創建和試驗深度學習架構，便於數據集成，如輸入圖形，SQL表和圖像。 它得到谷歌的支持，這就說明該模型短期內不會被拋棄，因此值得投入時間來學習它。 PyTorch

Tensorflow之後用於深度學習的主要框架是PyTorch。PyTorch框架是Facebook開發的，已被Twitter和Salesforce等公司使用。

PyTorch基本特性：

與TensorFlow不同，PyTorch庫使用動態更新的圖形進行操作 。這意味著它可以在流程中更改體系結構。 在PyTorch中，您可以使用標准調試器 ，例如pdb或PyCharm。

PyTorch優點：

訓練神經網路的過程簡單明了。同時，PyTorch支持數據並行和分布式學習模型，並且還包含許多預先訓練的模型。 PyTorch更適合小型項目和原型設計。 Sonnet

Sonnet深度學習框架是建立在TensorFlow的基礎之上。它是DeepMind用於創建具有復雜架構的神經網路。

Sonnet基本特性：

面向對象的庫，在開發神經網路（NN）或其他機器學習（ML）演算法時更加抽象。 Sonnet的想法是構造對應於神經網路的特定部分的主要Python對象。此外，這些對象獨立地連接到計算TensorFlow圖。分離創建對象並將其與圖形相關聯的過程簡化了高級體系結構的設計。

Sonnet優點：

Sonnet的主要優點是可以使用它來重現DeepMind論文中展示的研究，比Keras更容易，因為DeepMind論文模型就是使用Sonnet搭建的。 Keras

Keras是一個機器學習框架，如果您擁有大量數據和/或你想快速入門深度學習，那麼Keras將非常適合學習。Keras是TensorFlow高級集成APi，可以非常方便的和TensorFlow進行融合。這是我強烈推薦學習的一個庫。

Keras基本特性：

除了Tensorflow之外，Keras還是其他流行的庫（如Theano和CNTK）的高級API。 在Keras中更容易創建大規模的深度學習模型，但Keras框架環境配置比其他底層框架要復雜一些。

Keras優點：

對於剛剛入門的人來說，Keras是最好的深度學習框架。它是學習和原型化簡單概念的理想選擇，可以理解各種模型和學習過程的本質。 Keras是一個簡潔的API。 可以快速幫助您創建應用程序。 Keras中代碼更加可讀和簡潔。 Keras模型序列化/反序列化API，回調和使用Python生成器的數據流非常成熟。

順便說一下TensorFlow和Keras的對比：

PS：Tensorflow處於底層框架：這和MXNet，Theano和PyTorch等框架一樣。包括實現諸如廣義矩陣 - 矩陣乘法和諸如卷積運算的神經網路原語之類的數學運算。

Keras處於高度集成框架。雖然更容易創建模型，但是面對復雜的網路結構時可能不如TensorFlow。

MXNet

MXNet是一種高度可擴展的深度學習工具，可用於各種設備。雖然與TensorFlow相比，它似乎沒有被廣泛使用，但MXNet的增長可能會因為成為一個Apache項目而得到提升。

MXNet基本特性：

該框架支持多種語言，如C ++，Python，R，Julia，JavaScript，Scala，Go，甚至Perl。 可以在多個GPU和許多機器上非常有效地並行計算。

MXNet優點：

支持多個GPU（具有優化的計算和快速上下文切換） 清晰且易於維護的代碼（Python，R，Scala和其他API） 快速解決問題的能力（對於像我這樣的深度學習新手至關重要）

雖然它不像TF那麼受歡迎，但MXNet具有詳細的文檔並且易於使用，能夠在命令式和符號式編程風格之間進行選擇，使其成為初學者和經驗豐富的工程師的理想選擇。

GLUON

Gluon是一個更好的深度學習框架，可以用來創建復雜的模型。GLUON基本特性：

Gluon的特殊性是具有一個靈活的界面，簡化了原型設計，構建和培訓深度學習模型，而不會犧牲學習速度。 Gluon基於MXNet，提供簡單的API，簡化深度學習模型的創建。 與PyTorch類似，Gluon框架支持使用動態圖表 ，將其與高性能MXNet相結合。從這個角度來看，Gluon看起來像是分布式計算的Keras非常有趣的替代品。

GLUON優點：

在Gluon中，您可以使用簡單，清晰和簡潔的代碼定義神經網路。 它將訓練演算法和神經網路模型結合在一起，從而在不犧牲性能的情況下提供開發過程的靈活性。 Gluon可以定義動態的神經網路模型，這意味著它們可以動態構建，使用任何結構，並使用Python的任何本機控制流。 SWIFT

當你聽到Swift時，您可能會考慮iOS或MacOS的應用程序開發。但是如果你正在學習深度學習，那麼你一定聽說過Swens for Tensorflow。通過直接與通用編程語言集成，Swift for TensorFlow可以以前所未有的方式表達更強大的演算法。SWIFT基本特性：

可以輕松獲得可微分的自定義數據結構。 下一代API 。通過實踐和研究獲得的新API更易於使用且更強大。 在TensorFlow的基礎上 ，Swift API為您提供對所有底層TensorFlow運算符的直接調用。 基於Jupyter、LLDB或者Swift in Colab的編程工具提高了您的工作效率。

SWIFT優點：

如果動態語言不適合您的任務，那麼這將是一個很好的選擇。當你訓練運行了幾個小時，然後你的程序遇到類型錯誤，那麼使用Swift，一種靜態類型語言。您將看到代碼錯誤的地方。 Chainer

直到CMU的DyNet和Facebook的PyTorch出現之前，Chainer是動態計算圖或網路的領先神經網路框架，它允許輸入數據長度不一致。chainer基本特性：

Chainer代碼是在Numpy和CuPy庫的基礎之上用純Python編寫的， Chainer是第一個使用動態架構模型的框架。

Chainer優點：

通過自己的基準測試，Chainer明顯比其他面向Python的框架更快，TensorFlow是包含MxNet和CNTK的測試組中最慢的。 比TensorFlow更好的GPU和GPU數據中心性能。最近Chainer成為GPU數據中心性能的全球冠軍。 DL4J

那些使用Java或Scala的人應該注意DL4J（Deep Learning for Java的簡稱）。DL4J的基本特性：

DL4J中的神經網路訓練通過簇的迭代並行計算。 該過程由Hadoop和Spark架構支持。 使用Java允許您在Android設備的程序開發周期中使用。

DL4J優點：

如果您正在尋找一個良好的Java深度學習框架，這會是一個非常好的平台。 ONNX

ONNX項目誕生於微軟和Facebook，旨在尋找深度學習模型呈現的開放格式。ONNX簡化了在人工智慧的不同工作方式之間傳遞模型的過程。因此ONNX具有各種深度學習框架的優點。

ONNX基本特性：

ONNX使模型能夠在一個框架中進行訓練並轉移到另一個框架中進行推理。ONNX模型目前在Caffe2，Microsoft Cognitive Toolkit，MXNet和PyTorch中得到支持，並且還有許多其他常見框架和庫的連接器。

ONNX優點：

對於PyTorch開發人員來說，ONNX是一個好的選擇。但是對於那些喜歡TensorFlow的人來說，Keras等可能好一點。 總結

那麼您應該使用哪種深度學習框架？下面是幾點建議：

如果你剛剛開始學習，那麼最好的選擇是Keras 。 出於研究目的，請選擇PyTorch 。 對於生產，您需要關注環境。因此對於Google Cloud，最好的選擇是TensorFlow ，適用於AWS - MXNet和Gluon 。 Android開發人員應該關注D4LJ ，對於iOS來說， Core ML會破壞類似的任務范圍。 最後， ONNX將幫助解決不同框架之間的交互問題。

6. CNN（卷積神經網路）、RNN（循環神經網路）、DNN（深度神經網路）的內部網路結構有什麼區別

如下：

1、DNN：存在著一個問題——無法對時間序列上的變化進行建模。然而，樣本出現的時間順序對於自然語言處理、語音識別、手寫體識別等應用非常重要。對了適應這種需求，就出現了另一種神經網路結構——循環神經網路RNN。

2、CNN：每層神經元的信號只能向上一層傳播，樣本的處理在各個時刻獨立，因此又被稱為前向神經網路。

3、RNN：神經元的輸出可以在下一個時間戳直接作用到自身，即第i層神經元在m時刻的輸入，除了（i-1）層神經元在該時刻的輸出外，還包括其自身在（m-1）時刻的輸出！

介紹

神經網路技術起源於上世紀五、六十年代，當時叫感知機（perceptron），擁有輸入層、輸出層和一個隱含層。輸入的特徵向量通過隱含層變換達到輸出層，在輸出層得到分類結果。早期感知機的推動者是Rosenblatt。

在實際應用中，所謂的深度神經網路DNN，往往融合了多種已知的結構，包括卷積層或是LSTM單元。

7. 主流的深度學習模型有哪些

主流的深度學習模型有很多CNN的各種變種，Bert，殘差網路，生成對抗網路

8. 有哪些深度神經網路模型

目前經常使用的深度神經網路模型主要有卷積神經網路(CNN) 、遞歸神經網路(RNN)、深信度網路(DBN) 、深度自動編碼器(AutoEncoder) 和生成對抗網路(GAN) 等。

遞歸神經網路實際.上包含了兩種神經網路。一種是循環神經網路(Recurrent NeuralNetwork) ;另一種是結構遞歸神經網路(Recursive Neural Network)，它使用相似的網路結構遞歸形成更加復雜的深度網路。RNN它們都可以處理有序列的問題，比如時間序列等且RNN有「記憶」能力，可以「模擬」數據間的依賴關系。卷積網路的精髓就是適合處理結構化數據。

關於深度神經網路模型的相關學習，推薦CDA數據師的相關課程，課程以項目調動學員數據挖掘實用能力的場景式教學為主，在講師設計的業務場景下由講師不斷提出業務問題，再由學員循序漸進思考並操作解決問題的過程中，幫助學員掌握真正過硬的解決業務問題的數據挖掘能力。這種教學方式能夠引發學員的獨立思考及主觀能動性，學員掌握的技能知識可以快速轉化為自身能夠靈活應用的技能，在面對不同場景時能夠自由發揮。點擊預約免費試聽課。

9. 深度學習網路有哪些

學習這些吧：以上網路的目標主要有三個：權重少、計算少、速度快。這三者之間不存在著嚴格的相關關系，它們是三個獨立的目標。即權重少不代表計算量少；計算量少不代錶速度快。

高效網路高效的含義比較模糊，有的文章認為計算量小就是高效，有的文章認為速度快即高效。本篇總結主要從速度快入手。

10. 有哪些深度神經網路模型

卷積神經元（Convolutional cells）和前饋神經元非常相似，除了它們只跟前一神經細胞層的部分神經元有連接。因為它們不是和某些神經元隨機連接的，而是與特定范圍內的神經元相連接，通常用來保存空間信息。這讓它們對於那些擁有大量局部信息，比如圖像數據、語音數據（但多數情況下是圖像數據），會非常實用。

解卷積神經元恰好相反：它們是通過跟下一神經細胞層的連接來解碼空間信息。這兩種神經元都有很多副本，它們都是獨立訓練的；每個副本都有自己的權重，但連接方式卻完全相同。可以認為，這些副本是被放在了具備相同結構的不同的神經網路中。這兩種神經元本質上都是一般意義上的神經元，但是，它們的使用方式卻不同。

池化神經元和插值神經元（Pooling and interpolating cells）經常和卷積神經元結合起來使用。它們不是真正意義上的神經元，只能進行一些簡單的操作。

池化神經元接受到來自其它神經元的輸出過後，決定哪些值可以通過，哪些值不能通過。在圖像領域，可以理解成是把一個圖像縮小了（在查看圖片的時候，一般軟體都有一個放大、縮小的功能；這里的圖像縮小，就相當於軟體上的縮小圖像；也就是說我們能看到圖像的內容更加少了；在這個池化的過程當中，圖像的大小也會相應地減少）。這樣，你就再也不能看到所有的像素了，池化函數會知道什麼像素該保留，什麼像素該舍棄。

插值神經元恰好是相反的操作：它們獲取一些信息，然後映射出更多的信息。額外的信息都是按照某種方式製造出來的，這就好像在一張小解析度的圖片上面進行放大。插值神經元不僅僅是池化神經元的反向操作，而且，它們也是很常見，因為它們運行非常快，同時，實現起來也很簡單。池化神經元和插值神經元之間的關系，就像卷積神經元和解卷積神經元之間的關系。

均值神經元和標准方差神經元（Mean and standard deviation cells）（作為概率神經元它們總是成對地出現）是一類用來描述數據概率分布的神經元。均值就是所有值的平均值，而標准方差描述的是這些數據偏離（兩個方向）均值有多遠。比如：一個用於圖像處理的概率神經元可以包含一些信息，比如：在某個特定的像素裡面有多少紅色。舉個例來說，均值可能是0.5，同時標准方差是0.2。當要從這些概率神經元取樣的時候，你可以把這些值輸入到一個高斯隨機數生成器，這樣就會生成一些分布在0.4和0.6之間的值；值離0.5越遠，對應生成的概率也就越小。它們一般和前一神經元層或者下一神經元層是全連接，而且，它們沒有偏差（bias）。

循環神經元（Recurrent cells ）不僅僅在神經細胞層之間有連接，而且在時間軸上也有相應的連接。每一個神經元內部都會保存它先前的值。它們跟一般的神經元一樣更新，但是，具有額外的權重：與當前神經元之前值之間的權重，還有大多數情況下，與同一神經細胞層各個神經元之間的權重。當前值和存儲的先前值之間權重的工作機制，與非永久性存儲器（比如RAM）的工作機制很相似，繼承了兩個性質：

• 第一，維持一個特定的狀態；

• 第二：如果不對其持續進行更新（輸入），這個狀態就會消失。

由於先前的值是通過激活函數得到的，而在每一次的更新時，都會把這個值和其它權重一起輸入到激活函數，因此，信息會不斷地流失。實際上，信息的保存率非常的低，以至於僅僅四次或者五次迭代更新過後，幾乎之前所有的信息都會流失掉。