主流的深度神经网络有哪些

1. 深度神经网络有哪些

深度神经网络有卷积神经网络，循环神经网络，生成对抗网咯

2. 常见的深度学习算法主要有哪些

深度学习常见的3种算法有：卷积神经网络、循环神经网络、生成对抗网络。
卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一。
循环神经网络(Recurrent Neural Network, RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。
生成对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型，是最近两年十分热门的一种无监督学习算法。

3. 深度学习中经常提到的神经网络是什么

介绍深度学习就必须要介绍神经网络，因为深度学习是基于神经网络算法的，其实最开始只有神经网络算法，上文也提到2006年Geoffrey Hinton老爷子提出了Deep Learning，核心还是人工神经网络算法，换了一个新的叫法，最基本的算法没有变。
通过神经元接收外界信号，达到一定阈值，触发动作电位，通过突触释放神经递质，可以是兴奋或抑制，影响突触后神经元。通过此实现大脑的计算、记忆、逻辑处理等，进行做出一系列行为等。同时不断地在不同神经元之间构建新的突触连接和对现有突触进行改造，来进行调整。有时候不得不感叹大自然的鬼斧神工，900亿神经元组成的神经网络可以让大脑实现如此复杂的计算和逻辑处理。

4. DNN、RNN、CNN分别是什么意思

DNN（深度神经网络），是深度学习的基础。

DNN可以理解为有很多隐藏层的神经网络。这个很多其实也没有什么度量标准, 多层神经网络和深度神经网络DNN其实也是指的一个东西，当然，DNN有时也叫做多层感知机（Multi-Layer perceptron,MLP）。

从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输出层，最后一层是输出层，而中间的层数都是隐藏层。

CNN（卷积神经网络），是一种前馈型的神经网络，目前深度学习技术领域中非常具有代表性的神经网络之一。

CNN在大型图像处理方面有出色的表现，目前已经被大范围使用到图像分类、定位等领域中。相比于其他神经网络结构，卷积神经网络需要的参数相对较少，使的其能够广泛应用。

RNN（循环神经网络），一类用于处理序列数据的神经网络，RNN最大的不同之处就是在层之间的神经元之间也建立的权连接。

从广义上来说，DNN被认为包含了CNN、RNN这些具体的变种形式。在实际应用中，深度神经网络DNN融合了多种已知的结构，包含卷积层或LSTM单元，特指全连接的神经元结构，并不包含卷积单元或时间上的关联。

5. 2019年十大最佳深度学习框架

作者 | Python语音识别

来源 | 涛哥聊Python

虽然我们大多数人都惊叹为什么DL这么好？在使用大量数据进行训练时，它在准确性方面非常出色。近几年随着深度学习算法的发展，出现了很多深度学习的框架，这些框架各有所长，各具特色。下面将为大家介绍2019年最受欢迎的十大深度学习框架。

TensorFlow

谷歌的Tensorflow可以说是当今最受欢迎的深度学习框架。Gmail，Uber，Airbnb，Nvidia以及其他许多知名品牌都在使用。TF是目前深度学习的主流框架，Tensorflow主要特性：

TensorFlow支持python、JavaScript、C ++、Java和Go，C＃和Julia等多种编程语言。 TF不仅拥有强大的计算集群，还可以在iOS和Android等移动平台上运行模型。 TF编程入门难度较大。初学者需要仔细考虑神经网络的架构，正确评估输入和输出数据的维度和数量。 TF使用静态计算图进行操作 。也就是说我们需要先定义图形，然后运行计算，如果我们需要对架构进行更改，我们会重新训练模型。选择这样的方法是为了提高效率，但是许多现代神经网络工具能够在学习过程中考虑改进而不会显着降低学习速度。在这方面，TensorFlow的主要竞争对手是PyTorch 。

TensorFlow优点：

它非常适合创建和试验深度学习架构，便于数据集成，如输入图形，SQL表和图像。 它得到谷歌的支持，这就说明该模型短期内不会被抛弃，因此值得投入时间来学习它。 PyTorch

Tensorflow之后用于深度学习的主要框架是PyTorch。PyTorch框架是Facebook开发的，已被Twitter和Salesforce等公司使用。

PyTorch基本特性：

与TensorFlow不同，PyTorch库使用动态更新的图形进行操作 。这意味着它可以在流程中更改体系结构。 在PyTorch中，您可以使用标准调试器 ，例如pdb或PyCharm。

PyTorch优点：

训练神经网络的过程简单明了。同时，PyTorch支持数据并行和分布式学习模型，并且还包含许多预先训练的模型。 PyTorch更适合小型项目和原型设计。 Sonnet

Sonnet深度学习框架是建立在TensorFlow的基础之上。它是DeepMind用于创建具有复杂架构的神经网络。

Sonnet基本特性：

面向对象的库，在开发神经网络（NN）或其他机器学习（ML）算法时更加抽象。 Sonnet的想法是构造对应于神经网络的特定部分的主要Python对象。此外，这些对象独立地连接到计算TensorFlow图。分离创建对象并将其与图形相关联的过程简化了高级体系结构的设计。

Sonnet优点：

Sonnet的主要优点是可以使用它来重现DeepMind论文中展示的研究，比Keras更容易，因为DeepMind论文模型就是使用Sonnet搭建的。 Keras

Keras是一个机器学习框架，如果您拥有大量数据和/或你想快速入门深度学习，那么Keras将非常适合学习。Keras是TensorFlow高级集成APi，可以非常方便的和TensorFlow进行融合。这是我强烈推荐学习的一个库。

Keras基本特性：

除了Tensorflow之外，Keras还是其他流行的库（如Theano和CNTK）的高级API。 在Keras中更容易创建大规模的深度学习模型，但Keras框架环境配置比其他底层框架要复杂一些。

Keras优点：

对于刚刚入门的人来说，Keras是最好的深度学习框架。它是学习和原型化简单概念的理想选择，可以理解各种模型和学习过程的本质。 Keras是一个简洁的API。 可以快速帮助您创建应用程序。 Keras中代码更加可读和简洁。 Keras模型序列化/反序列化API，回调和使用Python生成器的数据流非常成熟。

顺便说一下TensorFlow和Keras的对比：

PS：Tensorflow处于底层框架：这和MXNet，Theano和PyTorch等框架一样。包括实现诸如广义矩阵 - 矩阵乘法和诸如卷积运算的神经网络原语之类的数学运算。

Keras处于高度集成框架。虽然更容易创建模型，但是面对复杂的网络结构时可能不如TensorFlow。

MXNet

MXNet是一种高度可扩展的深度学习工具，可用于各种设备。虽然与TensorFlow相比，它似乎没有被广泛使用，但MXNet的增长可能会因为成为一个Apache项目而得到提升。

MXNet基本特性：

该框架支持多种语言，如C ++，Python，R，Julia，JavaScript，Scala，Go，甚至Perl。 可以在多个GPU和许多机器上非常有效地并行计算。

MXNet优点：

支持多个GPU（具有优化的计算和快速上下文切换） 清晰且易于维护的代码（Python，R，Scala和其他API） 快速解决问题的能力（对于像我这样的深度学习新手至关重要）

虽然它不像TF那么受欢迎，但MXNet具有详细的文档并且易于使用，能够在命令式和符号式编程风格之间进行选择，使其成为初学者和经验丰富的工程师的理想选择。

GLUON

Gluon是一个更好的深度学习框架，可以用来创建复杂的模型。GLUON基本特性：

Gluon的特殊性是具有一个灵活的界面，简化了原型设计，构建和培训深度学习模型，而不会牺牲学习速度。 Gluon基于MXNet，提供简单的API，简化深度学习模型的创建。 与PyTorch类似，Gluon框架支持使用动态图表 ，将其与高性能MXNet相结合。从这个角度来看，Gluon看起来像是分布式计算的Keras非常有趣的替代品。

GLUON优点：

在Gluon中，您可以使用简单，清晰和简洁的代码定义神经网络。 它将训练算法和神经网络模型结合在一起，从而在不牺牲性能的情况下提供开发过程的灵活性。 Gluon可以定义动态的神经网络模型，这意味着它们可以动态构建，使用任何结构，并使用Python的任何本机控制流。 SWIFT

当你听到Swift时，您可能会考虑iOS或MacOS的应用程序开发。但是如果你正在学习深度学习，那么你一定听说过Swens for Tensorflow。通过直接与通用编程语言集成，Swift for TensorFlow可以以前所未有的方式表达更强大的算法。SWIFT基本特性：

可以轻松获得可微分的自定义数据结构。 下一代API 。通过实践和研究获得的新API更易于使用且更强大。 在TensorFlow的基础上 ，Swift API为您提供对所有底层TensorFlow运算符的直接调用。 基于Jupyter、LLDB或者Swift in Colab的编程工具提高了您的工作效率。

SWIFT优点：

如果动态语言不适合您的任务，那么这将是一个很好的选择。当你训练运行了几个小时，然后你的程序遇到类型错误，那么使用Swift，一种静态类型语言。您将看到代码错误的地方。 Chainer

直到CMU的DyNet和Facebook的PyTorch出现之前，Chainer是动态计算图或网络的领先神经网络框架，它允许输入数据长度不一致。chainer基本特性：

Chainer代码是在Numpy和CuPy库的基础之上用纯Python编写的， Chainer是第一个使用动态架构模型的框架。

Chainer优点：

通过自己的基准测试，Chainer明显比其他面向Python的框架更快，TensorFlow是包含MxNet和CNTK的测试组中最慢的。 比TensorFlow更好的GPU和GPU数据中心性能。最近Chainer成为GPU数据中心性能的全球冠军。 DL4J

那些使用Java或Scala的人应该注意DL4J（Deep Learning for Java的简称）。DL4J的基本特性：

DL4J中的神经网络训练通过簇的迭代并行计算。 该过程由Hadoop和Spark架构支持。 使用Java允许您在Android设备的程序开发周期中使用。

DL4J优点：

如果您正在寻找一个良好的Java深度学习框架，这会是一个非常好的平台。 ONNX

ONNX项目诞生于微软和Facebook，旨在寻找深度学习模型呈现的开放格式。ONNX简化了在人工智能的不同工作方式之间传递模型的过程。因此ONNX具有各种深度学习框架的优点。

ONNX基本特性：

ONNX使模型能够在一个框架中进行训练并转移到另一个框架中进行推理。ONNX模型目前在Caffe2，Microsoft Cognitive Toolkit，MXNet和PyTorch中得到支持，并且还有许多其他常见框架和库的连接器。

ONNX优点：

对于PyTorch开发人员来说，ONNX是一个好的选择。但是对于那些喜欢TensorFlow的人来说，Keras等可能好一点。 总结

那么您应该使用哪种深度学习框架？下面是几点建议：

如果你刚刚开始学习，那么最好的选择是Keras 。 出于研究目的，请选择PyTorch 。 对于生产，您需要关注环境。因此对于Google Cloud，最好的选择是TensorFlow ，适用于AWS - MXNet和Gluon 。 Android开发人员应该关注D4LJ ，对于iOS来说， Core ML会破坏类似的任务范围。 最后， ONNX将帮助解决不同框架之间的交互问题。

6. CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别

如下：

1、DNN：存在着一个问题——无法对时间序列上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。对了适应这种需求，就出现了另一种神经网络结构——循环神经网络RNN。

2、CNN：每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被称为前向神经网络。

3、RNN：神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出！

介绍

神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。

在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括卷积层或是LSTM单元。

7. 主流的深度学习模型有哪些

主流的深度学习模型有很多CNN的各种变种，Bert，残差网络，生成对抗网络

8. 有哪些深度神经网络模型

目前经常使用的深度神经网络模型主要有卷积神经网络(CNN) 、递归神经网络(RNN)、深信度网络(DBN) 、深度自动编码器(AutoEncoder) 和生成对抗网络(GAN) 等。

递归神经网络实际.上包含了两种神经网络。一种是循环神经网络(Recurrent NeuralNetwork) ;另一种是结构递归神经网络(Recursive Neural Network)，它使用相似的网络结构递归形成更加复杂的深度网络。RNN它们都可以处理有序列的问题，比如时间序列等且RNN有“记忆”能力，可以“模拟”数据间的依赖关系。卷积网络的精髓就是适合处理结构化数据。

关于深度神经网络模型的相关学习，推荐CDA数据师的相关课程，课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并操作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的独立思考及主观能动性，学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时能够自由发挥。点击预约免费试听课。

9. 深度学习网络有哪些

学习这些吧：以上网络的目标主要有三个：权重少、计算少、速度快。这三者之间不存在着严格的相关关系，它们是三个独立的目标。即权重少不代表计算量少；计算量少不代表速度快。

高效网络高效的含义比较模糊，有的文章认为计算量小就是高效，有的文章认为速度快即高效。本篇总结主要从速度快入手。

10. 有哪些深度神经网络模型

卷积神经元（Convolutional cells）和前馈神经元非常相似，除了它们只跟前一神经细胞层的部分神经元有连接。因为它们不是和某些神经元随机连接的，而是与特定范围内的神经元相连接，通常用来保存空间信息。这让它们对于那些拥有大量局部信息，比如图像数据、语音数据（但多数情况下是图像数据），会非常实用。

解卷积神经元恰好相反：它们是通过跟下一神经细胞层的连接来解码空间信息。这两种神经元都有很多副本，它们都是独立训练的；每个副本都有自己的权重，但连接方式却完全相同。可以认为，这些副本是被放在了具备相同结构的不同的神经网络中。这两种神经元本质上都是一般意义上的神经元，但是，它们的使用方式却不同。

池化神经元和插值神经元（Pooling and interpolating cells）经常和卷积神经元结合起来使用。它们不是真正意义上的神经元，只能进行一些简单的操作。

池化神经元接受到来自其它神经元的输出过后，决定哪些值可以通过，哪些值不能通过。在图像领域，可以理解成是把一个图像缩小了（在查看图片的时候，一般软件都有一个放大、缩小的功能；这里的图像缩小，就相当于软件上的缩小图像；也就是说我们能看到图像的内容更加少了；在这个池化的过程当中，图像的大小也会相应地减少）。这样，你就再也不能看到所有的像素了，池化函数会知道什么像素该保留，什么像素该舍弃。

插值神经元恰好是相反的操作：它们获取一些信息，然后映射出更多的信息。额外的信息都是按照某种方式制造出来的，这就好像在一张小分辨率的图片上面进行放大。插值神经元不仅仅是池化神经元的反向操作，而且，它们也是很常见，因为它们运行非常快，同时，实现起来也很简单。池化神经元和插值神经元之间的关系，就像卷积神经元和解卷积神经元之间的关系。

均值神经元和标准方差神经元（Mean and standard deviation cells）（作为概率神经元它们总是成对地出现）是一类用来描述数据概率分布的神经元。均值就是所有值的平均值，而标准方差描述的是这些数据偏离（两个方向）均值有多远。比如：一个用于图像处理的概率神经元可以包含一些信息，比如：在某个特定的像素里面有多少红色。举个例来说，均值可能是0.5，同时标准方差是0.2。当要从这些概率神经元取样的时候，你可以把这些值输入到一个高斯随机数生成器，这样就会生成一些分布在0.4和0.6之间的值；值离0.5越远，对应生成的概率也就越小。它们一般和前一神经元层或者下一神经元层是全连接，而且，它们没有偏差（bias）。

循环神经元（Recurrent cells ）不仅仅在神经细胞层之间有连接，而且在时间轴上也有相应的连接。每一个神经元内部都会保存它先前的值。它们跟一般的神经元一样更新，但是，具有额外的权重：与当前神经元之前值之间的权重，还有大多数情况下，与同一神经细胞层各个神经元之间的权重。当前值和存储的先前值之间权重的工作机制，与非永久性存储器（比如RAM）的工作机制很相似，继承了两个性质：

• 第一，维持一个特定的状态；

• 第二：如果不对其持续进行更新（输入），这个状态就会消失。

由于先前的值是通过激活函数得到的，而在每一次的更新时，都会把这个值和其它权重一起输入到激活函数，因此，信息会不断地流失。实际上，信息的保存率非常的低，以至于仅仅四次或者五次迭代更新过后，几乎之前所有的信息都会流失掉。