全连接dnn网络

⑴ CNN、RNN、DNN的内部网络结构有什么区别

从广义上来说，NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括卷积层或是LSTM单元。但是就题主的意思来看，这里的DNN应该特指全连接的神经元结构，并不包含卷积单元或是时间上的关联。
因此，题主一定要将DNN、CNN、RNN等进行对比，也未尝不可。其实，如果我们顺着神经网络技术发展的脉络，就很容易弄清这几种网络结构发明的初衷，和他们之间本质的区别。神经网络技术起源于上世纪五、六十年代，当时叫感知机(perceptron)，拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。
早期感知机的推动者是Rosenblatt。(扯一个不相关的：由于计算技术的落后，当时感知器传输函数是用线拉动变阻器改变电阻的方法机械实现的，脑补一下科学家们扯着密密麻麻的导线的样子…)但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力(比如最为典型的“异或”操作)。
连异或都不能拟合，你还能指望这货有什么实际用途么。随着数学的发展，这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人(反正就是一票大牛)发明的多层感知机(multilayer perceptron)克服。多层感知机，顾名思义，就是有多个隐含层的感知机。

⑵ 卷积神经网络和深度神经网络的区别是什么

没有卷积神经网络的说法，只有卷积核的说法。
电脑图像处理的真正价值在于：一旦图像存储在电脑上，就可以对图像进行各种有效的处理。如减小像素的颜色值，可以解决曝光过度的问题，模糊的图像也可以进行锐化处理，清晰的图像可以使用模糊处理模拟摄像机滤色镜产生的柔和效果。
用Photoshop等图像处理软件，施展的魔法几乎是无止境的。四种基本图像处理效果是模糊、锐化、浮雕和水彩。ß这些效果是不难实现的，它们的奥妙部分是一个称为卷积核的小矩阵。这个3*3的核含有九个系数。为了变换图像中的一个像素，首先用卷积核中心的系数乘以这个像素值，再用卷积核中其它八个系数分别乘以像素周围的八个像素，最后把这九个乘积相加，结果作为这个像素的值。对图像中的每个像素都重复这一过程，对图像进行了过滤。采用不同的卷积核，就可以得到不同的处理效果。ß用PhotoshopCS6，可以很方便地对图像进行处理。
模糊处理——模糊的卷积核由一组系数构成，每个系数都小于1，但它们的和恰好等于1，每个像素都吸收了周围像素的颜色，每个像素的颜色分散给了它周围的像素，最后得到的图像中，一些刺目的边缘变得柔和。
锐化卷积核中心的系数大于1，周围八个系数和的绝对值比中间系数小1，这将扩大一个像素与之周围像素颜色之间的差异，最后得到的图像比原来的图像更清晰。
浮雕卷积核中的系数累加和等于零，背景像素的值为零，非背景像素的值为非零值。照片上的图案好像金属表面的浮雕一样，轮廓似乎凸出于其表面。
要进行水彩处理，首先要对图像中的色彩进行平滑处理，把每个像素的颜色值和它周围的二十四个相邻的像素颜色值放在一个表中，然后由小到大排序，把表中间的一个颜色值作为这个像素的颜色值。然后用锐化卷积核对图像中的每个像素进行处理，以使得轮廓更加突出，最后得到的图像很像一幅水彩画。
我们把一些图像处理技术结合起来使用，就能产生一些不常见的光学效果，例如光晕等等。
希望我能帮助你解疑释惑。

⑶ 什么是DNN网络它有何优点

（一）DDN简介
数字数据网（DDN）是利用数字信道传输数据信号的数据传输网，它的传输媒介有光缆、数字微波、卫星信道以及用户端可用的普通电缆和双绞线。DDN以光纤为中继干线网络，组成DDN的基本单位是节点，节点间通过光纤连接，构成网状的拓扑结构，用户的终端设备通过数据终端单元（DTU）与就近的节点机相连。可提供点对点、点对多点透明传输的数据专线出租电路，为用户传输数据、图像和声音等信息。DDN向用户提供的是半永久性的数字连接，沿途不进行复杂的软件处理，因此延时较短。DDN采用交叉连接装置，可根据用户需要，在约定的时间内接通所需带宽的线路，信道容量的分配和接续在计算机控制下进行，具有极大的灵活性，使用户可以开通种类繁多的信息业务，传输任何合适的信息。DDN的业务特点如下：
l 提供点到点的通信，通信保密性强，特别适合

金融、保险客户的需要。
l 传输速率高，网络时延小。
l 信道固定分配，保证通信的可靠性，不会受其他客户使用情况的影响。
l DDN覆盖面广，可联结国内外各主要城市。
l DDN为全透明网，对客户通信协议没有要求，客户可自由选择网络设备及协议。
l 技术成熟，运行管理简便，极少出现重大阻断。
l DDN是同步传输网，且没有交换功能，缺乏灵活性。
（二）DDN的主要优点
传输速率高，网络时延小。由于DDN采用了同步传输模式的数字时分复用技术，用户数据信息可根据事先约定的协议，在固定的时隙以预先设定的通道带宽和速率顺序传输，这样只需按时隙识别通道就可以准确地将数据信息送到目的终端。由于信息是顺序到达目的终端，免去了目的终端对信息的重组，因此减小了时延。目前DDN可达到的最高传输速率为155Mbps，平均时延小于450μs。另外，DDN可支持网
西京亮 18:00:43
络层以及其上的任何协议，从而可满足数据、图像和声音等多种业务的需要。

⑷ 计算机接入因特网的方式中dnn指什么

DDN是英文Digital Data Network的缩写，这是随着数据通信业务发展而迅速发展起来的一种新型网络。DDN的主干网传输媒介有光纤、数字微波、卫星信道等，用户端多使用普通电缆和双绞线。DDN将数字通信技术、计算机技术、光纤通信技术以及数字交叉连接技术有机地结合在一起，提供了高速度、高质量的通信环境，可以向用户提供点对点、点对多点透明传输的数据专线出租电路，为用户传输数据、图像、声音等信息。DDN的通信速率可根据用户需要在N×64kbps（N=1～32）之间进行选择，当然速度越快租用费用也越高。用户租用DDN业务需要申请开户。DDN的收费一般可以采用包月制和计流量制，这与一般用户拨号上网的按时计费方式不同。DDN的租用费较贵，普通个人用户负担不起，因此DDN主要面向集团公司等需要综合运用的单位。

⑸ 电脑IP的DNN要怎样设置

是DNS，这个东西是告知电脑去哪里找到其他网站的IP的地址。1般情况下如果有提供就填上，没提供就自动获得。

⑹ 深度神经网络dnn怎么调节参数

深度神经网络（DNN）目前是许多现代AI应用的基础。
自从DNN在语音识别和图像识别任务中展现出突破性的成果，使用DNN的应用数量呈爆炸式增加。这些DNN方法被大量应用在无人驾驶汽车，癌症检测，游戏AI等方面。
在许多领域中，DNN目前的准确性已经超过人类。与早期的专家手动提取特征或制定规则不同，DNN的优越性能来自于在大量数据上使用统计学习方法，从原始数据中提取高级特征的能力，从而对输入空间进行有效的表示。

然而，DNN超高的准确性是以超高的计算复杂度为代价的。
通常意义下的计算引擎，尤其是GPU，是DNN的基础。因此，能够在不牺牲准确性和增加硬件成本的前提下，提高深度神经网络的能量效率和吞吐量的方法，对于DNN在AI系统中更广泛的应用是至关重要的。研究人员目前已经更多的将关注点放在针对DNN计算开发专用的加速方法。
鉴于篇幅，本文主要针对论文中的如下几部分详细介绍：
DNN的背景，历史和应用
DNN的组成部分，以及常见的DNN模型
简介如何使用硬件加速DNN运算
DNN的背景
人工智能与深度神经网络

深度神经网络，也被称为深度学习，是人工智能领域的重要分支，根据麦卡锡（人工智能之父）的定义，人工智能是创造像人一样的智能机械的科学工程。深度学习与人工智能的关系如图1所示：

图1：深度神经网络与人工智能的关系
人工智能领域内，一个大的子领域是机器学习，由Arthur Samuel在1959年定义为：让计算机拥有不需要明确编程即可学习的能力。
这意味着创建一个程序，这个程序可以被训练去学习如何去做一些智能的行为，然后这个程序就可以自己完成任务。而传统的人工启发式方法，需要对每个新问题重新设计程序。
高效的机器学习算法的优点是显而易见的。一个机器学习算法，只需通过训练，就可以解决某一领域中每一个新问题，而不是对每个新问题特定地进行编程。
在机器学习领域，有一个部分被称作brain-inspired computation。因为人类大脑是目前学习和解决问题最好的“机器”，很自然的，人们会从中寻找机器学习的方法。
尽管科学家们仍在探索大脑工作的细节，但是有一点被公认的是：神经元是大脑的主要计算单元。
人类大脑平均有860亿个神经元。神经元相互连接，通过树突接受其他神经元的信号，对这些信号进行计算之后，通过轴突将信号传递给下一个神经元。一个神经元的轴突分支出来并连接到许多其他神经元的树突上，轴突分支和树突之间的连接被称为突触。据估计，人类大脑平均有1014-1015个突触。
突触的一个关键特性是它可以缩放通过它的信号大小。这个比例因子可以被称为权重（weight），普遍认为，大脑学习的方式是通过改变突触的权重实现的。因此，不同的权重导致对输入产生不同的响应。注意，学习过程是学习刺激导致的权重调整，而大脑组织（可以被认为是程序）并不改变。
大脑的这个特征对机器学习算法有很好的启示。
神经网络与深度神经网络

神经元的计算是输入值的加权和这个概念启发了神经网络的研究。这些加权和对应于突触的缩放值以及神经元所接收的值的组合。此外，神经元并不仅仅是输入信号的加权和，如果是这样的话，级联的神经元的计算将是一种简单的线性代数运算。
相反的是，神经元组合输入的操作似乎是一种非线性函数，只有输入达到某个阈值的时候，神经元才会生成输出。因此，通过类比，我们可以知道神经网络在输入值的加权和的基础上应用了非线性函数。
图2（a）展示了计算神经网络的示意图，图的最左边是接受数值的“输入层”。这些值被传播到中间层神经元，通常也叫做网络的“隐藏层”。通过一个或更多隐藏层的加权和最终被传播到“输出层”，将神经网络的最终结果输出给用户。

图2：神经网络示意图

在神经网络领域，一个子领域被称为深度学习。最初的神经网络通常只有几层的网络。而深度网络通常有更多的层数，今天的网络一般在五层以上，甚至达到一千多层。
目前在视觉应用中使用深度神经网络的解释是：将图像所有像素输入到网络的第一层之后，该层的加权和可以被解释为表示图像不同的低阶特征。随着层数的加深，这些特征被组合，从而代表更高阶的图像特征。
例如，线可以被组合成形状，再进一步，可以被组合成一系列形状的集合。最后，再训练好这些信息之后，针对各个图像类别，网络给出由这些高阶特征组成各个对象的概率，即分类结果。
推理（Inference）与训练（Training）
既然DNN是机器学习算法中的一员，那么它的基本编程思想仍然是学习。DNN的学习即确定网络的权重值。通常，学习过程被称为训练网络（training）。一旦训练完成，程序可以使用由训练确定的权值进行计算，这个使用网络完成任务的操作被被称为推断（inference）。
接下来，如图3所示，我们用图像分类作为例子来展示如何训练一个深度神经网络。当我们使用一个DNN的时候，我们输入一幅图片，DNN输出一个得分向量，每一个分数对应一个物体分类；得到最高分数的分类意味着这幅图片最有可能属于这个分类。
训练DNN的首要目标就是确定如何设置权重，使得正确分类的得分最高（图片所对应的正确分类在训练数据集中标出），而使其他不正确分类的得分尽可能低。理想的正确分类得分与目前的权重所计算出的得分之间的差距被称为损失函数（loss）。
因此训练DNN的目标即找到一组权重，使得对一个较大规模数据集的loss最小。

图3：图像分类

权重（weight）的优化过程类似爬山的过程，这种方法被称为梯度下降（gradient decent）。损失函数对每个权值的梯度，即损失函数对每个权值求偏导数，被用来更新权值（例：第t到t+1次迭代：，其中α被称为学习率（Learning rate）。梯度值表明权值应该如何变化以减小loss。这个减小loss值的过程是重复迭代进行的。
梯度可以通过反向传播（Back-Propagation）过程很高效地进行计算，loss的影响反向通过网络来计算loss是如何被每个权重影响的。
训练权重有很多种方法。前面提到的是最常见的方法，被称为监督学习，其中所有的训练样本是有标签的。
无监督学习是另一种方法，其中所有训练样本都没有标签，最终目标是在数据中查找结构或聚类。半监督学习结合了两种方法，只有训练数据的一小部分被标记（例如，使用未标记的数据来定义集群边界，并使用少量的标记数据来标记集群）。
最后，强化学习可以用来训练一个DNN作为一个策略网络，对策略网络给出一个输入，它可以做出一个决定，使得下一步的行动得到相应的奖励;训练这个网络的过程是使网络能够做出使奖励（即奖励函数）最大化的决策，并且训练过程必须平衡尝试新行为（Exploration）和使用已知能给予高回报的行为（Exploitation）两种方法。

用于确定权重的另一种常用方法是fine-tune，使用预先训练好的模型的权重用作初始化，然后针对新的数据集（例如，传递学习）或新的约束（例如，降低的精度）调整权重。与从随机初始化开始相比，能够更快的训练，并且有时会有更好的准确性。

⑺ DNN、RNN、CNN分别是什么意思

DNN（深度神经网络），是深度学习的基础。

DNN可以理解为有很多隐藏层的神经网络。这个很多其实也没有什么度量标准, 多层神经网络和深度神经网络DNN其实也是指的一个东西，当然，DNN有时也叫做多层感知机（Multi-Layer perceptron,MLP）。

从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输出层，最后一层是输出层，而中间的层数都是隐藏层。

CNN（卷积神经网络），是一种前馈型的神经网络，目前深度学习技术领域中非常具有代表性的神经网络之一。

CNN在大型图像处理方面有出色的表现，目前已经被大范围使用到图像分类、定位等领域中。相比于其他神经网络结构，卷积神经网络需要的参数相对较少，使的其能够广泛应用。

RNN（循环神经网络），一类用于处理序列数据的神经网络，RNN最大的不同之处就是在层之间的神经元之间也建立的权连接。

从广义上来说，DNN被认为包含了CNN、RNN这些具体的变种形式。在实际应用中，深度神经网络DNN融合了多种已知的结构，包含卷积层或LSTM单元，特指全连接的神经元结构，并不包含卷积单元或时间上的关联。

⑻ 深度学习之损失函数与激活函数的选择

深度学习之损失函数与激活函数的选择
在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。其中使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？以下是本文的内容。
MSE损失+Sigmoid激活函数的问题
先来看看均方差+Sigmoid的组合有什么问题。回顾下Sigmoid激活函数的表达式为：

函数图像如下：

从图上可以看出，对于Sigmoid，当z的取值越来越大后，函数曲线变得越来越平缓，意味着此时的导数σ′(z)也越来越小。同样的，当z的取值越来越小时，也有这个问题。仅仅在z取值为0附近时，导数σ′(z)的取值较大。在均方差+Sigmoid的反向传播算法中，每一层向前递推都要乘以σ′(z),得到梯度变化值。Sigmoid的这个曲线意味着在大多数时候，我们的梯度变化值很小，导致我们的W,b更新到极值的速度较慢，也就是我们的算法收敛速度较慢。那么有什么什么办法可以改进呢？
交叉熵损失+Sigmoid改进收敛速度
Sigmoid的函数特性导致反向传播算法收敛速度慢的问题，那么如何改进呢？换掉Sigmoid？这当然是一种选择。另一种常见的选择是用交叉熵损失函数来代替均方差损失函数。每个样本的交叉熵损失函数的形式：

其中，?为向量内积。这个形式其实很熟悉，在逻辑回归原理小结中其实我们就用到了类似的形式，只是当时我们是用最大似然估计推导出来的，而这个损失函数的学名叫交叉熵。
使用了交叉熵损失函数，就能解决Sigmoid函数导数变化大多数时候反向传播算法慢的问题吗？我们来看看当使用交叉熵时，我们输出层δL的梯度情况。

对比一下均方差损失函数时在δL梯度

使用交叉熵，得到的的δl梯度表达式没有了σ′(z)，梯度为预测值和真实值的差距，这样求得的Wl,bl的梯度也不包含σ′(z)，因此避免了反向传播收敛速度慢的问题。通常情况下，如果我们使用了sigmoid激活函数，交叉熵损失函数肯定比均方差损失函数好用。
对数似然损失+softmax进行分类输出
在前面我们都假设输出是连续可导的值，但是如果是分类问题，那么输出是一个个的类别，那我们怎么用DNN来解决这个问题呢？
DNN分类模型要求是输出层神经元输出的值在0到1之间，同时所有输出值之和为1。很明显，现有的普通DNN是无法满足这个要求的。但是我们只需要对现有的全连接DNN稍作改良，即可用于解决分类问题。在现有的DNN模型中，我们可以将输出层第i个神经元的激活函数定义为如下形式：

这个方法很简洁漂亮，仅仅只需要将输出层的激活函数从Sigmoid之类的函数转变为上式的激活函数即可。上式这个激活函数就是我们的softmax激活函数。它在分类问题中有广泛的应用。将DNN用于分类问题，在输出层用softmax激活函数也是最常见的了。
对于用于分类的softmax激活函数，对应的损失函数一般都是用对数似然函数，即：

其中yk的取值为0或者1，如果某一训练样本的输出为第i类。则yi=1,其余的j≠i都有yj=0。由于每个样本只属于一个类别，所以这个对数似然函数可以简化为：

可见损失函数只和真实类别对应的输出有关，这样假设真实类别是第i类，则其他不属于第i类序号对应的神经元的梯度导数直接为0。对于真实类别第i类，它的WiL对应的梯度计算为：

可见，梯度计算也很简洁，也没有第一节说的训练速度慢的问题。当softmax输出层的反向传播计算完以后，后面的普通DNN层的反向传播计算和之前讲的普通DNN没有区别。
梯度爆炸or消失与ReLU
学习DNN，大家一定听说过梯度爆炸和梯度消失两个词。尤其是梯度消失，是限制DNN与深度学习的一个关键障碍，目前也没有完全攻克。
什么是梯度爆炸和梯度消失呢？简单理解，就是在反向传播的算法过程中，由于我们使用了是矩阵求导的链式法则，有一大串连乘，如果连乘的数字在每层都是小于1的，则梯度越往前乘越小，导致梯度消失，而如果连乘的数字在每层都是大于1的，则梯度越往前乘越大，导致梯度爆炸。
比如如下的梯度计算：

如果不巧我们的样本导致每一层的梯度都小于1，则随着反向传播算法的进行，我们的δl会随着层数越来越小，甚至接近越0，导致梯度几乎消失，进而导致前面的隐藏层的W,b参数随着迭代的进行，几乎没有大的改变，更谈不上收敛了。这个问题目前没有完美的解决办法。
而对于梯度爆炸，则一般可以通过调整我们DNN模型中的初始化参数得以解决。
对于无法完美解决的梯度消失问题，一个可能部分解决梯度消失问题的办法是使用ReLU（Rectified Linear Unit）激活函数，ReLU在卷积神经网络CNN中得到了广泛的应用，在CNN中梯度消失似乎不再是问题。那么它是什么样子呢？其实很简单，比我们前面提到的所有激活函数都简单，表达式为：

也就是说大于等于0则不变，小于0则激活后为0。
其他激活函数
DNN常用的激活函数还有：
tanh
这个是sigmoid的变种，表达式为：

tanh激活函数和sigmoid激活函数的关系为：

tanh和sigmoid对比主要的特点是它的输出落在了[-1,1],这样输出可以进行标准化。同时tanh的曲线在较大时变得平坦的幅度没有sigmoid那么大，这样求梯度变化值有一些优势。当然，要说tanh一定比sigmoid好倒不一定，还是要具体问题具体分析。
softplus
这个其实就是sigmoid函数的原函数，表达式为：

它的导数就是sigmoid函数。softplus的函数图像和ReLU有些类似。它出现的比ReLU早，可以视为ReLU的鼻祖。

PReLU
从名字就可以看出它是ReLU的变种，特点是如果未激活值小于0，不是简单粗暴的直接变为0，而是进行一定幅度的缩小。如下图。

小结
上面我们对DNN损失函数和激活函数做了详细的讨论，重要的点有：
1）如果使用sigmoid激活函数，则交叉熵损失函数一般肯定比均方差损失函数好；
2）如果是DNN用于分类，则一般在输出层使用softmax激活函数和对数似然损失函数；
3）ReLU激活函数对梯度消失问题有一定程度的解决，尤其是在CNN模型中。

⑼ CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别

如下：

1、DNN：存在着一个问题——无法对时间序列上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。对了适应这种需求，就出现了另一种神经网络结构——循环神经网络RNN。

2、CNN：每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被称为前向神经网络。

3、RNN：神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出！

介绍

神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。

在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括卷积层或是LSTM单元。