秘密共享和神经网络

㈠ 前馈神经网络、BP神经网络、卷积神经网络的区别与联系

一、计算方法不同

1、前馈神经网络：一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。

2、BP神经网络：是一种按照误差逆向传播算法训练的多层前馈神经网络。

3、卷积神经网络：包含卷积计算且具有深度结构的前馈神经网络。

二、用途不同

1、前馈神经网络：主要应用包括感知器网络、BP网络和RBF网络。

2、BP神经网络：

（1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数；

（2）模式识别：用一个待定的输出向量将它与输入向量联系起来；

（3）分类：把输入向量所定义的合适方式进行分类；

（4）数据压缩：减少输出向量维数以便于传输或存储。

3、卷积神经网络：可应用于图像识别、物体识别等计算机视觉、自然语言处理、物理学和遥感科学等领域。

联系：

BP神经网络和卷积神经网络都属于前馈神经网络，三者都属于人工神经网络。因此，三者原理和结构相同。

三、作用不同

1、前馈神经网络：结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。

2、BP神经网络：具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。

3、卷积神经网络：具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。

(1)秘密共享和神经网络扩展阅读：

1、BP神经网络优劣势

BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。

①学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛。

②容易陷入局部极小值。

③网络层数、神经元个数的选择没有相应的理论指导。

④网络推广能力有限。

2、人工神经网络的特点和优越性，主要表现在以下三个方面

①具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、效益预测，其应用前途是很远大的。

②具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

③具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

㈡ “深度学习”和“多层神经网络”的区别

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类御坦别或特征，以发现数据的分布式特征表示。
多层神经网络是指单计算层感知器只能解决线性可分问题，而大量的分类问题是线性不可分的。克服单计算层感知器这一局限性的有效办法是，在输入层与输出层之间引入隐层（隐层个数可以大于或等于1）作为输入模式“的内部表示”，单计算困拆尺层感知器变成多（计算）层感知器。
补充：
深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相汪高关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

㈢ 深度学习与神经网络有什么区别

找深度学习和神经网络的不同点，其实主要的就是：
原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。
深度学习做的步骤是 信号->特征->值。 特征是由网络自己选知仔择。

另外，深度学习作为机器学习的领域中一个新的研究方向，在被引进机器学习后，让机器学习可以更加的接近最初的目标，也就是人工智能。
深度学习主要就是对样本数据的内在规律还有表示层次的学习，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的悔岩效果，远远超过先前相关技术。
深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
而神经网络则是可以分为两种，一种是生物神经网络，而另一种则是人工神经网络。
生物神经网络就是生物的大脑神经元、主要是由细胞以及触点组成的，主要的作用就是让生物产生意识，或者是帮助生物实现思考还有行动的目的。
神经网络可以指向两种，一个是生物神经网络，一个是人工神经网络。
人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
人搭前汪工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。

㈣ 神经网络和专家系统什么关系谁能给解释一下

专家系统是睁陆人工智能的一个分支悉裂顷，源灶神经网络是专家系统的一种方法。
http://wenku..com/view/76d187165f0e7cd1842536c7.html

㈤ “深度学习”和“多层神经网络”的区别

作者：杨延生
链接：https://www.hu.com/question/26017374/answer/31868340
来源：知乎
着作权归作者所有，转载请联系作者获得授权。

"深度学习"是为了让层数较多的多闹者层神经网络可以训练，能够work而演化出来的一系列的 新的结构和新的方法。

新的网络结构中最着名的就是CNN，它解决了传统较深的网络参数太多，很难训练的问题，使用了“局部感受野”和“权植共享”的概念，大大减少了网络参数的数量。关键是这种结构确实很液培薯符合视觉类任务在人脑上的工作原理。
新的结构还包括了：LSTM，ResNet等。

新的方法就多了：新的激活函数：ReLU，新的权重初始化方法（逐层初始化，XAVIER等），新的损失函数，新的防止过拟合方法（Dropout, BN等）。这些方面主要都是为了解决传统的多层神经网络的一些不足：梯度消失，过拟合等。

---------------------- 下面是原答案 ------------------------

从广义上说深度学习的网络结构也是多层神经网络的一种。

传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。
而深度学习中最着名的卷积神经网络CNN，在原来多层神经网络的基础中笑上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。
输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- .... -- 隐藏层 -输出层
简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。
深度学习做的步骤是 信号->特征->值。 特征是由网络自己选择。

㈥ 关于遗传算法，模糊数学，神经网络三种数学的区别和联系

遗传算法是一种智能计算方法，针对不同的实际问题可以设计不同的计算程序。它主要有复制，交叉，变异三部分完成，是仿照生帆手物进化过程来进行计算方法的设计。
模糊数学是研究现实生活中一类模糊现象简誉的数学。简单地说就是像好与坏怎样精确的描述，将好精确化，用数字来表达。
神经网络是一种仿生计算方法，仿照生物体中信息的传递过程来进行数学计算。
这三种知识都是近40年兴起的新兴学科，主要应用在智能模糊控制上面。这三者可以结合起来应用。如用模糊数学些遗传算法的程序态咐嫌，优化神经网络，最后用神经网络控制飞行器或其他物体

㈦ 全连接神经网络和传统bp网的区别

?
一个是表示各层连接方式，一个表示训练方式。没有什么可比性。

㈧ 人工智能对生活的影响

人工智能已在不知不觉中成长，其学习能力和智能化程度远超人们的想象。在社会各领域，越来越多的人工智能技术被施以应用，深刻改变了产业形态、推动产业转型升级。

1、工业生产“联网”、管理智能升级、企业上云服务，生产制造业因人工智能变得高效便捷，加快了转型的步伐；

2、无人驾驶汽车相继上路，市场需求刺激了无人汽车的技术研发，推动了汽车行业的转型，也推动了车联网等智能交通系统的发展；

3、基于用户历史行为、当季流行商品等大数据推荐商品，电子商贸行业因人工智能在采购和库存管理上变得更加精准。

(8)秘密共享和神经网络扩展阅读：

人工智能在计算机上实现时有2种不同的方式：

一种是采用传统的编程技术

使系统呈现智能的铅厅效果，而不考虑所用方法是否与人或动物机体所用的方法相同。这种方法叫工程学方法（ENGINEERING APPROACH），它已在一些领域内作出了成果，如文字识别、电脑下棋等。

一种是模拟法（MODELING APPROACH）

它不仅要看效果，还要求实现方法也和人类或生物机岩兄体所用的方法相同或相类槐枣隐似。遗传算法（GENERIC ALGORITHM，简称GA）和人工神经网络（ARTIFICIAL NEURAL NETWORK，简称ANN）均属后一类型。

㈨ 神经网络、流形和拓扑

译者：树石

最近，由于在诸如计算机视觉领域取得了突破性成果，深层神经网络引起了广泛的关注和兴趣。

然而，该领域仍然存在一些顾虑。比如， 要了解神经网络能够做什么相当具有挑战性 。如果一个网路被训练得很好，输出高品质的结果，但了解它是如何做到的具有挑战性。如果网络出现故障，也很难理解什么地方出了错。

虽然通常理解深层神经网络的行为比较困难， 探索低维度深层神经网络相对容易的多 ——在每一层只有几个神经元的网络。事实上，我们可以通过创建可视化效果来理解网络的行为和对网络的培训。这种方法将让我们 获取对神经网络行为的深层直觉，并观察到神经网络和拓扑学之间的联系 。

另外，还探讨了一些有趣的事情，包括对某些数据集进行分类的神经网络的最低复杂性。

让我们从一个非常简单的数据集开始：在一个平面上的两条曲线。该网络将学习如何将线上的点归类为这一个还是另外一个。

将神经网络（或任何分类算法）的行为可视化，显而易见的方法是简单地看它是如何对每一个可能的数据点进行分类。

我们将先从最简单的神经网络开始，只迅雀有一个输入层和一个输出层的网络。这样的网络只是试图通过画一条线将两个类数据的分离。

诸如此类的网络不是很有趣。现代神经网络一般在输入和输出之间，具有称为“隐藏”层的多个层次。至少包含一个隐藏层。

与以前一样，我们可以通过查看它对其领域不同点进行的处理来观察这个网络的行为。数据分割通过一条曲线来完成，而不是直线。

通过神经网络的每一层，数据被转换，创建了一个新的 表示 （represention）。我们可以看一下在这些表示中的数据以及网络是如何划分他们的。当我们到达最后一层的表示时，网络只需要绘制一条线（或者，在更高维度里绘制一个超平面）。

在前面的可视化中，我们看到其“原始”表示的数据，你可以将其视为输入层。现在我们将看看经过第一层转化后，你可以认为这是我们看到了隐藏层。

每个维度亩孝早对应于该层中神经元的兴奋。

在上一节中所概述的方法，我们知道通过查看每层的表示来了解网络。这给了我们一个离散的表示列表。

最棘手的部分是了解我慎郑们是如何从一个表示到另一个的。值得庆幸的是，神经网络层具有很好的性能，使这一点变得很容易。

神经网络由多种不同类型的层构成。我们将谈论一个具体的例子：双曲正切层（tanh）。一个双曲正切层tanh⁡(Wx+b)由以下组成：

我们可以观察到这是一个连续变换，具体如下：

这个故事和其它标准层大体相同，由一个映射变换之后单调激活函数的逐点应用。

我们可以用这种技术来了解更复杂的网络。例如，下面的网络划分两个被略微缠结的螺旋，使用四个隐藏层。随着时间的推移，我们可以看到它的“原始”表示转移到更高层次为了对数据进行分类。而螺旋最初是纠结的，最终他们是线性可分的。

另一方面，以下的网络，也是使用多个层，分类两个螺旋没有成功，反而更加缠结。

这里值得明确指出，这些任务将变得有些困难，如果我们使用的是低维神经网络。如果我们使用更广泛的网络，这一切都将是相当容易的。

（ Andrei Karpathy有 很好的演示 基于ConvnetJS，让您可以交互式地浏览网络，就像上面的这种可视化培训！ ）

每一层都会拉伸和挤压空间，但它永远不会切割、断裂和褶皱它。直观地说，我们可以看到它保留了拓扑性质。例如，一组数据将在转化后保持连接，如果它之前是连接的（反之亦然）。

这样的转换，不影响拓扑结构，被称为同胚。在形式上，他们是连续函数的双向映射。

定理 ：具有N个输入和N个输出的层是同胚，如果权重矩阵W是非奇异的。（虽然需要小心它的值域和范围。）

证明 ：让我们一步步考虑：

因此，如果W所有因子都是非零的，我们的层就是同胚的。∎

这一结果始终正确，如果我们将任意多个这些层组合在一起。

考虑包含两个类的二维数据集
![][01]
[01]: http://latex.codecogs.com/svg.latex?,A,B subsetmathbb{R}^2

A = {x | d(x,0) < 1/3}
B = {x | 2/3 < d(x,0) < 1}

如前面提到的，用一个S形函数或SOFTMAX层分类相当于试图找到一个超平面（或在这种情况下是一条线）在最终表示中分隔A与B。只有两个隐藏层的网络对于分离这组数据在拓扑上是无能的，并注定要失败。

在下面的可视化图中，我们观察到网络训练隐藏的表示，通过试图使用一条直线来分类。我们可以看到，它在努力学习某种方式来做到这一点是不断挣扎而且困难重重。

最后，它被拉到一个相当低效的拟合。虽然它实际上能够实现〜80%分类精度。

这个例子只有一个隐藏层，但无论如何它都会失败。

证明 ：要么每层是一个同胚，要么该层的权重矩阵具有0因子。如果该层是同胚的，A被B所环绕，一个直线不能将它们分开。但是，假设它具有一个0因子：那么数据集将在某些轴上崩塌。因为我们正在处理的东西同胚于原始数据集，A被B所包围，在任一轴崩塌于意味着我们将有一些A中的点和B中的点混合，从而无法完成A与B的区分。∎

如果我们增加第三个隐藏层，问题就变得微不足道。神经网络学习以下表示：

用这个表示，我们可以用一个超平面分开数据集。

为了更好的理解这是怎么做到的，让我们考虑一个更简单的一维数据集：

![][02]
[02]: http://latex.codecogs.com/svg.latex?,A=[- frac{1}{3}，,frac{1}{3}]

![][03]
[03]: http://latex.codecogs.com/svg.latex?,B=[-1,- frac{2}{3}]cup[frac{2}{3},1]

如果不使用两个或多个隐藏单元层，我们不能将此数据集进行分类。但是，如果我们使用一个带有两层的网络，我们就学会将数据转化成一个很好的曲线，让我们能用一条线将数据分开：

发生了什么？一个隐藏单元学习当x>-1/2时兴奋，另一个单元学习当x>1/2时兴奋。当第一个兴奋，而不是第二个时，我们知道数据属于A。

这个假说和现实世界的数据集相关吗，比如图像数据？如果你认真对待流形假说，我觉得他值得思考。

流形假说是指自然数据在它的嵌入空间构成了较低维度的数据流形。同时具有理论和实验的理由相信这一假说是真的。如果你相信这一点，那么分类算法的任务是从根本上分离一堆纠结的流形。

在前面的例子中，一个类完全被另一个类包围。然而，这似乎并不可能，比如狗的图像流形完全被猫的图像流形包围。因为我们将在下一节中看到其他更合理的拓扑情况。

另一个有趣的数据集要考虑的是两个链接的tori，A和B。

就像之前的数据集，这个数据不能被分离，如果不使用n+1维，即4个维度。

链接在结点理论（knot theory)中被讨论，拓扑学的一个领域。有时，当我们看到一个链接，并不能一眼看出它是否真正相连（一堆被缠结在一起的事情，但可以通过连续变形分开）。

如果仅仅使用3个层次的神经网络就能够对其进行分类，那么它就是一个未链接（unlink）。（问：理论上是否能将所有未链接都通过只有3个层次的网络进行分类？）

从这个结的角度看，我们通过神经网络产生的连续可视化不仅仅是一个漂亮的动画，它是解开链接的程序。在拓扑学中，我们把它称为原始链接和分离环之间一个环境同痕（an ambient isotopy)。

形式上，流形A和B之间的一个环境同痕是一个连续函数F：[0，1]× X→Y，使得每个Ft是一个从X到它自己范围的同胚，F0是一个标识函数，并F1是从A到B的一个映射。也就是，Ft是从A到自身的映射到从A到B的映射的连续转换。

定理 ：在输入和网络层之间具有环境同痕，如果：

证明 ：同样，我们分别考虑网络的每个阶段：

我想这也许是十分有趣的，通过程序自动发现这样的环境同痕并自动证明某些链接的等价性，或者某些环节是可分离的。这将很有趣知道，如果神经网络是否可以各种情况。

（显然，确定结点是否重要是一个NP，这不太适用于神经网络。）

我们已经谈到的这类链接，到目前为止似乎不太可能是现实世界的数据，但他们是更高维的生成。这似乎是合理的。

链接和结点是1维流形，但我们需要4个维度才能够解开他们。类似地，可能需要更高维度的空间，以便能够解开n维流形。所有n维流形可在2n+2维度上解开。

（我对于结点理了解不多，确实需要更多地了解维度和链接。如果我们知道一个流形可以被嵌入到n维空间，而不是流形的维度，我们有什么限制？ ）

很自然的想法，一个神经网络试图直接将流形从纠结尽可能薄的部分拉出。虽然这不会在任何情况下都是一个好的解决方案，但是大多情况它可以实现较高的分类准确率，到达一个诱人的最低点（local miminum）。

它试图拉伸具有高延展性的空间，并锐化靠近中断处。我们知道这些事情发生。压缩的处罚，在对数据点衍生层的处罚，都是很自然的做法。

由于这些局部最小点对于解决这种拓扑问题完全无用，拓扑问题值得很好的探索。

在另一方面，如果我们只关心取得了良好的分类结果，好像我们可能并不关心。如果很小的一个数据流形的点陷入另一个流形，会是一个问题吗？看起来我们应该能够得到很好的分类结果，尽管有这个问题。

（我的直觉是，像这样欺骗自己是一个坏主意：这是很难想象它不会是死路一条。特别是，针对一个局部最小很重要的优化问题，选择这种方式不能真正解决问题，这似乎是糟糕的表现。）

我越思考标准的神经网络层 - 即用映射变换后逐点激活功能 - 我就越不抱幻想。很难想象，他们能够很好地操纵流形。

也许这可能是有意义的，我们采用一个非常不同的层，而不是传统的神经网络层？

非常自然的感觉是，通过一个矢量场的学习，我们希望流形移动方向：

然后再对他变形空间：

人们可以学会在固定点的矢量场（只是需要从训练集合选取一些固定点作为锚），并以某种方式介入。上面的矢量场的形式是：

![][04]
[04]: http://latex.codecogs.com/svg.latex?,F(x)= frac{v_0f_0(x)+v_1f_1(x)}{1+f_0(x)+f_1(x)}

其中，v0和v1是矢量，F0(X)和F1(X)是n维高斯函数。这一点来自于径向基函数（radial basis functions）的灵感。

我也开始觉得线性可分可能是一个巨大的，也可能不合理的，神经网络的需求。在某些方面，非常自然的会想到使用K-近邻（K-NN）。然而，K-NN的成功在很大程度上取决于它所分类的数据表示（represention），因此，人们在K-NN之前，需要一种良好的表示。

作为第一个实验中，我训练了一些MNIST网络（两层卷积网，没有下降现象）到达〜1%测试误差。然后我放弃了最后的SOFTMAX层而使用K-NN算法，我能够始终如一地降低0.1-0.2％的测试误差。

不过，这并不完全觉得是正确的事情。该网络还在试图做线性分类，但由于我们使用K-NN测试，它能够从它所犯的错误中恢复一些。

K-NN有区别于相对于它的网络层次，因为会用到（1 /距离值）加权。因此，我们可以直接训练网络K-NN分类。这可以被认为是一种“k-NN”层替SOFTMAX。

我们不希望为每个小批量数据遍历整个训练集，因为这将非常消耗计算资源。我认为一个很好的办法是根据小批次的其它元素对每个小批次的元素进行分类，赋予每一个元素（1 /从分类目标的距离）的权重。

可悲的是，即使有完善的体系结构，采用K-NN只下到5-4％检测错误 - 使用简单的架构会得到更坏的结果。不过，我已经很少把努力放在高维参数上了。

不过，我真的很喜欢这个方法，因为它好像就是我们“要求”网络运行的更加合理。我们希望在同一流形的点比其它的点更加接近，相对于由一个超平面被分离的其他流形。这相对需要拉伸不同类别流形之间的空间，同时收缩每一个流形。这感觉就像是在简化问题。

具有拓扑性质的数据，例如链接，可能导致无法使用低维网络进行线性分类，无论深度有多大。即使在技术上是可能的情况下，例如螺旋，也是非常具有挑战性的。

为了使神经网络准确的分类数据，多个层次有时是必要的 。此外，传统的神经网络层似乎并不能很好的处理流形数据；即使我们巧妙的手工设置权重，想要紧凑的表达我们想要的转换也是非常困难的。新建层次，特别使用流形相关的机器学习，可能是有用的补充。

（这是一个发展中的研究项目。相关研究信息会在网上公布。我会很高兴听听您对这些想法的反馈：您可以发表评论。对于错别字，技术错误，或任何澄清，我们鼓励你发一个请求在GitHub上。）

致谢

谢谢Yoshua Bengio，迈克尔·尼尔森，达里奥 Amodei，埃利安娜洛奇，雅各布斯坦哈特和Tamsyn Waterhouse的意见和鼓励。

㈩ 人工神经网络的知识表示形式和推理机制

神经网络有多种分类方式，例如，按网络性能可分为连续型与离散型网络，确定型与随机型网络:按网络拓扑结构可分为前向神经网络与反馈神经网络。本章土要简介前向神经网络、反馈神经网络和自组织特征映射神经网络。

前向神经网络是数据挖掘中广为应用的一种网络，其原理或算法也是很多神经网络模型的基础。径向基函数神经网络就是一种前向型神经网络。Hopfield神经网络是反馈网络的代表。Hvpfi}ld网络的原型是一个非线性动力学系统，目前，已经在联想记忆和优化计算中得到成功应用。

基本特征

非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

以上内容参考：网络-人工神经网络