神经网络抑制状态是什么意思

Ⅰ （BP进阶1）从M-P模型到BP神经网络

经过两天的研究，终于更加清晰地搞明白了所谓BP，做此记录。

M-P模型，其实就是按照生物神经元的结构和工作原理来构造出来的比较简单的模型。下图为M-P模型的示意图：

具体的推论详见 http://blog.csdn.net/u013007900/article/details/50066315
抛去繁重的公式，我们可以把这个模型理解为：
要想下一个神经元接收到信息，那么接收到的信号一定要大于某一个阙值θ才能由输出信号yj输出，该阙值由具体的神经元决定；也就是说，输入的信号总和在经过神经元后失去了阙值θ的信号以后，转化为输出信号输出。
我们假每一个输出信号x都输入一定的神经元Wij，那么该神经元共接收到的输入信号即为

这个公式不难理解，于是在神经元中失去了阙值量θ后：

经过信号转化（激活函数f(x)的作用）为输出信号：

然而神经元突触的信号类型又分为兴奋和抑制两种状态，于是，在M-P模型中，这种性质体现为权值w的正负，如果权值是负，那么输出y值就也为负，体现为抑制状态；如果权值是正，那么输出y值就也为正，体现为兴奋状态。

这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。

常用的激活函数有五种：
线性激活函数：

非线性激活函数：

在进行BP神经网络进行训练的时候，我们常用的函数是S形函数。

简单来说，感知器就是一个简单的神经网络模型，以下是感知器的拓扑结构图：

而oi表现形式为两种，1和-1，来表示兴奋和抑制。

因此，单层感知器的作用为可以使用一条直线来对输入数据进行线性分类，如果仍旧不太明白的话，可以从公式入手来进行分析：

所以可以得知，这是一个关于x1，x2的线性函数，而在图1中用于分类的红色直线，则是与函数w1j x1+w2j x2-θj=0成线性关系的函数。

到此，我们已经讲解了单层感知器的实现分类原理，引入多层分类器的原因在于，单层感知器的局限性只能区分二维平面中的线性函数，而对于多维平面，或着非线性函数来说，则无法实现分类。

可以看出，在加入了隐层以后输入层的数据不再直接经过简单的权值激活运算就直接进入输出层，而是在多层的隐层经过复杂计算后，再输入层输出，这样的计算方法，可以保证输出的o和输入信号x1，x2，不再是简单的线性关系，而其中的计算也将会随着隐层的增加而无限度地复杂化。
我们可以比较一下单层感知器和多层感知器的分类能力：

由上图可以看出，随着隐层层数的增多，凸域将可以形成任意的形状，因此可以解决任何复杂的分类问题。实际上，Kolmogorov理论指出：双隐层感知器就足以解决任何复杂的分类问题。
异或问题的解决：

在M-P模型中，我们得知，为了实现有效的分类，需要加入一定数量的隐层来加强算法的复杂性，而在隐层内部的计算我们是无法得知的，因此，我们需要进行神经网络的训练。
这样说可能有点突兀，我们不妨这样想，我们已知的是一组数据和它们相对应的分类状况，求解的是如何可以用同类的数据来得到正确的分类。
或者这样说，我们已知:
x1=2,x2=3时，y=5，x1=4,x2=5时，y=9，那么，求解x1=8,x2=0时，y的值，这样是不是好理解很多？
总之，我们需要的是一个可以满足当前条件的“公式”，让它可以计算出更多的数据，这在我们的小学数学里叫做解算式，在这里就可以叫做训练。
我们需要知道这些数据在隐层里是经过怎样的计算，才得到了输出结果，于是，我们需要先进性数据的训练，然后再根据现有未知结果的数据套进去，得到预期结果。
而我们在这里，得出的所谓隐层结构的计算，就是需要训练出的“公式”。
具体的BP训练方式下次更新。

Ⅱ 神经网络专业术语基本介绍

1. 卷积层

    （1）作用：提取图像特征，也称作“特征训练分类器”。

2. 池化层

    （1）作用：采样，减小图像尺寸，减少训练参数，减轻模型过拟合程度。

    （2）Max-Pooling和Mean-Pooling两种

    （3）重叠池化（Overlapping Pooling）：strides < ksize

3. 激活函数

    （1）作用：将卷积后得到的值限制在指定范围内。

    （2）函数形式

        （a）sigmoid：f(x)=1/(1+exp(-x))    值域为(0,1)

        （b）tanh:  f(x)=[exp(2x)-1]/[exp(2x)+1]  值域为(-1,1)

          (c)   近似生物神经激活函数 ReLU（Rectified Linear Units）:  f(x)=max(0,x)  值域为[0,∞)

        （d）近似生物神经激活函数Softplus：f(x)=log[1+exp(x)]

    （3）后面两个函数对比Sigmoid函数好在三点： ①单侧抑制 ②相对宽阔的兴奋边界 ③稀疏激活性 （重点，可以看到红框里前端状态完全没有激活）

4.局部响应归一化（LRN:Local Response Normalization）

    （1）作用：激活的神经单元会抑制临近神经元。

5. DropOut

    （1）作用：以一定的概率暂时丢弃神经元，使其不参与前向传播与反向传播，可减轻过拟合，加快计算速度，减少参数。

    （2）工作特点：dropout在训练时会随机将部分节点的输出改为0。

    （3）工作方式：dropout一般只在全连接层而不再卷积或池化层使用。

AlexNet与LeNet除了层数之外设计不同的是，AlexNet还运用ReLU激活函数，局部反应归一化，重叠池化（overlapping Pooling）

6.  知识拓展

    （1）Top-5错误率

        对一个图片，如果分类概率前五中包含正确答案，才认为正确。

    （2）Top-1错误率

        对一个图片，如果分类概率最大的是正确答案，才认为正确。

7. 泛化能力

    深度神经网络往往带有大量的参数，但依然表现出很强的泛化能力（指训练好的模型在未见过的数据上的表现）。

    泛化能力：指训练好的模型在未见过的数据上的表现能力。良好泛化能力的网络在输入数据与训练数据稍有不同时也能得到比较好的结果

8.  正则化

    （1）定义：深度学习中用以减小测试误差，但可能会增加训练误差的策略称为正则化。

    （2）作用：避免过拟合

    （3）方式：正则化项加在了成本函数中，而且只在全连接层的权重需要加入正则化

        （a）L1正则项

                α||w||即为L1正则化项

        （b）L2正则项

        （c）目前许多正规化方法，如神经网络、线性回归、logistic回归通过在目标函数J上加一个参数规范惩罚项 Ω(θ)公式如下:

9.  过拟合

    （1）定义：指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。 

    （2）具体表现：最终模型在训练集上效果好，但是在测试集上效果差，模型泛化能力弱。

    （3）解决原因：我们无法穷尽所有状态，不可能将所有情况都包含在训练集上

    （4）解决办法：

        （a） 获取更多数据。①数据增强；②采集更多数据；

        （b） 使用合适的模型

            （一）网络结构 Architecture

            （二）训练时间 Early stopping

            （三）限制权值 Weight-decay，也叫正则化（regularization）

            （四）增加噪声 Noise。在输入中加噪声；在权值上加噪声；对网络的响应加噪声

        （c） 结合多种模型

            （一）Bagging

            （二）Boosting

            （三）Dropout

        （d） 贝叶斯方法

10.  Softmax函数

    （1）定义：在 数学 ，尤其是 概率论 和相关领域中， Softmax函数 ，或称 归一化指数函数 ，是 逻辑函数 的一种推广。它能将一个含任意实数的K维的向量 Z  “压缩”到另一个K维实向量 f( Z ） 中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数的形式通常按下面的式子给出:

    （2）通俗的讲解：

参考：

[1]  星小环的AI读书会—深度学习系列08经典卷积神经网络LeNet&AlexNet,https://zhuanlan.hu.com/p/31435647

[2]   深度学习：正则化 ,http://shartoo.github.io/regularization-deeplearning/

[3]   ReLu(Rectified Linear Units)激活函数 ,http://www.cnblogs.com/neopenx/p/4453161.html

[4]  机器学习中用来防止过拟合的方法有哪些？https://www.hu.com/question/59201590

Ⅲ 神经网络 的四个基本属性是什么

神经网络 的四个基本属性：

（1）非线性：非线性是自然界的普遍特征。脑智能是一种非线性现象。人工神经元处于两种不同的激活或抑制状态，它们在数学上是非线性的。由阈值神经元组成的网络具有更好的性能，可以提高网络的容错性和存储容量。

（2）无限制性：神经网络通常由多个连接广泛的神经元组成。一个系统的整体行为不仅取决于单个神经元的特性，而且还取决于单元之间的相互作用和互连。通过单元之间的大量连接来模拟大脑的非限制性。联想记忆是一个典型的无限制的例子。

（3）非常定性：人工神经网络具有自适应、自组织和自学习的能力。神经网络处理的信息不仅会发生变化，而且非线性动态系统本身也在发生变化。迭代过程通常用来描述动态系统的演化。

（4）非凸性：在一定条件下，系统的演化方向取决于特定的状态函数。例如，能量函数的极值对应于系统的相对稳定状态。非凸性是指函数具有多个极值，系统具有多个稳定平衡态，从而导致系统演化的多样性。

(3)神经网络抑制状态是什么意思扩展阅读：

神经网络的特点优点：

人工神经网络的特点和优越性，主要表现在三个方面：

第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。

第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

Ⅳ 人工神经网络综述

文章主要分为：
一、人工神经网络的概念；
二、人工神经网络的发展历史；
三、人工神经网络的特点；
四、人工神经网络的结构。
。。

人工神经网络（Artificial Neural Network，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。

神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激活函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型相结合，借助数学统计工具来实现。另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。

神经网络，是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术。

在介绍神经网络的发展历史之前，首先介绍一下神经网络的概念。神经网络主要是指一种仿造人脑设计的简化的计算模型，这种模型中包含了大量的用于计算的神经元，这些神经元之间会通过一些带有权重的连边以一种层次化的方式组织在一起。每一层的神经元之间可以进行大规模的并行计算，层与层之间进行消息的传递。

下图展示了整个神经网络的发展历程：

神经网络的发展有悠久的历史。其发展过程大致可以概括为如下4个阶段。

(1)、M-P神经网络模型：20世纪40年代，人们就开始了对神经网络的研究。1943 年，美国心理学家麦克洛奇（Mcculloch）和数学家皮兹（Pitts）提出了M-P模型，此模型比较简单，但是意义重大。在模型中，通过把神经元看作个功能逻辑器件来实现算法，从此开创了神经网络模型的理论研究。
(2)、Hebb规则：1949 年，心理学家赫布（Hebb）出版了《The Organization of Behavior》（行为组织学），他在书中提出了突触连接强度可变的假设。这个假设认为学习过程最终发生在神经元之间的突触部位，突触的连接强度随之突触前后神经元的活动而变化。这一假设发展成为后来神经网络中非常着名的Hebb规则。这一法则告诉人们，神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。
(3)、感知器模型：1957 年，罗森勃拉特（Rosenblatt）以M-P 模型为基础，提出了感知器（Perceptron）模型。感知器模型具有现代神经网络的基本原则，并且它的结构非常符合神经生理学。这是一个具有连续可调权值矢量的MP神经网络模型，经过训练可以达到对一定的输入矢量模式进行分类和识别的目的，它虽然比较简单，却是第一个真正意义上的神经网络。Rosenblatt 证明了两层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。Rosenblatt 的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突破。
(4)、ADALINE网络模型： 1959年，美国着名工程师威德罗（B.Widrow）和霍夫（M.Hoff）等人提出了自适应线性元件(Adaptive linear element，简称Adaline)和Widrow-Hoff学习规则（又称最小均方差算法或称δ规则）的神经网络训练方法，并将其应用于实际工程，成为第一个用于解决实际问题的人工神经网络，促进了神经网络的研究应用和发展。ADALINE网络模型是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。

人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于1969年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。这一论断给当时人工神经元网络的研究带来沉重的打击。开始了神经网络发展史上长达10年的低潮期。
(1)、自组织神经网络SOM模型：1972年，芬兰的KohonenT.教授，提出了自组织神经网络SOM(Self-Organizing feature map)。后来的神经网络主要是根据KohonenT.的工作来实现的。SOM网络是一类无导师学习网络，主要用于模式识别﹑语音识别及分类问题。它采用一种“胜者为王”的竞争学习算法，与先前提出的感知器有很大的不同，同时它的学习训练方式是无指导训练，是一种自组织网络。这种学习训练方式往往是在不知道有哪些分类类型存在时，用作提取分类信息的一种训练。
(2)、自适应共振理论ART：1976年，美国Grossberg教授提出了着名的自适应共振理论ART(Adaptive Resonance Theory)，其学习过程具有自组织和自稳定的特征。

(1)、Hopfield模型：1982年，美国物理学家霍普菲尔德（Hopfield）提出了一种离散神经网络，即离散Hopfield网络，从而有力地推动了神经网络的研究。在网络中，它首次将李雅普诺夫（Lyapunov）函数引入其中，后来的研究学者也将Lyapunov函数称为能量函数。证明了网络的稳定性。1984年，Hopfield 又提出了一种连续神经网络，将网络中神经元的激活函数由离散型改为连续型。1985 年，Hopfield和Tank利用Hopfield神经网络解决了着名的旅行推销商问题（Travelling Salesman Problem）。Hopfield神经网络是一组非线性微分方程。Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括，提出了动力方程和学习方程，还对网络算法提供了重要公式和参数，使人工神经网络的构造和学习有了理论指导，在Hopfield模型的影响下，大量学者又激发起研究神经网络的热情，积极投身于这一学术领域中。因为Hopfield 神经网络在众多方面具有巨大潜力，所以人们对神经网络的研究十分地重视，更多的人开始了研究神经网络，极大地推动了神经网络的发展。
(2)、Boltzmann机模型：1983年，Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解，这种模拟高温物体退火过程来找寻全局最优解的方法最早由Metropli等人1953年提出的。1984年，Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机，并明确提出隐单元的概念，这种学习机后来被称为Boltzmann机。
Hinton和Sejnowsky利用统计物理学的感念和方法，首次提出的多层网络的学习算法，称为Boltzmann 机模型。
(3)、BP神经网络模型：1986年，儒默哈特（D.E.Ru melhart）等人在多层神经网络模型的基础上，提出了多层神经网络权值修正的反向传播学习算法----BP算法（Error Back-Propagation），解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。
(4)、并行分布处理理论：1986年，由Rumelhart和McCkekkand主编的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，该书中，他们建立了并行分布处理理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。可以求解感知机所不能解决的问题，回答了《Perceptrons》一书中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力。
(5)、细胞神经网络模型：1988年，Chua和Yang提出了细胞神经网络（CNN）模型，它是一个细胞自动机特性的大规模非线性计算机仿真系统。Kosko建立了双向联想存储模型（BAM），它具有非监督学习能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初产生了很大的影响，他建立了一种神经网络系统理论。
(7)、1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。
(8)、1988年，Broomhead和Lowe用径向基函数(Radialbasis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。
(9)、1991年，Haken把协同引入神经网络，在他的理论框架中，他认为，认知过程是自发的，并断言模式识别过程即是模式形成过程。
(10)、1994年，廖晓昕关于细胞神经网络的数学理论与基础的提出，带来了这个领域新的进展。通过拓广神经网络的激活函数类，给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络（HNN）、双向联想记忆网络（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量机(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。
经过多年的发展，已有上百种的神经网络模型被提出。

深度学习(Deep Learning,DL)由Hinton等人于2006年提出，是机器学习的一个新领域。深度学习本质上是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量更具代表性的特征信息。深度学习算法打破了传统神经网络对层数的限制，可根据设计者需要选择网络层数。

突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。
大脑可视作为1000多亿神经元组成的神经网络。神经元的信息传递和处理是一种电化学活动．树突由于电化学作用接受外界的刺激，通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元．从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程。
神经元的功能特性：（1）时空整合功能；（2）神经元的动态极化性；（3）兴奋与抑制状态；（4）结构的可塑性；（5）脉冲与电位信号的转换；（6）突触延期和不应期；（7）学习、遗忘和疲劳。

神经网络从两个方面模拟大脑：
(1)、神经网络获取的知识是从外界环境中学习得来的。
(2)、内部神经元的连接强度，即突触权值，用于储存获取的知识。
神经网络系统由能够处理人类大脑不同部分之间信息传递的由大量神经元连接形成的拓扑结构组成，依赖于这些庞大的神经元数目和它们之间的联系，人类的大脑能够收到输入的信息的刺激由分布式并行处理的神经元相互连接进行非线性映射处理，从而实现复杂的信息处理和推理任务。
对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi, i=0,1,…,n-1,处理单元的内部阈值为θ。那么本处理单元（神经元）的输入为：

，而处理单元的输出为：

式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联权重即神经元连接权值。f称为激活函数或作用函数，它决定节点（神经元）的输出。θ表示隐含层神经节点的阈值。

神经网络的主要工作是建立模型和确定权值，一般有前向型和反馈型两种网络结构。通常神经网络的学习和训练需要一组输入数据和输出数据对，选择网络模型和传递、训练函数后，神经网络计算得到输出结果，根据实际输出和期望输出之间的误差进行权值的修正，在网络进行判断的时候就只有输入数据而没有预期的输出结果。神经网络一个相当重要的能力是其网络能通过它的神经元权值和阈值的不断调整从环境中进行学习，直到网络的输出误差达到预期的结果，就认为网络训练结束。

对于这样一种多输入、单输出的基本单元可以进一步从生物化学、电生物学、数学等方面给出描述其功能的模型。利用大量神经元相互连接组成的人工神经网络，将显示出人脑的若干特征，人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重wij值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以至超过设计者原有的知识水平。通常，它的学习(或训练)方式可分为两种，一种是有监督(supervised)或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督(unsupervised)学习或称无导师学习，这时，只规定学习方式或某些规则，而具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似于人脑的功能。
在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即神经元激活函数、神经元之间的连接形式和网络的学习(训练)。

Ⅳ 科学小知识！

鸟怎样睡觉的

白天，鸟儿们在枝头穿梭呜叫，在蓝天下自由飞翔，到了晚上，它们和我们人一样也要休息、睡觉，恢复体力，不过它们睡觉的姿势可是各不相同哦!

美丽的绿头鸭和天鹅们，白天在水中捕食、戏耍，夜晚休息时也离不开它们最爱的水面。它们把优美的长脖子弯曲着，将头埋在翅膀里，然后让自己漂浮在水面上，一边做着美梦，一边随波逐流，好不悠闲。

鹤、鹳、鹭等长腿鸟总是单脚独立而睡，累了再换另一只脚，是劳逸结合的典范。

鹧鸪休息时喜欢成群围成一个大圈，然后一律头朝外尾向内。这样，不管敌人从哪个方向袭来，它们都能及时发现并逃走。

画眉、百灵等叫声悦耳的小鸟，睡觉时通常弯下两腿，爪子则弯曲起来牢牢地抓住枝条，所以不用担心它们会从树上摔下来。

而猫头鹰这种“值夜班”的猛禽，你总能在白天看见它睁一只眼，闭一只眼，站立在浓密的树枝上，其实这时它正在睡觉呢。猫头鹰的睡觉姿势是不是很另类啊，它这样可是为了时刻监视周围环境防备着敌人的袭击哦!
=================================
鱼也会溺死吗

鱼有鳃，可以在水中呼吸，鱼有鳔，可以在水中自由地沉浮。可是，有人说生活在水中的鱼也会溺死，这是真的吗?
虽然这听起来很荒谬，但却是事实。鱼鳔是鱼游泳时的“救生圈”，它可以通过充气和放气来调节鱼体的比重。这样，鱼在游动时只需要最小的肌肉活动，便能在水中保持不沉不浮的稳定状态。不过，当鱼下沉到一定水深(即“临界深度”)后，外界巨大的压力会使它无法再凋节鳔的体积。这时，它受到的浮力小于自身的重力，于是就不由自主地向水底沉去，再也浮不起来了，并最终因无法呼吸而溺死。虽然，鱼还可以通过摆动鳍和尾往上浮，可是如果沉得太深的话，这样做也无济于事。
另一方面，生活在深海的鱼类，由于它们的骨骼能承受很大的压力，所以它们可以在深水中自由地生活。如果我们把生活在深海中的鱼快速弄到“临界深度”以上，由于它身体内部的压力无法与外界较小的压力达到平衡，因此它就会不断地“膨胀”直至浮到水面上。有时，它甚至会把内脏吐出来，“炸裂”而死。
=============================
贪吃孩子变笨

贪吃会降低大脑的血流量
若一次进食过量或一刻不停地进食，会把人体里的大量血液，包括大脑的血液调集到胃肠道来。而充足的血供应是发育前提，如果经常处于缺血状态，其发育必然会受到影响。
贪吃会造成“肥胖脑”
吃得过饱，尤其是进食过量高营养食品，食入的热量就会大大超过消耗的热量，使热能转变成脂肪在体内蓄积。若脑组织的脂肪过多，就会引起“肥胖脑”。研究证实，人的智力与大脑沟回皱褶多少有关，大脑的沟回越明显，皱褶越多，智力水平越高。而肥胖脑使沟回紧紧靠在一起，皱褶消失，大脑皮层呈平滑样，而且神经网络的发育也差，所以，智力水平就会降低。
贪吃会抑制大脑智能区域的生理功能
人的大脑活动方式是兴奋和抑制相互诱导的，即大脑某些部位兴奋了，其相邻部位的一些区域就处于抑制状态，兴奋越加强，周围部位的抑制就越加深，反之亦然。因此，若主管胃肠道消化的植物神经中枢因贪吃过量食物而长时间兴奋，这就必然引起邻近的语言、思维、记忆、想象等大脑智能区域的抑制。这些区域如经常处于抑制状态，智力会越来越差。
贪吃会因便秘而伤害大脑
孩子的零食大多以高营养的精细食品为主，吃了容易发生便秘。便秘时，代谢产物久积于消化道，经肠道细菌作用后产生大量有害物质，容易经肠吸收，进入血液循环，刺激大脑，使脑神经细胞慢性中毒，影响脑的正常发育。
贪吃还会促使大脑早衰
科学家在一项研究中发现，一种能促使大脑早衰的物质——纤维芽细胞生长因子，会因过饱食物而于饭后增加数万倍，这是一种能促使动脉硬化的物质，因而从长远意义上讲，贪吃会使大脑过早衰老。

简单易学的科学小知识
自动旋转的奥秘
思考：装满水的纸盒为什么会转动？
材料：空的牛奶纸盒、钉子、60厘米长的绳子、水槽、水
操作：
1、用钉子在空牛奶盒上扎五个孔
2、一个孔在纸盒顶部的中间，另外四个孔在纸盒四个侧面的左下角
3、将一根大约60厘米长的绳子系在顶部的孔上
4、将纸盒放在盘子上，打开纸盒口，快速地将纸盒灌满水
5、用手提起纸盒顶部的绳子，纸盒顺时针旋转
讲解：水流产生大小相等而方向相反的力，纸盒的四个角均受到这个推力。由于这个力作用在每个侧面的左下角，所以纸盒按顺时针方向旋转
创造：
1、如果在每个侧面的中心扎孔，纸盒会怎样旋转
2、如果孔位于每个侧面的右下角的话，纸盒将向哪个方向旋转

小船与船浆
思考：看过划船吗？亲自动手划过船？知道船在水上为什么会向前移动吗？
材料：剪刀1把、纸板1块、橡皮筋1条、脸盆及水1盆
流程：
1. 剪下长约12厘米×8厘米的硬纸板
2. 一端剪成尖形为船头，另一端中央剪下约5厘米的缺口为船尾
3. 剪一块约3厘米×5厘米的纸板坐船浆
4. 用橡皮筋套在船尾处，并将船浆绑好
5. 将纸板桨逆时针转紧橡皮筋，小船向前移动
6. 若把纸板桨顺时针转紧橡皮筋，小船向后移动
说明：
1、橡皮筋扭转的方向不同，船行驶的方向也正好相反。
2、纸船运动的力量，是来自橡皮筋扭转的能量。

Ⅵ 神经控制的意思是什么是不是人白天的活动神经体现的状态是兴奋状态学名被称为（神经控制兴奋）晚上人处

不是，神经控制叫做神经网络控制，而神经抑制才是形容我们人类的神经的

Ⅶ 什么是神经网络的自抑制

1.概念：
神经网络

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经网络是： 思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。 逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

Ⅷ 一文看懂四种基本的神经网络架构

原文链接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/

更多干货就在我的个人博客 http://blackblog.tech 欢迎关注

刚刚入门神经网络，往往会对众多的神经网络架构感到困惑，神经网络看起来复杂多样，但是这么多架构无非也就是三类，前馈神经网络，循环网络，对称连接网络，本文将介绍四种常见的神经网络，分别是CNN，RNN，DBN，GAN。通过这四种基本的神经网络架构，我们来对神经网络进行一定的了解。

神经网络是机器学习中的一种模型，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
一般来说，神经网络的架构可以分为三类：

前馈神经网络：
这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。

循环网络：
循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。
循环网络的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。
循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

对称连接网络：
对称连接网络有点像循环网络，但是单元之间的连接是对称的（它们在两个方向上权重相同）。比起循环网络，对称连接网络更容易分析。这个网络中有更多的限制，因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield 网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。

其实之前的帖子讲过一些关于感知机的内容，这里再复述一下。
首先还是这张图
这是一个M-P神经元

一个神经元有n个输入，每一个输入对应一个权值w，神经元内会对输入与权重做乘法后求和，求和的结果与偏置做差，最终将结果放入激活函数中，由激活函数给出最后的输出，输出往往是二进制的，0 状态代表抑制，1 状态代表激活。

可以把感知机看作是 n 维实例空间中的超平面决策面，对于超平面一侧的样本，感知器输出 1，对于另一侧的实例输出 0，这个决策超平面方程是 w⋅x=0。 那些可以被某一个超平面分割的正反样例集合称为线性可分(linearly separable)样例集合，它们就可以使用图中的感知机表示。
与、或、非问题都是线性可分的问题，使用一个有两输入的感知机能容易地表示，而异或并不是一个线性可分的问题，所以使用单层感知机是不行的，这时候就要使用多层感知机来解决疑惑问题了。

如果我们要训练一个感知机，应该怎么办呢？
我们会从随机的权值开始，反复地应用这个感知机到每个训练样例，只要它误分类样例就修改感知机的权值。重复这个过程，直到感知机正确分类所有的样例。每一步根据感知机训练法则来修改权值，也就是修改与输入 xi 对应的权 wi，法则如下：

这里 t 是当前训练样例的目标输出，o 是感知机的输出，η 是一个正的常数称为学习速率。学习速率的作用是缓和每一步调整权的程度，它通常被设为一个小的数值（例如 0.1），而且有时会使其随着权调整次数的增加而衰减。

多层感知机，或者说是多层神经网络无非就是在输入层与输出层之间加了多个隐藏层而已，后续的CNN，DBN等神经网络只不过是将重新设计了每一层的类型。感知机可以说是神经网络的基础，后续更为复杂的神经网络都离不开最简单的感知机的模型，

谈到机器学习，我们往往还会跟上一个词语，叫做模式识别，但是真实环境中的模式识别往往会出现各种问题。比如：
图像分割：真实场景中总是掺杂着其它物体。很难判断哪些部分属于同一个对象。对象的某些部分可以隐藏在其他对象的后面。
物体光照：像素的强度被光照强烈影响。
图像变形：物体可以以各种非仿射方式变形。例如，手写也可以有一个大的圆圈或只是一个尖头。
情景支持：物体所属类别通常由它们的使用方式来定义。例如，椅子是为了让人们坐在上面而设计的，因此它们具有各种各样的物理形状。
卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征平面(featureMap)，每个特征平面由一些矩形排列的的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。
卷积神经网络由三部分构成。第一部分是输入层。第二部分由n个卷积层和池化层的组合组成。第三部分由一个全连结的多层感知机分类器构成。
这里举AlexNet为例：

·输入：224×224大小的图片，3通道
·第一层卷积：11×11大小的卷积核96个，每个GPU上48个。
·第一层max-pooling：2×2的核。
·第二层卷积：5×5卷积核256个，每个GPU上128个。
·第二层max-pooling：2×2的核。
·第三层卷积：与上一层是全连接，3*3的卷积核384个。分到两个GPU上个192个。
·第四层卷积：3×3的卷积核384个，两个GPU各192个。该层与上一层连接没有经过pooling层。
·第五层卷积：3×3的卷积核256个，两个GPU上个128个。
·第五层max-pooling：2×2的核。
·第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入。
·第二层全连接：4096维
·Softmax层：输出为1000，输出的每一维都是图片属于该类别的概率。

卷积神经网络在模式识别领域有着重要应用，当然这里只是对卷积神经网络做了最简单的讲解，卷积神经网络中仍然有很多知识，比如局部感受野，权值共享，多卷积核等内容，后续有机会再进行讲解。

传统的神经网络对于很多问题难以处理，比如你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNN能够对任何长度的序列数据进行处理。
这是一个简单的RNN的结构，可以看到隐藏层自己是可以跟自己进行连接的。

那么RNN为什么隐藏层能够看到上一刻的隐藏层的输出呢，其实我们把这个网络展开来开就很清晰了。

从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 W。
如果反复把式2带入到式1，我们将得到：

在讲DBN之前，我们需要对DBN的基本组成单位有一定的了解，那就是RBM，受限玻尔兹曼机。
首先什么是玻尔兹曼机？
[图片上传失败...(image-d36b31-1519636788074)]
如图所示为一个玻尔兹曼机，其蓝色节点为隐层，白色节点为输入层。
玻尔兹曼机和递归神经网络相比，区别体现在以下几点：
1、递归神经网络本质是学习一个函数，因此有输入和输出层的概念，而玻尔兹曼机的用处在于学习一组数据的“内在表示”，因此其没有输出层的概念。
2、递归神经网络各节点链接为有向环，而玻尔兹曼机各节点连接成无向完全图。

而受限玻尔兹曼机是什么呢？
最简单的来说就是加入了限制，这个限制就是将完全图变成了二分图。即由一个显层和一个隐层构成，显层与隐层的神经元之间为双向全连接。

h表示隐藏层，v表示显层
在RBM中，任意两个相连的神经元之间有一个权值w表示其连接强度，每个神经元自身有一个偏置系数b（对显层神经元）和c（对隐层神经元）来表示其自身权重。
具体的公式推导在这里就不展示了

DBN是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。
DBN由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。

生成对抗网络其实在之前的帖子中做过讲解，这里在说明一下。
生成对抗网络的目标在于生成，我们传统的网络结构往往都是判别模型，即判断一个样本的真实性。而生成模型能够根据所提供的样本生成类似的新样本，注意这些样本是由计算机学习而来的。
GAN一般由两个网络组成，生成模型网络，判别模型网络。
生成模型 G 捕捉样本数据的分布，用服从某一分布（均匀分布，高斯分布等）的噪声 z 生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型 D 是一个二分类器，估计一个样本来自于训练数据（而非生成数据）的概率，如果样本来自于真实的训练数据，D 输出大概率，否则，D 输出小概率。
举个例子：生成网络 G 好比假币制造团伙，专门制造假币，判别网络 D 好比警察，专门检测使用的货币是真币还是假币，G 的目标是想方设法生成和真币一样的货币，使得 D 判别不出来，D 的目标是想方设法检测出来 G 生成的假币。
传统的判别网络：

生成对抗网络：

下面展示一个cDCGAN的例子（前面帖子中写过的）
生成网络

判别网络

最终结果，使用MNIST作为初始样本，通过学习后生成的数字，可以看到学习的效果还是不错的。

本文非常简单的介绍了四种神经网络的架构，CNN，RNN，DBN，GAN。当然也仅仅是简单的介绍，并没有深层次讲解其内涵。这四种神经网络的架构十分常见，应用也十分广泛。当然关于神经网络的知识，不可能几篇帖子就讲解完，这里知识讲解一些基础知识，帮助大家快速入（zhuang）门（bi）。后面的帖子将对深度自动编码器，Hopfield 网络长短期记忆网络（LSTM）进行讲解。

Ⅸ 人工神经网络概述（更新中）

智能： 从感觉到记忆再到思维的过程称为“智慧”，智慧的结果是语言和行为。行为和语言予以表达称为“能力”。智慧和能力的总称为“智能”。感觉、记忆、思维、行为、语言的过程称为“智能过程”。

人工智能： 人工构建的智能系统。

人工智能是研究和开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用的技术学科，其主要研究内容可以归纳为以下四个方面。

人工神经网络是基于生物神经元网络机制提出的一种计算结构，是生物神经网络的某种模拟、简化和抽象。神经元是这一网络的“节点”，即“处理单元”。

人工神经网络可用于逼近非线性映射、分类识别、优化计算以及知识挖掘。近年来，人工神经网络在模式识别、信号处理、控制工程和优化计算领域得到了广泛的应用。

M-P模型由心理学家McCulloch和数学家W. Pitts在1943年提出。

M-P模型结构是一个多输入、单输出的非线性元件。其I/O关系可推述为

其中， 表示从其他神经元传来的输入信号; 表示从神经元 到神经元 的连接权值; 表示阈值; 表示激励函数或转移函数; 表示神经元 的输出信号。

作为一种最基本的神经元数学模型，M-P模型包括了加权、求和和激励（转移）三部分功能。

神经元的数据模型主要区别于采用了不同的激励函数。

概率型函数的输入和输出之间的关系是不确定的。分布律如下

其中， 被称为温度参数。

感知机（Perceptron）是美国学者Rosenblatt于1957年提出的一种用于模式分类的神经网络模型。

M-P模型通常叫做单输出的感知机。按照M-P模型的要求，该人工神经元的激活函数为阶跃函数。为了方便表示，M-P模型表示为下图所示的结构。

用多个这样的单输入感知机可以构成一个多输出的感知机，其结构如下

对于二维平面，当输入/输出为 线性可分 集合时，一定可以找到一条直线将模式分成两类。此时感知机的结构图3所示，显然通过调整感知机的权值及阈值可以修改两类模式的分界线:

线性可分： 这里的线性可分是指两类样本可以用直线、平面或超平面分开，否则称为线性不可分。

感知机的基本功能是对外部信号进行感知和识别，这就是当外部 个刺激信号或来自其它 个神经元（的信号）处于一定的状态时，感知机就处于兴奋状态，而外部 个信号或 个神经元的输出处于另一个状态时，感知机就呈现抑制状态。

如果 、 是 中两个互不相交的集合，且有如下方程成立

则称集合 为感知机的 学习目标 。根据感知机模型，学习算法实际上是要寻找权重 、 满足下述要求：

感知机的训练过程是感知机权值的逐步调整过程，为此，用 表示每一次调整的序号。 对应于学习开始前的初始状态，此时对应的权值为初始化值。

Ⅹ 第五章 神经网络

神经网络 ：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分便是 神经元模型 。
M-P神经元模型：

感知机由两层神经元组成，分别为输入层、输出层。

以下是具体过程：

多层神经网络的拓扑结构如图：

如上图可知，多层网络由输入层、隐含层和输出层组成，顶层是输出层，底层是输入层，中间的便是隐含层。隐含层与输出层都具有功能神经元。
多层前馈神经网络的结构需要满足：
1、每层神经元必须与下一层完全互连
2、神经元之间不存在同层连接
3、神经元不可跨层连接

只需包含一个足够多神经元的隐层，就能以任意精度逼近任意复杂度的连续函数

BP神经网络由于学习能力太强大比较荣誉造成过拟合问题，故有两种策略来减缓过拟合的问题：
1、早停：将数据分成训练集和验证集，训练集学习，验证集评估性能，在训练过程中，若训练集的累积误差降低，而验证集的累积误差提高，则终止训练；
2、引入正则化：其基本思想是在误差目标函数中增加一个用于描述网络复杂程度的部分，有如连接权和阈值的平方和：

其中λ∈（0,1）用于对累积经验误差与网络复杂度这两项进行折中，常通过交叉验证法来估计。

神经网络的训练过程可看作一个参数寻优的过程，即寻找到适当的参数使得E最小。于是我们时常会谈及“全局最小”和“局部最小”。
1、全局最小：即全局最小解，在参数空间中，所有其他点的误差函数值均大于该点；
2、局部最小：即局部最小解，在参数空间中，其邻近的点的误差函数值均大于该点。

我们要达到局部极小点，很容易，只要满足梯度为零的点便是了，局部极小点可以有多个，但全局最小点只有一个。显然，我们追求的是全局最小，而非局部极小，于是人们通常采用以下策略来试图“跳出”局部极小，使其接近全局最小：
1、以多组不同参数值初始化多个神经网络，按标准方法训练，在迭代停止后，取其中误差最小的解作为最终参数；
2、使用随机梯度下降（在计算梯度时加入了随机因素），使得在局部最小时，计算的梯度仍可能不为0，从而可能跳出局部极小，继续进行迭代；
3、“模拟退火”技术，在每一步都以一定的概率接受比当前解更差的结果，但接受“次优解”的概率要随着迭代进行，时间推移而逐渐减低以确保算法的稳定。

1、RBF网络
单隐层前馈神经网络 ，使用径向基函数作为隐层神经元激活函数，输出层是对隐层神经元输出的线性组合。RBF网络可表示为：

2、ART网络
竞争型学习 （神经网络中一种常用的 无监督学习 策略）,由 比较层、识别层、识别阈值和重置模块 组成。接收到比较层的输入信号后，识别层神经元相互竞争以产生获胜神经元，最简单的方式就是计算输入向量与每个识别层神经元所对应的模式类代表向量间的距离，距离小者获胜。若获胜神经元对应的代表向量与输入向量间 相似度大于识别阈值 ，则将输入样本归为该代表向量所属类别，网络 连接权 也会进行 更新 以保证后面接收到相似的输入样本时该模式类会计算出更大的相似度，使得这样的样本能够归于一类；如果 相似度不大于识别阈值 ，则 重置模块 会在 识别层 加一个神经元，其 代表向量 就 设置 为当前 输入向量 。
3、SOM网络
竞争型学习的无监督神经网络 ，将高维输入数据映射到低维空间（通常是二维），且保持输入数据在高维空间的拓扑结构。
4、级联相关网络
结构自适应网络 。

5、Elman网络
递归神经网络 。

6、Boltzmann机
基于能量的模型，其神经元分为显层与隐层，显层用于数据输入输出，隐层被理解为数据的内在表达。其神经元皆为布尔型，1为激活，0为抑制。

理论上，参数越多的模型其复杂程度越高，能完成更加复杂的学习任务。但是复杂模型的训练效率低下，容易过拟合。但由于大数据时代、云计算，计算能力大幅提升缓解了训练效率低下，而训练数据的增加则可以降低过拟合风险。
于是如何增加模型的复杂程度呢？
1、增加隐层数；
2、增加隐层神经元数.
如何有效训练多隐层神经网络？
1、无监督逐层训练：每次训练一层隐节点，把上一层隐节点的输出当作输入来训练，本层隐结点训练好后，输出再作为下一层的输入来训练，这称为预训练，全部预训练完成后，再对整个网络进行微调。“预训练+微调”即把大量的参数进行分组，先找出每组较好的设置，再基于这些局部最优的结果来训练全局最优；
2、权共享：令同一层神经元使用完全相同的连接权，典型的例子是卷积神经网络。这样做可以大大减少需要训练的参数数目。

深度学习 可理解为一种特征学习或者表示学习，是通过 多层处理 ，逐渐将初始的 低层特征表示 转化为 高层特征表示 后，用 简单模型 即可完成复杂的分类等 学习任务 。