神经网络全链接层权值共享

1. 哪些神经网络结构会发生权重共享

说的确定应该就是训练方法吧，神经网络的权值不是人工给定的。而是用训练集（包括输入和输出）训练，用训练集训练一遍称为一个epoch，一般要许多epoch才行，目的是使得目标与训练结果的误差(一般采用均方误差）小到一个给定的阈值。以上所说是有监督的学习方法，还有无监督的学习方法。

2. 如何理解人工智能神经网络中的权值共享问题

权值(权重)共享这个词是由LeNet5模型提出来的。以CNN为例，在对一张图偏进行卷积的过程中，使用的是同一个卷积核的参数。比如一个3×3×1的卷积核，这个卷积核内9个的参数被整张图共享，而不会因为图像内位置的不同而改变卷积核内的权系数。说的再直白一些，就是用一个卷积核不改变其内权系数的情况下卷积处理整张图片(当然CNN中每一层不会只有一个卷积核的，这样说只是为了方便解释而已)。

3. 深度学习是怎么识别人脸的

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。

卷积神经网络(CNN)

局部连接

传统的神经网络是全连接，即一层的神经元与上一层的所有神经元都建立连接，这样导致参数非常多，计算量非常大，而CNN是局部连接，一层的神经元只与上一层的部分神经元建立连接，这样可以减少参数和计算量。

Technology-MachineLearning-FaceRegonition-CNN-LocalConnected

权值共享

给一张输入图片，用一个filter去扫时，filter里面的数就叫权重。用该filter对整个图片进行了某个特征的扫描，例如Edge detection，这个过程就是权值共享，因为权重不变。

Technology-MachineLearning-FaceRegonition-CNN-WeightSharing

人脸识别

多个CNN加其他层，遍历而成的人脸识别处理结构：

Technology-MachineLearning-FaceRegonition-CNN-Example

层提取到的信息的演进：

Technology-MachineLearning-FaceRegonition-CNN-Example2

人脸检测

传统算法

识别:滑动窗口+分类器

用一个固定大小的窗口去滑动扫描图像，并通过分类器去分辨是否是人脸。有时候人脸在图片中过小，所以还要通过放大图片来扫描。

Technology-MachineLearning-FaceRegonition-Window&Classifier

训练:特征+Adaboost

传统特征:LBP/HOG/Harr

图片原始的RGB信息，维度太高，计算量过大，且不具备鲁棒性，即光照和旋转，对RGB信息影响非常大。

利用LBP得到二进制值，再转换成十进制:

Technology-MachineLearning-FaceRegonition-LBP

效果图：

Technology-MachineLearning-FaceRegonition-LBP-Example

Adaboost

由于移动设备对计算速度有一定要求，所以用多个弱分类器加权叠加来完成一个强分类器，从而保证速度。

Technology-MachineLearning-FaceRegonition-Adaboost

深度学习

特征的选取是比较复杂的，可能需要大量的统计学和生物学知识积累，而深度学习不需要选择特征，这是其很大优势，另外通过GPU代替CPU等方式，可以得到一个更好的效果。

Technology-MachineLearning-FaceRegonition-DeepLeaning-Example

关键点检测、跟踪

传统算法

Cascade regression/ESR/SDM

传统算法步骤：

根据人脸检测的框位置，先初始化初始脸部轮廓位置;

进行上一步位置和图形特征检测下一步位置(一般是迭代残差);

进行迭代，最终得到相对准确的轮廓位置。

Technology-MachineLearning-FaceRegonition-KeyPoints

深度学习

深度学习算法步骤：

对图像进行轮廓定位态校正;

全局粗定位;

局部精细定位。

作者：YI_LIN
来源：简书

4. CNN卷积神经网络结构有哪些特点

局部连接，权值共享，池化操作，多层次结构。
1、局部连接使网络可以提取数据的局部特征；

2、权值共享大大降低了网络的训练难度，一个Filter只提取一个特征，在整个图片(或者语音/文本) 中进行卷积；

3、池化操作与多层次结构一起，实现了数据的降维，将低层次的局部特征组合成为较高层次的特征，从而对整个图片进行表示。

5. 如何理解卷积神经网络中的权值共享

所谓的权值共享就是说，给一张输入图片，用一个filter去扫这张图，filter里面的数就叫权重，这张图每个位置是被同样的filter扫的，所以权重是一样的，也就是共享。 这么说可能还不太明白，如果你能理解什么叫全连接神经网络的话，那么从一个尽量减少参数个数的角度去理解就可以了。 对于一张输入图片，大小为W*H，如果使用全连接网络，生成一张X*Y的feature map，需要W*H*X*Y个参数，如果原图长宽是10^2级别的，而且XY大小和WH差不多的话，那么这样一层网络需要的参数个数是10^8~10^12级别。 这么多参数肯定是不行的，那么我们就想办法减少参数的个数对于输出层feature map上的每一个像素，他与原图片的每一个像素都有连接，每一个链接都需要一个参数。但注意到图像一般都是局部相关的，那么如果输出层的每一个像素只和输入层图片的一个局部相连，那么需要参数的个数就会大大减少。假设输出层每个像素只与输入图片上F*F的一个小方块有连接，也就是说输出层的这个像素值，只是通过原图的这个F*F的小方形中的像素值计算而来，那么对于输出层的每个像素，需要的参数个数就从原来的W*H减小到了F*F。如果对于原图片的每一个F*F的方框都需要计算这样一个输出值，那么需要的参数只是W*H*F*F，如果原图长宽是10^2级别，而F在10以内的话，那么需要的参数的个数只有10^5~10^6级别，相比于原来的10^8~10^12小了很多很多。

6. 谁能科普一下“深度学习”网络和以前那种“多层神经网络”的区别

多层神经网络又叫全连接神经网络。当输入图像为1000*1000的分辨率时，神经网络一层的系数就达到10^12。系数过多引起收敛问题导致训练无法达到最优，并且容易过拟合。让它不具有实现意义。

深度学习采用权值共享和局部连接等技术，大大降低了系数的个数和各种避免过拟合的方法，使得网络层数可以达到数百，使得深层网络成为可能。

感兴趣可以搜搜我的课程，用Python做深度学习1——数学基础

7. 研究人工神经网络的权值分布有什么意义

神经网络一般都是非常庞大的，每个边对应一个权值，如果权值不共享的话，数据量就更大了，但是为了提高效率，引入了权值共享，但是还不够，想再次提高效率和精确度，进行主成分分析，把一些重要的权重保留，不重要的舍弃，你这个权值分布就很有意义了，比如权重是5的权值在概率上占到了百分之95，或者说主成分分析的结果前2类权重就占据了百分之80，那么剩下的权值就可以省略，当然这都是理论上的

8. 卷积神经网络权值共享怎么体现的

• 用局部连接而不是全连接，同时权值共享。

局部连接的概念参考局部感受域，即某个视神经元仅考虑某一个小区域的视觉输入，因此相比普通神经网络的全连接层（下一层的某一个神经元需要与前一层的所有节点连接），卷积网络的某一个卷积层的所有节点只负责前层输入的某一个区域（比如某个3*3的方块）。这样一来需要训练的权值数相比全连接而言会大大减少，进而减小对样本空间大小的需求。
权值共享的概念就是，某一隐藏层的所有神经元共用一组权值。
这两个概念对应卷积层的话，恰好就是某个固定的卷积核。卷积核在图像上滑动时每处在一个位置分别对应一个“局部连接”的神经元，同时因为“权值共享”的缘故，这些神经元的参数一致，正好对应同一个卷积核。
顺便补充下，不同卷积核对应不同的特征，比如不同方向的边（edge）就会分别对应不同的卷积核。

• 激活函数f(x)用ReLU的话避免了x过大梯度趋于0（比如用sigmoid）而影响训练的权值的情况（即GradientVanishing）。同时结果会更稀疏一些。


• 池化之后（例如保留邻域内最大或~~平均以舍弃一些信息）一定程度也压制了过拟合的情况。

综述

总体来说就是重复卷积-relu来提取特征，进行池化之后再作更深层的特征提取，实质上深层卷积网络的主要作用在于特征提取。最后一层直接用softmax来分类（获得一个介于0~1的值表达输入属于这一类别的概率）。

9. 人工智能CNN卷积神经网络如何共享权值

首先权值共享就是滤波器共享，滤波器的参数是固定的，即是用相同的滤波器去扫一遍图像，提取一次特征特征，得到feature map。在卷积网络中，学好了一个滤波器，就相当于掌握了一种特征，这个滤波器在图像中滑动，进行特征提取，然后所有进行这样操作的区域都会被采集到这种特征，就好比上面的水平线。

10. 神经网络权值是啥意思

神经网络的权值是通过对网络的训练得到的。如果使用MATLAB的话不要自己设定，newff之后会自动赋值。也可以手动：net.IW{}= ; net.bias{}=。一般来说输入归一化，那么w和b取0-1的随机数就行。神经网络的权值确定的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。

网络是由若干节点和连接这些节点的链路构成，表示诸多对象及其相互联系。

在1999年之前，人们一般认为网络的结构都是随机的。但随着Barabasi和Watts在1999年分别发现了网络的无标度和小世界特性并分别在世界着名的《科学》和《自然》杂志上发表了他们的发现之后，人们才认识到网络的复杂性。

网络会借助文字阅读、图片查看、影音播放、下载传输、游戏、聊天等软件工具从文字、图片、声音、视频等方面给人们带来极其丰富的生活和美好的享受。

汉语中，“网络”一词最早用于电学《现代汉语词典》（1993年版）做出这样的解释：“在电的系统中，由若干元件组成的用来使电信号按一定要求传输的电路或这种电路的部分，叫网络。”

在数学上，网络是一种图，一般认为专指加权图。网络除了数学定义外，还有具体的物理含义，即网络是从某种相同类型的实际问题中抽象出来的模型。在计算机领域中，网络是信息传输、接收、共享的虚拟平台，通过它把各个点、面、体的信息联系到一起，从而实现这些资源的共享。网络是人类发展史来最重要的发明，提高了科技和人类社会的发展。