全连接神经网络实现矩阵分解

⑴ 神经网络算法的三大类分别是

神经网络算法的三大类分别是：

1、前馈神经网络：

这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。

2、循环网络：

循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。

循环网络的目的是用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。

循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

3、对称连接网络：

对称连接网络有点像循环网络，但是单元之间的连接是对称的（它们在两个方向上权重相同）。比起循环网络，对称连接网络更容易分析。

这个网络中有更多的限制，因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield 网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。

(1)全连接神经网络实现矩阵分解扩展阅读：

应用及发展：

心理学家和认知科学家研究神经网络的目的在于探索人脑加工、储存和搜索信息的机制，弄清人脑功能的机理，建立人类认知过程的微结构理论。

生物学、医学、脑科学专家试图通过神经网络的研究推动脑科学向定量、精确和理论化体系发展，同时也寄希望于临床医学的新突破；信息处理和计算机科学家研究这一问题的目的在于寻求新的途径以解决不能解决或解决起来有极大困难的大量问题，构造更加逼近人脑功能的新一代计算机。

⑵ 如何在tensorflow的卷积神经网络中使用自定义的矩阵运算

你这个问题好深奥的样子

⑶ 神经网络 训练出的模型是什么 矩阵

lim n→∞(1/n^2+2/n^2+……n/n^2)
=lim n→∞([(1+n)*n/2 ]/n^2)
=lim n→∞((1+n)/(2n))
=lim n→∞((1/n +1)/2)
=1/2

⑷ 神经网络Hopfield模型

一、Hopfield模型概述

1982年，美国加州工学院J.Hopfield发表一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互连接的反馈型人工神经网络模型——Hopfield人工神经网络。

Hopfield人工神经网络是一种反馈网络(Recurrent Network)，又称自联想记忆网络。其目的是为了设计一个网络，存储一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到所存储的某个平衡点上。

Hopfield网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型Hopfield网络(Discrete Hopfield Neural Network，简称 DHNN)和连续型 Hopfield 网络(Continue Hopfield Neural Network，简称CHNN)。离散型Hopfield网络的激活函数为二值型阶跃函数，主要用于联想记忆、模式分类、模式识别。这个软件为离散型Hopfield网络的设计、应用。

二、Hopfield模型原理

离散型Hopfield网络的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。

正交化的权值设计

这一方法的基本思想和出发点是为了满足下面4个要求：

1)保证系统在异步工作时的稳定性，即它的权值是对称的，满足

w_ij=w_ji，i，j=1，2…，N；

2)保证所有要求记忆的稳定平衡点都能收敛到自己；

3)使伪稳定点的数目尽可能地少；

4)使稳定点的吸引力尽可能地大。

正交化权值的计算公式推导如下：

1)已知有P个需要存储的稳定平衡点x₁，x₂…，x_P-1，x_P，x_p∈R^N，计算N×(P-1)阶矩阵A∈R^N×(P-1)：

A=(x₁-x_Px₂-x_P…x_P-1-x_P)^T。

2)对A做奇异值分解

A=USV^T，

U=(u₁u₂…u_N)，

V=(υ₁υ₂…υ_P-1)，

中国矿产资源评价新技术与评价新模型

Σ=diαg(λ₁，λ₂，…，λ_K)，O为零矩阵。

K维空间为N维空间的子空间，它由K个独立的基组成：

K=rαnk(A)，

设{u₁u₂…u_K}为A的正交基，而{u_K+1u_K+2…u_N}为N维空间的补充正交基。下面利用U矩阵来设计权值。

3)构造

中国矿产资源评价新技术与评价新模型

总的连接权矩阵为：

W_t=W_p-T·W_m，

其中，T为大于-1的参数，缺省值为10。

W_p和W_m均满足对称条件，即

(w_p)_ij=(w_p)_ji，

(w_m)_ij=(w_m)_ji，

因而W_t中分量也满足对称条件。这就保证了系统在异步时能够收敛并且不会出现极限环。

4)网络的偏差构造为

b_t=x_P-W_t·x_P。

下面推导记忆样本能够收敛到自己的有效性。

(1)对于输入样本中的任意目标矢量x_p，p=1，2，…，P，因为(x_p-x_P)是A中的一个矢量，它属于A的秩所定义的K个基空间的矢量，所以必存在系数α₁，α₂，…，α_K，使

x_p-x_P=α₁u₁+α₂u₂+…+α_Ku_K，

即

x_p=α₁u₁+α₂u₂+…+α_Ku_K+x_P，

对于U中任意一个u_i，有

中国矿产资源评价新技术与评价新模型

由正交性质可知，上式中

当i=j，

；

当i≠j，

；

对于输入模式x_i，其网络输出为

y_i=sgn(W_tx_i+b_t)

=sgn(W_px_i-T·W_mx_i+x_P-W_px_P+T·W_mx_P)

=sgn[W_p(x_i-x_P)-T·W_m(x_i-x_P)+x_P]

=sgn[(W_p-T·W_m)(x_i-x_P)+x_P]

=sgn[W_t(x_i-x_P)+x_P]

=sgn[(x_i-x_P)+x_P]

=x_i。

(2)对于输入模式x_P，其网络输出为

y_P=sgn(W_tx_P+b_t)

=sgn(W_tx_P+x_P-W_tx_P)

=sgn(x_P)

=x_P。

(3)如果输入一个不是记忆样本的x，网络输出为

y=sgn(W_tx+b_t)

=sgn[(W_p-T·W_m)(x-x_P)+x_P]

=sgn[W_t(x-x_P)+x_P]。

因为x不是已学习过的记忆样本，x-x_P不是A中的矢量，则必然有

W_t(x_-x_P)≠x-x_P，

并且再设计过程中可以通过调节W_t=W_p-T·W_m中的参数T的大小来控制(x-x_P)与x_P的符号，以保证输入矢量x与记忆样本之间存在足够的大小余额，从而使sgn(W_tx+b_t)≠x，使x不能收敛到自身。

用输入模式给出一组目标平衡点，函数HopfieldDesign( )可以设计出 Hopfield 网络的权值和偏差，保证网络对给定的目标矢量能收敛到稳定的平衡点。

设计好网络后，可以应用函数HopfieldSimu( )，对输入矢量进行分类，这些输入矢量将趋近目标平衡点，最终找到他们的目标矢量，作为对输入矢量进行分类。

三、总体算法

1.Hopfield网络权值W[N][N]、偏差b[N]设计总体算法

应用正交化权值设计方法，设计Hopfield网络；

根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]；

使Hopfield网络的稳定输出矢量与给定的目标矢量一致。

1)输入P个输入模式X=(x[1]，x[2]，…，x[P-1]，x[P])

输入参数，包括T、h；

2)由X[N][P]构造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；

3)对A[N][P-1]作奇异值分解A=USV^T；

4)求A[N][P-1]的秩rank；

5)由U=(u[1]，u[2]，…，u[K])构造W_p[N][N]；

6)由U=(u[K+1]，…，u[N])构造W_m[N][N]；

7)构造W_t[N][N]=W_p[N][N]-T*W_m[N][N]；

8)构造b_t[N]=X[N][P]-W_t[N][N]*X[N][P]；

9)构造W[N][N](9～13)，

构造W1[N][N]=h*W_t[N][N]；

10)求W1[N][N]的特征值矩阵Val[N][N](对角线元素为特征值，其余为0)，特征向量矩阵Vec[N][N]；

11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；

12)求Vec[N][N]的逆Invec[N][N]；

13)构造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；

14)构造b[N]，(14～15)，

C1=exp(h)-1，

C2=-(exp(-T*h)-1)/T；

15)构造

中国矿产资源评价新技术与评价新模型

Uˊ——U的转置；

16)输出W[N][N]，b[N]；

17)结束。

2.Hopfield网络预测应用总体算法

Hopfield网络由一层N个斜坡函数神经元组成。

应用正交化权值设计方法，设计Hopfield网络。

根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]。

初始输出为X[N][P]，

计算X[N][P]=f(W[N][N]*X[N][P]+b[N])，

进行T次迭代，

返回最终输出X[N][P]，可以看作初始输出的分类。

3.斜坡函数

中国矿产资源评价新技术与评价新模型

输出范围[-1，1]。

四、数据流图

Hopfield网数据流图见附图3。

五、调用函数说明

1.一般实矩阵奇异值分解

(1)功能

用豪斯荷尔德(Householder)变换及变形QR算法对一般实矩阵进行奇异值分解。

(2)方法说明

设A为m×n的实矩阵，则存在一个m×m的列正交矩阵U和n×n的列正交矩阵V，使

中国矿产资源评价新技术与评价新模型

成立。其中

Σ=diag(σ₀，σ₁，…σ_p)p⩽min(m，n)-1，

且σ₀≥σ₁≥…≥σ_p＞0，

上式称为实矩阵A的奇异值分解式，σ_i(i=0，1，…，p)称为A的奇异值。

奇异值分解分两大步：

第一步：用豪斯荷尔德变换将A约化为双对角线矩阵。即

中国矿产资源评价新技术与评价新模型

其中

中国矿产资源评价新技术与评价新模型

中的每一个变换U_j(j=0，1，…，k-1)将A中的第j列主对角线以下的元素变为0，而

中的每一个变换V_j(j=0，1，…，l-1)将A中的第j行主对角线紧邻的右次对角线元素右边的元素变为0。]]

j具有如下形式：

中国矿产资源评价新技术与评价新模型

其中ρ为一个比例因子，以避免计算过程中的溢出现象与误差的累积，V_j是一个列向量。即

V_j=(υ₀，υ₁，…，υ_n-1)，

则

中国矿产资源评价新技术与评价新模型

其中

中国矿产资源评价新技术与评价新模型

第二步：用变形的QR算法进行迭代，计算所有的奇异值。即：用一系列的平面旋转变换对双对角线矩阵B逐步变换成对角矩阵。

在每一次的迭代中，用变换

中国矿产资源评价新技术与评价新模型

其中变换

将B中第j列主对角线下的一个非0元素变为0，同时在第j行的次对角线元素的右边出现一个非0元素；而变换V_j，j+1将第j-1行的次对角线元素右边的一个0元素变为0，同时在第j列的主对角线元素的下方出现一个非0元素。由此可知，经过一次迭代(j=0，1，…，p-1)后，B′仍为双对角线矩阵。但随着迭代的进行。最后收敛为对角矩阵，其对角线上的元素为奇异值。

在每次迭代时，经过初始化变换V₀₁后，将在第0列的主对角线下方出现一个非0元素。在变换V₀₁中，选择位移植u的计算公式如下：

中国矿产资源评价新技术与评价新模型

最后还需要对奇异值按非递增次序进行排列。

在上述变换过程中，若对于某个次对角线元素e_j满足

｜e_j｜⩽ε(｜s_j+1｜+｜s_j｜)

则可以认为e_j为0。

若对角线元素s_j满足

｜s_j｜⩽ε(｜e_j-1｜+｜e_j｜)

则可以认为s_j为0(即为0奇异值)。其中ε为给定的精度要求。

(3)调用说明

int bmuav(double^*a，int m，int n，double^*u，double^*v，double eps，int ka)，

本函数返回一个整型标志值，若返回的标志值小于0，则表示出现了迭代60次还未求得某个奇异值的情况。此时，矩阵的分解式为UAV^T；若返回的标志值大于0，则表示正常返回。

形参说明：

a——指向双精度实型数组的指针，体积为m×n。存放m×n的实矩阵A；返回时，其对角线给出奇异值(以非递增次序排列)，其余元素为0；

m——整型变量，实矩阵A的行数；

n——整型变量，实矩阵A的列数；

u——指向双精度实型数组的指针，体积为m×m。返回时存放左奇异向量U；

υ——指向双精度实型数组的指针，体积为n×n。返回时存放右奇异向量V^T；

esp——双精度实型变量，给定的精度要求；

ka——整型变量，其值为max(m，n)+1。

2.求实对称矩阵特征值和特征向量的雅可比过关法

(1)功能

用雅可比(Jacobi)方法求实对称矩阵的全部特征值与相应的特征向量。

(2)方法说明

雅可比方法的基本思想如下。

设n阶矩阵A为对称矩阵。在n阶对称矩阵A的非对角线元素中选取一个绝对值最大的元素，设为a_pq。利用平面旋转变换矩阵R₀(p，q，θ)对A进行正交相似变换：

A₁=R₀(p，q，θ)^TA，

其中R₀(p，q，θ)的元素为

r_pp=cosθ，r_qq=cosθ，r_pq=sinθ，

r_qp=sinθ，r_ij=0，i，j≠p，q。

如果按下式确定角度θ，

中国矿产资源评价新技术与评价新模型

则对称矩阵A经上述变换后，其非对角线元素的平方和将减少

，对角线元素的平方和增加

，而矩阵中所有元素的平方和保持不变。由此可知，对称矩阵A每次经过一次变换，其非对角线元素的平方和“向零接近一步”。因此，只要反复进行上述变换，就可以逐步将矩阵A变为对角矩阵。对角矩阵中对角线上的元素λ₀，λ₁，…，λ_n-1即为特征值，而每一步中的平面旋转矩阵的乘积的第i列(i=0，1，…，n-1)即为与λ_i相应的特征向量。

综上所述，用雅可比方法求n阶对称矩阵A的特征值及相应特征向量的步骤如下：

1)令S=I_n(I_n为单位矩阵)；

2)在A中选取非对角线元素中绝对值最大者，设为a_pq；

3)若｜a_pq｜＜ε，则迭代过程结束。此时对角线元素a_ii(i=0，1，…，n-1)即为特征值λ_i，矩阵S的第i列为与λ_i相应的特征向量。否则，继续下一步；

4)计算平面旋转矩阵的元素及其变换后的矩阵A₁的元素。其计算公式如下

中国矿产资源评价新技术与评价新模型

5)S=S·R(p，q，θ)，转(2)。

在选取非对角线上的绝对值最大的元素时用如下方法：

首先计算实对称矩阵A的非对角线元素的平方和的平方根

中国矿产资源评价新技术与评价新模型

然后设置关口υ₁=υ₀/n，在非对角线元素中按行扫描选取第一个绝对值大于或等于υ₁的元素α_pq进行平面旋转变换，直到所有非对角线元素的绝对值均小于υ₁为止。再设关口υ₂=υ₁/n，重复这个过程。以此类推，这个过程一直作用到对于某个υ_k＜ε为止。

(3)调用说明

void cjcbj(double^*a，int n，double^*v，double eps)。

形参说明：

a——指向双精度实型数组的指针，体积为n×n，存放n阶实对称矩阵A；返回时，其对角线存放n个特征值；

n——整型变量，实矩阵A的阶数；

υ——指向双精度实型数组的指针，体积为n×n，返回特征向量，其中第i列为与λ_i(即返回的α_ii，i=0，1，……，n-1)对应的特征向量；

esp——双精度实型变量。给定的精度要求。

3.矩阵求逆

(1)功能

用全选主元高斯-约当(Gauss-Jordan)消去法求n阶实矩阵A的逆矩阵。

(2)方法说明

高斯-约当法(全选主元)求逆的步骤如下：

首先，对于k从0到n-1做如下几步：

1)从第k行、第k列开始的右下角子阵中选取绝对值最大的元素，并记住此元素所在的行号和列号，再通过行交换和列交换将它交换到主元素位置上，这一步称为全选主元；

2)

；

3)

，i，j=0，1，…，n-1(i，j≠k)；

4)α_ij-

，i，j=0，1，…，n-1(i，j≠k)；

5)-

，i，j=0，1，…，n-1(i≠k)；

最后，根据在全选主元过程中所记录的行、列交换的信息进行恢复，恢复原则如下：在全选主元过程中，先交换的行、列后进行恢复；原来的行(列)交换用列(行)交换来恢复。

图8-4 东昆仑—柴北缘地区基于HOPFIELD模型的铜矿分类结果图

(3)调用说明

int brinv(double^*a，int n)。

本函数返回一个整型标志位。若返回的标志位为0，则表示矩阵A奇异，还输出信息“err^**not inv”；若返回的标志位不为0，则表示正常返回。

形参说明：

a——指向双精度实型数组的指针，体积为n×n。存放原矩阵A；返回时，存放其逆矩阵A^-1；

n——整型变量，矩阵的阶数。

六、实例

实例：柴北缘—东昆仑地区铜矿分类预测。

选取8种因素，分别是重砂异常存在标志、水化异常存在标志、化探异常峰值、地质图熵值、Ms存在标志、Gs存在标志、Shdadlie到区的距离、构造线线密度。

构置原始变量，并根据原始数据构造预测模型。

HOPFIELD模型参数设置：训练模式维数8，预测样本个数774，参数个数8，迭代次数330。

结果分44类(图8-4，表8-5)。

表8-5 原始数据表及分类结果（部分）

续表

⑸ Hopfield神经网络用python实现讲解

神经网络结构具有以下三个特点：

神经元之间全连接，并且为单层神经网络。

每个神经元既是输入又是输出，导致得到的权重矩阵相对称，故可节约计算量。

在输入的激励下，其输出会产生不断的状态变化，这个反馈过程会一直反复进行。假如Hopfield神经网络是一个收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦达到了稳定的平衡状态，Hopfield网络就会输出一个稳定的恒值。

Hopfield网络可以储存一组平衡点，使得当给定网络一组初始状态时，网络通过自行运行而最终收敛于这个设计的平衡点上。当然，根据热力学上，平衡状态分为stable state和metastable state, 这两种状态在网络的收敛过程中都是非常可能的。

为递归型网络，t时刻的状态与t-1时刻的输出状态有关。之后的神经元更新过程也采用的是异步更新法(Asynchronous)。

Hopfield神经网络用python实现

⑹ 神经网络的工作原理

“人脑是如何工作的？”
“人类能否制作模拟人脑的人工神经元？”
多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对于写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。
人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。
神经网络就像是一个爱学习的孩子，您教她的知识她是不会忘记而且会学以致用的。我们把学习集（Learning Set）中的每个输入加到神经网络中，并告诉神经网络输出应该是什么分类。在全部学习集都运行完成之后，神经网络就根据这些例子总结出她自己的想法，到底她是怎么归纳的就是一个黑盒了。之后我们就可以把测试集（Testing Set）中的测试例子用神经网络来分别作测试，如果测试通过（比如80%或90%的正确率），那么神经网络就构建成功了。我们之后就可以用这个神经网络来判断事务的分类了。
神经网络是通过对人脑的基本单元——神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。神经网络的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网络的突触连接中。神经网络的学习是一个过程，在其所处环境的激励下，相继给网络输入一些样本模式，并按照一定的规则（学习算法）调整网络各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束。然后我们就可以用生成的神经网络来对真实数据做分类。
人工神经网络早期的研究工作应追溯至20世纪40年代。下面以时间顺序，以着名的人物或某一方面突出的研究成果为线索，简要介绍

⑺ 什么是全连接神经网络怎么理解“全连接”

1、全连接神经网络解析：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。

2、全连接的神经网络示意图：

3、“全连接”是一种不错的模式，但是网络很大的时候，训练速度回很慢。部分连接就是认为的切断某两个节点直接的连接，这样训练时计算量大大减小。

⑻ 为什么全连接神经网络在图像识别中不如卷积神经网络

输入数据是n*n的像素矩阵，再使用全连接神经网络，那么参数的个数会是指数级的增长，需要训练的数据太多。
而CNN的话，可以通过共享同一个参数，来提取特定方向上的特征，所以训练量将比全连接神经网络小了很多。

⑼ 我已经得到了特征矩阵怎么用神经网络分类

建神经网络要确定好神经网络的输入的个数，输出个数，然后根据想要实现的功能选择神经网络。 如果你这个神经网络只是做一个简单的分类， p是输入，2x15,那么神经网络的输入个数为2，而样本数为15. goal是目标输出，一般情况下不会是这么随便的，