‘壹’ 神经网络算法是什么
Introction
--------------------------------------------------------------------------------
神经网络是新技术领域中的一个时尚词汇。很多人听过这个词,但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。
“神经网络”这个词实际是来自于生物学,而我们所指的神经网络正确的名称应该是“人工神经网络(ANNs)”。在本文,我会同时使用这两个互换的术语。
一个真正的神经网络是由数个至数十亿个被称为神经元的细胞(组成我们大脑的微小细胞)所组成,它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。在这里有一个难题:我们对生物学上的神经网络知道的不多!因此,不同类型之间的神经网络体系结构有很大的不同,我们所知道的只是神经元基本的结构。
The neuron
--------------------------------------------------------------------------------
虽然已经确认在我们的大脑中有大约50至500种不同的神经元,但它们大部份都是基于基本神经元的特别细胞。基本神经元包含有synapses、soma、axon及dendrites。Synapses负责神经元之间的连接,它们不是直接物理上连接的,而是它们之间有一个很小的空隙允许电子讯号从一个神经元跳到另一个神经元。然后这些电子讯号会交给soma处理及以其内部电子讯号将处理结果传递给axon。而axon会将这些讯号分发给dendrites。最后,dendrites带着这些讯号再交给其它的synapses,再继续下一个循环。
如同生物学上的基本神经元,人工的神经网络也有基本的神经元。每个神经元有特定数量的输入,也会为每个神经元设定权重(weight)。权重是对所输入的资料的重要性的一个指标。然后,神经元会计算出权重合计值(net value),而权重合计值就是将所有输入乘以它们的权重的合计。每个神经元都有它们各自的临界值(threshold),而当权重合计值大于临界值时,神经元会输出1。相反,则输出0。最后,输出会被传送给与该神经元连接的其它神经元继续剩余的计算。
Learning
--------------------------------------------------------------------------------
正如上述所写,问题的核心是权重及临界值是该如何设定的呢?世界上有很多不同的训练方式,就如网络类型一样多。但有些比较出名的包括back-propagation, delta rule及Kohonen训练模式。
由于结构体系的不同,训练的规则也不相同,但大部份的规则可以被分为二大类别 - 监管的及非监管的。监管方式的训练规则需要“教师”告诉他们特定的输入应该作出怎样的输出。然后训练规则会调整所有需要的权重值(这是网络中是非常复杂的),而整个过程会重头开始直至数据可以被网络正确的分析出来。监管方式的训练模式包括有back-propagation及delta rule。非监管方式的规则无需教师,因为他们所产生的输出会被进一步评估。
Architecture
--------------------------------------------------------------------------------
在神经网络中,遵守明确的规则一词是最“模糊不清”的。因为有太多不同种类的网络,由简单的布尔网络(Perceptrons),至复杂的自我调整网络(Kohonen),至热动态性网络模型(Boltzmann machines)!而这些,都遵守一个网络体系结构的标准。
一个网络包括有多个神经元“层”,输入层、隐蔽层及输出层。输入层负责接收输入及分发到隐蔽层(因为用户看不见这些层,所以见做隐蔽层)。这些隐蔽层负责所需的计算及输出结果给输出层,而用户则可以看到最终结果。现在,为免混淆,不会在这里更深入的探讨体系结构这一话题。对于不同神经网络的更多详细资料可以看Generation5 essays
尽管我们讨论过神经元、训练及体系结构,但我们还不清楚神经网络实际做些什么。
The Function of ANNs
--------------------------------------------------------------------------------
神经网络被设计为与图案一起工作 - 它们可以被分为分类式或联想式。分类式网络可以接受一组数,然后将其分类。例如ONR程序接受一个数字的影象而输出这个数字。或者PPDA32程序接受一个坐标而将它分类成A类或B类(类别是由所提供的训练决定的)。更多实际用途可以看Applications in the Military中的军事雷达,该雷达可以分别出车辆或树。
联想模式接受一组数而输出另一组。例如HIR程序接受一个‘脏’图像而输出一个它所学过而最接近的一个图像。联想模式更可应用于复杂的应用程序,如签名、面部、指纹识别等。
The Ups and Downs of Neural Networks
--------------------------------------------------------------------------------
神经网络在这个领域中有很多优点,使得它越来越流行。它在类型分类/识别方面非常出色。神经网络可以处理例外及不正常的输入数据,这对于很多系统都很重要(例如雷达及声波定位系统)。很多神经网络都是模仿生物神经网络的,即是他们仿照大脑的运作方式工作。神经网络也得助于神经系统科学的发展,使它可以像人类一样准确地辨别物件而有电脑的速度!前途是光明的,但现在...
是的,神经网络也有些不好的地方。这通常都是因为缺乏足够强大的硬件。神经网络的力量源自于以并行方式处理资讯,即是同时处理多项数据。因此,要一个串行的机器模拟并行处理是非常耗时的。
神经网络的另一个问题是对某一个问题构建网络所定义的条件不足 - 有太多因素需要考虑:训练的算法、体系结构、每层的神经元个数、有多少层、数据的表现等,还有其它更多因素。因此,随着时间越来越重要,大部份公司不可能负担重复的开发神经网络去有效地解决问题。
NN 神经网络,Neural Network
ANNs 人工神经网络,Artificial Neural Networks
neurons 神经元
synapses 神经键
self-organizing networks 自我调整网络
networks modelling thermodynamic properties 热动态性网络模型
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
网格算法我没听说过
好像只有网格计算这个词
网格计算是伴随着互联网技术而迅速发展起来的,专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”,其中每一台参与计算的计算机就是一个“节点”,而整个计算是由成千上万个“节点”组成的“一张网格”, 所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势,一个是数据处理能力超强;另一个是能充分利用网上的闲置处理能力。简单地讲,网格是把整个网络整合成一台巨大的超级计算机,实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。
‘贰’ 神经网络的具体算法
神经网络和粗集理论是智能信息处理的两种重要的方法,其任务是从大量观察和实验数据中获取知识、表达知识和推理决策规则。粗集理论是基于不可分辩性思想和知识简化方法,从数据中推理逻辑规则,适合于数据简化、数据相关性查找、发现数据模式、从数据中提取规则等。神经网络是利用非线性映射的思想和并行处理方法,用神经网络本身的结构表达输入与输出关联知识的隐函数编码,具有较强的并行处理、逼近和分类能力。在处理不准确、不完整的知识方面,粗集理论和神经网络都显示出较强的适应能力,然而两者处理信息的方法是不同的,粗集方法模拟人类的抽象逻辑思维,神经网络方法模拟形象直觉思维,具有很强的互补性。
首先,通过粗集理论方法减少信息表达的属性数量,去掉冗余信息,使训练集简化,减少神经网络系统的复杂性和训练时间;其次利用神经网络优良的并行处理、逼近和分类能力来处理风险预警这类非线性问题,具有较强的容错能力;再次,粗集理论在简化知识的同时,很容易推理出决策规则,因而可以作为后续使用中的信息识别规则,将粗集得到的结果与神经网络得到的结果相比较,以便相互验证;最后,粗集理论的方法和结果简单易懂,而且以规则的形式给出,通过与神经网络结合,使神经网络也具有一定的解释能力。因此,粗集理论与神经网络融合方法具有许多优点,非常适合处理诸如企业战略风险预警这类非结构化、非线性的复杂问题。
关于输入的问题--输入模块。
这一阶段包括初始指标体系确定,根据所确定的指标体系而形成的数据采集系统及数据预处理。企业战略风险的初始评价指标如下:
企业外部因素:政治环境(法律法规及其稳定性),经济环境(社会总体收入水平,物价水平,经济增长率),产业结构(进入产业障碍,竞争对手数量及集中程度),市场环境(市场大小)。
企业内部因素:企业盈利能力(销售利润率,企业利润增长率),产品竞争能力(产品销售率,市场占有率),技术开发能力(技术开发费比率,企业专业技术人才比重),资金筹措能力(融资率),企业职工凝聚力(企业员工流动率),管理人才资源,信息资源;战略本身的风险因素(战略目标,战略重点,战略措施,战略方针)。
本文所建立的预警指标系统是针对普遍意义上的企业,当该指标系统运用于实际企业时,需要对具体指标进行适当的增加或减少。因为各个企业有其具体的战略目标、经营活动等特性。
计算处理模块。这一模块主要包括粗集处理部分和神经网络处理部分。
粗集处理阶段。根据粗集的简化规则及决策规则对数据进行约简,构造神经网络的初始结构,便于神经网络的训练。
企业战略风险分析需要解决的问题是在保证对战略风险状态评价一致的情况下,选择最少的特征集,以便减少属性维数、降低计算工作量和减少不确定因素的影响,粗集理论中的属性约简算法可以很好地解决这个问题。
然后是输出模块~
该模块是对将发生的战略风险问题发出警报。
按照战略风险大小强弱程度的不同,可将其分为三个层次。第一层次是轻微战略风险,是损失较小、后果不甚明显,对企业的战略管理活动不构成重要影响的各类风险。这类风险一般情况下无碍大局,仅对企业形成局部和微小的伤害。第二层次是一般战略风险,是损失适中、后果明显但不构成致命性威胁的各类风险。这类风险的直接后果使企业遭受一定损失,并对其战略管理的某些方面带来较大的不利影响或留有一定后遗症。第三层次是致命性战略风险,指损失较大,后果严重的风险。这类风险的直接后果往往会威胁企业的生存,导致重大损失,使之一时不能恢复或遭受破产。在实际操作中,每个企业应根据具体的状况,将这三个层次以具体的数值表现出来。
下面回答你的问题:
总的来说,神经网络输入的是初始指标体系;输出的是风险。
你所说的风险应该说属于输出范畴,具体等级分为三级:无警、轻警、重警,并用绿、黄、红三种颜色灯号表示。其中绿灯区表示企业综合指标所反映的实际运行值与目标值基本一致,运行良好;黄灯区表示企业综合指标所反映的实际运行值与目标值偏离较大,要引起企业的警惕。若采取一定的措施可转为绿灯区,若不重视可在短期内转为红灯区;红灯区则表示这种偏离超过企业接受的可能,并给企业带来整体性的重大损失。例如:销售利润率极低、资产负债率过高,资源配置不合理、缺乏发展后劲等,必须找出原因,继而采取有效措施,使企业的战略管理活动始终处于“安全”的状态。
希望以上答案能够帮到你,祝你好运~
‘叁’ 神经网络算法原理
一共有四种算法及原理,如下所示:
1、自适应谐振理论(ART)网络
自适应谐振理论(ART)网络具有不同的方案。一个ART-1网络含有两层一个输入层和一个输出层。这两层完全互连,该连接沿着正向(自底向上)和反馈(自顶向下)两个方向进行。
2、学习矢量量化(LVQ)网络
学习矢量量化(LVQ)网络,它由三层神经元组成,即输入转换层、隐含层和输出层。该网络在输入层与隐含层之间为完全连接,而在隐含层与输出层之间为部分连接,每个输出神经元与隐含神经元的不同组相连接。
3、Kohonen网络
Kohonen网络或自组织特征映射网络含有两层,一个输入缓冲层用于接收输入模式,另一个为输出层,输出层的神经元一般按正则二维阵列排列,每个输出神经元连接至所有输入神经元。连接权值形成与已知输出神经元相连的参考矢量的分量。
4、Hopfield网络
Hopfield网络是一种典型的递归网络,这种网络通常只接受二进制输入(0或1)以及双极输入(+1或-1)。它含有一个单层神经元,每个神经元与所有其他神经元连接,形成递归结构。
(3)神经网络重混合算法是什么扩展阅读:
人工神经网络算法的历史背景:
该算法系统是 20 世纪 40 年代后出现的。它是由众多的神经元可调的连接权值连接而成,具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。
BP算法又称为误差反向传播算法,是人工神经网络中的一种监督式的学习算法。BP 神经网络算法在理论上可以逼近任意函数,基本的结构由非线性变化单元组成,具有很强的非线性映射能力。
而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定,灵活性很大,在优化、信号处理与模式识别、智能控制、故障诊断等许 多领域都有着广泛的应用前景。
‘肆’ rbf神经网络算法是什么
RBF神经网络算法是由三层结构组成,输入层至隐层为非线性的空间变换,一般选用径向基函数的高斯函数进行运算;从隐层至输出层为线性空间变换,即矩阵与矩阵之间的变换。
RBF神经网络进行数据运算时需要确认聚类中心点的位置及隐层至输出层的权重。通常,选用K-means聚类算法或最小正交二乘法对数据大量的进行训练得出聚类中心矩阵和权重矩阵。
一般情况下,最小正交二乘法聚类中心点的位置是给定的,因此比较适合分布相对规律的数据。而K-means聚类算法则会自主选取聚类中心,进行无监督分类学习,从而完成空间映射关系。
RBF网络特点
RBF网络能够逼近任意非线性的函数(因为使用的是一个局部的激活函数。在中心点附近有最大的反应;越接近中心点则反应最大,远离反应成指数递减;就相当于每个神经元都对应不同的感知域)。
可以处理系统内难以解析的规律性,具有很好的泛化能力,并且具有较快的学习速度。
有很快的学习收敛速度,已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。
当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。由于对于每次输入,网络上的每一个权值都要调整,从而导致全局逼近网络的学习速度很慢,比如BP网络。
‘伍’ 神经网络算法的三大类分别是
神经网络算法的三大类分别是:
1、前馈神经网络:
这是实际应用中最常见的神经网络类型。第一层是输入,最后一层是输出。如果有多个隐藏层,我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。
2、循环网络:
循环网络在他们的连接图中定向了循环,这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态,使其很难训练。他们更具有生物真实性。
循环网络的目的是用来处理序列数据。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。
循环神经网路,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中,即隐藏层之间的节点不再无连接而是有连接的,并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
3、对称连接网络:
对称连接网络有点像循环网络,但是单元之间的连接是对称的(它们在两个方向上权重相同)。比起循环网络,对称连接网络更容易分析。
这个网络中有更多的限制,因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield 网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。
(5)神经网络重混合算法是什么扩展阅读:
应用及发展:
心理学家和认知科学家研究神经网络的目的在于探索人脑加工、储存和搜索信息的机制,弄清人脑功能的机理,建立人类认知过程的微结构理论。
生物学、医学、脑科学专家试图通过神经网络的研究推动脑科学向定量、精确和理论化体系发展,同时也寄希望于临床医学的新突破;信息处理和计算机科学家研究这一问题的目的在于寻求新的途径以解决不能解决或解决起来有极大困难的大量问题,构造更加逼近人脑功能的新一代计算机。