Ⅰ ga-bp神经网络预测效果不好
。
1. 根据你的预测对象的特性选取合适的输入层、输出层和隐层神经元数目。
2. 选择合适的神经网络训练函数。
3. 保证足够的训练样本数据，并且确保这个训练样本数据有足够的精度能够反映需要预测的对象的特性。
谷歌人工智能写作项目：小发猫
2、BP神经网络的精度低，怎么解决？
建议用RBP神经网络进行训练如何提高bp神经网络的准确率。使用方法：
x=-1:0.1:5;
y=-1:0.1:5;
z=x.^2.*y-0.1*x+2*y;
net=newrbe([x;y],z); %创建一个RBF网络
t=sim(net,[x;y]);%仿真未经训练的网络net
plot3(x,y,z,'rd');hold on
plot3(x,y,t,'b-');
3、怎么才能使bp神经网络预测的结果更准确
这个问的太哪个了吧，神经网络预测一般也就是对已有数据进行非线性拟合而已，简单的说，他只是一个拟合方法，只是与传统的拟合方法相比有一些优点。用神经网络预测也不会是一定很非常准确的。
4、采用什么手段使神经网络预测更加准确
优化神经网络结构。如BP神经网络改变隐层神经元数量、训练算法等；
使用其他神经网络。如Elman神经网络考虑了前一时刻的输出，比较适合用于预测，预测效果往往更好。RBF神经网络的训练速度很快，训练效果也很好。
改进的神经网络算法。例如BP神经网络增加动量项、自适应学习率等措施，防止陷入局部极小影响预测效果。
组合神经网络。取长补短，将全局搜索能力强的算法与局部逼近快的算法组合起来，如遗传算法优化初始权值，再训练。这种方法比较灵活，可以和许多算法融合。
全面考虑影响因素。未来的预测值受许多因素影响，所以应该在基于历史数据的基础上，充分考虑各种因素，考虑得越周全，预知信息越多，预测效果一般更好。
5、优化初始权值及阈值为什么可以提高bp神经网络识别率
bp的学习过程就是不断的网络训练工程，而训练的就是利用权值和阈值的激活函数计算输出的。权值与输入相乘，经过激活函数计算出的值与阈值比较，达到阈值的可输出，不满足的则返回继续训练。因此可以提高识别率。
6、bp神经网络遇到新的数据，就预测不准，怎么弄？
预测数据的话BP不是特别好用，最好用Elman反馈神经网络或者RNN循环神经网络，这些有记忆功能的网络比较好用。bp主要和你选择的隐含层数，和误差范围，学习率有关。你可以调节相关参数来改变神经网络，获得更精确的结果。
7、BP神经网络误差如何提高
你好，误差大，第一步需要尝试的是做归一化处理。有线性归一化，有对数函数归一化等等，这个你可以去网上搜索数据归一化方法，有相关的代码，应该。
第二部需要做出的改动是隐层节点数量，如果节点数量太多，那么结果的随机性就会很大，如果太少，那么复杂数据的规律计算不出来。多少层节点最合适，这个目前除了一个一个试没有更好的办法。但是你会发现每一个相同的结构计算出的结果却不尽相同，这个时候就需要考虑后续的问题。
第三步尝试，变换transfer function。麻烦你查查字典，因为我不是用中文学的神经网络。我姑且翻译成传输函数。传输函数在matlab中内建了3中 pureline logsig tansig。分别有不同的应用范围。因为没看到你的数据，我也不清楚具体应该推荐你用哪一种。不过你可以去网上搜索一下三种传输函数的特点。
如果有用请给“采纳”谢谢。
8、BP神经网络仿真时仿真结果准确率低。请问高手如何处理 5
是预测低还是拟合低？
如果是预测那没办法的，如果是拟合低，可以重新选择网络种类或者网络结构
Ⅱ 【阅读笔记】改进卷积神经网络的14个小技巧
原文： https://mp.weixin.qq.com/s/Lh_lJNvV9BGhc6no2ln-_g
原题目误导性太大
1）架构要遵循应用
你也许会被 Google Brain 或者 DeepMind 这些奇特的实验室所发明的那些耀眼的新模型所吸引，但是其中许多在你的用例或者业务环境中要么是不可能实现，要么是实现起来非常不现实。你应该使用对你的特定应用最有意义的模型，这种模型或许比较简单，但是仍然很强大，例如 VGG。
2）网络路径的激增
每年的 ImageNet Challenge 的冠军都会使用比上一届冠军更加深层的网络。从 AlexNet 到 Inception，再到 ResNet，Smith 注意到了“网络中路径数量倍增”的趋势，并且“ResNet 可以是不同长度的网络的指数集合”。
3）争取简单
然而，更大的并不一定是更好的。在名为“Bigger is not necessarily better”的论文中，Springenberg 等人演示了如何用更少的单元实现最先进的结果。参考：https://arxiv.org/pdf/1412.6806.pdf
4）增加对称性
无论是在建筑上，还是在生物上，对称性被认为是质量和工艺的标志。Smith 将 FractalNet 的优雅归功于网络的对称性。
5）金字塔式的形状
你也许经常在表征能力和减少冗余或者无用信息之间权衡。卷积神经网络通常会降低激活函数的采样，并会增加从输入层到最终层之间的连接通道。
6）过度训练
另一个权衡是训练准确度和泛化能力。用类似 drop-out 或者 drop-path 的方法进行正则化可以提高泛化能力，这是神经网络的重要优势。请在比你的实际用例更加苛刻的问题下训练你的网络，以提高泛化性能。
7）全面覆盖问题空间
为了扩展你的训练数据和提升泛化能力，请使用噪声和数据增强，例如随机旋转、裁剪和一些图像操作。
8）递增的特征构造
随着网络结构越来越成功，它们进一部简化了每一层的“工作”。在非常深层的神经网络中，每一层仅仅会递增的修改输入。在 ResNets 中，每一层的输出和它的输入时很相似的，这意味着将两层加起来就是递增。实践中，请在 ResNet 中使用较短的跳变长度。
9）标准化层的输入
标准化是另一个可以使计算层的工作变得更加容易的方法，在实践中被证明可以提升训练和准确率。批量标准化（batch normalization）的发明者认为原因在于处理内部的协变量，但是 Smith 认为，“标准化把所有层的输入样本放在了一个平等的基础上（类似于一种单位转换），这允许反向传播可以更有效地训练”。
10）输入变换
研究表明，在 Wide ResNets 中，性能会随着连接通道的增加而增强，但是你需要权衡训练代价与准确度。AlexNet、VGG、Inception 和 ResNets 都在第一层使用了输入变换以让输入数据能够以多种方式被检查。
11）可用的资源决指引着层的宽度
然而，可供选择的输出数量并不是显而易见的，这依赖于你的硬件能力以及期望的准确度。
12）Summation Joining
Summation 是一种常用的合并分支的方式。在 ResNets 中，使用总和作为连接的机制可以让每一个分支都能计算残差和整体近似。如果输入跳跃连接一直存在，那么 summation 会让每一层学到正确地东西（例如与输入的差别）。在任何分支都可以被丢弃的网络（例如 FractalNet）中，你应该使用这种方式类保持输出的平滑。
13）下采样变换
在池化的时候，利用级联连接（concatenation joining）来增加输出的数量。当使用大于 1 的步长时，这会同时处理连接并增加连接通道的数量。
14）用于竞争的 Maxout
Maxout 被用在你只需要选择一个激活函数的局部竞争网络中。使用求和以及平均值会包含所有的激活函数，所以不同之处在于 maxout 只选择一个“胜出者”。Maxout 的一个明显的用例是每个分支具有不同大小的内核，而 Maxout 可以包含尺度不变性。
1）使用调优过的预训练网络
“如果你的视觉数据和 ImageNet 相似，那么使用预训练网络会帮助你学习得更快”，机器学习公司 Diffbot 的 CEO Mike Tung 解释说。低水平的卷积神经网络通常可以被重复使用，因为它们大多能够检测到像线条以及边缘这些模式。将分类层用你自己的层替换，并且用你特定的数据去训练最后的几个层。
2）使用 freeze-drop-path
Drop-path 会在训练的迭代过程中随机地删除一些分支。Smith 测试了一种相反的方法，它被称为 freeze-path，就是一些路径的权重是固定的、不可训练的，而不是整体删除。因为下一个分支比以前的分支包含更多的层，并且正确的内容更加容易近似得到，所以网络应该会得到更好的准确度。
3）使用循环的学习率
关于学习率的实验会消耗大量的时间，并且会让你遇到错误。自适应学习率在计算上可能是非常昂贵的，但是循环学习率不会这样。使用循环学习率（CLR）时，你可以设置一组最大最小边界，在边界范围内改变学习率。Smith 甚至还在论文《Cyclical Learning Rates for Training Neural Networks》中提供了计算学习率的最大值和最小值的方法。参考：https://arxiv.org/pdf/1506.01186.pdf
4）在有噪声的标签中使用 bootstrapping
在现实中，很多数据都是混乱的，标签都是主观性的或者是缺失的，而且预测的对象可能是训练的时候未曾遇到过的。Reed 等人在文章《TRAINING DEEP NEURAL NETWORKS ON NOISY LABELS WITH BOOTSTRAPPING》中描述了一种给网络预测目标注入一致性的方法。直观地讲，这可以奏效，通过使网络利用对环境的已知表示（隐含在参数中）来过滤可能具有不一致的训练标签的输入数据，并在训练时清理该数据。参考：https://arxiv.org/pdf/1412.6596
5）采用有 Maxout 的 ELU，而不是 ReLU
ELU 是 ReLU 的一个相对平滑的版本，它能加速收敛并提高准确度。与 ReLU 不同，ELU 拥有负值，允许它们以更低的计算复杂度将平均单位激活推向更加接近 0 的值，就像批量标准化一样参考论文《FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)》，https://arxiv.org/pdf/1511.07289.pdf。如果您使用具有全连接层的 Maxout，它们是特别有效的。
Ⅲ 如何提高深度神经网络测试准确率
沉下心来推推公式，多思伏或考，明白了反向传播本质上是链式法则(虽然之前也知道，但是当时还是理解的迷迷糊糊的)。
所有的梯度其实都是对最终的loss进行求导得到的，也就是标量对矩阵or向量的求导。当然同时也学到了许多其他的关于cnn的。
并且建议题主不仅要完成练习，最好旦敏能自己也写一个cnn，这个过程可能会让你学习到许多更加细节和模厅枝可能忽略的东西。
Ⅳ 怎样提高神经网络的预测精度
增加神经返迹网络训练目标，以提漏仿并高精度要求：
trainparam.goal
=
0.01
%0.01表示训练目标大判误差为0.01
Ⅳ 如何训练神经网络
1、先别着急写代码
训练神经网络前，别管代码，先从预处理数据集开始。我们先花几个小时的时间，了解数据的分布并找出其中的规律。
Andrej有一次在整理数据时发现了重复的样本，还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。
由于神经网络实际上是数据集的压缩版本，因此您将能够查看网络（错误）预测并了解它们的来源。如果你的网络给你的预测看起来与你在数据中看到的内容不一致，那么就会有所收获。
一旦从数据中发现规律，可以编写一些代码对他们进行搜索、过滤、排序。把数据可视化能帮助我们发现异常值，而异常值总能揭示数据的质量或预处理中的一些错误。
2、设置端到端的训练评估框架
处理完数据集，接下来就能开始训练模型了吗？并不能！下一步是建立一个完整的训练+评估框架。
在这个阶段，我们选择一个简单又不至于搞砸的模型，比如线性分类器、CNN，可视化损失。获得准确度等衡量模型的标准，用模型进行预测。
这个阶段的技巧有：
· 固定随机种子
使用固定的随机种子，来保证运行代码两次都获得相同的结果，消除差异因素。
· 简单化
在此阶段不要有任何幻想，不要扩增数据。扩增数据后面会用到，但是在这里不要使用，现在引入只会导致错误。
· 在评估中添加有效数字
在绘制测试集损失时，对整个测试集进行评估，不要只绘制批次测试损失图像，然后用Tensorboard对它们进行平滑处理。
· 在初始阶段验证损失函数
验证函数是否从正确的损失值开始。例如，如果正确初始化最后一层，则应在softmax初始化时测量-log(1/n_classes)。
· 初始化
正确初始化最后一层的权重。如果回归一些平均值为50的值，则将最终偏差初始化为50。如果有一个比例为1:10的不平衡数据集，请设置对数的偏差，使网络预测概率在初始化时为0.1。正确设置这些可以加速模型的收敛。
· 人类基线
监控除人为可解释和可检查的损失之外的指标。尽可能评估人的准确性并与之进行比较。或者对测试数据进行两次注释，并且对于每个示例，将一个注释视为预测，将第二个注释视为事实。
· 设置一个独立于输入的基线
最简单的方法是将所有输入设置为零，看看模型是否学会从输入中提取任何信息。
· 过拟合一个batch
增加了模型的容量并验证我们可以达到的最低损失。
· 验证减少训练损失
尝试稍微增加数据容量。