学习率和网络结构多少合适

㈠ 神经网络中学习率、批处理样本数量、迭代次数有什么意义和影响

学习率是指每次训练过程中（迭代）变量改变（更新）的比率，例如x(t+1) = x(t) - a * delta
其中a可以看出学习率，一般在0 - 1之间，相当于步长，而delta相当于方向。
批处理样本数量，标准的BP是单样本学习的方法，例如图片识别，第一个图是猫，然后输入图像，网络学习一次（变量更新一次），学习到图片的特征，然后再输入第二个图片狗，在前面的基础上再学习。 而批训练，就是说两个图片一起输入后，计算两个样本学习的平均的误差（Loss）, 从整体上来学习整个训练样本集合，这样的学习对于大样本数据更加有效率。
迭代次数就是学习的次数了，每次迭代就是向最优点前进的一小步，神经网络要学习到样本的特征，那就要一步一步地走，走了很多步才能到达符合精度地地点，所以需要学习很多次。

㈡ 学习率比较大好，还是比较小好

学习率是一个系数，用于调节各个数据对应的权值，提高运算的准确度。我是这么理解的。

31

_______________________

2012-09-26 回答

一、 选择好学习环境,首先要让自己静下来, 选择一个安静的环境。
二、培养自己学习的兴趣,兴趣是最好的老师多读多看多写..
三、多多鼓励自己,学会一道题,记住几个公式,都要有成功感..这样才让自己有兴趣.最开心的时候用来说自己最头痛的东西...
四、合理安排好时间了.. 学会调节和利用自己的生物钟，事半功倍
五、多多注意休息,一定首先要保证休息时间 ，不搞疲劳战术..有空多来点运动,比如说打篮球羽毛球等,跑步散步也都好,让自己身体好,同时也可以提高学习效率..

学习效率是决定学习成绩的重要因素。那么，如何提高学 习效率呢？ 第一点，要自信。很多的科学研究都证明，人的潜力是 很大的，但大多数人并没有有效地开发这种潜力，这其中，人的自信力是很重要的一个方面。无论 何时何地，你做任何事情，有了这种自信力，你就有了一种必胜的信念，而且能使你很快就摆 脱失败的阴影。相反，一个人如果失掉了自信，那他就会一事无成，而且很容易陷入永远的自卑之 中。 提高学习效率的另一个重要的手段是学会用心。学习的过程，应当 是用脑思考的过程，无论是用眼睛看，用口读，或者用手抄写，都是作为辅助用脑的手段，真 正的关键还在于用脑子去想。举一个很浅显的例子，比如说记单词，如果你只是随意的浏览或漫无 目的地抄写，也许要很多遍才能记住，而且不容易记牢，而如果你能充分发挥自己的想象力，运用联想的方 法去记忆，往往可以记得很快，而且不容易遗忘。现在很多书上介绍的英语单词快速记忆的方法，也都 是强调用脑筋联想的作用。可见，如果能做7到集中精力，发挥脑的潜力，一定可以大大提高学习 的效果。 另一个影响到学习效率的重要因素是人的情绪 。我想，每个人都曾经有过这样的体会，如果某一天，自己的精神饱满而且情绪高涨，那样在 学习一 样东西时 就会感到很轻松，学的也很快，其实这正是我们的学习效率高的时候。因此，保持自我情绪的良好是十分重要的。我们在日常生活中，应当有较为开朗的心境，不要过多地去想那些不顺 心的事，而且我们 要以一种热情向上的乐观生活态度去对待周围的人和事，因为这样无论对别人还是对自己 都是很有好处的。这样，我们就能在自己的周围营造一个十分轻松的氛围，学习起来也就感到格外的有精神。 很多学生看上去很用功，可成 绩总是不理想。原因之一是，学习效率太低。同样的时间内，只能掌握别人学到知识的 一半， 这样怎么能学好？学习要讲究效率，提高效率，途径大致有以下几点： 一、每天保证8小 时睡眠。 晚上不要熬夜，定时就寝。中 午坚持午睡。充足的睡眠、饱满的精神是提高效率的基本要求。 二、学习时要全神贯注 。 玩的时候痛快玩，学的 时候认 真学。一天到晚伏案苦读，不是良策。学习到一定程度就得休息、补充能量。学习之余，一定要注意休息。但 学习时，一定要全身心地投入，手脑并用。我学习的时侯常有陶渊明的"虽处闹市，而 无车马喧嚣 "的境界，只 有我的 手和脑与课本交流。 三、坚持体育锻炼。 身体是"学习"的本钱。没有一个好的身体，再大的 能耐也无 法发挥。因而，再繁忙的学习，也不可忽视放松锻炼。有的同学为了学习而忽视锻炼，身体越 来越弱，学习越来越感到力不从心。这样怎么能提高学习效率呢？ 四、学习要主动。 只有积极主动地学习，才能感受到其中的乐趣，才 能对学习越发有兴趣。有了兴趣，效率就会在不知不觉中得到提高。有的同学基础不好，学 习过程 中老是有不懂的问题，又羞于向人请教，结果是郁郁寡欢，心不在焉，从何谈起提高学习效率。 这时，唯一的方法是，向人请教，不懂的地方一定要弄懂，一点一滴地积累，才能进步。如此， 才能逐步地提高效率。 五、保持愉快的心情，和同 学融洽相处。 每天有个好心情，做事干净 利落，学习积极投入，效率自然高。另一方面，把个人和集体结合起来，和同学保持互助关系，团结进取，也能提高学习效率。 六、注意整理。 学习过程中，把各 科课本、作业和资料有规律地放在一起。待用时，一看便知在哪。而有的学生查阅某本书时，东找西翻，不见踪影。时间就在忙碌而焦急的寻找中逝去。我认为，没有条理的学生不会学得很好。

㈢ caffe训练网络的时候学习率应该怎么设置

1、会更新，finetune的过程相当于继续训练，跟直接训练的区别是初始化的时候：
a. 直接训练是按照网络定义指定的方式初始化（如高斯随机初始化）
b. finetune是用你已经有的参数文件来初始化（就是之前训练好的caffemodel）
2、嗯，这个问题有两种情况：比如有4个全连接层A->B->C->D
a. 你希望C层的参数不会改变，C前面的AB层的参数也不会改变，这种情况也就是D层的梯度不往前反向传播到D层的输入blob（也就是C层的输出blob 没有得到梯度），你可以通过设置D层的propagate_down为false来做到。
propagate_down的数量与输入blob的数量相同，假如你某个层有2个输入blob，那么你应该在该layer的Param里面写上两行：
propagate_down : 0 # 第1个输入blob不会得到反向传播的梯度
propagate_down : 0 # 第2个输入blob不会得到反向传播的梯度
这样的话，你这个layer的梯度就不会反向传播啦，前面的所有layer的参数也就不会改变了
b. 你希望C层的参数不会改变，但是C前面的AB层的参数会改变，这种情况，只是固定了C层的参数，C层得到的梯度依然会反向传播给前面的B层。只需要将对应的参数blob的学习率调整为0：
你在layer里面加上param { lr_mult: 0 }就可以了，比如全连接层里面：
layer {
type: "InnerProct"
param { # 对应第1个参数blob的配置，也就是全连接层的参数矩阵的配置
lr_mult: 0 # 学习率为0，其他参数可以看caffe.proto里面的ParamSpec这个类型
}
param { # 对应第2个参数blob的配置，也就是全连接层的偏置项的配置
lr_mult: 0 # 学习率为0
}
}
不知道这样说你能不能理解

㈣ BP神经网络中学习速率如何确定

学习率的作用是不断调整权值阈值。
对于traingdm等函数建立的BP网络，学习速率一般取0.01-0.1之间。

㈤ 神经网络BP算法中,如何选择网络学习效率及阈值调整效率

学习效率一般取0~1之间的数如：0.1,0.4，网络初始化阈值赋值（0,1）区间内随机数，之后通过神经网络训练不断调整。楼主只用调整学习效率就行了

㈥ 如何在卷积神经网络中，当识别率低的时候设置大的学习率，识别率高的时候设置小的学习率。

把学习率作为placeholder试试

㈦ bp神经网络学习率可以大于1吗

学习率η也称为步长，在标准BP算法中定为常数，然而在实际应用中，学习率选得过小，收敛速度太慢；学习率选得过大，则有可能修正过头，导致振荡甚至发散。另外也很难确定一个从始至终都适合的最佳学习率。从误差曲面可以看出，在平坦区域内η太小会使训练次数增加，因而希望增大η；而在误差变化剧烈的区域，η太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。为了加速收敛过程，一个较好的思路是自适应改变学习率，使其该大时增大，该小时减小。

设为1太大了。

㈧ 使用梯度下降法时,确定合适 大小的学习率的最常用的两种 方法是

学习率一般来说是超参数，对于不同样本的体现不同。一般还是试错法，也就是不断实验，找到适合样本的学习率。
如果说还有第二种方法，那大概就是经验法。查找相应类似网络的训练，看人家学习率怎么设的，可以参考一下，同时有一个最基本的就是，一开始想让收敛的快一点，学习率会高一些；在后面已经趋于最优点的时候，要调低学习率，否则可能会在最优点附近震荡。（但是也有可能陷入局部最优什么的，可以考虑用模拟退火或者其他的，用来跳出局部最优点）。

㈨ 人工神经网络算法的学习率有什么作用

1、神经网络的结构（例如2输入3隐节点1输出）建好后，一般就要求神经网络里的权值和阈值。现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等）。

2、这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同，也就使各种算法适用于解决不同的问题），使初始解根据这个方向和步长移动后，能使目标函数的输出（在神经网络中就是预测误差）下降。

3、然后将它更新为新的解，再继续寻找下一步的移动方向的步长，这样不断的迭代下去，目标函数（神经网络中的预测误差）也不断下降，最终就能找到一个解，使得目标函数（预测误差）比较小。

4、而在寻解过程中，步长太大，就会搜索得不仔细，可能跨过了优秀的解，而步长太小，又会使寻解过程进行得太慢。因此，步长设置适当非常重要。

5、学习率对原步长（在梯度下降法中就是梯度的长度）作调整，如果学习率lr = 0.1,那么梯度下降法中每次调整的步长就是0.1*梯度，

6、而在matlab神经网络工具箱里的lr,代表的是初始学习率。因为matlab工具箱为了在寻解不同阶段更智能的选择合适的步长，使用的是可变学习率，它会根据上一次解的调整对目标函数带来的效果来对学习率作调整，再根据学习率决定步长。