學習率和網路結構多少合適

㈠ 神經網路中學習率、批處理樣本數量、迭代次數有什麼意義和影響

學習率是指每次訓練過程中（迭代）變數改變（更新）的比率，例如x(t+1) = x(t) - a * delta
其中a可以看出學習率，一般在0 - 1之間，相當於步長，而delta相當於方向。
批處理樣本數量，標準的BP是單樣本學習的方法，例如圖片識別，第一個圖是貓，然後輸入圖像，網路學習一次（變數更新一次），學習到圖片的特徵，然後再輸入第二個圖片狗，在前面的基礎上再學習。 而批訓練，就是說兩個圖片一起輸入後，計算兩個樣本學習的平均的誤差（Loss）, 從整體上來學習整個訓練樣本集合，這樣的學習對於大樣本數據更加有效率。
迭代次數就是學習的次數了，每次迭代就是向最優點前進的一小步，神經網路要學習到樣本的特徵，那就要一步一步地走，走了很多步才能到達符合精度地地點，所以需要學習很多次。

㈡ 學習率比較大好，還是比較小好

學習率是一個系數，用於調節各個數據對應的權值，提高運算的准確度。我是這么理解的。

31

_______________________

2012-09-26 回答

一、 選擇好學習環境,首先要讓自己靜下來, 選擇一個安靜的環境。
二、培養自己學習的興趣,興趣是最好的老師多讀多看多寫..
三、多多鼓勵自己,學會一道題,記住幾個公式,都要有成功感..這樣才讓自己有興趣.最開心的時候用來說自己最頭痛的東西...
四、合理安排好時間了.. 學會調節和利用自己的生物鍾，事半功倍
五、多多注意休息,一定首先要保證休息時間 ，不搞疲勞戰術..有空多來點運動,比如說打籃球羽毛球等,跑步散步也都好,讓自己身體好,同時也可以提高學習效率..

學習效率是決定學習成績的重要因素。那麼，如何提高學 習效率呢？ 第一點，要自信。很多的科學研究都證明，人的潛力是 很大的，但大多數人並沒有有效地開發這種潛力，這其中，人的自信力是很重要的一個方面。無論 何時何地，你做任何事情，有了這種自信力，你就有了一種必勝的信念，而且能使你很快就擺 脫失敗的陰影。相反，一個人如果失掉了自信，那他就會一事無成，而且很容易陷入永遠的自卑之 中。 提高學習效率的另一個重要的手段是學會用心。學習的過程，應當 是用腦思考的過程，無論是用眼睛看，用口讀，或者用手抄寫，都是作為輔助用腦的手段，真 正的關鍵還在於用腦子去想。舉一個很淺顯的例子，比如說記單詞，如果你只是隨意的瀏覽或漫無 目的地抄寫，也許要很多遍才能記住，而且不容易記牢，而如果你能充分發揮自己的想像力，運用聯想的方 法去記憶，往往可以記得很快，而且不容易遺忘。現在很多書上介紹的英語單詞快速記憶的方法，也都 是強調用腦筋聯想的作用。可見，如果能做7到集中精力，發揮腦的潛力，一定可以大大提高學習 的效果。 另一個影響到學習效率的重要因素是人的情緒 。我想，每個人都曾經有過這樣的體會，如果某一天，自己的精神飽滿而且情緒高漲，那樣在 學習一 樣東西時 就會感到很輕松，學的也很快，其實這正是我們的學習效率高的時候。因此，保持自我情緒的良好是十分重要的。我們在日常生活中，應當有較為開朗的心境，不要過多地去想那些不順 心的事，而且我們 要以一種熱情向上的樂觀生活態度去對待周圍的人和事，因為這樣無論對別人還是對自己 都是很有好處的。這樣，我們就能在自己的周圍營造一個十分輕松的氛圍，學習起來也就感到格外的有精神。 很多學生看上去很用功，可成 績總是不理想。原因之一是，學習效率太低。同樣的時間內，只能掌握別人學到知識的 一半， 這樣怎麼能學好？學習要講究效率，提高效率，途徑大致有以下幾點： 一、每天保證8小 時睡眠。 晚上不要熬夜，定時就寢。中 午堅持午睡。充足的睡眠、飽滿的精神是提高效率的基本要求。 二、學習時要全神貫注 。 玩的時候痛快玩，學的 時候認 真學。一天到晚伏案苦讀，不是良策。學習到一定程度就得休息、補充能量。學習之餘，一定要注意休息。但 學習時，一定要全身心地投入，手腦並用。我學習的時侯常有陶淵明的"雖處鬧市，而 無車馬喧囂 "的境界，只 有我的 手和腦與課本交流。 三、堅持體育鍛煉。 身體是"學習"的本錢。沒有一個好的身體，再大的 能耐也無 法發揮。因而，再繁忙的學習，也不可忽視放鬆鍛煉。有的同學為了學習而忽視鍛煉，身體越 來越弱，學習越來越感到力不從心。這樣怎麼能提高學習效率呢？ 四、學習要主動。 只有積極主動地學習，才能感受到其中的樂趣，才 能對學習越發有興趣。有了興趣，效率就會在不知不覺中得到提高。有的同學基礎不好，學 習過程 中老是有不懂的問題，又羞於向人請教，結果是鬱郁寡歡，心不在焉，從何談起提高學習效率。 這時，唯一的方法是，向人請教，不懂的地方一定要弄懂，一點一滴地積累，才能進步。如此， 才能逐步地提高效率。 五、保持愉快的心情，和同 學融洽相處。 每天有個好心情，做事干凈 利落，學習積極投入，效率自然高。另一方面，把個人和集體結合起來，和同學保持互助關系，團結進取，也能提高學習效率。 六、注意整理。 學習過程中，把各 科課本、作業和資料有規律地放在一起。待用時，一看便知在哪。而有的學生查閱某本書時，東找西翻，不見蹤影。時間就在忙碌而焦急的尋找中逝去。我認為，沒有條理的學生不會學得很好。

㈢ caffe訓練網路的時候學習率應該怎麼設置

1、會更新，finetune的過程相當於繼續訓練，跟直接訓練的區別是初始化的時候：
a. 直接訓練是按照網路定義指定的方式初始化（如高斯隨機初始化）
b. finetune是用你已經有的參數文件來初始化（就是之前訓練好的caffemodel）
2、嗯，這個問題有兩種情況：比如有4個全連接層A->B->C->D
a. 你希望C層的參數不會改變，C前面的AB層的參數也不會改變，這種情況也就是D層的梯度不往前反向傳播到D層的輸入blob（也就是C層的輸出blob 沒有得到梯度），你可以通過設置D層的propagate_down為false來做到。
propagate_down的數量與輸入blob的數量相同，假如你某個層有2個輸入blob，那麼你應該在該layer的Param裡面寫上兩行：
propagate_down : 0 # 第1個輸入blob不會得到反向傳播的梯度
propagate_down : 0 # 第2個輸入blob不會得到反向傳播的梯度
這樣的話，你這個layer的梯度就不會反向傳播啦，前面的所有layer的參數也就不會改變了
b. 你希望C層的參數不會改變，但是C前面的AB層的參數會改變，這種情況，只是固定了C層的參數，C層得到的梯度依然會反向傳播給前面的B層。只需要將對應的參數blob的學習率調整為0：
你在layer裡面加上param { lr_mult: 0 }就可以了，比如全連接層裡面：
layer {
type: "InnerProct"
param { # 對應第1個參數blob的配置，也就是全連接層的參數矩陣的配置
lr_mult: 0 # 學習率為0，其他參數可以看caffe.proto裡面的ParamSpec這個類型
}
param { # 對應第2個參數blob的配置，也就是全連接層的偏置項的配置
lr_mult: 0 # 學習率為0
}
}
不知道這樣說你能不能理解

㈣ BP神經網路中學習速率如何確定

學習率的作用是不斷調整權值閾值。
對於traingdm等函數建立的BP網路，學習速率一般取0.01-0.1之間。

㈤ 神經網路BP演算法中,如何選擇網路學習效率及閾值調整效率

學習效率一般取0~1之間的數如：0.1,0.4，網路初始化閾值賦值（0,1）區間內隨機數，之後通過神經網路訓練不斷調整。樓主只用調整學習效率就行了

㈥ 如何在卷積神經網路中，當識別率低的時候設置大的學習率，識別率高的時候設置小的學習率。

把學習率作為placeholder試試

㈦ bp神經網路學習率可以大於1嗎

學習率η也稱為步長，在標准BP演算法中定為常數，然而在實際應用中，學習率選得過小，收斂速度太慢；學習率選得過大，則有可能修正過頭，導致振盪甚至發散。另外也很難確定一個從始至終都適合的最佳學習率。從誤差曲面可以看出，在平坦區域內η太小會使訓練次數增加，因而希望增大η；而在誤差變化劇烈的區域，η太大會因調整量過大而跨過較窄的「坑凹」處，使訓練出現振盪，反而使迭代次數增加。為了加速收斂過程，一個較好的思路是自適應改變學習率，使其該大時增大，該小時減小。

設為1太大了。

㈧ 使用梯度下降法時,確定合適 大小的學習率的最常用的兩種 方法是

學習率一般來說是超參數，對於不同樣本的體現不同。一般還是試錯法，也就是不斷實驗，找到適合樣本的學習率。
如果說還有第二種方法，那大概就是經驗法。查找相應類似網路的訓練，看人家學習率怎麼設的，可以參考一下，同時有一個最基本的就是，一開始想讓收斂的快一點，學習率會高一些；在後面已經趨於最優點的時候，要調低學習率，否則可能會在最優點附近震盪。（但是也有可能陷入局部最優什麼的，可以考慮用模擬退火或者其他的，用來跳出局部最優點）。

㈨ 人工神經網路演算法的學習率有什麼作用

1、神經網路的結構（例如2輸入3隱節點1輸出）建好後，一般就要求神經網路里的權值和閾值。現在一般求解權值和閾值，都是採用梯度下降之類的搜索演算法（梯度下降法、牛頓法、列文伯格-馬跨特法、狗腿法等等）。

2、這些演算法會先初始化一個解，在這個解的基礎上，確定一個搜索方向和一個移動步長（各種法算確定方向和步長的方法不同，也就使各種演算法適用於解決不同的問題），使初始解根據這個方向和步長移動後，能使目標函數的輸出（在神經網路中就是預測誤差）下降。

3、然後將它更新為新的解，再繼續尋找下一步的移動方向的步長，這樣不斷的迭代下去，目標函數（神經網路中的預測誤差）也不斷下降，最終就能找到一個解，使得目標函數（預測誤差）比較小。

4、而在尋解過程中，步長太大，就會搜索得不仔細，可能跨過了優秀的解，而步長太小，又會使尋解過程進行得太慢。因此，步長設置適當非常重要。

5、學習率對原步長（在梯度下降法中就是梯度的長度）作調整，如果學習率lr = 0.1,那麼梯度下降法中每次調整的步長就是0.1*梯度，

6、而在matlab神經網路工具箱里的lr,代表的是初始學習率。因為matlab工具箱為了在尋解不同階段更智能的選擇合適的步長，使用的是可變學習率，它會根據上一次解的調整對目標函數帶來的效果來對學習率作調整，再根據學習率決定步長。