Ⅰ ga-bp神經網路預測效果不好
。
1. 根據你的預測對象的特性選取合適的輸入層、輸出層和隱層神經元數目。
2. 選擇合適的神經網路訓練函數。
3. 保證足夠的訓練樣本數據，並且確保這個訓練樣本數據有足夠的精度能夠反映需要預測的對象的特性。
谷歌人工智慧寫作項目：小發貓
2、BP神經網路的精度低，怎麼解決？
建議用RBP神經網路進行訓練如何提高bp神經網路的准確率。使用方法：
x=-1:0.1:5;
y=-1:0.1:5;
z=x.^2.*y-0.1*x+2*y;
net=newrbe([x;y],z); %創建一個RBF網路
t=sim(net,[x;y]);%模擬未經訓練的網路net
plot3(x,y,z,'rd');hold on
plot3(x,y,t,'b-');
3、怎麼才能使bp神經網路預測的結果更准確
這個問的太哪個了吧，神經網路預測一般也就是對已有數據進行非線性擬合而已，簡單的說，他只是一個擬合方法，只是與傳統的擬合方法相比有一些優點。用神經網路預測也不會是一定很非常准確的。
4、採用什麼手段使神經網路預測更加准確
優化神經網路結構。如BP神經網路改變隱層神經元數量、訓練演算法等；
使用其他神經網路。如Elman神經網路考慮了前一時刻的輸出，比較適合用於預測，預測效果往往更好。RBF神經網路的訓練速度很快，訓練效果也很好。
改進的神經網路演算法。例如BP神經網路增加動量項、自適應學習率等措施，防止陷入局部極小影響預測效果。
組合神經網路。取長補短，將全局搜索能力強的演算法與局部逼近快的演算法組合起來，如遺傳演算法優化初始權值，再訓練。這種方法比較靈活，可以和許多演算法融合。
全面考慮影響因素。未來的預測值受許多因素影響，所以應該在基於歷史數據的基礎上，充分考慮各種因素，考慮得越周全，預知信息越多，預測效果一般更好。
5、優化初始權值及閾值為什麼可以提高bp神經網路識別率
bp的學習過程就是不斷的網路訓練工程，而訓練的就是利用權值和閾值的激活函數計算輸出的。權值與輸入相乘，經過激活函數計算出的值與閾值比較，達到閾值的可輸出，不滿足的則返回繼續訓練。因此可以提高識別率。
6、bp神經網路遇到新的數據，就預測不準，怎麼弄？
預測數據的話BP不是特別好用，最好用Elman反饋神經網路或者RNN循環神經網路，這些有記憶功能的網路比較好用。bp主要和你選擇的隱含層數，和誤差范圍，學習率有關。你可以調節相關參數來改變神經網路，獲得更精確的結果。
7、BP神經網路誤差如何提高
你好，誤差大，第一步需要嘗試的是做歸一化處理。有線性歸一化，有對數函數歸一化等等，這個你可以去網上搜索數據歸一化方法，有相關的代碼，應該。
第二部需要做出的改動是隱層節點數量，如果節點數量太多，那麼結果的隨機性就會很大，如果太少，那麼復雜數據的規律計算不出來。多少層節點最合適，這個目前除了一個一個試沒有更好的辦法。但是你會發現每一個相同的結構計算出的結果卻不盡相同，這個時候就需要考慮後續的問題。
第三步嘗試，變換transfer function。麻煩你查查字典，因為我不是用中文學的神經網路。我姑且翻譯成傳輸函數。傳輸函數在matlab中內建了3中 pureline logsig tansig。分別有不同的應用范圍。因為沒看到你的數據，我也不清楚具體應該推薦你用哪一種。不過你可以去網上搜索一下三種傳輸函數的特點。
如果有用請給「採納」謝謝。
8、BP神經網路模擬時模擬結果准確率低。請問高手如何處理 5
是預測低還是擬合低？
如果是預測那沒辦法的，如果是擬合低，可以重新選擇網路種類或者網路結構
Ⅱ 【閱讀筆記】改進卷積神經網路的14個小技巧
原文： https://mp.weixin.qq.com/s/Lh_lJNvV9BGhc6no2ln-_g
原題目誤導性太大
1）架構要遵循應用
你也許會被 Google Brain 或者 DeepMind 這些奇特的實驗室所發明的那些耀眼的新模型所吸引，但是其中許多在你的用例或者業務環境中要麼是不可能實現，要麼是實現起來非常不現實。你應該使用對你的特定應用最有意義的模型，這種模型或許比較簡單，但是仍然很強大，例如 VGG。
2）網路路徑的激增
每年的 ImageNet Challenge 的冠軍都會使用比上一屆冠軍更加深層的網路。從 AlexNet 到 Inception，再到 ResNet，Smith 注意到了「網路中路徑數量倍增」的趨勢，並且「ResNet 可以是不同長度的網路的指數集合」。
3）爭取簡單
然而，更大的並不一定是更好的。在名為「Bigger is not necessarily better」的論文中，Springenberg 等人演示了如何用更少的單元實現最先進的結果。參考：https://arxiv.org/pdf/1412.6806.pdf
4）增加對稱性
無論是在建築上，還是在生物上，對稱性被認為是質量和工藝的標志。Smith 將 FractalNet 的優雅歸功於網路的對稱性。
5）金字塔式的形狀
你也許經常在表徵能力和減少冗餘或者無用信息之間權衡。卷積神經網路通常會降低激活函數的采樣，並會增加從輸入層到最終層之間的連接通道。
6）過度訓練
另一個權衡是訓練准確度和泛化能力。用類似 drop-out 或者 drop-path 的方法進行正則化可以提高泛化能力，這是神經網路的重要優勢。請在比你的實際用例更加苛刻的問題下訓練你的網路，以提高泛化性能。
7）全面覆蓋問題空間
為了擴展你的訓練數據和提升泛化能力，請使用雜訊和數據增強，例如隨機旋轉、裁剪和一些圖像操作。
8）遞增的特徵構造
隨著網路結構越來越成功，它們進一部簡化了每一層的「工作」。在非常深層的神經網路中，每一層僅僅會遞增的修改輸入。在 ResNets 中，每一層的輸出和它的輸入時很相似的，這意味著將兩層加起來就是遞增。實踐中，請在 ResNet 中使用較短的跳變長度。
9）標准化層的輸入
標准化是另一個可以使計算層的工作變得更加容易的方法，在實踐中被證明可以提升訓練和准確率。批量標准化（batch normalization）的發明者認為原因在於處理內部的協變數，但是 Smith 認為，「標准化把所有層的輸入樣本放在了一個平等的基礎上（類似於一種單位轉換），這允許反向傳播可以更有效地訓練」。
10）輸入變換
研究表明，在 Wide ResNets 中，性能會隨著連接通道的增加而增強，但是你需要權衡訓練代價與准確度。AlexNet、VGG、Inception 和 ResNets 都在第一層使用了輸入變換以讓輸入數據能夠以多種方式被檢查。
11）可用的資源決指引著層的寬度
然而，可供選擇的輸出數量並不是顯而易見的，這依賴於你的硬體能力以及期望的准確度。
12）Summation Joining
Summation 是一種常用的合並分支的方式。在 ResNets 中，使用總和作為連接的機制可以讓每一個分支都能計算殘差和整體近似。如果輸入跳躍連接一直存在，那麼 summation 會讓每一層學到正確地東西（例如與輸入的差別）。在任何分支都可以被丟棄的網路（例如 FractalNet）中，你應該使用這種方式類保持輸出的平滑。
13）下采樣變換
在池化的時候，利用級聯連接（concatenation joining）來增加輸出的數量。當使用大於 1 的步長時，這會同時處理連接並增加連接通道的數量。
14）用於競爭的 Maxout
Maxout 被用在你只需要選擇一個激活函數的局部競爭網路中。使用求和以及平均值會包含所有的激活函數，所以不同之處在於 maxout 只選擇一個「勝出者」。Maxout 的一個明顯的用例是每個分支具有不同大小的內核，而 Maxout 可以包含尺度不變性。
1）使用調優過的預訓練網路
「如果你的視覺數據和 ImageNet 相似，那麼使用預訓練網路會幫助你學習得更快」，機器學習公司 Diffbot 的 CEO Mike Tung 解釋說。低水平的卷積神經網路通常可以被重復使用，因為它們大多能夠檢測到像線條以及邊緣這些模式。將分類層用你自己的層替換，並且用你特定的數據去訓練最後的幾個層。
2）使用 freeze-drop-path
Drop-path 會在訓練的迭代過程中隨機地刪除一些分支。Smith 測試了一種相反的方法，它被稱為 freeze-path，就是一些路徑的權重是固定的、不可訓練的，而不是整體刪除。因為下一個分支比以前的分支包含更多的層，並且正確的內容更加容易近似得到，所以網路應該會得到更好的准確度。
3）使用循環的學習率
關於學習率的實驗會消耗大量的時間，並且會讓你遇到錯誤。自適應學習率在計算上可能是非常昂貴的，但是循環學習率不會這樣。使用循環學習率（CLR）時，你可以設置一組最大最小邊界，在邊界范圍內改變學習率。Smith 甚至還在論文《Cyclical Learning Rates for Training Neural Networks》中提供了計算學習率的最大值和最小值的方法。參考：https://arxiv.org/pdf/1506.01186.pdf
4）在有雜訊的標簽中使用 bootstrapping
在現實中，很多數據都是混亂的，標簽都是主觀性的或者是缺失的，而且預測的對象可能是訓練的時候未曾遇到過的。Reed 等人在文章《TRAINING DEEP NEURAL NETWORKS ON NOISY LABELS WITH BOOTSTRAPPING》中描述了一種給網路預測目標注入一致性的方法。直觀地講，這可以奏效，通過使網路利用對環境的已知表示（隱含在參數中）來過濾可能具有不一致的訓練標簽的輸入數據，並在訓練時清理該數據。參考：https://arxiv.org/pdf/1412.6596
5）採用有 Maxout 的 ELU，而不是 ReLU
ELU 是 ReLU 的一個相對平滑的版本，它能加速收斂並提高准確度。與 ReLU 不同，ELU 擁有負值，允許它們以更低的計算復雜度將平均單位激活推向更加接近 0 的值，就像批量標准化一樣參考論文《FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)》，https://arxiv.org/pdf/1511.07289.pdf。如果您使用具有全連接層的 Maxout，它們是特別有效的。
Ⅲ 如何提高深度神經網路測試准確率
沉下心來推推公式，多思伏或考，明白了反向傳播本質上是鏈式法則(雖然之前也知道，但是當時還是理解的迷迷糊糊的)。
所有的梯度其實都是對最終的loss進行求導得到的，也就是標量對矩陣or向量的求導。當然同時也學到了許多其他的關於cnn的。
並且建議題主不僅要完成練習，最好旦敏能自己也寫一個cnn，這個過程可能會讓你學習到許多更加細節和模廳枝可能忽略的東西。
Ⅳ 怎樣提高神經網路的預測精度
增加神經返跡網路訓練目標，以提漏仿並高精度要求：
trainparam.goal
=
0.01
%0.01表示訓練目標大判誤差為0.01
Ⅳ 如何訓練神經網路
1、先別著急寫代碼
訓練神經網路前，別管代碼，先從預處理數據集開始。我們先花幾個小時的時間，了解數據的分布並找出其中的規律。
Andrej有一次在整理數據時發現了重復的樣本，還有一次發現了圖像和標簽中的錯誤。所以先看一眼數據能避免我們走很多彎路。
由於神經網路實際上是數據集的壓縮版本，因此您將能夠查看網路（錯誤）預測並了解它們的來源。如果你的網路給你的預測看起來與你在數據中看到的內容不一致，那麼就會有所收獲。
一旦從數據中發現規律，可以編寫一些代碼對他們進行搜索、過濾、排序。把數據可視化能幫助我們發現異常值，而異常值總能揭示數據的質量或預處理中的一些錯誤。
2、設置端到端的訓練評估框架
處理完數據集，接下來就能開始訓練模型了嗎？並不能！下一步是建立一個完整的訓練+評估框架。
在這個階段，我們選擇一個簡單又不至於搞砸的模型，比如線性分類器、CNN，可視化損失。獲得准確度等衡量模型的標准，用模型進行預測。
這個階段的技巧有：
· 固定隨機種子
使用固定的隨機種子，來保證運行代碼兩次都獲得相同的結果，消除差異因素。
· 簡單化
在此階段不要有任何幻想，不要擴增數據。擴增數據後面會用到，但是在這里不要使用，現在引入只會導致錯誤。
· 在評估中添加有效數字
在繪制測試集損失時，對整個測試集進行評估，不要只繪制批次測試損失圖像，然後用Tensorboard對它們進行平滑處理。
· 在初始階段驗證損失函數
驗證函數是否從正確的損失值開始。例如，如果正確初始化最後一層，則應在softmax初始化時測量-log(1/n_classes)。
· 初始化
正確初始化最後一層的權重。如果回歸一些平均值為50的值，則將最終偏差初始化為50。如果有一個比例為1:10的不平衡數據集，請設置對數的偏差，使網路預測概率在初始化時為0.1。正確設置這些可以加速模型的收斂。
· 人類基線
監控除人為可解釋和可檢查的損失之外的指標。盡可能評估人的准確性並與之進行比較。或者對測試數據進行兩次注釋，並且對於每個示例，將一個注釋視為預測，將第二個注釋視為事實。
· 設置一個獨立於輸入的基線
最簡單的方法是將所有輸入設置為零，看看模型是否學會從輸入中提取任何信息。
· 過擬合一個batch
增加了模型的容量並驗證我們可以達到的最低損失。
· 驗證減少訓練損失
嘗試稍微增加數據容量。