神經網路方法參數設置

㈠ matlab 神經網路參數設置問題

net=newff(pr,[25 1],{'logsig' ,'purelin'},'traingdx','learngdm');
'logsig' 與'purelin'中間忘記加逗號了，你加上試試行不~

㈡ 卷積神經網路用全連接層的參數是怎麼確定的

卷積神經網路用全連接層的參數確定：卷積神經網路與傳統的人臉檢測方法不同，它是通過直接作用於輸入樣本，用樣本來訓練網路並最終實現檢測任務的。

它是非參數型的人臉檢測方法，可以省去傳統方法中建模、參數估計以及參數檢驗、重建模型等的一系列復雜過程。本文針對圖像中任意大小、位置、姿勢、方向、膚色、面部表情和光照條件的人臉。

輸入層

卷積神經網路的輸入層可以處理多維數據，常見地，一維卷積神經網路的輸入層接收一維或二維數組，其中一維數組通常為時間或頻譜采樣；二維數組可能包含多個通道；二維卷積神經網路的輸入層接收二維或三維數組；三維卷積神經網路的輸入層接收四維數組。

由於卷積神經網路在計算機視覺領域應用較廣，因此許多研究在介紹其結構時預先假設了三維輸入數據，即平面上的二維像素點和RGB通道。

㈢ 神經網路演算法中，參數的設置或者調整，有什麼方法可以採用

若果對你有幫助，請點贊。
神經網路的結構（例如2輸入3隱節點1輸出）建好後，一般就要求神經網路里的權值和閾值。現在一般求解權值和閾值，都是採用梯度下降之類的搜索演算法（梯度下降法、牛頓法、列文伯格-馬跨特法、狗腿法等等），這些演算法會先初始化一個解，在這個解的基礎上，確定一個搜索方向和一個移動步長（各種法算確定方向和步長的方法不同，也就使各種演算法適用於解決不同的問題），使初始解根據這個方向和步長移動後，能使目標函數的輸出（在神經網路中就是預測誤差）下降。 然後將它更新為新的解，再繼續尋找下一步的移動方向的步長，這樣不斷的迭代下去，目標函數（神經網路中的預測誤差）也不斷下降，最終就能找到一個解，使得目標函數（預測誤差）比較小。
而在尋解過程中，步長太大，就會搜索得不仔細，可能跨過了優秀的解，而步長太小，又會使尋解過程進行得太慢。因此，步長設置適當非常重要。
學習率對原步長（在梯度下降法中就是梯度的長度）作調整，如果學習率lr = 0.1,那麼梯度下降法中每次調整的步長就是0.1*梯度，
而在matlab神經網路工具箱里的lr,代表的是初始學習率。因為matlab工具箱為了在尋解不同階段更智能的選擇合適的步長，使用的是可變學習率，它會根據上一次解的調整對目標函數帶來的效果來對學習率作調整，再根據學習率決定步長。
機制如下：
if newE2/E2 > maxE_inc %若果誤差上升大於閾值
lr = lr * lr_dec; %則降低學習率
else
if newE2 < E2 %若果誤差減少
lr = lr * lr_inc;%則增加學習率
end
詳細的可以看《神經網路之家》nnetinfo里的《[重要]寫自己的BP神經網路(traingd)》一文，裡面是matlab神經網路工具箱梯度下降法的簡化代碼

若果對你有幫助，請點贊。
祝學習愉快

㈣ 深度神經網路dnn怎麼調節參數

深度神經網路（DNN）目前是許多現代AI應用的基礎。
自從DNN在語音識別和圖像識別任務中展現出突破性的成果，使用DNN的應用數量呈爆炸式增加。這些DNN方法被大量應用在無人駕駛汽車，癌症檢測，游戲AI等方面。
在許多領域中，DNN目前的准確性已經超過人類。與早期的專家手動提取特徵或制定規則不同，DNN的優越性能來自於在大量數據上使用統計學習方法，從原始數據中提取高級特徵的能力，從而對輸入空間進行有效的表示。

然而，DNN超高的准確性是以超高的計算復雜度為代價的。
通常意義下的計算引擎，尤其是GPU，是DNN的基礎。因此，能夠在不犧牲准確性和增加硬體成本的前提下，提高深度神經網路的能量效率和吞吐量的方法，對於DNN在AI系統中更廣泛的應用是至關重要的。研究人員目前已經更多的將關注點放在針對DNN計算開發專用的加速方法。
鑒於篇幅，本文主要針對論文中的如下幾部分詳細介紹：
DNN的背景，歷史和應用
DNN的組成部分，以及常見的DNN模型
簡介如何使用硬體加速DNN運算
DNN的背景
人工智慧與深度神經網路

深度神經網路，也被稱為深度學習，是人工智慧領域的重要分支，根據麥卡錫（人工智慧之父）的定義，人工智慧是創造像人一樣的智能機械的科學工程。深度學習與人工智慧的關系如圖1所示：

圖1：深度神經網路與人工智慧的關系
人工智慧領域內，一個大的子領域是機器學習，由Arthur Samuel在1959年定義為：讓計算機擁有不需要明確編程即可學習的能力。
這意味著創建一個程序，這個程序可以被訓練去學習如何去做一些智能的行為，然後這個程序就可以自己完成任務。而傳統的人工啟發式方法，需要對每個新問題重新設計程序。
高效的機器學習演算法的優點是顯而易見的。一個機器學習演算法，只需通過訓練，就可以解決某一領域中每一個新問題，而不是對每個新問題特定地進行編程。
在機器學習領域，有一個部分被稱作brain-inspired computation。因為人類大腦是目前學習和解決問題最好的「機器」，很自然的，人們會從中尋找機器學習的方法。
盡管科學家們仍在探索大腦工作的細節，但是有一點被公認的是：神經元是大腦的主要計算單元。
人類大腦平均有860億個神經元。神經元相互連接，通過樹突接受其他神經元的信號，對這些信號進行計算之後，通過軸突將信號傳遞給下一個神經元。一個神經元的軸突分支出來並連接到許多其他神經元的樹突上，軸突分支和樹突之間的連接被稱為突觸。據估計，人類大腦平均有1014-1015個突觸。
突觸的一個關鍵特性是它可以縮放通過它的信號大小。這個比例因子可以被稱為權重（weight），普遍認為，大腦學習的方式是通過改變突觸的權重實現的。因此，不同的權重導致對輸入產生不同的響應。注意，學習過程是學習刺激導致的權重調整，而大腦組織（可以被認為是程序）並不改變。
大腦的這個特徵對機器學習演算法有很好的啟示。
神經網路與深度神經網路

神經元的計算是輸入值的加權和這個概念啟發了神經網路的研究。這些加權和對應於突觸的縮放值以及神經元所接收的值的組合。此外，神經元並不僅僅是輸入信號的加權和，如果是這樣的話，級聯的神經元的計算將是一種簡單的線性代數運算。
相反的是，神經元組合輸入的操作似乎是一種非線性函數，只有輸入達到某個閾值的時候，神經元才會生成輸出。因此，通過類比，我們可以知道神經網路在輸入值的加權和的基礎上應用了非線性函數。
圖2（a）展示了計算神經網路的示意圖，圖的最左邊是接受數值的「輸入層」。這些值被傳播到中間層神經元，通常也叫做網路的「隱藏層」。通過一個或更多隱藏層的加權和最終被傳播到「輸出層」，將神經網路的最終結果輸出給用戶。

圖2：神經網路示意圖

在神經網路領域，一個子領域被稱為深度學習。最初的神經網路通常只有幾層的網路。而深度網路通常有更多的層數，今天的網路一般在五層以上，甚至達到一千多層。
目前在視覺應用中使用深度神經網路的解釋是：將圖像所有像素輸入到網路的第一層之後，該層的加權和可以被解釋為表示圖像不同的低階特徵。隨著層數的加深，這些特徵被組合，從而代表更高階的圖像特徵。
例如，線可以被組合成形狀，再進一步，可以被組合成一系列形狀的集合。最後，再訓練好這些信息之後，針對各個圖像類別，網路給出由這些高階特徵組成各個對象的概率，即分類結果。
推理（Inference）與訓練（Training）
既然DNN是機器學習演算法中的一員，那麼它的基本編程思想仍然是學習。DNN的學習即確定網路的權重值。通常，學習過程被稱為訓練網路（training）。一旦訓練完成，程序可以使用由訓練確定的權值進行計算，這個使用網路完成任務的操作被被稱為推斷（inference）。
接下來，如圖3所示，我們用圖像分類作為例子來展示如何訓練一個深度神經網路。當我們使用一個DNN的時候，我們輸入一幅圖片，DNN輸出一個得分向量，每一個分數對應一個物體分類；得到最高分數的分類意味著這幅圖片最有可能屬於這個分類。
訓練DNN的首要目標就是確定如何設置權重，使得正確分類的得分最高（圖片所對應的正確分類在訓練數據集中標出），而使其他不正確分類的得分盡可能低。理想的正確分類得分與目前的權重所計算出的得分之間的差距被稱為損失函數（loss）。
因此訓練DNN的目標即找到一組權重，使得對一個較大規模數據集的loss最小。

圖3：圖像分類

權重（weight）的優化過程類似爬山的過程，這種方法被稱為梯度下降（gradient decent）。損失函數對每個權值的梯度，即損失函數對每個權值求偏導數，被用來更新權值（例：第t到t+1次迭代：，其中α被稱為學習率（Learning rate）。梯度值表明權值應該如何變化以減小loss。這個減小loss值的過程是重復迭代進行的。
梯度可以通過反向傳播（Back-Propagation）過程很高效地進行計算，loss的影響反向通過網路來計算loss是如何被每個權重影響的。
訓練權重有很多種方法。前面提到的是最常見的方法，被稱為監督學習，其中所有的訓練樣本是有標簽的。
無監督學習是另一種方法，其中所有訓練樣本都沒有標簽，最終目標是在數據中查找結構或聚類。半監督學習結合了兩種方法，只有訓練數據的一小部分被標記（例如，使用未標記的數據來定義集群邊界，並使用少量的標記數據來標記集群）。
最後，強化學習可以用來訓練一個DNN作為一個策略網路，對策略網路給出一個輸入，它可以做出一個決定，使得下一步的行動得到相應的獎勵;訓練這個網路的過程是使網路能夠做出使獎勵（即獎勵函數）最大化的決策，並且訓練過程必須平衡嘗試新行為（Exploration）和使用已知能給予高回報的行為（Exploitation）兩種方法。

用於確定權重的另一種常用方法是fine-tune，使用預先訓練好的模型的權重用作初始化，然後針對新的數據集（例如，傳遞學習）或新的約束（例如，降低的精度）調整權重。與從隨機初始化開始相比，能夠更快的訓練，並且有時會有更好的准確性。

㈤ SPSS的神經網路模型參數設置疑問

1神經網路對於定量數據也能用

2因子根據具體研究面對確定
3比例3:7，也可以cross
4驗證集必須
5這些就多了，有數學公式

㈥ 深度學習中的神經網路參數怎麼調整

根據前一次運行的情況做調整，例如出現梯度爆炸則要調低學習速率，出現過擬合則要調高正則化參數的系數。