神經連接網路最初概念

⑴ 神經網路控制系統概念最早是什麼時候提出來有沒有經典的案例介紹

1943年，McCulloch與Pitts合作提出了第一個神經計算模型，簡稱MP模型。

典型反饋網路——Hopfield網路

美國物理學家Hopfield提出了離散型Hopfield神經網路和連續型Hopfield神經經網路，引入「計算能量函數」的概念，給出了網路穩定性判據，尤其是給出了Hopfield神經網路的電子電路實現，開拓了神經網路用於聯系那個記憶和優化計算機的新途徑。

【資料來源】：中國自動化網CA800

⑵ 神經網路淺談

人工智慧技術是當前炙手可熱的話題，而基於神經網路的深度學習技術更是熱點中的熱點。去年穀歌的Alpha Go 以4:1大比分的優勢戰勝韓國的李世石九段，展現了深度學習的強大威力，後續強化版的Alpha Master和無師自通的Alpha Zero更是在表現上完全碾壓前者。不論你怎麼看，以深度學習為代表的人工智慧技術正在塑造未來。

下圖為英偉達（NVIDIA）公司近年來的股價情況， 該公司的主要產品是「圖形處理器」（GPU），而GPU被證明能大大加快神經網路的訓練速度，是深度學習必不可少的計算組件。英偉達公司近年來股價的飛漲足以證明當前深度學習的井噴之勢。

好，話不多說，下面簡要介紹神經網路的基本原理、發展脈絡和優勢。

神經網路是一種人類由於受到生物神經細胞結構啟發而研究出的一種演算法體系，是機器學習演算法大類中的一種。首先讓我們來看人腦神經元細胞：

一個神經元通常具有多個樹突 ，主要用來接受傳入信息，而軸突只有一條，軸突尾端有許多軸突末梢，可以給其他多個神經元傳遞信息。軸突末梢跟其他神經元的樹突產生連接，從而傳遞信號。

下圖是一個經典的神經網路（Artificial Neural Network,ANN）：

乍一看跟傳統互聯網的拓撲圖有點類似，這也是稱其為網路的原因，不同的是節點之間通過有向線段連接，並且節點被分成三層。我們稱圖中的圓圈為神經元，左邊三個神經元組成的一列為輸入層，中間神經元列為隱藏層,右邊神經元列為輸出層，神經元之間的箭頭為權重。

神經元是計算單元，相當於神經元細胞的細胞核，利用輸入的數據進行計算，然後輸出，一般由一個線性計算部分和一個非線性計算部分組成；輸入層和輸出層實現數據的輸入輸出，相當於細胞的樹突和軸突末梢；隱藏層指既不是輸入也不是輸出的神經元層，一個神經網路可以有很多個隱藏層。

神經網路的關鍵不是圓圈代表的神經元，而是每條連接線對應的權重。每條連接線對應一個權重，也就是一個參數。權重具體的值需要通過神經網路的訓練才能獲得。我們實際生活中的學習體現在大腦中就是一系列神經網路迴路的建立與強化，多次重復的學習能讓迴路變得更加粗壯，使得信號的傳遞速度加快，最後對外表現為「深刻」的記憶。人工神經網路的訓練也借鑒於此，如果某種映射關系出現很多次，那麼在訓練過程中就相應調高其權重。

1943年，心理學家McCulloch和數學家Pitts參考了生物神經元的結構，發表了抽象的神經元模型MP：

符號化後的模型如下：

Sum函數計算各權重與輸入乘積的線性組合，是神經元中的線性計算部分，而sgn是取符號函數，當輸入大於0時，輸出1，反之輸出0，是神經元中的非線性部分。向量化後的公式為z=sgn(w^T a)（w^T=(w_1,w_2,w_3)，a=〖(a_1,a_2,a_3)〗^T）。

但是，MP模型中，權重的值都是預先設置的，因此不能學習。該模型雖然簡單，並且作用有限，但已經建立了神經網路大廈的地基

1958年，計算科學家Rosenblatt提出了由兩層神經元組成(一個輸入層，一個輸出層)的神經網路。他給它起了一個名字–「感知器」（Perceptron）

感知器是當時首個可以學習的人工神經網路。Rosenblatt現場演示了其學習識別簡單圖像的過程，在當時引起了轟動，掀起了第一波神經網路的研究熱潮。

但感知器只能做簡單的線性分類任務。1969年，人工智慧領域的巨擘Minsky指出這點，並同時指出感知器對XOR（異或，即兩個輸入相同時輸出0，不同時輸出1）這樣的簡單邏輯都無法解決。所以，明斯基認為神經網路是沒有價值的。

隨後，神經網路的研究進入低谷，又稱 AI Winter 。

Minsky說過單層神經網路無法解決異或問題，但是當增加一個計算層以後，兩層神經網路不僅可以解決異或問題，而且具有非常好的非線性分類效果。

下圖為兩層神經網路（輸入層一般不算在內）：

上圖中，輸出層的輸入是上一層的輸出。

向量化後的公式為：

注意：

每個神經元節點默認都有偏置變數b，加上偏置變數後的計算公式為：

同時，兩層神經網路不再使用sgn函數作為激勵函數，而採用平滑的sigmoid函數：

σ(z)=1/(1+e^(-z) )

其圖像如下：

理論證明： 兩層及以上的神經網路可以無限逼近真實的對應函數，從而模擬數據之間的真實關系 ，這是神經網路強大預測能力的根本。但兩層神經網路的計算量太大，當時的計算機的計算能力完全跟不上，直到1986年，Rumelhar和Hinton等人提出了反向傳播（Backpropagation，BP）演算法，解決了兩層神經網路所需要的復雜計算量問題，帶動了業界使用兩層神經網路研究的熱潮。

但好景不長，演算法的改進僅使得神經網路風光了幾年，然而計算能力不夠，局部最優解，調參等一系列問題一直困擾研究人員。90年代中期，由Vapnik等人發明的SVM（Support Vector Machines，支持向量機）演算法誕生，很快就在若干個方面體現出了對比神經網路的優勢：無需調參；高效；全局最優解。

由於以上原因，SVM迅速打敗了神經網路演算法成為主流。神經網路的研究再一次進入低谷， AI Winter again 。

多層神經網路一般指兩層或兩層以上的神經網路（不包括輸入層），更多情況下指兩層以上的神經網路。

2006年，Hinton提出使用 預訓練 」（pre-training）和「微調」(fine-tuning)技術能優化神經網路訓練，大幅度減少訓練多層神經網路的時間

並且，他給多層神經網路相關的學習方法賦予了一個新名詞–「 深度學習 」，以此為起點，「深度學習」紀元開始了：）

「深度學習」一方面指神經網路的比較「深」，也就是層數較多；另一方面也可以指神經網路能學到很多深層次的東西。研究發現，在權重參數不變的情況下，增加神經網路的層數，能增強神經網路的表達能力。

但深度學習究竟有多強大呢？沒人知道。2012年，Hinton與他的學生在ImageNet競賽中，用多層的卷積神經網路成功地對包含一千類別的一百萬張圖片進行了訓練，取得了分類錯誤率15%的好成績，這個成績比第二名高了近11個百分點，充分證明了多層神經網路識別效果的優越性。

同時，科研人員發現GPU的大規模並行矩陣運算模式完美地契合神經網路訓練的需要，在同等情況下，GPU的速度要比CPU快50-200倍，這使得神經網路的訓練時間大大減少，最終再一次掀起了神經網路研究的熱潮，並且一直持續到現在。

2016年基於深度學習的Alpha Go在圍棋比賽中以4:1的大比分優勢戰勝了李世石，深度學習的威力再一次震驚了世界。

神經網路的發展歷史曲折盪漾，既有被捧上神壇的高潮，也有無人問津的低谷，中間經歷了數次大起大落，我們姑且稱之為「三起三落」吧，其背後則是演算法的改進和計算能力的持續發展。

下圖展示了神經網路自發明以來的發展情況及一些重大時間節點。

當然，對於神經網路我們也要保持清醒的頭腦。由上圖，每次神經網路研究的興盛期持續10年左右，從最近2012年算起，或許10年後的2022年，神經網路的發展將再次遇到瓶頸。

神經網路作為機器學習的一種，其模型訓練的目的，就是使得參數盡可能的與真實的模型逼近。理論證明，兩層及以上的神經網路可以無限逼近真實的映射函數。因此，給定足夠的訓練數據和訓練時間，總能通過神經網路找到無限逼近真實關系的模型。

具體做法：首先給所有權重參數賦上隨機值，然後使用這些隨機生成的參數值，來預測訓練數據中的樣本。假設樣本的預測目標為yp ，真實目標為y，定義值loss，計算公式如下：

loss = (yp -y) ^2

這個值稱之為 損失 （loss），我們的目標就是使對所有訓練數據的損失和盡可能的小，這就轉化為求loss函數極值的問題。

一個常用方法是高等數學中的求導，但由於參數不止一個，求導後計算導數等於0的運算量很大，所以常用梯度下降演算法來解決這樣的優化問題。梯度是一個向量，由函數的各自變數的偏導數組成。

比如對二元函數 f =(x,y)，則梯度∇f=(∂f/∂x,∂f/∂y)。梯度的方向是函數值上升最快的方向。梯度下降演算法每次計算參數在當前的梯度，然後讓參數向著梯度的反方向前進一段距離，不斷重復，直到梯度接近零時截止。一般這個時候，所有的參數恰好達到使損失函數達到一個最低值的狀態。下圖為梯度下降的大致運行過程：

在神經網路模型中，由於結構復雜，每次計算梯度的代價很大。因此還需要使用 反向傳播 （Back Propagation）演算法。反向傳播演算法利用了神經網路的結構進行計算，不一次計算所有參數的梯度，而是從後往前。首先計算輸出層的梯度，然後是第二個參數矩陣的梯度，接著是中間層的梯度，再然後是第一個參數矩陣的梯度，最後是輸入層的梯度。計算結束以後，所要的兩個參數矩陣的梯度就都有了。當然，梯度下降只是其中一個優化演算法，其他的還有牛頓法、RMSprop等。

確定loss函數的最小值後，我們就確定了整個神經網路的權重，完成神經網路的訓練。

在神經網路中一樣的參數數量，可以用更深的層次去表達。

由上圖，不算上偏置參數的話，共有三層神經元，33個權重參數。

由下圖，保持權重參數不變，但增加了兩層神經元。

在多層神經網路中，每一層的輸入是前一層的輸出，相當於在前一層的基礎上學習，更深層次的神經網路意味著更深入的表示特徵，以及更強的函數模擬能力。更深入的表示特徵可以這樣理解，隨著網路的層數增加，每一層對於前一層次的抽象表示更深入。

如上圖，第一個隱藏層學習到「邊緣」的特徵，第二個隱藏層學習到「邊緣」組成的「形狀」的特徵，第三個隱藏層學習到由「形狀」組成的「圖案」的特徵，最後的隱藏層學習到由「圖案」組成的「目標」的特徵。通過抽取更抽象的特徵來對事物進行區分，從而獲得更好的區分與分類能力。

前面提到， 明斯基認為Rosenblatt提出的感知器模型不能處理最簡單的「異或」（XOR）非線性問題，所以神經網路的研究沒有前途，但當增加一層神經元後，異或問題得到了很好地解決，原因何在？原來從輸入層到隱藏層，數據發生了空間變換，坐標系發生了改變，因為矩陣運算本質上就是一種空間變換。

如下圖，紅色和藍色的分界線是最終的分類結果，可以看到，該分界線是一條非常平滑的曲線。

但是，改變坐標系後，分界線卻表現為直線，如下圖：

同時，非線性激勵函數的引入使得神經網路對非線性問題的表達能力大大加強。

對於傳統的樸素貝葉斯、決策樹、支持向量機SVM等分類器，提取特徵是一個非常重要的前置工作。在正式訓練之前，需要花費大量的時間在數據的清洗上，這樣分類器才能清楚地知道數據的維度，要不然基於概率和空間距離的線性分類器是沒辦法進行工作的。然而在神經網路中，由於巨量的線性分類器的堆疊（並行和串列）以及卷積神經網路的使用，它對雜訊的忍耐能力、對多通道數據上投射出來的不同特徵偏向的敏感程度會自動重視或忽略，這樣我們在處理的時候，就不需要使用太多的技巧用於數據的清洗了。有趣的是，業內大佬常感嘆，「你可能知道SVM等機器學習的所有細節，但是效果並不好，而神經網路更像是一個黑盒，很難知道它究竟在做什麼，但工作效果卻很好」。

人類對機器學習的環節干預越少，就意味著距離人工智慧的方向越近。神經網路的這個特性非常有吸引力。

1) 谷歌的TensorFlow開發了一個非常有意思的神經網路 入門教程 ，用戶可以非常方便地在網頁上更改神經網路的參數，並且能看到實時的學習效率和結果，非常適合初學者掌握神經網路的基本概念及神經網路的原理。網頁截圖如下：

2) 深度學習領域大佬吳恩達不久前發布的《 神經網路和深度學習 》MOOC，現在可以在網易雲課堂上免費觀看了，並且還有中文字幕。

3) 《神經網路於深度學習》（Michael Nielsen著）、《白話深度學習與TensorFlow》也是不錯的入門書籍。

⑶ 神經網路（深度學習）的幾個基礎概念

從廣義上說深度學習的網路結構也是多層神經網路的一種。傳統意義上的多層神經網路是只有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。而深度學習中最著名的卷積神經網路CNN，在原來多層神經網路的基礎上，加入了特徵學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級。輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- .... -- 隱藏層 -輸出層簡單來說，原來多層神經網路做的步驟是：特徵映射到值。特徵是人工挑選。深度學習做的步驟是 信號->特徵->值。 特徵是由網路自己選擇。

⑷ 什麼叫神經網路

南搞小孩給出基本的概念: 一.一些基本常識和原理 [什麼叫神經網路?] 人的思維有邏輯性和直觀性兩種不同的基本方式。邏輯性的思維是指根據邏輯規則進行推理的過程；它先將信息化成概念，並用符號表示，然後，根據符號運算按串列模式進行邏輯推理；這一過程可以寫成串列的指令，讓計算機執行。然而，直觀性的思維是將分布式存儲的信息綜合起來，結果是忽然間產生想法或解決問題的辦法。這種思維方式的根本之點在於以下兩點:1.信息是通過神經元上的興奮模式分布儲在網路上;2.信息處理是通過神經元之間同時相互作用的動態過程來完成的。 人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。 [人工神經網路的工作原理] 人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。 所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。 如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。 南搞小孩一個小程序: 關於一個神經網路模擬程序的下載 人工神經網路實驗系統(BP網路) V1.0 Beta 作者:沈琦 http://emuch.net/html/200506/de24132.html 作者關於此程序的說明: 從輸出結果可以看到，前3條"學習"指令，使"輸出"神經元收斂到了值 0.515974。而後3條"學習"指令，其收斂到了值0.520051。再看看處理4和11的指令結果 P *Out1: 0.520051看到了嗎？ "大腦"識別出了4和11是屬於第二類的！怎麼樣?很神奇吧?再打show指令看看吧!"神經網路"已經形成了!你可以自己任意的設"模式"讓這個"大腦"學習分辯哦!只要樣本數據量充分(可含有誤差的樣本)，如果能夠在out數據上收斂地話，那它就能分辨地很准哦!有時不是絕對精確，因為它具有"模糊處理"的特性.看Process輸出的值接近哪個Learning的值就是"大腦"作出的"模糊性"判別! 南搞小孩神經網路研究社區: 人工神經網路論壇 http://www.youngfan.com/forum/index.php http://www.youngfan.com/nn/index.html(舊版,楓舞推薦) 國際神經網路學會(INNS)(英文) http://www.inns.org/ 歐洲神經網路學會(ENNS)(英文) http://www.snn.kun.nl/enns/ 亞太神經網路學會(APNNA)(英文) http://www.cse.cuhk.e.hk/~apnna 日本神經網路學會(JNNS)(日文) http://www.jnns.org 國際電氣工程師協會神經網路分會 http://www.ieee-nns.org/ 研學論壇神經網路 http://bbs.matwav.com/post/page?bid=8&sty=1&age=0 人工智慧研究者俱樂部 http://www.souwu.com/ 2nsoft人工神經網路中文站 http://211.156.161.210:8888/2nsoft/index.jsp =南搞小孩推薦部分書籍: 人工神經網路技術入門講稿(PDF) http://www.youngfan.com/nn/ann.pdf 神經網路FAQ(英文) http://www.youngfan.com/nn/FAQ/FAQ.html 數字神經網路系統(電子圖書) http://www.youngfan.com/nn/nnbook/director.htm 神經網路導論(英文) http://www.shef.ac.uk/psychology/gurney/notes/contents.html =南搞小孩還找到一份很有參考價值的講座 <前向網路的敏感性研究> http://www.youngfan.com/nn/mgx.ppt 是Powerpoint文件，比較大，如果網速不夠最好用滑鼠右鍵下載另存. 南搞小孩添言:很久之前，楓舞夢想智能機器人從自己手中誕生,SO在學專業的時候也有往這方面發展...考研的時候亦是朝著人工智慧的方向發展..但是很不幸的是楓舞考研失敗...SO 只好放棄這個美好的願望,為生活奔波.希望你能夠成為一個好的智能計算機工程師..楓舞已經努力的在給你提供條件資源哦~~

⑸ 什麼是神經網路

神經網路是機器學習的一個流派。這是現今最火的一個學派。我們在第一講中，已經知道人學習知識是通過神經元的連接，科學家通過模仿人腦機理發明了人工神經元。技術的進一步發展，多層神經元的連接，就形成了神經網路。那麼神經網路是怎麼搭建起來的呢？神經元是構建神經網路的最基本單位， 這張圖就是一個人工神經元的原理圖，非常簡單，一個神經元由一個加法器和一個門限器組成。加法器有一些輸入，代表從其他神經元來的信號，這些信號分別被乘上一個系數後在加法器里相加，如果相加的結果大於某個值，就「激活」這個神經元，接通到下個神經元，否則就不激活。原理就這么簡單，做起來也很簡單。今天所有的神經網路的基本單元都是這個。輸入信號乘上的系數，我們也叫「權重」，就是網路的參數，玩神經網路就是調整權重，讓它做你想讓它做的事。 一個神經元只能識別一個東西，比如，當你訓練給感知器會「認」數字「8」，你給它看任何一個數字，它就會告訴你，這是「8」還不是「8」。為了讓機器識別更多更復雜的圖像，我們就需要用更多的神經元。人的大腦由 1000 億個神經元構成，人腦神經元組成了一個很復雜的三維立體結構。

⑹ 有人可以介紹一下什麼是"神經網路"嗎

由於神經網路是多學科交叉的產物，各個相關的學科領域對神經網路
都有各自的看法，因此，關於神經網路的定義，在科學界存在許多不同的
見解。目前使用得最廣泛的是T.Koholen的定義，即"神經網路是由具有適
應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經
系統對真實世界物體所作出的交互反應。"

如果我們將人腦神經信息活動的特點與現行馮·諾依曼計算機的工作方
式進行比較，就可以看出人腦具有以下鮮明特徵：

1. 巨量並行性。
在馮·諾依曼機中，信息處理的方式是集中、串列的，即所有的程序指
令都必須調到CPU中後再一條一條地執行。而人在識別一幅圖像或作出一項
決策時，存在於腦中的多方面的知識和經驗會同時並發作用以迅速作出解答。
據研究，人腦中約有多達10^(10)～10^(11)數量級的神經元，每一個神經元
具有103數量級的連接，這就提供了巨大的存儲容量，在需要時能以很高的
反應速度作出判斷。

2. 信息處理和存儲單元結合在一起。
在馮·諾依曼機中，存儲內容和存儲地址是分開的，必須先找出存儲器的
地址，然後才能查出所存儲的內容。一旦存儲器發生了硬體故障，存儲器中
存儲的所有信息就都將受到毀壞。而人腦神經元既有信息處理能力又有存儲
功能，所以它在進行回憶時不僅不用先找存儲地址再調出所存內容，而且可
以由一部分內容恢復全部內容。當發生"硬體"故障（例如頭部受傷）時，並
不是所有存儲的信息都失效，而是僅有被損壞得最嚴重的那部分信息丟失。

3. 自組織自學習功能。
馮·諾依曼機沒有主動學習能力和自適應能力，它只能不折不扣地按照
人們已經編制好的程序步驟來進行相應的數值計算或邏輯計算。而人腦能夠
通過內部自組織、自學習的能力，不斷地適應外界環境，從而可以有效地處
理各種模擬的、模糊的或隨機的問題。

神經網路研究的主要發展過程大致可分為四個階段：

1. 第一階段是在五十年代中期之前。

西班牙解剖學家Cajal於十九世紀末創立了神經元學說，該學說認為神經
元的形狀呈兩極，其細胞體和樹突從其他神經元接受沖動，而軸索則將信號
向遠離細胞體的方向傳遞。在他之後發明的各種染色技術和微電極技術不斷
提供了有關神經元的主要特徵及其電學性質。

1943年，美國的心理學家W.S.McCulloch和數學家W.A.Pitts在論文《神經
活動中所蘊含思想的邏輯活動》中，提出了一個非常簡單的神經元模型，即
M－P模型。該模型將神經元當作一個功能邏輯器件來對待，從而開創了神經
網路模型的理論研究。

1949年，心理學家D.O. Hebb寫了一本題為《行為的組織》的書，在這本
書中他提出了神經元之間連接強度變化的規則，即後來所謂的Hebb學習法則。
Hebb寫道："當神經細胞A的軸突足夠靠近細胞B並能使之興奮時，如果A重
復或持續地激發B，那麼這兩個細胞或其中一個細胞上必然有某種生長或代
謝過程上的變化，這種變化使A激活B的效率有所增加。"簡單地說，就是
如果兩個神經元都處於興奮狀態，那麼它們之間的突觸連接強度將會得到增
強。

五十年代初，生理學家Hodykin和數學家Huxley在研究神經細胞膜等效電
路時，將膜上離子的遷移變化分別等效為可變的Na+電阻和K+電阻，從而建
立了著名的Hodykin-Huxley方程。

這些先驅者的工作激發了許多學者從事這一領域的研究，從而為神經計
算的出現打下了基礎。

2. 第二階段從五十年代中期到六十年代末。

1958年，F.Rosenblatt等人研製出了歷史上第一個具有學習型神經網路
特點的模式識別裝置，即代號為Mark I的感知機（Perceptron），這一重
大事件是神經網路研究進入第二階段的標志。對於最簡單的沒有中間層的
感知機，Rosenblatt證明了一種學習演算法的收斂性，這種學習演算法通過迭代
地改變連接權來使網路執行預期的計算。

稍後於Rosenblatt，B.Widrow等人創造出了一種不同類型的會學習的神經
網路處理單元，即自適應線性元件Adaline，並且還為Adaline找出了一種有
力的學習規則，這個規則至今仍被廣泛應用。Widrow還建立了第一家神經計
算機硬體公司，並在六十年代中期實際生產商用神經計算機和神經計算機軟
件。

除Rosenblatt和Widrow外，在這個階段還有許多人在神經計算的結構和
實現思想方面作出了很大的貢獻。例如，K.Steinbuch研究了稱為學習矩陣
的一種二進制聯想網路結構及其硬體實現。N.Nilsson於1965年出版的
《機器學習》一書對這一時期的活動作了總結。

3. 第三階段從六十年代末到八十年代初。

第三階段開始的標志是1969年M.Minsky和S.Papert所著的《感知機》一書
的出版。該書對單層神經網路進行了深入分析，並且從數學上證明了這種網
絡功能有限，甚至不能解決象"異或"這樣的簡單邏輯運算問題。同時，他們
還發現有許多模式是不能用單層網路訓練的，而多層網路是否可行還很值得
懷疑。

由於M.Minsky在人工智慧領域中的巨大威望，他在論著中作出的悲觀結論
給當時神經網路沿感知機方向的研究潑了一盆冷水。在《感知機》一書出版
後，美國聯邦基金有15年之久沒有資助神經網路方面的研究工作，前蘇聯也
取消了幾項有前途的研究計劃。

但是，即使在這個低潮期里，仍有一些研究者繼續從事神經網路的研究工
作，如美國波士頓大學的S.Grossberg、芬蘭赫爾辛基技術大學的T.Kohonen
以及日本東京大學的甘利俊一等人。他們堅持不懈的工作為神經網路研究的
復興開辟了道路。

4. 第四階段從八十年代初至今。

1982年，美國加州理工學院的生物物理學家J.J.Hopfield採用全互連型
神經網路模型，利用所定義的計算能量函數，成功地求解了計算復雜度為
NP完全型的旅行商問題（Travelling Salesman Problem，簡稱TSP）。這
項突破性進展標志著神經網路方面的研究進入了第四階段，也是蓬勃發展
的階段。

Hopfield模型提出後，許多研究者力圖擴展該模型，使之更接近人腦的
功能特性。1983年，T.Sejnowski和G.Hinton提出了"隱單元"的概念，並且
研製出了Boltzmann機。日本的福島邦房在Rosenblatt的感知機的基礎上，
增加隱層單元，構造出了可以實現聯想學習的"認知機"。Kohonen應用3000
個閾器件構造神經網路實現了二維網路的聯想式學習功能。1986年，
D.Rumelhart和J.McClelland出版了具有轟動性的著作《並行分布處理-認知
微結構的探索》，該書的問世宣告神經網路的研究進入了高潮。

1987年，首屆國際神經網路大會在聖地亞哥召開，國際神經網路聯合會
（INNS）成立。隨後INNS創辦了刊物《Journal Neural Networks》，其他
專業雜志如《Neural Computation》，《IEEE Transactions on Neural
Networks》，《International Journal of Neural Systems》等也紛紛
問世。世界上許多著名大學相繼宣布成立神經計算研究所並制訂有關教育
計劃，許多國家也陸續成立了神經網路學會，並召開了多種地區性、國際性
會議，優秀論著、重大成果不斷涌現。

今天，在經過多年的准備與探索之後，神經網路的研究工作已進入了決
定性的階段。日本、美國及西歐各國均制訂了有關的研究規劃。

日本制訂了一個"人類前沿科學計劃"。這項計劃為期15－20年，僅
初期投資就超過了1萬億日元。在該計劃中，神經網路和腦功能的研究佔有
重要地位，因為所謂"人類前沿科學"首先指的就是有關人類大腦以及通過
借鑒人腦而研製新一代計算機的科學領域。

在美國，神經網路的研究得到了軍方的強有力的支持。美國國防部投資
4億美元，由國防部高級研究計劃局（DAPRA）制訂了一個8年研究計劃，
並成立了相應的組織和指導委員會。同時，海軍研究辦公室（ONR）、空軍
科研辦公室（AFOSR）等也紛紛投入巨額資金進行神經網路的研究。DARPA認
為神經網路"看來是解決機器智能的唯一希望"，並認為"這是一項比原子彈
工程更重要的技術"。美國國家科學基金會（NSF）、國家航空航天局（NASA）
等政府機構對神經網路的發展也都非常重視，它們以不同的形式支持了眾多
的研究課題。

歐共體也制訂了相應的研究計劃。在其ESPRIT計劃中，就有一個項目是
"神經網路在歐洲工業中的應用"，除了英、德兩國的原子能機構外，還有多
個歐洲大公司卷進這個研究項目，如英國航天航空公司、德國西門子公司等。
此外，西歐一些國家還有自己的研究計劃，如德國從1988年就開始進行一個
叫作"神經資訊理論"的研究計劃。

我國從1986年開始，先後召開了多次非正式的神經網路研討會。1990年
12月，由中國計算機學會、電子學會、人工智慧學會、自動化學會、通信學
會、物理學會、生物物理學會和心理學會等八個學會聯合在北京召開了"中
國神經網路首屆學術會議"，從而開創了我國神經網路研究的新紀元。

⑺ 神經網路簡述

機器學習中談論的神經網路是指「神經網路學習」，或者說，是機器學習和神經網路這兩個學科領域的交叉部分[1]。

在這里，神經網路更多的是指計算機科學家模擬人類大腦結構和智能行為，發明的一類演算法的統稱。

神經網路是眾多優秀仿生演算法中的一種，讀書時曾接觸過蟻群優化演算法，曾驚訝於其強大之處，但神經網路的強大，顯然蟻群優化還不能望其項背。

A、起源與第一次高潮。有人認為，神經網路的最早討論，源於現代計算機科學的先驅——阿蘭.圖靈在1948年的論文中描述的「B型組織機器」[2]。二十世紀50年代出現了以感知機、Adaling為代表的一系列成功，這是神經網路發展的第一個高潮[1]。

B、第一次低谷。1969年，馬文.明斯基出版《感知機》一書，書中論斷直接將神經網路打入冷宮，導致神經網路十多年的「冰河期」。值得一提的是，在這期間的1974年，哈佛大學Paul Webos發明BP演算法，但當時未受到應有的重視[1]。

C、第二次高潮。1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商問題上獲得當時最好結果，引起轟動；Rumelhart等人重新發明了BP演算法，BP演算法迅速走紅，掀起神經網路第二次高潮[1]。

D、第二次低谷。二十世紀90年代中期，統計學習理論和支持向量機興起，較之於這些演算法，神經網路的理論基礎不清晰等缺點更加凸顯，神經網路研究進入第二次低谷[1]。

E、深度學習的崛起。2010年前後，隨著計算能力的提升和大數據的涌現，以神經網路為基礎的「深度學習」崛起，科技巨頭公司谷歌、Facebook、網路投入巨資研發，神經網路迎來第三次高潮[1]。2016年3月9日至15日，Google人工智慧程序AlphaGo對陣韓國圍棋世界冠軍李世乭，以4:1大比分獲勝，比眾多專家預言早了十年。這次比賽，迅速在全世界經濟、科研、計算機產業各領域掀起人工智慧和深度學習的熱烈討論。

F、展望。從幾個方面討論一下。

1)、近期在Google AlphaGo掀起的熱潮中，民眾的熱情與期待最大，甚至有少許恐慌情緒；計算機產業和互聯網產業熱情也非常巨大，對未來充滿期待，各大巨頭公司對其投入大量資源；學術界的反應倒是比較冷靜的。學術界的冷靜，是因為神經網路和深度神經網路的理論基礎還沒有出現長足的進步，其缺點還沒有根本改善。這也從另一個角度說明了深度神經網路理論進步的空間很大。

2)、"當代神經網路是基於我們上世紀六十年代掌握的腦知識。"關於人類大腦的科學與知識正在爆炸式增長。[3]世界上很多學術團隊正在基於大腦機制新的認知建立新的模型[3]。我個人對此報樂觀態度，從以往的仿生演算法來看，經過億萬年進化的自然界對科技發展的促進從來沒有停止過。

3)、還說AlphaGo，它並不是理論和演算法的突破，而是基於已有演算法的工程精品。AlhphaGo的工作，為深度學習的應用提供了非常廣闊的想像空間。分布式技術提供了巨大而廉價的計算能力，巨量數據的積累提供了豐富的訓練樣本，深度學習開始騰飛，這才剛剛開始。

一直沿用至今的，是McChlloch和Pitts在1943年依據腦神經信號傳輸結構抽象出的簡單模型，所以也被稱作」M-P神經元模型「。

其中，

f函數像一般形如下圖的函數，既考慮階躍性，又考慮光滑可導性。

實際常用如下公式，因形如S，故被稱作sigmoid函數。

把很多個這樣的神經元按一定層次連接起來，就得到了神經網路。

兩層神經元組成，輸入層接收外界輸入信號，輸出層是M-P神經元(只有輸出層是)。

感知機的數學模型和單個M-P神經元的數學模型是一樣的，如因為輸入層只需接收輸入信號，不是M-P神經元。

感知機只有輸出層神經元是B-P神經元，學習能力非常有限。對於現行可分問題，可以證明學習過程一定會收斂。而對於非線性問題，感知機是無能為力的。

BP神經網路全稱叫作誤差逆傳播(Error Propagation)神經網路，一般是指基於誤差逆傳播演算法的多層前饋神經網路。這里為了不佔篇幅，BP神經網路將起篇另述。

BP演算法是迄今最為成功的神經網路學習演算法，也是最有代表性的神經網路學習演算法。BP演算法不僅用於多層前饋神經網路，還用於其他類型神經網路的訓練。

RBF網路全程徑向基函數(Radial Basis Function)網路，是一種單隱層前饋神經網路，其與BP網路最大的不同是採用徑向基函數作為隱層神經元激活函數。

卷積神經網路(Convolutional neural networks，簡稱CNNs)是一種深度學習的前饋神經網路，在大型圖片處理中取得巨大成功。卷積神經網路將起篇另述。

循環神經網路(Recurrent Neural Networks，RNNs)與傳統的FNNs不同，RNNs引入定向循環，能夠處理那些輸入之間前後關聯的問題。RNNs已經在眾多自然語言處理(Natural Language Processing, NLP)中取得了巨大成功以及廣泛應用[5]。RNNs將起篇另述。[5]

[1]、《機器學習》，周志華著

[2]、《模式識別（第二版）》，Richard O.Duda等著，李宏東等譯

[3]、《揭秘IARPA項目：解碼大腦演算法或將徹底改變機器學習》，Emily Singerz著，機器之心編譯出品

[4]、圖片來源於互聯網

[5]、 循環神經網路(RNN, Recurrent Neural Networks)介紹

⑻ 神經網路具體是什麼

神經網路由大量的神經元相互連接而成。每個神經元接受線性組合的輸入後，最開始只是簡單的線性加權，後來給每個神經元加上了非線性的激活函數，從而進行非線性變換後輸出。每兩個神經元之間的連接代表加權值，稱之為權重（weight）。不同的權重和激活函數，則會導致神經網路不同的輸出。 舉個手寫識別的例子，給定一個未知數字，讓神經網路識別是什麼數字。此時的神經網路的輸入由一組被輸入圖像的像素所激活的輸入神經元所定義。在通過非線性激活函數進行非線性變換後，神經元被激活然後被傳遞到其他神經元。重復這一過程，直到最後一個輸出神經元被激活。從而識別當前數字是什麼字。 神經網路的每個神經元如下

基本wx + b的形式，其中 x1、x2表示輸入向量 w1、w2為權重，幾個輸入則意味著有幾個權重，即每個輸入都被賦予一個權重 b為偏置bias g(z) 為激活函數 a 為輸出 如果只是上面這樣一說，估計以前沒接觸過的十有八九又必定迷糊了。事實上，上述簡單模型可以追溯到20世紀50/60年代的感知器，可以把感知器理解為一個根據不同因素、以及各個因素的重要性程度而做決策的模型。 舉個例子，這周末北京有一草莓音樂節，那去不去呢？決定你是否去有二個因素，這二個因素可以對應二個輸入，分別用x1、x2表示。此外，這二個因素對做決策的影響程度不一樣，各自的影響程度用權重w1、w2表示。一般來說，音樂節的演唱嘉賓會非常影響你去不去，唱得好的前提下 即便沒人陪同都可忍受，但如果唱得不好還不如你上台唱呢。所以，我們可以如下表示： x1：是否有喜歡的演唱嘉賓。x1 = 1 你喜歡這些嘉賓，x1 = 0 你不喜歡這些嘉賓。嘉賓因素的權重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 沒人陪你同去。是否有人陪同的權重w2 = 3。 這樣，咱們的決策模型便建立起來了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函數，這里的b可以理解成 為更好達到目標而做調整的偏置項。 一開始為了簡單，人們把激活函數定義成一個線性函數，即對於結果做一個線性變化，比如一個簡單的線性激活函數是g(z) = z，輸出都是輸入的線性變換。後來實際應用中發現，線性激活函數太過局限，於是引入了非線性激活函數。