神經網路的突觸連接的作用

A. 神經元之間相互作用的方式有哪些

（1）突觸連接：神經元之間互相接觸並傳遞信息的部位,稱為突觸.根據神經元的軸突末梢與其他神經元的細胞體或突起互相接觸的部位不同,把突觸分為軸突—胞體突觸、軸突-樹突突觸、軸突—軸突突觸3類.突觸由突觸前膜、突觸間隙和突觸後膜構成.突觸前神經元軸突末梢分支末端膨大形成突觸小體.突觸小體內有大量突觸小泡,其中貯存神經遞質.
突觸前神經元的活動經突觸引起突觸後神經元活動的過程稱突觸傳遞,一般包括電—化學—電三個環節.突觸前神經元的興奮傳到其軸突分支末端時,使突觸前膜對Ca2+的通透性增加,Ca2+內流,促使突觸小泡移向突觸前膜,並與之融合,小泡破裂釋放出遞質,經突觸間隙與突觸後膜相應受體結合,引起突觸後神經元活動的改變.如果突觸前膜釋放的是興奮性遞質將促使突觸後膜提高對Na+、K+、Cl-,特別是對Na+的通透性,主要使Na+內流,從而引起局部去極化,此稱為興奮性突觸後電位（EPSP）.當這種局部電位達到一定閾值時,即可激發突觸後神經元的擴布性興奮.當突觸前膜釋放抑制性遞質時,則提高突觸後膜對K+、Cl-,特別是對Cl-的通透性,主要使Cl-內流,引起局部超極化,此稱為抑制性突觸後電位（IPSP）.突觸後膜的超極化,使突觸後神經元呈現抑制效應.根據突觸前神經元活動對突觸後神經元功能活動影響的不同,突觸又可分為興奮性突觸和抑制性突觸兩類.
（2）非突觸性化學傳遞
中樞神經內還存在非突觸性化學傳遞.單胺類神經元軸突末梢的分支上有大量結節狀的曲張體,其中的小泡有遞質貯存.當神經沖動抵達時,遞質即從曲張體釋放出來,與附近效應細胞的受體結合而發生信息傳遞效應.因為曲張體並不與效應細胞形成通常所說的突觸聯系,故稱為非突觸性化學傳遞.
（3）縫隙連接
神經元之間的縫隙連接,是指兩個神經元膜緊密接觸的部位,其間隔有2～3nm的間隙.由於連接部位的膜阻抗較低,可發生雙向直接電傳遞,故有助於促進不同神經元產生同步性放電.

B. 突觸的調節方式及特點是什麼

根據神經沖動通過突觸方式的不同，突觸可分為電突觸和化學突觸2種類型。在電突觸，軸突末端（突觸前膜）和另一神經元的表膜（突觸後膜）之間以突觸間隙相隔，兩者之間縫隙很小（不足2nm），因而阻力低，神經沖動可以很快傳導過去。腔腸動物神經網的突觸主要是電突觸。蚯蚓、蝦、軟體動物等無脊椎動物主要也是電突觸。電突觸的特點是：①突觸前後兩膜很接近，神經沖動可直接通過，速度快；②傳導沒有方向之分，形成電突觸的2個神經元的任何一個發生沖動，即可以通過電突觸而傳給另一個神經元。 脊椎動物也有電突觸，但不是主要的，更多的是化學突觸。化學突觸的形態特點是2個神經元之間有一個寬約20nm～50nm的縫隙。縫隙的前後兩膜分別為突觸前膜和突觸後膜，縫隙的存在使神經沖動不能直接通過，只有在某種化學物質，即神經遞質參與下，在神經遞質與突觸後膜上的受體結合後，突觸後神經才能去極化而發生興奮。神經遞質種類很多，最普遍的是乙醯膽鹼（acetylcholine，ACh）。在突觸前膜內有很多小泡（上千個），稱為突觸囊泡（synaptic vesicles），其內含物就是神經遞質。只有突觸前的軸突頂枝有突觸囊泡，突觸後膜內沒有突觸囊泡，不能產生神經遞質。

化學突觸是怎樣實現神經沖動的傳導呢？當神經沖動從軸突傳導到末端時，突觸前膜透性發生變化、使Ca2+從膜上的Ca2+管道大量進入突觸前膜。此時，含遞質的突觸囊泡可能是由於Ca2+的作用而移向突觸前膜，突觸囊泡的膜與突觸前膜融合而將遞質（ACh）排出至突觸間隙。突觸後膜表面有遞質的受體，遞質和受體結合而使介質中的Na+大量湧入細胞，於是靜息電位變為動作電位，神經沖動發生，並沿著這一神經元的軸突傳導出去。這就是通過神經遞質的作用，使神經沖動通過突觸而傳導到另一神經元的機制。 神經元的細胞體能合成膽鹼酯酶，乙醯膽鹼在發揮作用後，很快被膽鹼酯酶所破壞。這是很重要的，否則，乙醯膽鹼一直結合在突觸後膜的受體部位，將連續發生作用，神經就將持續處於沖動狀態，而不能恢復到靜息電位。有些殺蟲劑，如有機磷殺蟲劑，能抑制膽鹼酯酶的活性使乙醯膽鹼不被破壞，結果神經系統失去控制，動物常處於震顫、痙攣之中，終至死亡。有些遞質，如γ氨基丁酸發揮作用後，不像乙醯膽鹼那樣被破壞，而是通過突觸前膜重新被吸收回去。還有些神經遞質，如谷氨酸鹽則是在完成任務後被轉移至星狀膠質細胞（神經膠質細胞），由星狀膠質細胞將它們轉化為谷氨酸，供神經遞質再合成之用。化學突觸是定向傳導的，神經沖動只能從突觸前神經元（軸突）傳向突觸後神經元（樹突及細胞體）而不能相反，這是因為只有突觸前神經元的軸突末端能產生遞質，突觸後神經不能產生遞質，只能接受遞質而發生反應之故。 神經沖動有興奮性的，也有抑制性的。抑制是由於神經沖動在到達突觸時受到阻礙，不能通過或很難通過所致。神經沖動能否通過化學突觸決定於這一突觸釋放的遞質的性質和突觸後膜的性質。如果釋放的遞質能使突觸後膜去極化，一定量的遞質就可使突觸後神經元去極化而興奮，實現神經沖動的傳導。反之，如果釋放的遞質不但不引起突觸後膜的去極化，反而加強膜的極化，也就是說，不但阻止Na+的滲入，而且促使K+的大量滲出，或Cl－的大量滲入，結果膜的電位差加大，接受刺激的閾限也就增高，只有更強的刺激才能引起興奮。這種釋放抑制性遞質的突觸就是抑制性突觸。 哺乳動物中最熟知的2種神經遞質（neurotransmitters）是乙醯膽鹼和去甲腎上腺素。去甲腎上腺素是一種激素，是腎上腺分泌的，由此也可見神經和激素之間的錯綜復雜關系。

乙醯膽鹼是外周神經系統中最主要的神經遞質，在腦中較少見，腦中常見的神經遞質是去甲腎上腺素（noradrenaline），其作用是興奮。中樞神經系統還有其他種類的神經遞質，如多巴胺（dopamine）、血清素（serotonin或5-羥色胺，5－hydroxytryptamine）和γ氨基丁酸（gammaaminobutyric acid，GABA）。所有這些遞質和去甲腎上腺素一樣都是氨基酸的衍生物。多巴胺是少數運動神經元的遞質。老年人常患的帕金森病（Parkinson』s disease），患者肌肉震顫無力，就是由於產生多巴胺的神經元減少，引起腦某些區域的多巴胺水平降低而引起的。血清素見於腦的某些與興奮和警覺有關的區域。血清素水平的增高可引起睡眠。γ氨基丁酸是中樞神經系統的抑制性遞質。γ氨基丁酸突觸的消失是亨廷頓氏病（舞蹈病）的一種病因。 實驗表明，神經遞質對於突觸後膜的影響有兩種機制。一種機制是神經遞質與受體結合後促使膜蛋白的構象發生變化，形成某些離子的通道，致使神經元的細胞質與周圍的液體之間可以交換離子，也可能使已經存在的通道關閉，中斷離子的流動。這種變換的結果是突觸後膜極化程度發主變化。另一種機制是神經遞質與受體結合後，細胞模上的某種酶活化啟動了第二信使，即環腺苷酸（cAMP）或環鳥腺苷酸（cGMP），結果仍然是改變突觸後膜的極化程度，有些神經遞質只啟動一種機制，另外一些神經遞質，包括乙醯膽鹼有兩種受體，也就可以啟動兩種機制。 一般說來，乙醯膽鹼和去甲腎上腺素是興奮性遞質。甘氨酸、γ氨基丁酸是抑制性遞質。但應指出，將神經遞質絕對地分為興奮和抑制兩類是不妥的。一個神經元軸突末端有很多分支，可與多個神經元形成突觸。神經沖動從軸突傳導到突觸時。有的突觸興奮，有的突觸抑制。可見，同一種神經遞質對某些神經元是興奮性的，對另一些神經元則可能是抑制性的，這可能與突觸後膜上的受體有關。周一遞質與不同受體結合可產生不同效果，如乙醯膽鹼能引起骨骼肌興奮，但對心肌則是抑制的。不同效果的產生顯然是由於心肌上的受體和骨骼肌上的受體性質不同所致。 除主要的神經遞質——乙醯膽鹼、去甲腎上腺素和氨基酸衍生物外，還有一些物質，主要是小肽分子，在突觸傳遞中起作用。這些分子作為一種神經遞質由軸突的終端或由其他細胞釋放出來。這些分子統稱神經調節物（neuromolators）。神經調節物也可以和膜上的受體結合，改變離子通道或啟動第二信使，其作用常常是調節細胞對主要神經遞質的反應。內啡肽（endorphin）、干擾素（interferons）、白細胞介素以及多種激素，都有神經調節物的作用。 神經調節物中最令人發生興趣的是內啡肽，它有緩解疼痛、振奮情緒的作用，和嗎啡、海洛因等的效力相同。現在認為，內啡肽與這些止痛葯都是與同樣的受體結合而引起同樣的效果。但是，嗎啡等劑與受體結合後產生負反饋，減少內腓肽的產生，形成越來越要依賴這些制劑，也就是成了癮。戰場上的戰士，運動場上的運動員所以能忍耐傷痛，緊張奮力拚搏、也正是內啡肽在起作用。 神經元之間不是單線相連，而是多線連接成錯綜復雜的網路的。每一個神經元總是和多個神經元相連。一個中間神經元，一方面和多個神經元的軸突形成很多突觸（高等動物可形成100～10000個突觸）、另一方面又以自身軸突的多個分支和多個神經元（中間神經元和運動神經元）的細胞體和樹突形成多個突觸。一般說來，一個突觸前細胞的刺激量不足以引起突觸後細胞的反應，即不足以產生足夠的遞質，使突觸後細胞膜的極性發生逆轉；只有在幾個突觸細胞的共同刺激下，使多個突觸都產生遞質，這些遞質的作用總合才能使突觸後細胞興奮。一個突觸後細胞可同時與幾個突觸前細胞分別連成興奮性和抑制性兩種突觸。這兩種突觸的作用可以互相抵消。如果抑制性突觸發生作用，那就需要更強的興奮性刺激才能使突觸後細胞興奮。

總之，一個神經元就是一個整合器，隨時都在接受成百上千的信息，隨時都在對所接受的信息進行加工，使相同的信息加在一起，相反的信息互相抵消，然後決定是興奮還是保持沉默（抑制），這就是神經元的整合作用（integration）。這大概正是生物體內神經網路對於傳入的信息加工處理的基本機制。身體中90％以上神經細胞體都是分布於腦和脊髓中，其餘10％存在於中樞神經系統以外的神經節中。因此，不難理解，神經整合主要是在腦和脊髓中進行。 綜上所說可知，突觸在神經系統正常活動中起著十分重要的調節控製作用，神經沖動傳導的速度以及傳導途徑都要受突觸控制。例如，我們常說「熟能生巧」，這可從突觸生理性質的變化方面來解釋：學習或學做一件事時，不斷的實踐、練習，使神經通路中出現了阻力減小的突觸，神經通路暢通，於是就「巧」了。 下面舉2個低等生物的記憶學習實驗，說明遞質和突觸的作用。 將果蠅放在實驗器皿中，給以兩種不同化學試劑的氣味刺激或兩種不同的光色刺激，其中一種氣味或一種光色同時伴隨著電流刺激，使果蠅進入這一刺激地區時，同時受到電擊。幾次之後，將果蠅換入另外器皿中，給以同樣兩種氣味刺激或光色刺激，但均不伴隨電流刺激，結果約有一半果蠅迴避曾經伴有電擊的氣味或光色，這說明約有一半果蠅「記住」了前次電擊的刺激。這一記憶可保留24h。研究證明，沒有記憶能力的果蠅缺乏磷酸二酯酶，因而似乎記憶與cAMP代謝有關。還有實驗證明，一些缺乏學習能力的突變種果蠅缺少腺苷酸環化酶，這似乎也說明。cAMP與記憶有關。cAMP是如何起作用的？cAMP與突觸的關系是怎樣的？這是需要繼續研究的問題。可能cAMP有推動某些神經元釋放神經遞質的作用，因而影響突觸的效率。 海兔（Aplysia punctata）是海產軟體動物，其殼退化成埋在外套膜內的一塊小骨片，氣體交換器官鰓位於身體右側外套腔中。水從水管（siphon）流入，供鰓吸收O2，同時接受鰓放出的CO2。如果輕摸水管，鰓很快縮回外套腔。如果連續十幾次輕摸水管，鰓的收縮反應就逐漸減慢。這就是說，海兔對於滅害的刺激可以逐漸「適應」或「習慣化」（habituation）。而習慣化實際是「學習」的最基本的內容之一。研究證明，海兔習慣化的出現是由於神經遞質發生變化所致。海兔水管上的感覺神經元軸突與鰓肌肉上的運動神經元之間以突觸相連，形成簡單的反射弧。習慣化之後，感覺神經元的Ca2+離子門很多關閉，因而進入軸突末端的Ca2+減少，這就使神經遞質的釋放量減少，因而運動神經元就難以興奮。

但如果在海兔習慣化之後，在它的頭或尾部給一個重擊，然後再在水管上輕輕觸摸，海兔又能作迅速反應，鰓縮回外套腔中，此種現象稱為敏感化（sensitization）。敏感化的出現來源於與上述簡單反射弧相連的強化神經元（facilitator neuron）。強化神經元的一端（樹突或細胞體）與海兔頭部和尾部的感覺神經元形成突觸，另一端（軸突末端）與上述反射弧上的感覺神經元形成突觸。強烈刺激頭部或尾部，強化神經元釋放遞質5-羥色胺到突觸中，感覺神經元的膜上（在這個突觸中是突觸後膜）有5-羥色胺的受體，受體與遞質的結合引起感覺神經元內cAMP的合成，而合成的cAMP則活化蛋白質激酶。蛋白質激酶的作用是使K+管道的蛋白質磷酸化，因而使一部分K+管道關閉，導致細胞內K+過膜逸出的量減少。我們知道，動作電位傳導過去之後，去極化的膜很快就因K+的釋放而恢復極化，現在K+釋出減慢，膜就繼續處於去極化的狀態而不能恢復極化。較長時間的去極化則使Ca2+大量流入。Ca2+多了，釋放的遞質也就多了，於是這些遞質和運動神經元的突觸後膜的更多的受體結合，從而引起強烈的反應。 上述果蠅和海兔兩例都說明簡單的記憶和神經遞質以及突觸的活動有關。這對了解高等動物復雜的記憶、學習等的基本機制可能有所啟發。 </B></B></B>

C. 人工神經網路（ANN）簡述

我們從下面四點認識人工神經網路（ANN: Artificial Neutral Network）：神經元結構、神經元的激活函數、神經網路拓撲結構、神經網路選擇權值和學習演算法。

1. 神經元：
我們先來看一組對比圖就能了解是怎樣從生物神經元建模為人工神經元。

下面分別講述:
生物神經元的組成包括細胞體、樹突、軸突、突觸。樹突可以看作輸入端，接收從其他細胞傳遞過來的電信號；軸突可以看作輸出端，傳遞電荷給其他細胞；突觸可以看作I/O介面，連接神經元，單個神經元可以和上千個神經元連接。細胞體內有膜電位，從外界傳遞過來的電流使膜電位發生變化，並且不斷累加，當膜電位升高到超過一個閾值時，神經元被激活，產生一個脈沖，傳遞到下一個神經元。

為了更形象理解神經元傳遞信號過程，把一個神經元比作一個水桶。水桶下側連著多根水管（樹突），水管既可以把桶里的水排出去（抑制性），又可以將其他水桶的水輸進來（興奮性），水管的粗細不同，對桶中水的影響程度不同（權重），水管對水桶水位（膜電位）的改變就是水桶內水位的改變，當桶中水達到一定高度時，就能通過另一條管道（軸突）排出去。

按照這個原理，科學家提出了M-P模型（取自兩個提出者的姓名首字母），M-P模型是對生物神經元的建模，作為人工神經網路中的一個神經元。

由MP模型的示意圖，我們可以看到與生物神經元的相似之處，x_i表示多個輸入，W_ij表示每個輸入的權值，其正負模擬了生物神經元中突出的興奮和抑制；sigma表示將全部輸入信號進行累加整合，f為激活函數，O為輸出。下圖可以看到生物神經元和MP模型的類比：

往後誕生的各種神經元模型都是由MP模型演變過來。

2. 激活函數
激活函數可以看作濾波器，接收外界各種各樣的信號，通過調整函數，輸出期望值。ANN通常採用三類激活函數:閾值函數、分段函數、雙極性連續函數（sigmoid，tanh）：

3. 學習演算法
神經網路的學習也稱為訓練，通過神經網路所在環境的刺激作用調整神經網路的自由參數（如連接權值），使神經網路以一種新的方式對外部環境做出反應的一個過程。每個神經網路都有一個激活函數y=f(x)，訓練過程就是通過給定的海量x數據和y數據，擬合出激活函數f。學習過程分為有導師學習和無導師學習，有導師學習是給定期望輸出，通過對權值的調整使實際輸出逼近期望輸出；無導師學習給定表示方法質量的測量尺度，根據該尺度來優化參數。常見的有Hebb學習、糾錯學習、基於記憶學習、隨機學習、競爭學習。

4. 神經網路拓撲結構
常見的拓撲結構有單層前向網路、多層前向網路、反饋網路，隨機神經網路、競爭神經網路。

5. 神經網路的發展

（不能貼公式不好解釋啊 -_-!）sigma是誤差信號，yita是學習率，net是輸入之和，V是輸入層到隱含層的權重矩陣，W是隱含層到輸出層的權重矩陣。

之後還有幾種

隨著計算機硬體計算能力越來越強，用來訓練的數據越來越多，神經網路變得越來越復雜。在人工智慧領域常聽到DNN（深度神經網路）、CNN（卷積神經網路）、RNN（遞歸神經網路）。其中，DNN是總稱，指層數非常多的網路，通常有二十幾層，具體可以是CNN或RNN等網路結構。

參考資料 ：

D. 為什麼每個神經元都需要數千個突觸

一、神經元被連接成復雜的網路，而不是單線連接。每個神經元總是連接到多個神經元。一種中間神經元，一方面與多個神經元的軸突形成許多突觸(高等動物可形成100至10，000個突觸)，另一方面與自身軸突的多個神經元(中間神經元和運動神經元)的細胞體和樹突形成許多突觸。

據國外媒體報道，2015年5月20日，科學家們已經找到了大腦記憶事件的「方程式」，證實這是迄今為止描述記憶事件的最准確的方程式，有一天醫生可以用這種技術來抹去或改變創傷事件的記憶。

E. 人工神經網路

本文討論的神經網路是從生物學領域引入計算機科學和工程領域的一個仿生學概念，又稱人工神經網路（英語：artificial neural network，縮寫ANN）。是一種模仿生物神經網路（動物的中樞神經系統，特別是大腦）的結構和功能的數學模型或計算模型，用於對函數進行估計或近似。參考 wiki定義 。

如圖，一個神經元通常具有多個樹突，主要用來接受傳入信息；而軸突只有一條，軸突尾端有許多軸突末梢可以給其他多個神經元傳遞信息。軸突末梢跟其他神經元的樹突產生連接，從而傳遞信號。這個連接的位置在生物學上叫做「突觸」。
基於此，1943年，心理學家McCulloch和數學家Pitts參考了生物神經元的結構，發表了抽象的神經元模型MP，神經元模型是一個包含輸入，輸出與計算功能的模型。輸入可以類比為神經元的樹突，而輸出可以類比為神經元的軸突，計算則可以類比為細胞核。如下圖：

圖中X代表輸入信號，W代表權重，∑代表將X和W的矩陣運算，ψ對運算結果應用sgn函數，最終得到輸出y。
然而，改模型對許可權W是通過指定好的，因此不存在在計算工程中動態調配許可權W的能力，也就是不存在學習的能力。

1958年，計算科學家Rosenblatt提出了由兩層神經元組成的神經網路：「感知器」（Perceptron）。

可以看到，一個感知器有如下組成部分：
輸入權值： 一個感知器可以接收多個輸入，每個輸入上有一個權值，此外還有一個偏置項，就是上圖中的。
激活函數： 感知器的激活函數可以有很多選擇，比如我們可以選擇Sigmoid函數來作為激活函數。
其中，因為生物學上，外接信號傳導到神經元上，神經元不會立刻做出反應，而是會抑制輸入，直到輸入增強，強大到可以觸發輸出。也就是說，在產生輸出之前，輸入必須達到一個閾值。在數學上，這種隨著變數值增大，函數值發生跳躍的函數成為激活函數。下圖是一個常用的激活函數，Sigmoid函數曲線圖：

上節我們看到，感知器其實是單層的神經網路，神經網路可以理解成多個感知器組合而成的一個結構，如下圖：

神經網路的學習過程就是對權重矩陣的更新過程。所謂的訓練過程就是比較當前網路的預測值和我們真正想要的目標值，再根據兩者差異來更新每一層的權重矩陣。因此，必須先定義好如何比較預測值和目標值的差異，這便是損失函數（loss function）。損失函數輸出值loss越高表示差異性越大，神經網路的訓練就變成了盡可能的縮小loss的過程。

所謂梯度下降法，就是通過使loss值向當前點對應梯度點反方向不斷移動，來降低loss。一次移動多少通過學習率（learning rate）控制。
通俗來講，所謂梯度下降法，其實就如同漆黑的夜晚拿著手電筒站在山頂，每次只能看到眼前的一米遠距離，想要下到山腳，我們採用每次都選擇最陡峭的地方向下挪動，反復這一過程，最終到達山腳。

F. 人工神經網路綜述

文章主要分為：
一、人工神經網路的概念；
二、人工神經網路的發展歷史；
三、人工神經網路的特點；
四、人工神經網路的結構。
。。

人工神經網路（Artificial Neural Network，ANN）簡稱神經網路(NN)，是基於生物學中神經網路的基本原理，在理解和抽象了人腦結構和外界刺激響應機制後，以網路拓撲知識為理論基礎，模擬人腦的神經系統對復雜信息的處理機制的一種數學模型。該模型以並行分布的處理能力、高容錯性、智能化和自學習等能力為特徵，將信息的加工和存儲結合在一起，以其獨特的知識表示方式和智能化的自適應學習能力，引起各學科領域的關注。它實際上是一個有大量簡單元件相互連接而成的復雜網路，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現的系統。

神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激活函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重（weight），神經網路就是通過這種方式來模擬人類的記憶。網路的輸出則取決於網路的結構、網路的連接方式、權重和激活函數。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。神經網路的構築理念是受到生物的神經網路運作啟發而產生的。人工神經網路則是把對生物神經網路的認識與數學統計模型相結合，藉助數學統計工具來實現。另一方面在人工智慧學的人工感知領域，我們通過數學統計學的方法，使神經網路能夠具備類似於人的決定能力和簡單的判斷能力，這種方法是對傳統邏輯學演算的進一步延伸。

人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。

神經網路，是一種應用類似於大腦神經突觸連接結構進行信息處理的數學模型，它是在人類對自身大腦組織結合和思維機制的認識理解基礎之上模擬出來的，它是根植於神經科學、數學、思維科學、人工智慧、統計學、物理學、計算機科學以及工程科學的一門技術。

在介紹神經網路的發展歷史之前，首先介紹一下神經網路的概念。神經網路主要是指一種仿造人腦設計的簡化的計算模型，這種模型中包含了大量的用於計算的神經元，這些神經元之間會通過一些帶有權重的連邊以一種層次化的方式組織在一起。每一層的神經元之間可以進行大規模的並行計算，層與層之間進行消息的傳遞。

下圖展示了整個神經網路的發展歷程：

神經網路的發展有悠久的歷史。其發展過程大致可以概括為如下4個階段。

(1)、M-P神經網路模型：20世紀40年代，人們就開始了對神經網路的研究。1943 年，美國心理學家麥克洛奇（Mcculloch）和數學家皮茲（Pitts）提出了M-P模型，此模型比較簡單，但是意義重大。在模型中，通過把神經元看作個功能邏輯器件來實現演算法，從此開創了神經網路模型的理論研究。
(2)、Hebb規則：1949 年，心理學家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學），他在書中提出了突觸連接強度可變的假設。這個假設認為學習過程最終發生在神經元之間的突觸部位，突觸的連接強度隨之突觸前後神經元的活動而變化。這一假設發展成為後來神經網路中非常著名的Hebb規則。這一法則告訴人們，神經元之間突觸的聯系強度是可變的，這種可變性是學習和記憶的基礎。Hebb法則為構造有學習功能的神經網路模型奠定了基礎。
(3)、感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎，提出了感知器（Perceptron）模型。感知器模型具有現代神經網路的基本原則，並且它的結構非常符合神經生理學。這是一個具有連續可調權值矢量的MP神經網路模型，經過訓練可以達到對一定的輸入矢量模式進行分類和識別的目的，它雖然比較簡單，卻是第一個真正意義上的神經網路。Rosenblatt 證明了兩層感知器能夠對輸入進行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經網路模型包含了一些現代神經計算機的基本原理，從而形成神經網路方法和技術的重大突破。
(4)、ADALINE網路模型： 1959年，美國著名工程師威德羅（B.Widrow）和霍夫（M.Hoff）等人提出了自適應線性元件(Adaptive linear element，簡稱Adaline)和Widrow-Hoff學習規則（又稱最小均方差演算法或稱δ規則）的神經網路訓練方法，並將其應用於實際工程，成為第一個用於解決實際問題的人工神經網路，促進了神經網路的研究應用和發展。ADALINE網路模型是一種連續取值的自適應線性神經元網路模型，可以用於自適應系統。

人工智慧的創始人之一Minsky和Papert對以感知器為代表的網路系統的功能及局限性從數學上做了深入研究，於1969年發表了轟動一時《Perceptrons》一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題，如簡單的線性感知器不可能實現「異或」的邏輯關系等。這一論斷給當時人工神經元網路的研究帶來沉重的打擊。開始了神經網路發展史上長達10年的低潮期。
(1)、自組織神經網路SOM模型：1972年，芬蘭的KohonenT.教授，提出了自組織神經網路SOM(Self-Organizing feature map)。後來的神經網路主要是根據KohonenT.的工作來實現的。SOM網路是一類無導師學習網路，主要用於模式識別﹑語音識別及分類問題。它採用一種「勝者為王」的競爭學習演算法，與先前提出的感知器有很大的不同，同時它的學習訓練方式是無指導訓練，是一種自組織網路。這種學習訓練方式往往是在不知道有哪些分類類型存在時，用作提取分類信息的一種訓練。
(2)、自適應共振理論ART：1976年，美國Grossberg教授提出了著名的自適應共振理論ART(Adaptive Resonance Theory)，其學習過程具有自組織和自穩定的特徵。

(1)、Hopfield模型：1982年，美國物理學家霍普菲爾德（Hopfield）提出了一種離散神經網路，即離散Hopfield網路，從而有力地推動了神經網路的研究。在網路中，它首次將李雅普諾夫（Lyapunov）函數引入其中，後來的研究學者也將Lyapunov函數稱為能量函數。證明了網路的穩定性。1984年，Hopfield 又提出了一種連續神經網路，將網路中神經元的激活函數由離散型改為連續型。1985 年，Hopfield和Tank利用Hopfield神經網路解決了著名的旅行推銷商問題（Travelling Salesman Problem）。Hopfield神經網路是一組非線性微分方程。Hopfield的模型不僅對人工神經網路信息存儲和提取功能進行了非線性數學概括，提出了動力方程和學習方程，還對網路演算法提供了重要公式和參數，使人工神經網路的構造和學習有了理論指導，在Hopfield模型的影響下，大量學者又激發起研究神經網路的熱情，積極投身於這一學術領域中。因為Hopfield 神經網路在眾多方面具有巨大潛力，所以人們對神經網路的研究十分地重視，更多的人開始了研究神經網路，極大地推動了神經網路的發展。
(2)、Boltzmann機模型：1983年，Kirkpatrick等人認識到模擬退火演算法可用於NP完全組合優化問題的求解，這種模擬高溫物體退火過程來找尋全局最優解的方法最早由Metropli等人1953年提出的。1984年，Hinton與年輕學者Sejnowski等合作提出了大規模並行網路學習機，並明確提出隱單元的概念，這種學習機後來被稱為Boltzmann機。
Hinton和Sejnowsky利用統計物理學的感念和方法，首次提出的多層網路的學習演算法，稱為Boltzmann 機模型。
(3)、BP神經網路模型：1986年，儒默哈特（D.E.Ru melhart）等人在多層神經網路模型的基礎上，提出了多層神經網路權值修正的反向傳播學習演算法----BP演算法（Error Back-Propagation），解決了多層前向神經網路的學習問題，證明了多層神經網路具有很強的學習能力，它可以完成許多學習任務，解決許多實際問題。
(4)、並行分布處理理論：1986年，由Rumelhart和McCkekkand主編的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，該書中，他們建立了並行分布處理理論，主要致力於認知的微觀研究，同時對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播演算法即BP演算法進行了詳盡的分析，解決了長期以來沒有權值調整有效演算法的難題。可以求解感知機所不能解決的問題，回答了《Perceptrons》一書中關於神經網路局限性的問題，從實踐上證實了人工神經網路有很強的運算能力。
(5)、細胞神經網路模型：1988年，Chua和Yang提出了細胞神經網路（CNN）模型，它是一個細胞自動機特性的大規模非線性計算機模擬系統。Kosko建立了雙向聯想存儲模型（BAM），它具有非監督學習能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初產生了很大的影響，他建立了一種神經網路系統理論。
(7)、1988年，Linsker對感知機網路提出了新的自組織理論，並在Shanon資訊理論的基礎上形成了最大互信息理論，從而點燃了基於NN的信息應用理論的光芒。
(8)、1988年，Broomhead和Lowe用徑向基函數(Radialbasis function, RBF)提出分層網路的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。
(9)、1991年，Haken把協同引入神經網路，在他的理論框架中，他認為，認知過程是自發的，並斷言模式識別過程即是模式形成過程。
(10)、1994年，廖曉昕關於細胞神經網路的數學理論與基礎的提出，帶來了這個領域新的進展。通過拓廣神經網路的激活函數類，給出了更一般的時滯細胞神經網路(DCNN)、Hopfield神經網路（HNN）、雙向聯想記憶網路（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量機(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。
經過多年的發展，已有上百種的神經網路模型被提出。

深度學習(Deep Learning,DL)由Hinton等人於2006年提出，是機器學習的一個新領域。深度學習本質上是構建含有多隱層的機器學習架構模型，通過大規模數據進行訓練，得到大量更具代表性的特徵信息。深度學習演算法打破了傳統神經網路對層數的限制，可根據設計者需要選擇網路層數。

突觸是神經元之間相互連接的介面部分，即一個神經元的神經末梢與另一個神經元的樹突相接觸的交界面，位於神經元的神經末梢尾端。突觸是軸突的終端。
大腦可視作為1000多億神經元組成的神經網路。神經元的信息傳遞和處理是一種電化學活動．樹突由於電化學作用接受外界的刺激，通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突末梢傳遞給其它的神經元．從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統的動態過程。
神經元的功能特性：（1）時空整合功能；（2）神經元的動態極化性；（3）興奮與抑制狀態；（4）結構的可塑性；（5）脈沖與電位信號的轉換；（6）突觸延期和不應期；（7）學習、遺忘和疲勞。

神經網路從兩個方面模擬大腦：
(1)、神經網路獲取的知識是從外界環境中學習得來的。
(2)、內部神經元的連接強度，即突觸權值，用於儲存獲取的知識。
神經網路系統由能夠處理人類大腦不同部分之間信息傳遞的由大量神經元連接形成的拓撲結構組成，依賴於這些龐大的神經元數目和它們之間的聯系，人類的大腦能夠收到輸入的信息的刺激由分布式並行處理的神經元相互連接進行非線性映射處理，從而實現復雜的信息處理和推理任務。
對於某個處理單元（神經元）來說，假設來自其他處理單元（神經元）i的信息為Xi，它們與本處理單元的互相作用強度即連接權值為Wi, i=0,1,…,n-1,處理單元的內部閾值為θ。那麼本處理單元（神經元）的輸入為：

，而處理單元的輸出為：

式中，xi為第i個元素的輸入，wi為第i個處理單元與本處理單元的互聯權重即神經元連接權值。f稱為激活函數或作用函數，它決定節點（神經元）的輸出。θ表示隱含層神經節點的閾值。

神經網路的主要工作是建立模型和確定權值，一般有前向型和反饋型兩種網路結構。通常神經網路的學習和訓練需要一組輸入數據和輸出數據對，選擇網路模型和傳遞、訓練函數後，神經網路計算得到輸出結果，根據實際輸出和期望輸出之間的誤差進行權值的修正，在網路進行判斷的時候就只有輸入數據而沒有預期的輸出結果。神經網路一個相當重要的能力是其網路能通過它的神經元權值和閾值的不斷調整從環境中進行學習，直到網路的輸出誤差達到預期的結果，就認為網路訓練結束。

對於這樣一種多輸入、單輸出的基本單元可以進一步從生物化學、電生物學、數學等方面給出描述其功能的模型。利用大量神經元相互連接組成的人工神經網路，將顯示出人腦的若干特徵，人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重wij值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以至超過設計者原有的知識水平。通常，它的學習(或訓練)方式可分為兩種，一種是有監督(supervised)或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督(unsupervised)學習或稱無導師學習，這時，只規定學習方式或某些規則，而具體的學習內容隨系統所處環境(即輸入信號情況)而異，系統可以自動發現環境特徵和規律性，具有更近似於人腦的功能。
在人工神經網路設計及應用研究中，通常需要考慮三個方面的內容，即神經元激活函數、神經元之間的連接形式和網路的學習(訓練)。

G. 神經網路的工作原理

「人腦是如何工作的？」
「人類能否製作模擬人腦的人工神經元？」
多少年以來，人們從醫學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協同學等各個角度企圖認識並解答上述問題。在尋找上述問題答案的研究過程中，逐漸形成了一個新興的多學科交叉技術領域，稱之為「神經網路」。神經網路的研究涉及眾多學科領域，這些領域互相結合、相互滲透並相互推動。不同領域的科學家又從各自學科的興趣與特色出發，提出不同的問題，從不同的角度進行研究。
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對於寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。
普通計算機的功能取決於程序中給出的知識和能力。顯然，對於智能活動要通過總結編製程序將十分困難。
人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境 （即輸入信號情況）而異，系統可以自動發現環境特徵和規律性，具有更近似人腦的功能。
神經網路就像是一個愛學習的孩子，您教她的知識她是不會忘記而且會學以致用的。我們把學習集（Learning Set）中的每個輸入加到神經網路中，並告訴神經網路輸出應該是什麼分類。在全部學習集都運行完成之後，神經網路就根據這些例子總結出她自己的想法，到底她是怎麼歸納的就是一個黑盒了。之後我們就可以把測試集（Testing Set）中的測試例子用神經網路來分別作測試，如果測試通過（比如80%或90%的正確率），那麼神經網路就構建成功了。我們之後就可以用這個神經網路來判斷事務的分類了。
神經網路是通過對人腦的基本單元——神經元的建模和聯接，探索模擬人腦神經系統功能的模型，並研製一種具有學習、聯想、記憶和模式識別等智能信息處理功能的人工系統。神經網路的一個重要特性是它能夠從環境中學習，並把學習的結果分布存儲於網路的突觸連接中。神經網路的學習是一個過程，在其所處環境的激勵下，相繼給網路輸入一些樣本模式，並按照一定的規則（學習演算法）調整網路各層的權值矩陣，待網路各層權值都收斂到一定值，學習過程結束。然後我們就可以用生成的神經網路來對真實數據做分類。