秘密共享和神經網路

㈠ 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系

一、計算方法不同

1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。

2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。

3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。

二、用途不同

1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。

2、BP神經網路：

（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；

（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；

（3）分類：把輸入向量所定義的合適方式進行分類；

（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。

3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。

聯系：

BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。

三、作用不同

1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。

2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。

3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。

(1)秘密共享和神經網路擴展閱讀：

1、BP神經網路優劣勢

BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。

①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。

②容易陷入局部極小值。

③網路層數、神經元個數的選擇沒有相應的理論指導。

④網路推廣能力有限。

2、人工神經網路的特點和優越性，主要表現在以下三個方面

①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。

②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

㈡ 「深度學習」和「多層神經網路」的區別

深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類御坦別或特徵，以發現數據的分布式特徵表示。
多層神經網路是指單計算層感知器只能解決線性可分問題，而大量的分類問題是線性不可分的。克服單計算層感知器這一局限性的有效辦法是，在輸入層與輸出層之間引入隱層（隱層個數可以大於或等於1）作為輸入模式「的內部表示」，單計算困拆尺層感知器變成多（計算）層感知器。
補充：
深度學習的概念由Hinton等人於2006年提出。基於深信度網(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相汪高關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網路是第一個真正多層結構學習演算法，它利用空間相對關系減少參數數目以提高訓練性能。
深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。

㈢ 深度學習與神經網路有什麼區別

找深度學習和神經網路的不同點，其實主要的就是：
原來多層神經網路做的步驟是：特徵映射到值。特徵是人工挑選。
深度學習做的步驟是 信號->特徵->值。 特徵是由網路自己選知仔擇。

另外，深度學習作為機器學習的領域中一個新的研究方向，在被引進機器學習後，讓機器學習可以更加的接近最初的目標，也就是人工智慧。
深度學習主要就是對樣本數據的內在規律還有表示層次的學習，這些學習過程中獲得的信息對諸如文字，圖像和聲音等數據的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數據。 深度學習是一個復雜的機器學習演算法，在語音和圖像識別方面取得的悔岩效果，遠遠超過先前相關技術。
深度學習在搜索技術，數據挖掘，機器學習，機器翻譯，自然語言處理，多媒體學習，語音，推薦和個性化技術，以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動，解決了很多復雜的模式識別難題，使得人工智慧相關技術取得了很大進步。
而神經網路則是可以分為兩種，一種是生物神經網路，而另一種則是人工神經網路。
生物神經網路就是生物的大腦神經元、主要是由細胞以及觸點組成的，主要的作用就是讓生物產生意識，或者是幫助生物實現思考還有行動的目的。
神經網路可以指向兩種，一個是生物神經網路，一個是人工神經網路。
人工神經網路（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網路（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
人搭前汪工神經網路：是一種應用類似於大腦神經突觸聯接的結構進行信息處理的數學模型。在工程與學術界也常直接簡稱為「神經網路」或類神經網路。

㈣ 神經網路和專家系統什麼關系誰能給解釋一下

專家系統是睜陸人工智慧的一個分支悉裂頃，源灶神經網路是專家系統的一種方法。
http://wenku..com/view/76d187165f0e7cd1842536c7.html

㈤ 「深度學習」和「多層神經網路」的區別

作者：楊延生
鏈接：https://www.hu.com/question/26017374/answer/31868340
來源：知乎
著作權歸作者所有，轉載請聯系作者獲得授權。

"深度學習"是為了讓層數較多的多鬧者層神經網路可以訓練，能夠work而演化出來的一系列的 新的結構和新的方法。

新的網路結構中最著名的就是CNN，它解決了傳統較深的網路參數太多，很難訓練的問題，使用了「局部感受野」和「權植共享」的概念，大大減少了網路參數的數量。關鍵是這種結構確實很液培薯符合視覺類任務在人腦上的工作原理。
新的結構還包括了：LSTM，ResNet等。

新的方法就多了：新的激活函數：ReLU，新的權重初始化方法（逐層初始化，XAVIER等），新的損失函數，新的防止過擬合方法（Dropout, BN等）。這些方面主要都是為了解決傳統的多層神經網路的一些不足：梯度消失，過擬合等。

---------------------- 下面是原答案 ------------------------

從廣義上說深度學習的網路結構也是多層神經網路的一種。

傳統意義上的多層神經網路是只有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。
而深度學習中最著名的卷積神經網路CNN，在原來多層神經網路的基礎中笑上，加入了特徵學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級。
輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- .... -- 隱藏層 -輸出層
簡單來說，原來多層神經網路做的步驟是：特徵映射到值。特徵是人工挑選。
深度學習做的步驟是 信號->特徵->值。 特徵是由網路自己選擇。

㈥ 關於遺傳演算法，模糊數學，神經網路三種數學的區別和聯系

遺傳演算法是一種智能計算方法，針對不同的實際問題可以設計不同的計算程序。它主要有復制，交叉，變異三部分完成，是仿照生帆手物進化過程來進行計算方法的設計。
模糊數學是研究現實生活中一類模糊現象簡譽的數學。簡單地說就是像好與壞怎樣精確的描述，將好精確化，用數字來表達。
神經網路是一種仿生計算方法，仿照生物體中信息的傳遞過程來進行數學計算。
這三種知識都是近40年興起的新興學科，主要應用在智能模糊控制上面。這三者可以結合起來應用。如用模糊數學些遺傳演算法的程序態咐嫌，優化神經網路，最後用神經網路控制飛行器或其他物體

㈦ 全連接神經網路和傳統bp網的區別

?
一個是表示各層連接方式，一個表示訓練方式。沒有什麼可比性。

㈧ 人工智慧對生活的影響

人工智慧已在不知不覺中成長，其學習能力和智能化程度遠超人們的想像。在社會各領域，越來越多的人工智慧技術被施以應用，深刻改變了產業形態、推動產業轉型升級。

1、工業生產「聯網」、管理智能升級、企業上雲服務，生產製造業因人工智慧變得高效便捷，加快了轉型的步伐；

2、無人駕駛汽車相繼上路，市場需求刺激了無人汽車的技術研發，推動了汽車行業的轉型，也推動了車聯網等智能交通系統的發展；

3、基於用戶歷史行為、當季流行商品等大數據推薦商品，電子商貿行業因人工智慧在采購和庫存管理上變得更加精準。

(8)秘密共享和神經網路擴展閱讀：

人工智慧在計算機上實現時有2種不同的方式：

一種是採用傳統的編程技術

使系統呈現智能的鉛廳效果，而不考慮所用方法是否與人或動物機體所用的方法相同。這種方法叫工程學方法（ENGINEERING APPROACH），它已在一些領域內作出了成果，如文字識別、電腦下棋等。

一種是模擬法（MODELING APPROACH）

它不僅要看效果，還要求實現方法也和人類或生物機岩兄體所用的方法相同或相類槐棗隱似。遺傳演算法（GENERIC ALGORITHM，簡稱GA）和人工神經網路（ARTIFICIAL NEURAL NETWORK，簡稱ANN）均屬後一類型。

㈨ 神經網路、流形和拓撲

譯者：樹石

最近，由於在諸如計算機視覺領域取得了突破性成果，深層神經網路引起了廣泛的關注和興趣。

然而，該領域仍然存在一些顧慮。比如， 要了解神經網路能夠做什麼相當具有挑戰性 。如果一個網路被訓練得很好，輸出高品質的結果，但了解它是如何做到的具有挑戰性。如果網路出現故障，也很難理解什麼地方出了錯。

雖然通常理解深層神經網路的行為比較困難， 探索低維度深層神經網路相對容易的多 ——在每一層只有幾個神經元的網路。事實上，我們可以通過創建可視化效果來理解網路的行為和對網路的培訓。這種方法將讓我們 獲取對神經網路行為的深層直覺，並觀察到神經網路和拓撲學之間的聯系 。

另外，還探討了一些有趣的事情，包括對某些數據集進行分類的神經網路的最低復雜性。

讓我們從一個非常簡單的數據集開始：在一個平面上的兩條曲線。該網路將學習如何將線上的點歸類為這一個還是另外一個。

將神經網路（或任何分類演算法）的行為可視化，顯而易見的方法是簡單地看它是如何對每一個可能的數據點進行分類。

我們將先從最簡單的神經網路開始，只迅雀有一個輸入層和一個輸出層的網路。這樣的網路只是試圖通過畫一條線將兩個類數據的分離。

諸如此類的網路不是很有趣。現代神經網路一般在輸入和輸出之間，具有稱為「隱藏」層的多個層次。至少包含一個隱藏層。

與以前一樣，我們可以通過查看它對其領域不同點進行的處理來觀察這個網路的行為。數據分割通過一條曲線來完成，而不是直線。

通過神經網路的每一層，數據被轉換，創建了一個新的 表示 （represention）。我們可以看一下在這些表示中的數據以及網路是如何劃分他們的。當我們到達最後一層的表示時，網路只需要繪制一條線（或者，在更高維度里繪制一個超平面）。

在前面的可視化中，我們看到其「原始」表示的數據，你可以將其視為輸入層。現在我們將看看經過第一層轉化後，你可以認為這是我們看到了隱藏層。

每個維度畝孝早對應於該層中神經元的興奮。

在上一節中所概述的方法，我們知道通過查看每層的表示來了解網路。這給了我們一個離散的表示列表。

最棘手的部分是了解我慎鄭們是如何從一個表示到另一個的。值得慶幸的是，神經網路層具有很好的性能，使這一點變得很容易。

神經網路由多種不同類型的層構成。我們將談論一個具體的例子：雙曲正切層（tanh）。一個雙曲正切層tanh⁡(Wx+b)由以下組成：

我們可以觀察到這是一個連續變換，具體如下：

這個故事和其它標准層大體相同，由一個映射變換之後單調激活函數的逐點應用。

我們可以用這種技術來了解更復雜的網路。例如，下面的網路劃分兩個被略微纏結的螺旋，使用四個隱藏層。隨著時間的推移，我們可以看到它的「原始」表示轉移到更高層次為了對數據進行分類。而螺旋最初是糾結的，最終他們是線性可分的。

另一方面，以下的網路，也是使用多個層，分類兩個螺旋沒有成功，反而更加纏結。

這里值得明確指出，這些任務將變得有些困難，如果我們使用的是低維神經網路。如果我們使用更廣泛的網路，這一切都將是相當容易的。

（ Andrei Karpathy有 很好的演示 基於ConvnetJS，讓您可以互動式地瀏覽網路，就像上面的這種可視化培訓！ ）

每一層都會拉伸和擠壓空間，但它永遠不會切割、斷裂和褶皺它。直觀地說，我們可以看到它保留了拓撲性質。例如，一組數據將在轉化後保持連接，如果它之前是連接的（反之亦然）。

這樣的轉換，不影響拓撲結構，被稱為同胚。在形式上，他們是連續函數的雙向映射。

定理 ：具有N個輸入和N個輸出的層是同胚，如果權重矩陣W是非奇異的。（雖然需要小心它的值域和范圍。）

證明 ：讓我們一步步考慮：

因此，如果W所有因子都是非零的，我們的層就是同胚的。∎

這一結果始終正確，如果我們將任意多個這些層組合在一起。

考慮包含兩個類的二維數據集
![][01]
[01]: http://latex.codecogs.com/svg.latex?,A,B subsetmathbb{R}^2

A = {x | d(x,0) < 1/3}
B = {x | 2/3 < d(x,0) < 1}

如前面提到的，用一個S形函數或SOFTMAX層分類相當於試圖找到一個超平面（或在這種情況下是一條線）在最終表示中分隔A與B。只有兩個隱藏層的網路對於分離這組數據在拓撲上是無能的，並註定要失敗。

在下面的可視化圖中，我們觀察到網路訓練隱藏的表示，通過試圖使用一條直線來分類。我們可以看到，它在努力學習某種方式來做到這一點是不斷掙扎而且困難重重。

最後，它被拉到一個相當低效的擬合。雖然它實際上能夠實現〜80%分類精度。

這個例子只有一個隱藏層，但無論如何它都會失敗。

證明 ：要麼每層是一個同胚，要麼該層的權重矩陣具有0因子。如果該層是同胚的，A被B所環繞，一個直線不能將它們分開。但是，假設它具有一個0因子：那麼數據集將在某些軸上崩塌。因為我們正在處理的東西同胚於原始數據集，A被B所包圍，在任一軸崩塌於意味著我們將有一些A中的點和B中的點混合，從而無法完成A與B的區分。∎

如果我們增加第三個隱藏層，問題就變得微不足道。神經網路學習以下表示：

用這個表示，我們可以用一個超平面分開數據集。

為了更好的理解這是怎麼做到的，讓我們考慮一個更簡單的一維數據集：

![][02]
[02]: http://latex.codecogs.com/svg.latex?,A=[- frac{1}{3}，,frac{1}{3}]

![][03]
[03]: http://latex.codecogs.com/svg.latex?,B=[-1,- frac{2}{3}]cup[frac{2}{3},1]

如果不使用兩個或多個隱藏單元層，我們不能將此數據集進行分類。但是，如果我們使用一個帶有兩層的網路，我們就學會將數據轉化成一個很好的曲線，讓我們能用一條線將數據分開：

發生了什麼？一個隱藏單元學習當x>-1/2時興奮，另一個單元學習當x>1/2時興奮。當第一個興奮，而不是第二個時，我們知道數據屬於A。

這個假說和現實世界的數據集相關嗎，比如圖像數據？如果你認真對待流形假說，我覺得他值得思考。

流形假說是指自然數據在它的嵌入空間構成了較低維度的數據流形。同時具有理論和實驗的理由相信這一假說是真的。如果你相信這一點，那麼分類演算法的任務是從根本上分離一堆糾結的流形。

在前面的例子中，一個類完全被另一個類包圍。然而，這似乎並不可能，比如狗的圖像流形完全被貓的圖像流形包圍。因為我們將在下一節中看到其他更合理的拓撲情況。

另一個有趣的數據集要考慮的是兩個鏈接的tori，A和B。

就像之前的數據集，這個數據不能被分離，如果不使用n+1維，即4個維度。

鏈接在結點理論（knot theory)中被討論，拓撲學的一個領域。有時，當我們看到一個鏈接，並不能一眼看出它是否真正相連（一堆被纏結在一起的事情，但可以通過連續變形分開）。

如果僅僅使用3個層次的神經網路就能夠對其進行分類，那麼它就是一個未鏈接（unlink）。（問：理論上是否能將所有未鏈接都通過只有3個層次的網路進行分類？）

從這個結的角度看，我們通過神經網路產生的連續可視化不僅僅是一個漂亮的動畫，它是解開鏈接的程序。在拓撲學中，我們把它稱為原始鏈接和分離環之間一個環境同痕（an ambient isotopy)。

形式上，流形A和B之間的一個環境同痕是一個連續函數F：[0，1]× X→Y，使得每個Ft是一個從X到它自己范圍的同胚，F0是一個標識函數，並F1是從A到B的一個映射。也就是，Ft是從A到自身的映射到從A到B的映射的連續轉換。

定理 ：在輸入和網路層之間具有環境同痕，如果：

證明 ：同樣，我們分別考慮網路的每個階段：

我想這也許是十分有趣的，通過程序自動發現這樣的環境同痕並自動證明某些鏈接的等價性，或者某些環節是可分離的。這將很有趣知道，如果神經網路是否可以各種情況。

（顯然，確定結點是否重要是一個NP，這不太適用於神經網路。）

我們已經談到的這類鏈接，到目前為止似乎不太可能是現實世界的數據，但他們是更高維的生成。這似乎是合理的。

鏈接和結點是1維流形，但我們需要4個維度才能夠解開他們。類似地，可能需要更高維度的空間，以便能夠解開n維流形。所有n維流形可在2n+2維度上解開。

（我對於結點理了解不多，確實需要更多地了解維度和鏈接。如果我們知道一個流形可以被嵌入到n維空間，而不是流形的維度，我們有什麼限制？ ）

很自然的想法，一個神經網路試圖直接將流形從糾結盡可能薄的部分拉出。雖然這不會在任何情況下都是一個好的解決方案，但是大多情況它可以實現較高的分類准確率，到達一個誘人的最低點（local miminum）。

它試圖拉伸具有高延展性的空間，並銳化靠近中斷處。我們知道這些事情發生。壓縮的處罰，在對數據點衍生層的處罰，都是很自然的做法。

由於這些局部最小點對於解決這種拓撲問題完全無用，拓撲問題值得很好的探索。

在另一方面，如果我們只關心取得了良好的分類結果，好像我們可能並不關心。如果很小的一個數據流形的點陷入另一個流形，會是一個問題嗎？看起來我們應該能夠得到很好的分類結果，盡管有這個問題。

（我的直覺是，像這樣欺騙自己是一個壞主意：這是很難想像它不會是死路一條。特別是，針對一個局部最小很重要的優化問題，選擇這種方式不能真正解決問題，這似乎是糟糕的表現。）

我越思考標準的神經網路層 - 即用映射變換後逐點激活功能 - 我就越不抱幻想。很難想像，他們能夠很好地操縱流形。

也許這可能是有意義的，我們採用一個非常不同的層，而不是傳統的神經網路層？

非常自然的感覺是，通過一個矢量場的學習，我們希望流形移動方向：

然後再對他變形空間：

人們可以學會在固定點的矢量場（只是需要從訓練集合選取一些固定點作為錨），並以某種方式介入。上面的矢量場的形式是：

![][04]
[04]: http://latex.codecogs.com/svg.latex?,F(x)= frac{v_0f_0(x)+v_1f_1(x)}{1+f_0(x)+f_1(x)}

其中，v0和v1是矢量，F0(X)和F1(X)是n維高斯函數。這一點來自於徑向基函數（radial basis functions）的靈感。

我也開始覺得線性可分可能是一個巨大的，也可能不合理的，神經網路的需求。在某些方面，非常自然的會想到使用K-近鄰（K-NN）。然而，K-NN的成功在很大程度上取決於它所分類的數據表示（represention），因此，人們在K-NN之前，需要一種良好的表示。

作為第一個實驗中，我訓練了一些MNIST網路（兩層卷積網，沒有下降現象）到達〜1%測試誤差。然後我放棄了最後的SOFTMAX層而使用K-NN演算法，我能夠始終如一地降低0.1-0.2％的測試誤差。

不過，這並不完全覺得是正確的事情。該網路還在試圖做線性分類，但由於我們使用K-NN測試，它能夠從它所犯的錯誤中恢復一些。

K-NN有區別於相對於它的網路層次，因為會用到（1 /距離值）加權。因此，我們可以直接訓練網路K-NN分類。這可以被認為是一種「k-NN」層替SOFTMAX。

我們不希望為每個小批量數據遍歷整個訓練集，因為這將非常消耗計算資源。我認為一個很好的辦法是根據小批次的其它元素對每個小批次的元素進行分類，賦予每一個元素（1 /從分類目標的距離）的權重。

可悲的是，即使有完善的體系結構，採用K-NN只下到5-4％檢測錯誤 - 使用簡單的架構會得到更壞的結果。不過，我已經很少把努力放在高維參數上了。

不過，我真的很喜歡這個方法，因為它好像就是我們「要求」網路運行的更加合理。我們希望在同一流形的點比其它的點更加接近，相對於由一個超平面被分離的其他流形。這相對需要拉伸不同類別流形之間的空間，同時收縮每一個流形。這感覺就像是在簡化問題。

具有拓撲性質的數據，例如鏈接，可能導致無法使用低維網路進行線性分類，無論深度有多大。即使在技術上是可能的情況下，例如螺旋，也是非常具有挑戰性的。

為了使神經網路准確的分類數據，多個層次有時是必要的 。此外，傳統的神經網路層似乎並不能很好的處理流形數據；即使我們巧妙的手工設置權重，想要緊湊的表達我們想要的轉換也是非常困難的。新建層次，特別使用流形相關的機器學習，可能是有用的補充。

（這是一個發展中的研究項目。相關研究信息會在網上公布。我會很高興聽聽您對這些想法的反饋：您可以發表評論。對於錯別字，技術錯誤，或任何澄清，我們鼓勵你發一個請求在GitHub上。）

致謝

謝謝Yoshua Bengio，邁克爾·尼爾森，達里奧 Amodei，埃利安娜洛奇，雅各布斯坦哈特和Tamsyn Waterhouse的意見和鼓勵。

㈩ 人工神經網路的知識表示形式和推理機制

神經網路有多種分類方式，例如，按網路性能可分為連續型與離散型網路，確定型與隨機型網路:按網路拓撲結構可分為前向神經網路與反饋神經網路。本章土要簡介前向神經網路、反饋神經網路和自組織特徵映射神經網路。

前向神經網路是數據挖掘中廣為應用的一種網路，其原理或演算法也是很多神經網路模型的基礎。徑向基函數神經網路就是一種前向型神經網路。Hopfield神經網路是反饋網路的代表。Hvpfi}ld網路的原型是一個非線性動力學系統，目前，已經在聯想記憶和優化計算中得到成功應用。

基本特徵

非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網路具有更好的性能，可以提高容錯性和存儲容量。

一個神經網路通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決於單個神經元的特徵，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。

以上內容參考：網路-人工神經網路