如何用均值聚類算網路異常入侵

A. 神經網路異常檢測方法和機器學習異常檢測方法對於入侵檢測的應用

神經網路入侵檢測方法是通過訓練神經網路連續的信息單元來進行異常檢測，信息單元指的是命令。網路的輸入為用戶當前輸入的命令和已執行過的W個命令；用戶執行過的命令被神經網路用來預測用戶輸入的下一個命令，如下圖。若神經網路被訓練成預測用戶輸入命令的序列集合，則神經網路就構成用戶的輪郭框架。當用這個神經網路預測不出某用戶正確的後繼命令，即在某種程度上表明了用戶行為與其輪廓框架的偏離，這時表明有異常事件發生，以此就能作異常入侵檢測。

上面式子用來分類識別，檢測異常序列。實驗結果表明這種方法檢測迅速，而且誤警率底。然而，此方法對於用戶動態行為變化以及單獨異常檢測還有待改善。復雜的相似度量和先驗知識加入到檢測中可能會提高系統的准確性，但需要做進一步工作。

B. 淺析區域網網路入侵檢測技術

說實話這種東西要寫也寫得出來，不過把時間浪費在論文上和上課睡覺是一個道理，復制的吧。
隨著無線技術和網路技術發展無線網路正成為市場熱點其中無線區域網(WLAN)正廣泛應用於大學校園、各類展覽會、公司內部乃至家用網路等場合但是由於無線網路特殊性攻擊者無須物理連線就可以對其進行攻擊使WLAN問題顯得尤為突出對於大部分公司來說WLAN通常置於後黑客旦攻破就能以此為跳板攻擊其他內部網路使防火牆形同虛設和此同時由於WLAN國家標准WAPI無限期推遲IEEE 802.11網路仍將為市場主角但因其認證機制存在極大安全隱患無疑讓WLAN安全狀況雪上加霜因此採用入侵檢測系統(IDS——rusion detection system)來加強WLAN安全性將是種很好選擇盡管入侵檢測技術在有線網路中已得到認可但由於無線網路特殊性將其應用於WLAN尚需進步研究本文通過分析WLAN特點提出可以分別用於有接入點模式WLAN和移動自組網模式WLAN兩種入侵檢測模型架構

上面簡單描述了WLAN技術發展及安全現狀本文主要介紹入侵檢測技術及其應用於WLAN時特殊要點給出兩種應用於區別架構WLAN入侵檢測模型及其實用價值需要介紹說明是本文研究入侵檢測主要針對採用射頻傳輸IEEE802.11a/b/g WLAN對其他類型WLAN同樣具有參考意義

1、WLAN概述
1.1 WLAN分類及其國內外發展現狀

對於WLAN可以用區別標准進行分類根據採用傳播媒質可分為光WLAN和射頻WLAN光WLAN採用紅外線傳輸不受其他通信信號干擾不會被穿透牆壁偷聽而早發射器功耗非常低；但其覆蓋范圍小漫射方式覆蓋16m僅適用於室內環境最大傳輸速率只有4 Mbit/s通常不能令用戶滿意由於光WLAN傳送距離和傳送速率方面局限現在幾乎所有WLAN都採用另種傳輸信號——射頻載波射頻載波使用無線電波進行數據傳輸IEEE 802.11採用2.4GHz頻段發送數據通常以兩種方式進行信號擴展種是跳頻擴頻(FHSS)方式另種是直接序列擴頻(DSSS)方式最高帶寬前者為3 Mbit/s後者為11Mbit/s幾乎所有WLAN廠商都採用DSSS作為網路傳輸技術 根據WLAN布局設計通常分為基礎結構模式WLAN和移動自組網模式WLAN兩種前者亦稱合接入點(AP)模式後者可稱無接入點模式分別如圖1和圖2所示

>

圖1 基礎結構模式WLAN

>

圖2 移動自組網模式WLAN

1.2 WLAN中安全問題 WLAN流行主要是由於它為使用者帶來方便然而正是這種便利性引出了有線網路中不存在安全問題比如攻擊者無須物理連線就可以連接網路而且任何人都可以利用設備竊聽到射頻載波傳輸廣播數據包因此著重考慮安全問題主要有:

a)針對IEEE 802.11網路採用有線等效保密(WEP)存在漏洞進行破解攻擊

b)惡意媒體訪問控制(MAC)地址偽裝這種攻擊在有線網中同樣存在

C)對於含AP模式攻擊者只要接入非授權假冒AP就可登錄欺騙合法用戶

d)攻擊者可能對AP進行泛洪攻擊使AP拒絕服務這是種後果嚴重攻擊方式此外對移動自組網模式內某個節點進行攻擊讓它不停地提供服務或進行數據包轉發使其能源耗盡而不能繼續工作通常稱為能源消耗攻擊

e)在移動自組網模式區域網內可能存在惡意節點惡意節點存在對網路性能影響很大

2、入侵檢測技術及其在WLAN中應用
IDS可分為基於主機入侵檢修系統(HIDS)和基於網路入侵檢測系統(NIDS)HIDS採用主機上文件(特別是日誌文件或主機收發網路數據包)作為數據源HIDS最早出現於20世紀80年代初期當時網路拓撲簡單入侵相當少見因此側重於對攻擊事後分析現在HIDS仍然主要通過記錄驗證只不過自動化程度提高且能做到精確檢測和快速響應並融入文件系統保護和監聽埠等技術和HIDS區別NIDS採用原始網路數據包作為數據源從中發現入侵跡象它能在不影響使用性能情況下檢測入侵事件並對入侵事件進行響應分布式網路IDS則把多個檢測探針分布至多個網段最後通過對各探針發回信息進行綜合分析來檢測入侵這種結構優點是管理起來簡單方便單個探針失效不會導致整個系統失效但配置過程復雜基礎結構模式入侵檢測模型將採用這種分布式網路檢測思路方法而對於移動自組網模式內入侵檢測模型將採用基於主機入侵檢測模型

當前對WLAN入侵檢測大都處於試驗階段比如開源入侵檢測系統Snort發布Snort－wire－less測試版增加了Wi欄位和選項關鍵字採用規則匹配思路方法進行入侵檢測其AP由管理員手工配置因此能很好地識別非授權假冒AP在擴展AP時亦需重新配置但是由於其規則文件無有效規則定義使檢測功能有限而且不能很好地檢測MAC地址偽裝和泛洪拒絕服務攻擊2003年下半年IBM提出WLAN入侵檢測方案採用無線感應器進行監測該方案需要聯入有線網路應用范圍有限而且系統成本昂貴要真正市場化、實用化尚需時日此外作為概念模型設計WIDZ系統實現了AP監控和泛洪拒絕服務檢測但它沒有個較好體系架構存在局限性

在上述基礎上我們提出種基於分布式感應器網路檢測模型框架對含AP模式WLAN進行保護對於移動自組網模式WLAN則由於網路中主機既要收發本機數據又要轉發數據(這些都是加密數據)文獻提出了採用異常檢測法對表更新異常和其他層活動異常進行檢測但只提供了模型沒有實現此外我們分析了移動自組網模式中惡意節點對網路性能影響並提出種基於聲譽評價機制安全以檢測惡意節點並盡量避開惡意節點進行選擇其中惡意節點檢測思想值得借鑒Snort－wireless可以作為基於主機入侵檢測我們以此為基礎提出種應用於移動自組網入侵檢測基於主機入侵檢測模型架構

3、WLAN中入侵檢測模型架構
在含AP模式中可以將多個WLAN基本服務集(BSS)擴展成擴展服務集(ESS)甚至可以組成個大型WLAN這種網路需要種分布式檢測框架由中心控制台和監測代理組成如圖3所示

>

圖3 含AP模式分布式入侵檢測系統框架

網路管理員中心控制台配置檢測代理和瀏覽檢測結果並進行關聯分析監測代理作用是監聽無線數據包、利用檢測引擎進行檢測、記錄警告信息並將警告信息發送至中心控制台

由此可見監測代理是整個系統核心部分根據網路布線和否監測代理可以採用兩種模式:種是使用1張無線網卡再加1張以大網卡無線網卡設置成「雜湊」模式監聽所有無線數據包乙太網卡則用於和中心通信；另種模式是使用2張無線網卡其中張網卡設置成「雜湊」模式另張則和中心通信

分組捕獲完成後將信息送至檢測引擎進行檢測目前最常用IDS主要採用檢測思路方法是特徵匹配即把網路包數據進行匹配看是否有預先寫在規則中「攻擊內容」或特徵盡管多數IDS匹配演算法沒有公開但通常都和著名開源入侵檢測系統Snort多模檢測演算法類似另些IDS還採用異常檢測思路方法(如Spade檢測引擎等)通常作為種補充方式無線網路傳輸是加密數據因此該系統需要重點實現部分由非授權AP檢測通常發現入侵的後監測代理會記錄攻擊特徵並通過安全通道(採用定強度加密演算法加密有線網路通常採用安全套接層(SSL)協議無線網路通常採用無線加密協議(WEP))將告警信息發給中心控制台進行顯示和關聯分析等並由控制台自動響應(告警和干擾等)或由網路管理員採取相應措施

在移動自組網模式中每個節點既要收發自身數據又要轉發其他節點數據而且各個節點傳輸范圍受到限制如果在該網路中存在或加入惡意節點網路性能將受到嚴重影響惡意節點攻擊方式可以分為主動性攻擊和自私性攻擊主動性攻擊是指節點通過發送路由信息、偽造或修改路由信息等方式對網路造成干擾；自私性攻擊是指網路中部分節點可能因資源能量和計算能量等緣故不願承擔其他節點轉發任務所產生干擾因此對惡意節點檢測並在相應路由選擇中避開惡意節點也是該類型WLAN需要研究問題

我們檢測模型建立在HIDS上甚至可以實現路由協議中部分安全機制如圖4所示

>

圖4 移動自組網模式中入侵檢測架構

當數據包到達主機後如果屬於本機數據數據包將被解密在將它遞交給上層的前先送至基於主機誤用檢測引擎進行檢測根據檢測結果對正常數據包放行對攻擊數據包則進行記錄並根據響應策略進行響應此外還可以在誤用檢測模型基礎上輔以異常檢測引擎根據以往研究成果可以在網路層或應用層上進行也可以將其做入路由協議中以便提高檢測速度和檢測效率

4、結束語
傳統入侵檢測系統已不能用於WLAN而WLAN內入侵檢測系統研究和實現才剛剛起步本文分析了WLAN特點及其存在安全問題提出了兩種入侵檢測系統架構可以分別用於基礎結構模式WLAN和移動自組網模式WLAN具有實用價值基礎結構模式WLAN採用分布式網路入侵檢測可用於大型網路；移動自組網中採用基於主機入侵檢測系統用於檢測異常節點活動和發現惡

C. 簡述入侵檢測常用的四種方法

入侵檢測系統所採用的技術可分為特徵檢測與異常檢測兩種。

1、特徵檢測

特徵檢測(Signature-based detection) 又稱Misuse detection ，這一檢測假設入侵者活動可以用一種模式來表示，系統的目標是檢測主體活動是否符合這些模式。

它可以將已有的入侵方法檢查出來，但對新的入侵方法無能為力。其難點在於如何設計模式既能夠表達「入侵」現象又不會將正常的活動包含進來。

2、異常檢測

異常檢測(Anomaly detection) 的假設是入侵者活動異常於正常主體的活動。根據這一理念建立主體正常活動的「活動簡檔」，將當前主體的活動狀況與「活動簡檔」相比較，當違反其統計規律時，認為該活動可能是「入侵」行為。

異常檢測的難題在於如何建立「活動簡檔」以及如何設計統計演算法，從而不把正常的操作作為「入侵」或忽略真正的「入侵」行為。

(3)如何用均值聚類算網路異常入侵擴展閱讀

入侵分類：

1、基於主機

一般主要使用操作系統的審計、跟蹤日誌作為數據源，某些也會主動與主機系統進行交互以獲得不存在於系統日誌中的信息以檢測入侵。

這種類型的檢測系統不需要額外的硬體．對網路流量不敏感，效率高，能准確定位入侵並及時進行反應，但是佔用主機資源，依賴於主機的可靠性，所能檢測的攻擊類型受限。不能檢測網路攻擊。

2、基於網路

通過被動地監聽網路上傳輸的原始流量，對獲取的網路數據進行處理，從中提取有用的信息，再通過與已知攻擊特徵相匹配或與正常網路行為原型相比較來識別攻擊事件。

此類檢測系統不依賴操作系統作為檢測資源，可應用於不同的操作系統平台；配置簡單，不需要任何特殊的審計和登錄機制；可檢測協議攻擊、特定環境的攻擊等多種攻擊。

但它只能監視經過本網段的活動，無法得到主機系統的實時狀態，精確度較差。大部分入侵檢測工具都是基於網路的入侵檢測系統。

3、分布式

這種入侵檢測系統一般為分布式結構，由多個部件組成，在關鍵主機上採用主機入侵檢測，在網路關鍵節點上採用網路入侵檢測，同時分析來自主機系統的審計日誌和來自網路的數據流，判斷被保護系統是否受到攻擊。

D. 簡述入侵檢測的過程

1.信息收集入侵檢測的第一步是信息收集，內容包括網路流量的內容、用戶連接活動的狀態和行為。

2.信號分析對上述收集到的信息，一般通過三種技術手段進行分析：模式匹配，統計分析和完整性分析。其中前兩種方法用於實時的入侵檢測，而完整性分析則用於事後分析。

具體的技術形式如下所述：

1).模式匹配

模式匹配就是將收集到的信息與已知的網路入侵和系統誤用模式資料庫進行比較，從而發現違背安全策略的行為。該過程可以很簡單（如通過字元串匹配以尋找一個簡單的條目或指令），也可以很復雜（如利用正規的數學表達式來表示安全狀態的變化）。一般來講，一種進攻模式可以用一個過程（如執行一條指令）或一個輸出（如獲得許可權）來表示。該方法的一大優點是只需收集相關的數據集合，顯著減少系統負擔，且技術已相當成熟。它與病毒防火牆採用的方法一樣，檢測准確率和效率都相當高。但是，該方法存在的弱點是需要不斷的升級以對付不斷出現的黑客攻擊手法，不能檢測到從未出現過的黑客攻擊手段。

2).統計分析

分析方法首先給信息對象（如用戶、連接、文件、目錄和設備等）創建一個統計描述，統計正常使用時的一些測量屬性（如訪問次數、操作失敗次數和延時等）。測量屬性的平均值將被用來與網路、系統的行為進行比較，任何觀察值在正常偏差之外時，就認為有入侵發生。例如，統計分析可能標識一個不正常行為，因為它發現一個在晚八點至早六點不登錄的帳戶卻在凌晨兩點試圖登錄。其優點是可檢測到未知的入侵和更為復雜的入侵，缺點是誤報、漏報率高，且不適應用戶正常行為的突然改變。具體的統計分析方法如基於專家系統的、基於模型推理的和基於神經網路的分析方法，目前正處於研究熱點和迅速發展之中。

3).完整性分析

完整性分析主要關注某個文件或對象是否被更改，包括文件和目錄的內容及屬性，它在發現被更改的、被特絡伊化的應用程序方面特別有效。完整性分析利用強有力的加密機制，稱為消息摘要函數（例如MD5），能識別及其微小的變化。其優點是不管模式匹配方法和統計分析方法能否發現入侵，只要是成功的攻擊導致了文件或其它對象的任何改變，它都能夠發現。缺點是一般以批處理方式實現，不用於實時響應。這種方式主要應用於基於主機的入侵檢測系統（HIDS）。

3.實時記錄、報警或有限度反擊

IDS根本的任務是要對入侵行為做出適當的反應，這些反應包括詳細日誌記錄、實時報警和有限度的反擊攻擊源。

E. 「宏觀網路流量」的定義是什麼有哪些異常檢測方法

一種互聯網宏觀流量異常檢測方法(2007-11-7 10:37) 摘要：網路流量異常指網路中流量不規則地顯著變化。網路短暫擁塞、分布式拒絕服務攻擊、大范圍掃描等本地事件或者網路路由異常等全局事件都能夠引起網路的異常。網路異常的檢測和分析對於網路安全應急響應部門非常重要，但是宏觀流量異常檢測需要從大量高維的富含雜訊的數據中提取和解釋異常模式，因此變得很困難。文章提出一種分析網路異常的通用方法，該方法運用主成分分析手段將高維空間劃分為對應正常和異常網路行為的子空間，並將流量向量影射在正常子空間中，使用基於距離的度量來檢測宏觀網路流量異常事件。公共互聯網正在社會生活的各個領域發揮著越來越重要的作用，與此同時，由互聯網的開放性和應用系統的復雜性所帶來的安全風險也隨之增多。2006年，國家計算機網路應急技術處理協調中心(CNCERT/CC)共接收26 476件非掃描類網路安全事件報告，與2005年相比增加2倍，超過2003—2005年3年的總和。2006年，CNCERT/CC利用部署的863-917網路安全監測平台，抽樣監測發現中國大陸地區約4.5萬個IP地址的主機被植入木馬，與2005年同期相比增加1倍；約有1千多萬個IP地址的主機被植入僵屍程序，被境外約1.6萬個主機進行控制。黑客利用木馬、僵屍網路等技術操縱數萬甚至上百萬台被入侵的計算機，釋放惡意代碼、發送垃圾郵件，並實施分布式拒絕服務攻擊，這對包括骨幹網在內的整個互聯網網路帶來嚴重的威脅。由數萬台機器同時發起的分布式拒絕服務攻擊能夠在短時間內耗盡城域網甚至骨幹網的帶寬，從而造成局部的互聯網崩潰。由於政府、金融、證券、能源、海關等重要信息系統的諸多業務依賴互聯網開展，互聯網骨幹網路的崩潰不僅會帶來巨額的商業損失，還會嚴重威脅國家安全。據不完全統計，2001年7月19日爆發的紅色代碼蠕蟲病毒造成的損失估計超過20億美元；2001年9月18日爆發的Nimda蠕蟲病毒造成的經濟損失超過26億美元；2003年1月爆發的SQL Slammer蠕蟲病毒造成經濟損失超過12億美元。針對目前互聯網宏觀網路安全需求，本文研究並提出一種宏觀網路流量異常檢測方法，能夠在骨幹網路層面對流量異常進行分析，在大規模安全事件爆發時進行快速有效的監測，從而為網路防禦贏得時間。1 網路流量異常檢測研究現狀在骨幹網路層面進行宏觀網路流量異常檢測時，巨大流量的實時處理和未知攻擊的檢測給傳統入侵檢測技術帶來了很大的挑戰。在流量異常檢測方面，國內外的學術機構和企業不斷探討並提出了多種檢測方法[1]。經典的流量監測方法是基於閾值基線的檢測方法，這種方法通過對歷史數據的分析建立正常的參考基線范圍，一旦超出此范圍就判斷為異常，它的特點是簡單、計算復雜度小，適用於實時檢測，然而它作為一種實用的檢測手段時，需要結合網路流量的特點進行修正和改進。另一種常用的方法是基於統計的檢測，如一般似然比(GLR)檢測方法[2]，它考慮兩個相鄰的時間窗口以及由這兩個窗口構成的合並窗口，每個窗口都用自回歸模型擬合，並計算各窗口序列殘差的聯合似然比，然後與某個預先設定的閾值T 進行比較，當超過閾值T 時，則窗口邊界被認定為異常點。這種檢測方法對於流量的突變檢測比較有效，但是由於它的閾值不是自動選取，並且當異常持續長度超過窗口長度時，該方法將出現部分失效。統計學模型在流量異常檢測中具有廣闊的研究前景，不同的統計學建模方式能夠產生不同的檢測方法。最近有許多學者研究了基於變換域進行流量異常檢測的方法[3]，基於變換域的方法通常將時域的流量信號變換到頻域或者小波域，然後依據變換後的空間特徵進行異常監測。P. Barford等人[4]將小波分析理論運用於流量異常檢測，並給出了基於其理論的4類異常結果，但該方法的計算過於復雜，不適於在高速骨幹網上進行實時檢測。Lakhina等人[5-6]利用主成分分析方法(PCA)，將源和目標之間的數據流高維結構空間進行PCA分解，歸結到3個主成分上，以3個新的復合變數來重構網路流的特徵，並以此發展出一套檢測方法。此外還有一些其他的監測方法[7]，例如基於Markov模型的網路狀態轉換概率檢測方法，將每種類型的事件定義為系統狀態，通過過程轉換模型來描述所預測的正常的網路特徵，當到來的流量特徵與期望特徵產生偏差時進行報警。又如LERAD檢測[8]，它是基於網路安全特徵的檢測，這種方法通過學習得到流量屬性之間的正常的關聯規則，然後建立正常的規則集，在實際檢測中對流量進行規則匹配，對違反規則的流量進行告警。這種方法能夠對發生異常的地址進行定位，並對異常的程度進行量化。但學習需要大量正常模式下的純凈數據，這在實際的網路中並不容易實現。隨著宏觀網路異常流量檢測成為網路安全的技術熱點，一些廠商紛紛推出了電信級的異常流量檢測產品，如Arbor公司的Peakflow、GenieNRM公司的GenieNTG 2100、NetScout公司的nGenius等。國外一些研究機構在政府資助下，開始部署宏觀網路異常監測的項目，並取得了較好的成績，如美國研究機構CERT建立了SiLK和AirCERT項目，澳大利亞啟動了NMAC流量監測系統等項目。針對宏觀網路異常流量監測的需要，CNCERT/CC部署運行863-917網路安全監測平台，採用分布式的架構，能夠通過多點對骨幹網路實現流量監測，通過分析協議、地址、埠、包長、流量、時序等信息，達到對中國互聯網宏觀運行狀態的監測。本文基於863-917網路安全監測平台獲取流量信息，構成監測矩陣，矩陣的行向量由源地址數量、目的地址數量、傳輸控制協議(TCP)位元組數、TCP報文數、數據報協議(UDP)位元組數、UDP報文數、其他流量位元組數、其他流量報文書、WEB流量位元組數、WEB流量報文數、TOP10個源IP占總位元組比例、TOP10個源IP占總報文數比例、TOP10個目的IP占總位元組數比例、TOP10個目的IP占總報文數比例14個部分組成，系統每5分鍾產生一個行向量，觀測窗口為6小時，從而形成了一個72×14的數量矩陣。由於在這14個觀測向量之間存在著一定的相關性，這使得利用較少的變數反映原來變數的信息成為可能。本項目採用了主成份分析法對觀測數據進行數據降維和特徵提取，下面對該演算法的工作原理進行介紹。 2 主成分分析技術主成分分析是一種坐標變換的方法，將給定數據集的點映射到一個新軸上面，這些新軸稱為主成分。主成分在代數學上是p 個隨機變數X 1, X 2……X p 的一系列的線性組合，在幾何學中這些現線性組合代表選取一個新的坐標系，它是以X 1,X 2……X p 為坐標軸的原來坐標系旋轉得到。新坐標軸代表數據變異性最大的方向，並且提供對於協方差結果的一個較為簡單但更精練的刻畫。主成分只是依賴於X 1,X 2……X p 的協方差矩陣，它是通過一組變數的幾個線性組合來解釋這些變數的協方差結構，通常用於高維數據的解釋和數據的壓縮。通常p 個成分能夠完全地再現全系統的變異性，但是大部分的變異性常常能夠只用少量k 個主成分就能夠說明，在這種情況下，這k 個主成分中所包含的信息和那p 個原變數做包含的幾乎一樣多，於是可以使用k 個主成分來代替原來p 個初始的變數，並且由對p 個變數的n 次測量結果所組成的原始數據集合，能夠被壓縮成為對於k 個主成分的n 次測量結果進行分析。運用主成分分析的方法常常能夠揭示出一些先前不曾預料的關系，因而能夠對於數據給出一些不同尋常的解釋。當使用零均值的數據進行處理時，每一個主成分指向了變化最大的方向。主軸以變化量的大小為序，一個主成分捕捉到在一個軸向上最大變化的方向，另一個主成分捕捉到在正交方向上的另一個變化。設隨機向量X '=[X 1,X 1……X p ]有協方差矩陣∑,其特徵值λ1≥λ2……λp≥0。考慮線性組合：Y1 =a 1 'X =a 11X 1+a 12X 2……a 1pX pY2 =a 2 'X =a 21X 1+a 22X 2……a 2pX p……Yp =a p'X =a p 1X 1+a p 2X 2……a p pX p從而得到：Var (Yi )=a i' ∑a i ,(i =1,2……p )Cov (Yi ,Yk )=a i '∑a k ,(i ,k =1,2……p )主成分就是那些不相關的Y 的線性組合，它們能夠使得方差盡可能大。第一主成分是有最大方差的線性組合，也即它能夠使得Var (Yi )=a i' ∑a i 最大化。我們只是關注有單位長度的系數向量，因此我們定義：第1主成分＝線性組合a 1'X，在a1'a 1=1時，它能夠使得Var (a1 'X )最大；第2主成分＝線性組合a 2 'X，在a2'a 2=1和Cov(a 1 'X,a 2 'X )=0時，它能夠使得Var (a 2 'X )最大；第i 個主成分＝線性組合a i'X，在a1'a 1=1和Cov(a i'X,a k'X )=0(k<i )時，它能夠使得Var (a i'X )最大。由此可知主成分都是不相關的，它們的方差等於協方差矩陣的特徵值。總方差中屬於第k個主成分(被第k個主成分所解釋)的比例為：如果總方差相當大的部分歸屬於第1個、第2個或者前幾個成分，而p較大的時候，那麼前幾個主成分就能夠取代原來的p個變數來對於原有的數據矩陣進行解釋，而且信息損失不多。在本項目中，對於一個包含14個特徵的矩陣進行主成分分析可知，特徵的最大變化基本上能夠被2到3個主成分捕捉到，這種主成分變化曲線的陡降特性構成了劃分正常子空間和異常子空間的基礎。3 異常檢測演算法本項目的異常流量檢測過程分為3個階段：建模階段、檢測階段和評估階段。下面對每個階段的演算法進行詳細的介紹。3.1 建模階段本項目採用滑動時間窗口建模，將當前時刻前的72個樣本作為建模空間，這72個樣本的數據構成了一個數據矩陣X。在試驗中，矩陣的行向量由14個元素構成。主成份分為正常主成分和異常主成份，它們分別代表了網路中的正常流量和異常流量，二者的區別主要體現在變化趨勢上。正常主成份隨時間的變化較為平緩，呈現出明顯的周期性；異常主成份隨時間的變化幅度較大，呈現出較強的突發性。根據采樣數據，判斷正常主成分的演算法是：依據主成分和采樣數據計算出第一主成分變數，求第一主成分變數這72個數值的均值μ1和方差σ1，找出第一主成分變數中偏離均值最大的元素，判斷其偏離均值的程度是否超過了3σ1。如果第一主成分變數的最大偏離超過了閾值，取第一主成份為正常主成分，其他主成份均為異常主成分，取主成份轉換矩陣U =[L 1]；如果最大偏離未超過閾值，轉入判斷第下一主成分，最後取得U =[L 1……L i -1]。第一主成份具有較強的周期性，隨後的主成份的周期性漸弱，突發性漸強，這也體現了網路中正常流量和異常流量的差別。在得到主成份轉換矩陣U後，針對每一個采樣數據Sk =xk 1,xk 2……xk p )，將其主成份投影到p維空間進行重建，重建後的向量為：Tk =UU T (Sk -X )T計算該采樣數據重建前與重建後向量之間的歐氏距離，稱之為殘差：dk =||Sk -Tk ||根據采樣數據，我們分別計算72次采樣數據的殘差，然後求其均值μd 和標准差σd 。轉換矩陣U、殘差均值μd 、殘差標准差σd 是我們構造的網路流量模型，也是進行流量異常檢測的前提條件。 3.2 檢測階段在通過建模得到網路流量模型後，對於新的觀測向量N,(n 1,n 2……np )，採用與建模階段類似的分析方法，將其中心化：Nd =N -X然後將中心化後的向量投影到p維空間重建，並計算殘差：Td =UUTNdTd =||Nd -Td ||如果該觀測值正常，則重建前與重建後向量應該非常相似，計算出的殘差d 應該很小；如果觀測值代表的流量與建模時發生了明顯變化，則計算出的殘差值會較大。本項目利用如下演算法對殘差進行量化：3.3 評估階段評估階段的任務是根據當前觀測向量的量化值q (d )，判斷網路流量是否正常。根據經驗，如果|q (d )|<5，網路基本正常；如果5≤|q (d )|<10，網路輕度異常；如果10≤|q (d )|，網路重度異常。4 實驗結果分析利用863-917網路安全監測平台，對北京電信骨幹網流量進行持續監測，我們提取6小時的觀測數據，由於篇幅所限，我們給出圖1—4的時間序列曲線。由圖1—4可知單獨利用任何一個曲線都難以判定異常，而利用本演算法可以容易地標定異常發生的時間。本演算法計算結果如圖5所示，異常發生時間在圖5中標出。我們利用863-917平台的回溯功能對於異常發生時間進行進一步的分析，發現在標出的異常時刻，一個大規模的僵屍網路對網外的3個IP地址發起了大規模的拒絕服務攻擊。 5 結束語本文提出一種基於主成分分析的方法來劃分子空間，分析和發現網路中的異常事件。本方法能夠准確快速地標定異常發生的時間點，從而幫助網路安全應急響應部門及時發現宏觀網路的流量異常狀況，為迅速解決網路異常贏得時間。試驗表明，我們採用的14個特徵構成的分析矩陣具有較好的識別准確率和分析效率，我們接下來將會繼續尋找更具有代表性的特徵來構成數據矩陣，並研究更好的特徵矩陣構造方法來進一步提高此方法的識別率，並將本方法推廣到短時分析中。6 參考文獻[1] XU K, ZHANG Z L, BHATTACHARYYA S. Profiling Internet backbone traffic: Behavior models and applications [C]// Proceedings of ACM SIGCOMM, Aug 22- 25, 2005, Philadelphia, PA, USA. New York, NY,USA:ACM,2005:169-180.[2] HAWKINS D M, QQUI P, KANG C W. The change point model for statistical process control [J]. Journal of Quality Technology,2003, 35(4).[3] THOTTAN M, JI C. Anomaly detection in IP networks [J]. IEEE Transactions on Signal Processing, 2003, 51 )8):2191-2204.[4] BARFORD P, KLINE J, PLONKA D, et al. A signal analysis of network traffic anomalies [C]//Proceedings of ACM SIGCOMM Intemet Measurement Workshop (IMW 2002), Nov 6-8, 2002, Marseilles, France. New York, NY,USA:ACM, 2002:71-82.[5] LAKHINA A, CROVELLA M, DIOT C. Mining anomalies using traffic feature distributions [C]// Proceedings of SIGCOMM, Aug 22-25, 2005, Philadelphia, PA, USA. New York, NY,USA: ACM, 2005: 217-228.[6] LAKHINA A, CROVELLA M, DIOT C. Diagnosing network-wide traffic anomalies [C]// Proceedings of ACM SIGCOMM, Aug 30 - Sep 3, 2004, Portland, OR, USA. New York, NY,USA: ACM, 2004: 219-230.[7] SCHWELLER R, GUPTA A, PARSONS E, et al. Reversible sketches for efficient and accurate change detection over network data streams [C]//Proceedings of ACM SIGCOMM Internet Measurement Conference (IMC』04), Oct 25-27, 2004, Taormina, Sicily, Italy. New York, NY,USA: ACM, 2004:207-212.[8] MAHONEY M V, CHAN P K. Learning rules for anomaly detection of hostile network traffic [C]// Proceedings of International Conference on Data Mining (ICDM』03), Nov 19-22, Melbourne, FL, USA . Los Alamitos, CA, USA: IEEE Computer Society, 2003:601-604.

F. 如何理解異常入侵檢測技術

入侵檢測是用於檢測任何損害或企圖損害系統的機密性、完整性或可用性等行為的一種網路安全技術。它通過監視受保護系統的狀態和活動，採用異常檢測或誤用檢測的方式，發現非授權的或惡意的系統及網路行為，為防範入侵行為提供有效的手段。入侵檢測系統（IDS）是由硬體和軟體組成，用來檢測系統或網路以發現可能的入侵或攻擊的系統。IDS通過實時的檢測，檢查特定的攻擊模式、系統配置、系統漏洞、存在缺陷的程序版本以及系統或用戶的行為模式，監控與安全有關的活動。

入侵檢測提供了用於發現入侵攻擊與合法用戶濫用特權的一種方法，它所基於的重要的前提是：非法行為和合法行為是可區分的，也就是說，可以通過提取行為的模式特徵來分析判斷該行為的性質。一個基本的入侵檢測系統需要解決兩個問題：
一是如何充分並可靠地提取描述行為特徵的數據；
二是如何根據特徵數據，高效並准確地判斷行為的性質。
入侵檢測系統主要包括三個基本模塊：數據採集與預處理、數據分析檢測和事件響應。系統體系結構如下圖所示。

數據採集與預處理。該模塊主要負責從網路或系統環境中採集數據，並作簡單的預處理，使其便於檢測模塊分析，然後直接傳送給檢測模塊。入侵檢測系統的好壞很大程度上依賴於收集信息的可靠性和正確性。數據源的選擇取決於所要檢測的內容。
數據分析檢測。該模塊主要負責對採集的數據進行數據分析，確定是否有入侵行為發生。主要有誤用檢測和異常檢測兩種方法。
事件響應。該模塊主要負責針對分析結果實施響應操作，採取必要和適當的措施，以阻止進一步的入侵行為或恢復受損害的系統。

異常入侵檢測的主要前提條件是入侵性活動作為異常活動的子集。理想狀況是異常活動集同入侵性活動集相等。在這種情況下，若能檢測所有的異常活動，就能檢測所有的入侵性活動。可是，入侵性活動集並不總是與異常活動集相符合。活動存在四種可能性：

• 入侵性而非異常；
• 非入侵性且異常；
• 非入侵性且非異常；
• 入侵且異常。

異常入侵檢測要解決的問題就是構造異常活動集並從中發現入侵性活動子集。異常入侵檢測方法依賴於異常模型的建立，不同模型就構成不同的檢測方法。異常入侵檢測通過觀測到的一組測量值偏離度來預測用戶行為的變化，並作出決策判斷。異常入侵檢測技術的特點是對於未知的入侵行為的檢測非常有效，但是由於系統需要實時地建立和更新正常行為特徵輪廓，因而會消耗更多的系統資源。

G. 入侵檢測系統的檢測方法

在異常入侵檢測系統中常常採用以下幾種檢測方法： 基於貝葉斯推理檢測法：是通過在任何給定的時刻，測量變數值，推理判斷系統是否發生入侵事件。 基於特徵選擇檢測法：指從一組度量中挑選出能檢測入侵的度量，用它來對入侵行為進行預測或分類。 基於貝葉斯網路檢測法：用圖形方式表示隨機變數之間的關系。通過指定的與鄰接節點相關一個小的概率集來計算隨機變數的聯接概率分布。按給定全部節點組合，所有根節點的先驗概率和非根節點概率構成這個集。貝葉斯網路是一個有向圖，弧表示父、子結點之間的依賴關系。當隨機變數的值變為已知時，就允許將它吸收為證據，為其他的剩餘隨機變數條件值判斷提供計算框架。
基於模式預測的檢測法：事件序列不是隨機發生的而是遵循某種可辨別的模式是基於模式預測的異常檢測法的假設條件，其特點是事件序列及相互聯系被考慮到了，只關心少數相關安全事件是該檢測法的最大優點。 基於統計的異常檢測法：是根據用戶對象的活動為每個用戶都建立一個特徵輪廓表，通過對當前特徵與以前已經建立的特徵進行比較，來判斷當前行為的異常性。用戶特徵輪廓表要根據審計記錄情況不斷更新，其保護去多衡量指標，這些指標值要根據經驗值或一段時間內的統計而得到。 基於機器學習檢測法：是根據離散數據臨時序列學習獲得網路、系統和個體的行為特徵，並提出了一個實例學習法IBL，IBL是基於相似度，該方法通過新的序列相似度計算將原始數據（如離散事件流和無序的記錄）轉化成可度量的空間。然後，應用IBL學習技術和一種新的基於序列的分類方法，發現異常類型事件，從而檢測入侵行為。其中，成員分類的概率由閾值的選取來決定。
數據挖掘檢測法：數據挖掘的目的是要從海量的數據中提取出有用的數據信息。網路中會有大量的審計記錄存在，審計記錄大多都是以文件形式存放的。如果靠手工方法來發現記錄中的異常現象是遠遠不夠的，所以將數據挖掘技術應用於入侵檢測中，可以從審計數據中提取有用的知識，然後用這些知識區檢測異常入侵和已知的入侵。採用的方法有KDD演算法，其優點是善於處理大量數據的能力與數據關聯分析的能力，但是實時性較差。
基於應用模式的異常檢測法：該方法是根據服務請求類型、服務請求長度、服務請求包大小分布計算網路服務的異常值。通過實時計算的異常值和所訓練的閾值比較，從而發現異常行為。
基於文本分類的異常檢測法：該方法是將系統產生的進程調用集合轉換為「文檔」。利用K鄰聚類文本分類演算法，計算文檔的相似性。 誤用入侵檢測系統中常用的檢測方法有： 模式匹配法：是常常被用於入侵檢測技術中。它是通過把收集到的信息與網路入侵和系統誤用模式資料庫中的已知信息進行比較，從而對違背安全策略的行為進行發現。模式匹配法可以顯著地減少系統負擔，有較高的檢測率和准確率。 專家系統法：這個方法的思想是把安全專家的知識表示成規則知識庫，再用推理演算法檢測入侵。主要是針對有特徵的入侵行為。 基於狀態轉移分析的檢測法：該方法的基本思想是將攻擊看成一個連續的、分步驟的並且各個步驟之間有一定的關聯的過程。在網路中發生入侵時及時阻斷入侵行為，防止可能還會進一步發生的類似攻擊行為。在狀態轉移分析方法中，一個滲透過程可以看作是由攻擊者做出的一系列的行為而導致系統從某個初始狀態變為最終某個被危害的狀態。

H. 對於入侵檢測，統計異常檢測方法和特徵選擇異常檢測方法有什麼區別

統計異常檢測的方法用的是特徵輪廓的異常值加權，而特徵選擇異常檢測方法用的是特徵空間構成入侵的子集來判斷是否入侵。

這里ai表示與度量Mi的相關權重。一般而言，變數M1,M2…Mi 不是相互獨立的，需要更復雜的函數處理其相關性。異常性測量值僅僅是數字，沒有明確的理論依據支持這種處理方式。例如，使用多個獨立的異常性變數作為結合的依據，概率計算在理論上是正確的。但是，異常性測量和貝葉斯概率計算之間的關系並不是很清晰的。常見的幾種測量類型通常包括：

• 活動強度測量： 描述活動處理速度。通常用作檢測突發性行為，而檢測不出這種長時期的平均行為效果；
• 審計記錄分布測量：描述最近審計記錄中所有活動類型分布狀況。如特定的用戶在整個系統使用中文件訪問和I/O活動分布；
• 類型測量：描述特定的活動在各種類型中的分布狀況。如在系統中，從各個物理位置來的遠程登錄相關頻度，每個郵件發送者、編譯器、shell、編輯器的相關使用；
• 順序測量：描述活動的輸出結果，以數字值來表示。如特定的用戶CPU和I/O使用總量。

統計異常檢測方法的優點是所應用的技術方法在統計學中已經得到很好的研究。例如，位於標准方差兩側的數據可認為是異常的。但統計入侵檢測系統有以下幾點不足：

• 統計測量對事件發生的次序不敏感，單純的統計入侵檢測系統可能不會發覺事件當中互相依次相連的入侵行為；
• 單純的統計入侵檢測系統將逐漸地訓練成單一點，要麼行為是異常的，要麼是正常的。入侵者如果知道他被這樣的異常檢測器監視，他可以誘導這個系統，使得那些大部分依靠行為統計測量的入侵檢測方案對監視的特定的事件模式失效；
• 異常閥值難以確定，閥值設置偏低或偏高均會導致誤報警事件；運用統計技術對異常作形式化處理要假定數據來源穩定並具有相似性，但是這種假定並不總是滿足。

特徵選擇異常檢測方法是通過從一組度量中挑選能檢測出入侵的度量構成子集來准確地預測或分類已檢測到的入侵。判斷符合實際的度量是復雜的，因為合適地選擇度量子集依賴於檢測到的入侵類型，一個度量集對所有的各種各樣的入侵類型不可能是足夠的。預先確定特定的度量來檢測入侵可能會錯過單獨的特別的環境下的入侵。最理想的檢測入侵度量集必須動態地決策判斷以獲得最好的效果。假設與入侵潛在相關的度量有n 個,則這n個度量構成的子集數是2^n 個 。由於搜索空間同度量數是指數關系，所以窮盡搜索最理想的度量子集的開銷不是很有效的。Maccabe提出遺傳方法來搜索整個度量子空間以尋找正確的度量子集。其方法是使用學習分類器方法生成遺傳交叉運算元和基因突變運算元,除去降低預測入侵的度量子集，而採用遺傳運算元產生更強的度量子集取代。這種方法採用與較高的預測度量子集相結合，允許搜索的空間大小比其它的啟發式搜索技術更有效。