實現對網路流量異常檢測

⑴ 系統檢測到計算機網路中存在異常流量怎麼處理

此提示是谷歌為了防範機器自動查詢而採取的措施，解決方法如下：

1. 短線重撥。

2. 要麼聯系網管解決，要麼自行使用代理伺服器。

3. 不用或者更換代理伺服器。

4. 重新進行寬頻撥號或者重啟路由器獲得一個新IP。
   

⑵ 手機總出現網路異常請檢查怎麼解決

手機總是出現網路異常，一般情況是網路運營商的終端問題 建議解決方法：把手機調為離線模式，再開啟標准模式，基本可以解決問題，不用關機再開機的，要是還是不行，直接致電10086，客服人員會在3小時內給你聯系解決。

⑶ 異常檢測的相關定義

1、誤用檢測是指通過攻擊行為的特徵庫,採用特徵匹配的方法確定攻擊事件.誤用檢測的優點是檢測的誤報率低,檢測快,但誤用檢測通常不能發現攻擊特徵庫中沒有事先指定的攻擊行為,所以無法檢測層出不窮的新攻擊
2、異常檢測是指根據非正常行為(系統或用戶)和使用計算機非正常資源來檢測入侵行為.其關鍵在於建立用戶及系統正常行為輪廓(Profile),檢測實際活動以判斷是否背離正常輪廓
3、異常檢測是指將用戶正常的習慣行為特徵存儲在資料庫中,然後將用戶當前的行為特徵與特徵資料庫中的特徵進行比較,如果兩者的偏差足夠大,則說明發生了異常
4、異常檢測是指利用定量的方式來描述可接受的行為特徵,以區分和正常行為相違背的、非正常的行為特徵來檢測入侵
5、基於行為的入侵檢測方法,通過將過去觀察到的正常行為與受到攻擊時的行為相比較,根據使用者的異常行為或資源的異常使用狀況來判斷是否發生入侵活動,所以也被稱為異常檢測
6、統計分析亦稱為異常檢測,即按統計規律進行入侵檢測.統計分析先對審計數據進行分析,若發現其行為違背了系統預計,則被認為是濫用行為
7、統計分析亦稱為異常檢測.通過將正常的網路的流量.網路延時以及不同應用的網路特性(如時段性)統計分析後作為參照值,若收集到的信息在參照值范圍之外,則認為有入侵行為
8、異常檢測（Anomaly-based detection）方法首先定義一組系統處於「正常」情況時的數據，如CPU利用率、內存利用率、文件校驗和等然後進行分析確定是否出現異常。

⑷ 我們的系統檢測到您的計算機網路中存在異常流量.請稍後重新發送

此提示是瀏覽器為了防範機器自動查詢而採取的措施，但對於多人使用同一對外IP的情況也會造成誤報，比如身處區域網或者使用了代理伺服器等網路條件下。

解決方法：

1、輸入驗證碼，一般輸入2次驗證碼之後即可解除提示。

2、如果使用的是區域網，要麼聯系網管解決，要麼自行使用代理伺服器。

3、如果使用了代理伺服器，不用或者更換代理伺服器。

4、如果是個人寬頻，重新進行寬頻撥號或者重啟路由器獲得一個新IP。

(4)實現對網路流量異常檢測擴展閱讀：

注意事項：

1、從工作方式上看，計算機網路可以分為邊緣部分和核心部分。 邊緣部分是指用戶直接使用的、連接在網際網路上的主機， 而核心部分是指大量的網路和連接這些網路的路由器，它為邊緣部分提供了連通性和交換服務。

2、分布式處理。當計算機網路中的某個計算機系統負荷過重時，就可以將其處理的任務傳送到網路的其他計算機系統中，利用空閑計算機資源以提高整個系統的運行效率。

3、按照網路的拓撲結構，主要分為星形、匯流排型、環形和網路形網路。 其中前三者多用於區域網，網路形網路多用於廣域網。

⑸ 我們的系統檢測到您的計算機網路中存在異常流量。 怎麼解決

很可能是有些軟體程序在掃描你的硬碟，然後無聲無息地把你的硬碟數據上傳到他的伺服器上，從而製造了流量異常。

⑹ 區域網里如何偵測網路流量不正常的主機

對於流量 暫時沒有什麼特別好的辦法
可以用show interface來查看各個埠的流量 這樣做的缺點就是比較繁瑣 建議使用一些流量檢測軟體
至於ARP攻擊 可以用 show arp查看arp表 然後show mac-address-table
查看mac地址表 將兩個表進行對比 做出判斷 然後將mac地址表中對應的機器埠shut掉就可以了

⑺ java如何實現監控伺服器網路流量

你可以在JSP頁面用這三個方法
request.getRemoteAddr()//獲取遠程IP
request.getRemoteUser()//獲取遠程用戶
request.getRemoteHost()//獲取遠程主機
可以寫方法,請看java.net包下的類.
java.net.InetAddress
java.net.InetSocketAddress
獲取IP,主機和埠.

⑻ 上網瀏覽網頁時，出現「系統檢測到您的計算機網路中存在異常流量」怎麼辦

上網瀏覽網頁時，出現「系統檢測到您的計算機網路中存在異常流量」這是因為路由器上網模式設置錯誤造成的，具體的解決方法如下：

1、首先在電腦上打開寬頻連接的窗口，然後單擊屬性：

⑼ 「宏觀網路流量」的定義是什麼有哪些異常檢測方法

一種互聯網宏觀流量異常檢測方法(2007-11-7 10:37) 摘要：網路流量異常指網路中流量不規則地顯著變化。網路短暫擁塞、分布式拒絕服務攻擊、大范圍掃描等本地事件或者網路路由異常等全局事件都能夠引起網路的異常。網路異常的檢測和分析對於網路安全應急響應部門非常重要，但是宏觀流量異常檢測需要從大量高維的富含雜訊的數據中提取和解釋異常模式，因此變得很困難。文章提出一種分析網路異常的通用方法，該方法運用主成分分析手段將高維空間劃分為對應正常和異常網路行為的子空間，並將流量向量影射在正常子空間中，使用基於距離的度量來檢測宏觀網路流量異常事件。公共互聯網正在社會生活的各個領域發揮著越來越重要的作用，與此同時，由互聯網的開放性和應用系統的復雜性所帶來的安全風險也隨之增多。2006年，國家計算機網路應急技術處理協調中心(CNCERT/CC)共接收26 476件非掃描類網路安全事件報告，與2005年相比增加2倍，超過2003—2005年3年的總和。2006年，CNCERT/CC利用部署的863-917網路安全監測平台，抽樣監測發現中國大陸地區約4.5萬個IP地址的主機被植入木馬，與2005年同期相比增加1倍；約有1千多萬個IP地址的主機被植入僵屍程序，被境外約1.6萬個主機進行控制。黑客利用木馬、僵屍網路等技術操縱數萬甚至上百萬台被入侵的計算機，釋放惡意代碼、發送垃圾郵件，並實施分布式拒絕服務攻擊，這對包括骨幹網在內的整個互聯網網路帶來嚴重的威脅。由數萬台機器同時發起的分布式拒絕服務攻擊能夠在短時間內耗盡城域網甚至骨幹網的帶寬，從而造成局部的互聯網崩潰。由於政府、金融、證券、能源、海關等重要信息系統的諸多業務依賴互聯網開展，互聯網骨幹網路的崩潰不僅會帶來巨額的商業損失，還會嚴重威脅國家安全。據不完全統計，2001年7月19日爆發的紅色代碼蠕蟲病毒造成的損失估計超過20億美元；2001年9月18日爆發的Nimda蠕蟲病毒造成的經濟損失超過26億美元；2003年1月爆發的SQL Slammer蠕蟲病毒造成經濟損失超過12億美元。針對目前互聯網宏觀網路安全需求，本文研究並提出一種宏觀網路流量異常檢測方法，能夠在骨幹網路層面對流量異常進行分析，在大規模安全事件爆發時進行快速有效的監測，從而為網路防禦贏得時間。1 網路流量異常檢測研究現狀在骨幹網路層面進行宏觀網路流量異常檢測時，巨大流量的實時處理和未知攻擊的檢測給傳統入侵檢測技術帶來了很大的挑戰。在流量異常檢測方面，國內外的學術機構和企業不斷探討並提出了多種檢測方法[1]。經典的流量監測方法是基於閾值基線的檢測方法，這種方法通過對歷史數據的分析建立正常的參考基線范圍，一旦超出此范圍就判斷為異常，它的特點是簡單、計算復雜度小，適用於實時檢測，然而它作為一種實用的檢測手段時，需要結合網路流量的特點進行修正和改進。另一種常用的方法是基於統計的檢測，如一般似然比(GLR)檢測方法[2]，它考慮兩個相鄰的時間窗口以及由這兩個窗口構成的合並窗口，每個窗口都用自回歸模型擬合，並計算各窗口序列殘差的聯合似然比，然後與某個預先設定的閾值T 進行比較，當超過閾值T 時，則窗口邊界被認定為異常點。這種檢測方法對於流量的突變檢測比較有效，但是由於它的閾值不是自動選取，並且當異常持續長度超過窗口長度時，該方法將出現部分失效。統計學模型在流量異常檢測中具有廣闊的研究前景，不同的統計學建模方式能夠產生不同的檢測方法。最近有許多學者研究了基於變換域進行流量異常檢測的方法[3]，基於變換域的方法通常將時域的流量信號變換到頻域或者小波域，然後依據變換後的空間特徵進行異常監測。P. Barford等人[4]將小波分析理論運用於流量異常檢測，並給出了基於其理論的4類異常結果，但該方法的計算過於復雜，不適於在高速骨幹網上進行實時檢測。Lakhina等人[5-6]利用主成分分析方法(PCA)，將源和目標之間的數據流高維結構空間進行PCA分解，歸結到3個主成分上，以3個新的復合變數來重構網路流的特徵，並以此發展出一套檢測方法。此外還有一些其他的監測方法[7]，例如基於Markov模型的網路狀態轉換概率檢測方法，將每種類型的事件定義為系統狀態，通過過程轉換模型來描述所預測的正常的網路特徵，當到來的流量特徵與期望特徵產生偏差時進行報警。又如LERAD檢測[8]，它是基於網路安全特徵的檢測，這種方法通過學習得到流量屬性之間的正常的關聯規則，然後建立正常的規則集，在實際檢測中對流量進行規則匹配，對違反規則的流量進行告警。這種方法能夠對發生異常的地址進行定位，並對異常的程度進行量化。但學習需要大量正常模式下的純凈數據，這在實際的網路中並不容易實現。隨著宏觀網路異常流量檢測成為網路安全的技術熱點，一些廠商紛紛推出了電信級的異常流量檢測產品，如Arbor公司的Peakflow、GenieNRM公司的GenieNTG 2100、NetScout公司的nGenius等。國外一些研究機構在政府資助下，開始部署宏觀網路異常監測的項目，並取得了較好的成績，如美國研究機構CERT建立了SiLK和AirCERT項目，澳大利亞啟動了NMAC流量監測系統等項目。針對宏觀網路異常流量監測的需要，CNCERT/CC部署運行863-917網路安全監測平台，採用分布式的架構，能夠通過多點對骨幹網路實現流量監測，通過分析協議、地址、埠、包長、流量、時序等信息，達到對中國互聯網宏觀運行狀態的監測。本文基於863-917網路安全監測平台獲取流量信息，構成監測矩陣，矩陣的行向量由源地址數量、目的地址數量、傳輸控制協議(TCP)位元組數、TCP報文數、數據報協議(UDP)位元組數、UDP報文數、其他流量位元組數、其他流量報文書、WEB流量位元組數、WEB流量報文數、TOP10個源IP占總位元組比例、TOP10個源IP占總報文數比例、TOP10個目的IP占總位元組數比例、TOP10個目的IP占總報文數比例14個部分組成，系統每5分鍾產生一個行向量，觀測窗口為6小時，從而形成了一個72×14的數量矩陣。由於在這14個觀測向量之間存在著一定的相關性，這使得利用較少的變數反映原來變數的信息成為可能。本項目採用了主成份分析法對觀測數據進行數據降維和特徵提取，下面對該演算法的工作原理進行介紹。 2 主成分分析技術主成分分析是一種坐標變換的方法，將給定數據集的點映射到一個新軸上面，這些新軸稱為主成分。主成分在代數學上是p 個隨機變數X 1, X 2……X p 的一系列的線性組合，在幾何學中這些現線性組合代表選取一個新的坐標系，它是以X 1,X 2……X p 為坐標軸的原來坐標系旋轉得到。新坐標軸代表數據變異性最大的方向，並且提供對於協方差結果的一個較為簡單但更精練的刻畫。主成分只是依賴於X 1,X 2……X p 的協方差矩陣，它是通過一組變數的幾個線性組合來解釋這些變數的協方差結構，通常用於高維數據的解釋和數據的壓縮。通常p 個成分能夠完全地再現全系統的變異性，但是大部分的變異性常常能夠只用少量k 個主成分就能夠說明，在這種情況下，這k 個主成分中所包含的信息和那p 個原變數做包含的幾乎一樣多，於是可以使用k 個主成分來代替原來p 個初始的變數，並且由對p 個變數的n 次測量結果所組成的原始數據集合，能夠被壓縮成為對於k 個主成分的n 次測量結果進行分析。運用主成分分析的方法常常能夠揭示出一些先前不曾預料的關系，因而能夠對於數據給出一些不同尋常的解釋。當使用零均值的數據進行處理時，每一個主成分指向了變化最大的方向。主軸以變化量的大小為序，一個主成分捕捉到在一個軸向上最大變化的方向，另一個主成分捕捉到在正交方向上的另一個變化。設隨機向量X '=[X 1,X 1……X p ]有協方差矩陣∑,其特徵值λ1≥λ2……λp≥0。考慮線性組合：Y1 =a 1 'X =a 11X 1+a 12X 2……a 1pX pY2 =a 2 'X =a 21X 1+a 22X 2……a 2pX p……Yp =a p'X =a p 1X 1+a p 2X 2……a p pX p從而得到：Var (Yi )=a i' ∑a i ,(i =1,2……p )Cov (Yi ,Yk )=a i '∑a k ,(i ,k =1,2……p )主成分就是那些不相關的Y 的線性組合，它們能夠使得方差盡可能大。第一主成分是有最大方差的線性組合，也即它能夠使得Var (Yi )=a i' ∑a i 最大化。我們只是關注有單位長度的系數向量，因此我們定義：第1主成分＝線性組合a 1'X，在a1'a 1=1時，它能夠使得Var (a1 'X )最大；第2主成分＝線性組合a 2 'X，在a2'a 2=1和Cov(a 1 'X,a 2 'X )=0時，它能夠使得Var (a 2 'X )最大；第i 個主成分＝線性組合a i'X，在a1'a 1=1和Cov(a i'X,a k'X )=0(k<i )時，它能夠使得Var (a i'X )最大。由此可知主成分都是不相關的，它們的方差等於協方差矩陣的特徵值。總方差中屬於第k個主成分(被第k個主成分所解釋)的比例為：如果總方差相當大的部分歸屬於第1個、第2個或者前幾個成分，而p較大的時候，那麼前幾個主成分就能夠取代原來的p個變數來對於原有的數據矩陣進行解釋，而且信息損失不多。在本項目中，對於一個包含14個特徵的矩陣進行主成分分析可知，特徵的最大變化基本上能夠被2到3個主成分捕捉到，這種主成分變化曲線的陡降特性構成了劃分正常子空間和異常子空間的基礎。3 異常檢測演算法本項目的異常流量檢測過程分為3個階段：建模階段、檢測階段和評估階段。下面對每個階段的演算法進行詳細的介紹。3.1 建模階段本項目採用滑動時間窗口建模，將當前時刻前的72個樣本作為建模空間，這72個樣本的數據構成了一個數據矩陣X。在試驗中，矩陣的行向量由14個元素構成。主成份分為正常主成分和異常主成份，它們分別代表了網路中的正常流量和異常流量，二者的區別主要體現在變化趨勢上。正常主成份隨時間的變化較為平緩，呈現出明顯的周期性；異常主成份隨時間的變化幅度較大，呈現出較強的突發性。根據采樣數據，判斷正常主成分的演算法是：依據主成分和采樣數據計算出第一主成分變數，求第一主成分變數這72個數值的均值μ1和方差σ1，找出第一主成分變數中偏離均值最大的元素，判斷其偏離均值的程度是否超過了3σ1。如果第一主成分變數的最大偏離超過了閾值，取第一主成份為正常主成分，其他主成份均為異常主成分，取主成份轉換矩陣U =[L 1]；如果最大偏離未超過閾值，轉入判斷第下一主成分，最後取得U =[L 1……L i -1]。第一主成份具有較強的周期性，隨後的主成份的周期性漸弱，突發性漸強，這也體現了網路中正常流量和異常流量的差別。在得到主成份轉換矩陣U後，針對每一個采樣數據Sk =xk 1,xk 2……xk p )，將其主成份投影到p維空間進行重建，重建後的向量為：Tk =UU T (Sk -X )T計算該采樣數據重建前與重建後向量之間的歐氏距離，稱之為殘差：dk =||Sk -Tk ||根據采樣數據，我們分別計算72次采樣數據的殘差，然後求其均值μd 和標准差σd 。轉換矩陣U、殘差均值μd 、殘差標准差σd 是我們構造的網路流量模型，也是進行流量異常檢測的前提條件。 3.2 檢測階段在通過建模得到網路流量模型後，對於新的觀測向量N,(n 1,n 2……np )，採用與建模階段類似的分析方法，將其中心化：Nd =N -X然後將中心化後的向量投影到p維空間重建，並計算殘差：Td =UUTNdTd =||Nd -Td ||如果該觀測值正常，則重建前與重建後向量應該非常相似，計算出的殘差d 應該很小；如果觀測值代表的流量與建模時發生了明顯變化，則計算出的殘差值會較大。本項目利用如下演算法對殘差進行量化：3.3 評估階段評估階段的任務是根據當前觀測向量的量化值q (d )，判斷網路流量是否正常。根據經驗，如果|q (d )|<5，網路基本正常；如果5≤|q (d )|<10，網路輕度異常；如果10≤|q (d )|，網路重度異常。4 實驗結果分析利用863-917網路安全監測平台，對北京電信骨幹網流量進行持續監測，我們提取6小時的觀測數據，由於篇幅所限，我們給出圖1—4的時間序列曲線。由圖1—4可知單獨利用任何一個曲線都難以判定異常，而利用本演算法可以容易地標定異常發生的時間。本演算法計算結果如圖5所示，異常發生時間在圖5中標出。我們利用863-917平台的回溯功能對於異常發生時間進行進一步的分析，發現在標出的異常時刻，一個大規模的僵屍網路對網外的3個IP地址發起了大規模的拒絕服務攻擊。 5 結束語本文提出一種基於主成分分析的方法來劃分子空間，分析和發現網路中的異常事件。本方法能夠准確快速地標定異常發生的時間點，從而幫助網路安全應急響應部門及時發現宏觀網路的流量異常狀況，為迅速解決網路異常贏得時間。試驗表明，我們採用的14個特徵構成的分析矩陣具有較好的識別准確率和分析效率，我們接下來將會繼續尋找更具有代表性的特徵來構成數據矩陣，並研究更好的特徵矩陣構造方法來進一步提高此方法的識別率，並將本方法推廣到短時分析中。6 參考文獻[1] XU K, ZHANG Z L, BHATTACHARYYA S. Profiling Internet backbone traffic: Behavior models and applications [C]// Proceedings of ACM SIGCOMM, Aug 22- 25, 2005, Philadelphia, PA, USA. New York, NY,USA:ACM,2005:169-180.[2] HAWKINS D M, QQUI P, KANG C W. The change point model for statistical process control [J]. Journal of Quality Technology,2003, 35(4).[3] THOTTAN M, JI C. Anomaly detection in IP networks [J]. IEEE Transactions on Signal Processing, 2003, 51 )8):2191-2204.[4] BARFORD P, KLINE J, PLONKA D, et al. A signal analysis of network traffic anomalies [C]//Proceedings of ACM SIGCOMM Intemet Measurement Workshop (IMW 2002), Nov 6-8, 2002, Marseilles, France. New York, NY,USA:ACM, 2002:71-82.[5] LAKHINA A, CROVELLA M, DIOT C. Mining anomalies using traffic feature distributions [C]// Proceedings of SIGCOMM, Aug 22-25, 2005, Philadelphia, PA, USA. New York, NY,USA: ACM, 2005: 217-228.[6] LAKHINA A, CROVELLA M, DIOT C. Diagnosing network-wide traffic anomalies [C]// Proceedings of ACM SIGCOMM, Aug 30 - Sep 3, 2004, Portland, OR, USA. New York, NY,USA: ACM, 2004: 219-230.[7] SCHWELLER R, GUPTA A, PARSONS E, et al. Reversible sketches for efficient and accurate change detection over network data streams [C]//Proceedings of ACM SIGCOMM Internet Measurement Conference (IMC』04), Oct 25-27, 2004, Taormina, Sicily, Italy. New York, NY,USA: ACM, 2004:207-212.[8] MAHONEY M V, CHAN P K. Learning rules for anomaly detection of hostile network traffic [C]// Proceedings of International Conference on Data Mining (ICDM』03), Nov 19-22, Melbourne, FL, USA . Los Alamitos, CA, USA: IEEE Computer Society, 2003:601-604.

⑽ 我的筆記本聯網的時候顯示dns伺服器異常，這是網路服務商的問題還是我的本設置有問題

、背景

域名系統(Domain Name System，DNS)是互聯網的重要基礎設施之一，負責提供域名和IP地址之間的映射和解析，是網頁瀏覽、電子郵件等幾乎所有互聯網應用中的關鍵環節。因此，域名系統的穩定運行是實現互聯網正常服務的前提。近年來，針對域名系統的網路攻擊行為日益猖獗，DNS濫用現象層出不窮，再加上DNS協議本身固有的局限性，域名系統的安全問題正面臨著嚴峻的考驗。如何快速有效的檢測域名系統的行為異常，避免災難性事件的發生，是當今域名系統乃至整個互聯網所面臨的一個重要議題。

DNS伺服器通過對其所接收的DNS查詢請求進行應答來實現對外域名解析服務，因此DNS查詢數據流直接反映了DNS伺服器對外服務的整個過程，通過對DNS流量異常情況的檢測可以對DNS伺服器服務狀況進行有效的評估。由於導致DNS流量異常的原因是多方面的，有些是由針對DNS伺服器的網路攻擊導致的，有些是由於DNS服務系統的軟體缺陷或配置錯誤造成的。不同的原因所引起的DNS流量異常所具備的特徵也各不相同，這給DNS流量異常檢測帶來了諸多困難。

目前，在DNS異常流量檢測方面，比較傳統的方法是對發往DNS伺服器端的DNS查詢請求數據流中的一個或多個測量指標進行實時檢測，一旦某時刻某一指標超過規定的閾值，即做出流量異常報警。這種方法雖然實現簡單，但是僅僅通過對這些指標的獨立測量來判定流量是否異常過於片面，誤報率通常也很高，不能有效的實現異常流量的檢測。

近年來，隨著模式識別、數據挖掘技術的發展，開始有越來越多的數據模型被引入到DNS異常流量檢測領域，如在[Tracking]中，研究人員通過一種基於關聯特徵分析的檢測方法，來實現對異常DNS伺服器的識別和定位；[Context]則引入了一種上下文相關聚類的方法，用於DNS數據流的不同類別的劃分；此外，像貝葉斯分類[Bayesian]、時間序列分析[Similarity]等方法也被先後引入到DNS異常流量檢測中來。

不難發現，目前在DNS異常流量檢測方面，已有諸多可供參考利用的方法。但是，每種方法所對應的應用場合往往各不相同，通常都是面向某種特定的網路攻擊活動的檢測。此外，每種方法所採用的數據模型往往也比較復雜，存在計算代價大，部署成本高的弊端。基於目前DNS異常流量檢測領域的技術現狀，本文給出了兩種新型的DNS流量異常檢測方法。該兩種方法能夠有效的克服目前DNS異常流量檢測技術所存在的弊端，經驗證，它們都能夠對DNS流量異常實施有效的檢測。

2、具體技術方案

1）利用Heap』sLaw檢測DNS流量異常

第一種方法是通過利用Heap』s定律來實現DNS流量異常檢測。該方法創新性的將DNS數據流的多個測量指標進行聯合分析，發現它們在正常網路狀況下所表現出來的堆積定律的特性，然後根據這種特性對未來的流量特徵進行預測，通過預測值和實際觀測值的比較，實現網路異常流量實時檢測的目的。該方法避免了因為採用某些獨立測量指標進行檢測所導致的片面性和誤報率高的缺點，同時，該方法具有計算量小，部署成本低的特點，特別適合部署在大型DNS伺服器上。

堆積定律(Heap』sLaw)[Heap』s]最早起源於計算語言學中，用於描述文檔集合中所含單詞總量與不同單詞個數之間的關系：即通過對大量的英文文檔進行統計發現，對於給定的語料，其獨立的單詞數（vocabulary的size）V大致是語料大小N的一個指數函數。隨著文本數量的增加，其中涉及的獨立單詞（vocabulary）的個數占語料大小的比例先是突然增大然後增速放緩但是一直在提高，即隨著觀察到的文本越來越多，新單詞一直在出現，但發現整個字典的可能性在降低。

DNS伺服器通過對其所接收的DNS查詢請求進行應答來實現對外域名解析服務。一個典型的DNS查詢請求包由時間戳，來源IP地址，埠號，查詢域名，資源類型等欄位構成。我們發現，在正常網路狀況下，某時間段內DNS伺服器端所接收的DNS查詢請求數和查詢域名集合的大小兩者間遵循堆積定律的特性，同樣的，DNS查詢請求數和來源IP地址集合的大小兩者間也存在這種特性。因此，如果在某個時刻這種增長關系發生突變，那麼網路流量發生異常的概率也會比較高。由於在正常網路狀況下DNS伺服器端所接收的查詢域名集合的大小可以根據這種增長關系由DNS查詢請求數推算得到。通過將推算得到的查詢域名集合大小與實際觀測到的查詢域名集合的大小進行對比，如果兩者的差值超過一定的閾值，則可以認為有流量異常情況的發生，從而做出預警。類似的，通過將推算得到的來源IP地址集合大小與實際觀測到的來源IP地址集合的大小進行對比，同樣可以達到異常流量檢測的目的。

由於DNS流量異常發生時，DNS伺服器端接收的DNS查詢請求通常會異常增多，但是單純憑此就做出流量異常的警報很可能會導致誤報的發生。此時就可以根據觀測查詢域名空間大小的相應變化情況來做出判斷。如果觀測到的域名空間大小與推算得到的預測值的差值在允許的閾值范圍之內，則可以認定DNS查詢請求量的增多是由於DNS業務量的正常增長所致。相反，如果觀測到的域名空間大小未發生相應比例的增長，或者增長的幅度異常加大，則做出流量異常報警。例如，當拒絕服務攻擊(DenialofService)發生時，攻擊方為了降低本地DNS緩存命中率，提高攻擊效果，發往攻擊對象的查詢域名往往是隨機生成的任意域名，這些域名通常情況下不存在。因此當該類攻擊發生時，會導致所攻擊的DNS伺服器端當前實際查詢域名空間大小異常增大，與根據堆積定律所推算出預測值會存在較大的差距，即原先的增長關系會發生突變。如果兩者間的差距超過一定的閾值，就可以據此做出流量異常報警。

通過在真實數據上的測試和網路攻擊實驗的模擬驗證得知，該方法能夠對常見的流量異常情況進行實時高效的檢測。

2）利用熵分析檢測DDoS攻擊

通過分析各種網路攻擊數據包的特徵，我們可以看出：不論DDoS攻擊的手段如何改進，一般來說，各種DDoS工具軟體所製造出的攻擊都要符合如下兩個基本規律：

1、攻擊者製造的攻擊數據包會或多或少地修改包中的信息；

2、攻擊手段產生的攻擊流量的統計特徵不可能與正常流量一模一樣。

因此，我們可以做出一個大膽的假設：利用一些相對比較簡單的統計方法，可以檢測出專門針對DNS伺服器的DDoS攻擊，並且這中檢測方法也可以具有比較理想的精確度。

「熵」（Entropy）是德國物理學家克勞修斯(RudolfClausius，1822～1888)在1850年提出的一個術語，用來表示任何一種能量在空間中分布的均勻程度，也可以用來表示系統的混亂、無序程度。信息理論創始人香農（ClaudeElwoodShannon，1916～2001）在1948年將熵的概念引入到資訊理論中，並在其經典著作《通信的數學原理》中提出了建立在概率統計模型上的信息度量，也就是「信息熵」。熵在資訊理論中的定義如下：

如果在一個系統S中存在一個事件集合E={E1,E2,…,En}，且每個事件的概率分布P={P1,P2,…,Pn}，則每個事件本身所具有的信息量可由公式（1）表示如下：

熵表示整個系統S的平均信息量，其計算方法如公式（2）所示：

在資訊理論中，熵表示的是信息的不確定性，具有高信息度的系統信息熵是很低的，反過來低信息度系統則具有較高的熵值。具體說來，凡是導致隨機事件集合的肯定性，組織性，法則性或有序性等增加或減少的活動過程，都可以用信息熵的改變數這個統一的標尺來度量。熵值表示了系統的穩定情況，熵值越小，表示系統越穩定，反之，當系統中出現的不確定因素增多時，熵值也會升高。如果某個隨機變數的取值與系統的異常情況具有很強的相關性，那麼系統異常時刻該隨機變數的平均信息量就會與系統穩定時刻不同。如果某一時刻該異常情況大量出現，則系統的熵值會出現較大幅度的變化。這就使我們有可能通過系統熵值的變化情況檢測系統中是否存在異常現象，而且這種強相關性也使得檢測方法能夠具有相對較高的准確度。

將熵的理論運用到DNS系統的DDoS攻擊檢測中來，就是通過測量DNS數據包的某些特定屬性的統計特性（熵），從而判斷系統是否正在遭受攻擊。這里的熵值提供了一種對DNS的查詢數據屬性的描述。這些屬性包括目標域名長度、查詢類型、各種錯誤查詢的分布以及源IP地址的分布，等等。熵值越大，表示這些屬性的分布越隨機；相反，熵值越小，屬性分布范圍越小，某些屬性值出現的概率高。在正常穩定運行的DNS系統中，如果把查詢數據作為信息流，以每條DNS查詢請求中的某種查詢類型的出現作為隨機事件，那麼在一段時間之內，查詢類型這個隨機變數的熵應該是一個比較穩定的值，當攻擊者利用DNS查詢發起DDoS攻擊時，網路中會出現大量的攻擊數據包，勢必引起與查詢類型、查詢源地址等相關屬性的統計特性發生變化。即便是黑客在發動攻擊時，對於發送的查詢請求的類型和數量進行過精心設計，可以使從攻擊者到目標伺服器之間某一路徑上的熵值維持在穩定的水平，但絕不可能在所有的路徑上都做到這一點。因此通過檢測熵值的變化情況來檢測DNS系統中異常狀況的發生，不僅是一種簡便可行的方案，而且還可以具有很好的檢測效果。

DNS系統是通過資源記錄（ResourceRecord，RR）來記錄域名和IP地址信息的，每個資源記錄都有一個記錄類型（QType），用來標識資源記錄所包含的信息種類，如A記錄表示該資源記錄是域名到IP地址的映射，PTR記錄IP地址到域名的映射，NS記錄表示域名的授權信息等，用戶在查詢DNS相關信息時，需要指定相應的查詢類型。按照前述思想，我們可以採用DNS查詢數據中查詢類型的出現情況作為隨機事件來計算熵的變化情況，從而檢測DDoS攻擊是否存在。檢測方法的主要內容如圖1所示。可以看出，通過比較H1和H2之間的差別是否大於某一個設定的閾值，可以判定系統是否正在遭受DDoS攻擊。隨著查詢量窗口的不斷滑動，這種比較會隨著數據的不斷更新而不斷繼續下去。檢測演算法的具體步驟如下所示：

1、設定一個查詢量窗口，大小為W，表示窗口覆蓋了W條記錄。

2、統計窗口中出現的所有查詢類型及其在所屬窗口中出現的概率，根據公式（2）計算出該窗口的熵H1。

圖1熵分析檢測方法

3、獲取當前窗口中第一條查詢記錄所屬的查詢類型出現的概率，求出該類型所對應的增量

4、將窗口向後滑動一條記錄，此時新窗口中的第一條記錄為窗口滑動前的第二條記錄。

5、獲得窗口移動過程中加入的最後一條記錄所代表的查詢類型在原窗口中出現的概率以及對應的增量

6、計算新窗口中第一條記錄所對應的查詢類型出現在新窗口中出現的概率，以及對應的增量

7、計算新窗口中最後一條記錄所屬的查詢類型在當前窗口出現的概率以及對應的增量

8、根據前面的結果計算窗口移動後的熵：

重復步驟2至步驟8的過程，得到一系列的熵值，觀察熵值的變化曲線，當熵值曲線出現劇烈波動時，可以斷定此時的DNS查詢中出現了異常。

窗口的設定是影響檢測演算法的一個重要因素，窗口越大，熵值的變化越平緩，能夠有效降低誤檢測的情況發生，但同時也降低了對異常的敏感度，漏檢率上升；反之，能夠增加檢測的靈敏度，但准確性相應的會降低。因此，窗口大小的選擇，需要根據實際中查詢速率的大小進行調整。

2009年5月19日，多省市的遞歸伺服器由於收到超負荷的DNS查詢而失效，中國互聯網出現了大范圍的網路癱瘓事故，這起事故可以看作是一起典型的利用DNS查詢發起的分布式拒絕服務攻擊，這種突發的大量異常查詢混入到正常的DNS查詢中，必然會使DNS查詢中查詢類型的組成發生變化。我們利用從某頂級結點的DNS權威伺服器上採集到的2009年5月19日9:00-24:00之間的查詢日誌，來檢驗演算法是否能夠對DNS中的異常行為做出反應。圖2和圖3分別是窗口大小為1,000和10,000時所得到的熵變化曲線，圖4是該節點的查詢率曲線。

圖2窗口大小為1,000時熵的變化情況

圖3窗口大小為10,000時熵的變化情況

圖4查詢率曲線

從圖2和圖3中可以發現，大約從16:00時開始，熵值劇烈上升，這是由於此時系統中查詢類型為A和NS的查詢請求大量湧入，打破了系統原有的穩定態勢，在經歷較大的波動之後，又回復到一個穩定值。隨著系統中緩存失效的遞歸伺服器不斷增多，該根伺服器收到的異常數據量逐漸增大，在16:45左右熵值達到一個較低點，此時系統中已經混入了大量的異常查詢數據。由於各省遞歸伺服器的緩存設置的不一致，不斷的有遞歸伺服器崩潰，同時不斷緩存失效的遞歸伺服器加入，一直到21:00左右，這種異常查詢量到達峰值，表現為熵值到達一個極低的位置，隨著大批遞歸伺服器在巨大的壓力下癱瘓，查詢數據的組成再次發生劇烈波動，接下來隨著大面積斷網的發生，異常查詢無法到達該根伺服器，熵值在經歷波動之後又重新回到較穩定的狀態，圖4中的流量變化也證實了這一點。

圖2和圖3分別將查詢窗口設為1,000和10,000，對比兩圖可以看出，圖2中的熵值變化較為頻繁，反映出對DNS異常更加敏感，但同時誤檢測的幾率也較高，圖3中熵值的變化相對平緩，對異常情況敏感程度較低，同時誤檢率也相對較低。

上述例子表明該方法能夠及時發現DNS查詢中針對DNS伺服器的DDoS攻擊。將該演算法應用到DNS查詢流量的實時監測中，可以做到准實時的發現DNS異常從而能夠及早採取應對措施。此外，結合使用錯誤查詢類型或者源IP地址等其他屬性的分布來計算熵，或是採用時間窗口劃分流量等，可以進一步提高異常檢測的准確率。

3）利用人工神經網路分類器檢測DDoS攻擊

針對DDoS攻擊檢測這樣一個典型的入侵檢測問題，可以轉換為模式識別中的二元分類問題。利用人工神經網路分類器和DNS查詢數據可以有效檢測針對DNS名字伺服器的DDoS攻擊。通過分析DNS權威或者遞歸伺服器的查詢數據，針對DDoS攻擊在日誌中所表現出來的特性，提取出若干特徵向量，這些特徵向量用作分類器的輸入向量。分類器選擇使用多層感知器，屬於神經網路中的多層前饋神經網路。人工神經網路在用於DDoS攻擊檢測時具有以下顯著優點：

1、靈活性。能夠處理不完整的、畸變的、甚至非線性數據。由於DDoS攻擊是由許多攻擊者聯手實施的，因此以非線性的方式處理來自多個數據源的數據顯得尤其重要；

2、處理速度。神經網路方法的這一固有優勢使得入侵響應可以在被保護系統遭到毀滅性破壞之前發出，甚至對入侵行為進行預測；

3、學習性。該分類器的最大優點是能夠通過學習總結各種攻擊行為的特徵，並能識別出與當前正常行為模式不匹配的各種行為。

由於多層感知器具有上述不可替代的優點，因此選擇它作為分類器。分類器的輸出分為「服務正常」和「遭受攻擊」兩個結果，這個結果直接反應出DNS伺服器是否將要或者正在遭受DDoS攻擊。如果檢測結果是「遭受攻擊」，則相關人員可以及時採取措施，避免攻擊行為的進一步發展。

圖5DDoS攻擊檢測

如圖5所示，本檢測方法主要分為特徵提取、模型訓練和線上分類三個階段。在特徵提取階段，需要利用DNS查詢數據中已有的信息，結合各種DNSDDoS攻擊的特點，提取出對分類有用的特徵。模型訓練階段是通過大量的特徵數據，模擬出上百甚至上千的DDoS攻擊序列，對多層感知器進行訓練，多層感知器在訓練過程中學習攻擊行為的特徵，增強識別率。線上分類屬於應用階段，利用軟體實現將本方法部署在DNS權威或遞歸伺服器上。通過實時讀取DNS查詢數據，並將經過提取的特徵輸入到多層感知器中，就可以快速地識別出本伺服器是否將要或正在遭受DDoS攻擊，以便採取進一步防範措施。

多層感知器分類的精確率，在很大程度上取決於作為輸入的特徵向量是否能夠真正概括、體現出DDoS攻擊的特徵。本方法通過仔細分析各種DNSDDoS攻擊，以分鍾為時間粒度提取出八種能夠單獨或者聯合反映出攻擊的特徵：

1、每秒鍾DNS查詢量。這個特徵通過對每分鍾查詢量進行平均獲得；

2、每分鍾時間窗口內查詢率的標准差。公式如下：

其中，n表示每分鍾內查詢數據中記錄的秒數，Xi表示某一秒鍾的查詢量，m表示一分鍾內每秒鍾查詢量的均值；

3、IP空間大小。表示一分鍾內有多少個主機發出了DNS查詢請求；

4、域名空間大小。表示一分鍾內有多少域名被訪問；

5、源埠設置為53的查詢數量。由於某些針對DNS的DDoS攻擊將源埠設置為53，因此對這一設置進行跟蹤十分必要；

6、查詢記錄類型的熵的變化情況。公式如下：

其中n表示時間窗口內記錄類型的種類數，Pi表示某種記錄類型出現的概率，Xi表示某種記錄類型。

7、設置遞歸查詢的比例。由於某些DDoS攻擊會通過將查詢設置為遞歸查詢來增大攻擊效果，因此對這一設置進行跟蹤十分必要；

8、域名的平均長度。由於某些DDoS攻擊所查詢的域名是由程序隨機產生的，這必然在查詢數據上引起域名平均長度的變化，因此對域名的平均長度進行跟蹤也很有意義。

圖6人工神經網路分類器的結構

神經網路分類器的大致結構如圖6所示。如圖中所示，本分類器分為三個層次，一個輸入層，一個隱藏層，一個輸出層。輸入層包含八個單元，隱藏層包含20個單元，按照神經網路理論[3]，隱藏層的單元數和輸入層的單元數應滿足以下關系：



H表示隱藏層單元數，N表示輸入層單元數。輸出層只含有一個單元，輸出值包含兩個：「1」表示「遭受攻擊」，「0」表示「服務正常」。

本檢測方法的關鍵技術點包括以下兩個方面：

1、特徵的抽取。這些特徵必須能夠充分、足夠地反映DDos攻擊發生時帶來的查詢狀況的改變；

2、學習、分類方法。選取多層感知器作為分類器，設計調整了該分類器的具體結構和相關參數，並利用後向傳播演算法對分類器進行訓練。通過將DDoS攻擊檢測問題轉化為包含「服務正常」和「遭受攻擊」兩種類別的二元分類問題，能夠有效地對DNSDDoS攻擊進行實時檢測。