前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的網絡流量監測主題范文,僅供參考,歡迎閱讀并收藏。
關鍵詞:WinpCap;流量監測;數據包捕獲
中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2011)31-0000-0c
Application of WinPcap in the Network Traffic Monitoring
ZHANG Xue-jun,XU Yuan
(Internet of Things Department of Jiangnan University, Wuxi 214122, China)
Abstract: Introduction of computer network traffic monitoring technology and flow monitoring methods, the main study the WinPcap packet capture system structure and its main function, based on the WinPcap packet capture system with simple structure, fast data capture, protocol recognition rate, etc., which of the three modules complement each other to achieve the basic functions of data acquisition network, describes the network based on WinPcap packet capture and analysis methods and the main steps.
Key words: WinpCap; network traffic monitoring system; packet capture
目前互聯網已經非常普及,有關網絡的應用也越來越多,從瀏覽網頁和收發郵件,到打游戲,聊天,看電影,聽音樂,打電話包羅萬象。電視網和電話網能夠做的事情,現在寬帶網也能夠做到了,同時寬帶網還能夠做電視網,電話網以外的許多事情。而這一切,都是靠信息在網絡上的流動來實現的。汽車在馬路上跑,常常會引起交通堵塞以及不遵守交通規則等現象,因此需要交通部門來實時監測道路情況和處理突發事件。同樣網絡流量也需要監測和控制,通過監控可以對網絡狀態進行合理調節或配置、保證網絡高效運行、提高網絡資源的利用效率、也可以用于對網絡用戶行為和網絡業務的分析。網絡流量監測是網絡管理的重要組成部分,而數據報捕獲又是網絡流量監測的前提。
1 流量監測與分析技術概述
1.1 網絡流量監測
網絡流量指通過網絡的數據量,是衡量網絡性能的重要參數。網絡監測就是通過一定的方法獲取網絡流量數據,而這些流量數據的采集是進一步分析網絡負載性能以及網絡的安全性的前提。網絡流量的監測是網絡測量中的重要技術之一,網絡流量監測系統大致上可以分為流量采集、流量分析和流量控制三個方面。
1.2 流量監測分析的方法及分類
流量監測系統通常是根據對網絡流量某個特定方面的分析來設計的,正是由于需要分析的內容不同,就產生了各種網絡流量監測方法,這些方法主要分為基于主機內嵌軟件的方法、基于SNMP的流量監測方法、基于Netflow的流量監測方法、基于硬件探針的監測方法等。
1.2.1 基于主機內嵌軟件的方法
主機內嵌軟件的方法是指在主機內安裝流量檢測軟件來完成流量檢測任務。主機操作系統中,一般會把網絡通信功能功能實現在相對獨立的軟件模塊 ,例如設備驅動程序中。主機與網絡的通信一般是通過對調用軟件套接字Socket來實現。因此在這個位置上嵌入一個軟件就可以通過檢測對通信模塊的調用來截獲往返通信的主要內容,目前有許多軟件實現這一功能。Windows 操作系統下的檢測軟件WinPcap,實現了基本的報文截獲功能,可自由下載使用,成為了許多流量監測軟件的基本組成部分。
1.2.2 基于SNMP的流量監測方法
SNMP用于對網絡設備的管理,幾乎所有的網絡設備都具備該能力,基于SNMP的流量信息采集方法,實質上是用軟件提取存儲在網絡設備上的流量信息,該方法配置簡單,成本較低,基于SNMP收集的網絡流量信息只包括字節數、報文數等基本的流量信息,不能滿足復雜的流量監測要求。
1.2.3 基于Netflow的流量監測方法
Netflow是Cisco公司提出的專業的流量監測的技術標準,主要運行在該公司生產的網絡設備上,與基于SNMP的流量監測方法相比,該方法能夠滿足復雜的流量監測需要,目前應用最普遍的是NetFlowV5。
1.2.4 基于硬件探針的監測方法
硬件探針是一種用來獲取網絡流量的硬件設備,使用時將它連接在需要捕捉流量的鏈路中,通過分流鏈路上的數字信號而獲取流量信息。 一個硬件探針通常只能監視一條鏈路。而對于全網流量的監測使用NetFlow更為合適。與其他的3種方式相比,基于硬件探針的最大特點是能夠提供豐富的從物理層到應用層的詳細信息。
2 WinPcap包截獲系統
數據包的截獲是流量監測系統中流量采集的主要技術.在大多數Unix系統的內核模塊本身就是截獲數據包的機制。而在Windows平臺下,系統提供很少的數據包捕獲接口,而提供的具有包截獲功能的API,也只能截獲IP數據包,很少能直接獲取數據鏈路層上數據幀。WinPcap是基于Win32平臺的開放源代碼網絡數據包截獲和分析的系統。它彌補了Windows內核在包捕獲方面的不足,該系統性能穩定而且效率極高,利用它提供的豐富且功能強大的網絡數據包處理函數,可以滿足對數據包處理有嚴格要求的多數應用。
2.1 WinPcap的體系結構
WinPcap是由意大利人Fulvio Risso和Loris Degioanni等人提出的。是為Linux下的Libcap移植到Windows下而設計的,它的主要思想來源于Unix系統中最著名的伯克利軟件套件(Berkeley software Distribution,BSD)架構,WinPcap的基本結構如圖a所示。它由處于內核級的網絡組包過濾器(Netgroup Packet Filter,NPF)、處于用戶級的動態鏈接庫(Packet.dll)和高級動態鏈接庫Wpcap.dll等3個模塊組成。
1) 網絡組包過濾器。它是WinPcap架構的核心,屬于最底層的模塊,它與NIC驅動交互,并向上提供一些函數組,從而能在讀取和寫入網絡數據包。它能獲取原始以太網數據包,并進行相應的過濾,然后傳給高層的應用程序處理。NPF有著高效和處理迅速兩大特點,在流量很大的網絡中也能正常高效的工作。
2) 低級動態鏈接庫。Packet.dll為Win32平臺上為數據包驅動程序提供了一個公共的接口。不同的Windows版本在用戶態和內核態之間提供互不相同的接口,而Packet.dll可以屏蔽這些接口區別,提供一個與系統無關的API,該API能夠直接訪問NPF驅動程序。基于Packet.dll開發的數據包截獲程序可以不作任何修改運行于不同的Win32平臺。Packet.dll具有如獲取適配器名稱、動態驅動器加載以及獲得主機掩碼及以太網沖突次數等附加功能。
3) 高級動態鏈接庫。Wpcap.dll與Packet.dll不同,它處于更高層,且與操作系統無關,是對Packet.dll的高層封裝。它和應用程序鏈接在一起,提供了一組功能強大且跨平臺的函數,利用這些函數,可以不去關心適配器和操作系統的類型。Wpcap.dll含有諸如產生過濾器、定義用戶級緩沖以及包注入等高級功能。編程人員既可以使用包含在Packet.dll中的低級函數直接進入內核級調用,也可以使用Wpcap.dll提供的高級函數調用,這樣功能更強,使用也更為方便。Wpcap.dll的函數調用會自動調用Pactet.dll中的低級函數,并且可能被轉換成若干個NPF系統調用。
圖1
2.2 WinPcap的主要功能
在WinPcap包截獲系統中,整個包截獲架構的基礎是網絡驅動器接口規范(NDIS),它主要為網絡適配器和各種協議驅動程序提供接接口函數,使得協議驅動程序發送和接收數據包時不必考慮具體的適配器和Win32操作系統。WinPcap中的NPF正是通過回調函數Packet_tap()調用這些接口函數來截取網絡數據包,進而為用戶層提供了包截獲、數據包轉儲、包注入、網絡監測等功能。
1) 包截獲。包截獲是NPF最重要的操作,它通過過濾從網卡中接收到數據包,并原封不動地送往用戶層應用程序。它主要依靠一個包過濾器和一個環緩沖器來實現。NPF中的包過濾器延用了Unix下BSD中的分組過濾器BPF,BPF是一個虛擬處理機,用于運行用戶自定義的過濾程序。通過Wpcap.dll把用戶定義的包過濾規則編譯到BPF程序中,并把程序注入到內核。當有數據包到達的時候,NPF運行該內核程序進行數據包的過濾。環緩沖器用來存儲數據包避免包丟失,數據包存儲時被加了一個包頭,記錄時問戳以及包大小等信息。使用緩沖器可以把一組數據包一起拷貝給應用程序,這減少了讀寫的次數,提高了運行速度。緩沖器的大小是非常重要的一個參數,因為它決定了一次拷貝能送多少數據包給應用程序。緩沖器設置比較大時,它需要等待一系列包到達后才往應用程序送,由于減少拷貝次數節省了處理器的資源,如在嗅探器中就適合設置大的緩沖器。而有些實時性要求比較高的應用程序(如ARP轉向器),需要在應用程序準備好時就能得到數據,因而緩沖器設置較小。WinPcap庫中提供了專門設置緩沖器大小和讀包溢出時間的函數,它們的默認值分別是16kB和ls。
2) 數據包轉儲。用傳統方法,把數據包保存到硬盤上通常需要3~4個緩沖器,每個數據包需要拷貝多次。當網卡收到包以后,包會存放在內核空間內,這需要一個緩沖器。由于上層應用運行在用戶空問,無法直接訪問內核空間,因此要通過系統調用往上層應用系統送,這時會發生一次復制過程。用戶應用程序有兩個緩沖器,一個用于暫存數據,一個用于標準輸出函數中向硬盤寫文件,還有一個緩沖器存在文件系統中。如果對一般的應用來說,這樣的系統開銷還可以承受,但是對于大量讀取網絡數據包的應用來說,這樣的開銷就很難承受了。利用NPF提供的數據包轉儲功能,不需要用戶應用程序的介入,在內核層直接尋址文件系統。因為減少了兩個緩沖器。而且只要一次簡單的拷貝,大量減少了系統調用,提高了轉儲的效率。在轉儲之前,還可以進行包過濾,只把需要的數據包保存到硬盤上面。
3) 包注入。NPF除了可以從網絡中截獲數據包,還可以往網絡發送數據包。包注入時,NPF對數據包不進行任何封裝,所以應用程序需要針對不同應用給每個數據包添加相應的包頭。封裝時可以不計算幀校驗序列,網卡驅動程序會自動計算它并添加到每個數據包的結尾。通常情況下每往網絡發送一個包,都要進行一次系統調用(WriteFile()),而通過NPF可以實現一次系統調用重復發送同一個數據包,這提高了發送效率,適合應用于網絡高速流量測試。
4) 網絡監測。事實上,通過WinPcap提供的包截獲功能,在用戶層得到需要檢測的數據包后,通過簡單的分類統計就能實現網絡檢測。但是如果網絡流量很大,這可能會耗盡處理器資源。WipPcap提供了內核層的監測模塊,不需要把數據包送到應用程序就能實現分類統計。該監測模塊由分類器和計數器組成,在內核層和用戶層不分配緩沖區,統計數據直接來源于適配器驅動程序,這大大節省了內存和處理器資源。
2.3 WinpCap 的主要優點
1)高性能。WinPcap 實現了有關數據包捕獲文獻中描述的所有典型的優化方法(如內核級的過濾與緩沖、減少上下文交換、數據包部分內容復制),加上一些原創的優化方法,如JIT 過濾器編輯(JIT filter compilation)與內核級的統計過程,WinPcap 勝過其他類似的方法。
2)最終用戶易于使用WinPcap 作為單個小的可執行文件,可運行在每個所支持的操作系統上,開始使用這個可執行文件后,Windows 就能捕獲與發送原始數據包,操作簡單。
3)程序員易于使用每個版本的WinPcap 帶有一個開發者包(developer's pack),包括文檔、庫與include 文件,是開發應用程序所必需的。開發者包還包含一個示例程序集,可用Visual Studio 或Cygnus 編譯,用來作為一個極好的起點。
4)多平臺。WinPcap 在Windows NT、Windows2000、Windows XP 與Windows Server 2003 平臺上被積極地維護。對Windows Vista 具有初步的支持,但有一些特性并不具備。
5)可移植性。WinpCap與libpcap具有完全的兼容性。這意味著可將Unix 或Linux 下存在的工具移植到Windows下。也可把Windows應用程序很方便地移植到Unix下使用。
2.4 WinPcap捕獲數據包過程
首先獲取網卡設備列表并選擇要監聽的一塊網卡,將其設置為混雜模式,還要設置好過濾器等參數;然后把網卡上的數據包復制到內核緩沖區中;最后通過上層的調用,把內核緩沖區中的數據包拷貝到用戶緩沖區中,再交給應用程序對數據進行加工提取出有用的信息。利用WinPcap驅動捕獲的數據幀其實是經過傳輸層、網絡層和數據鏈路層的封裝而生成的太網數據幀,因此可以對數據幀作進一步解析得到有用信息。
3 WinPcap捕獲數據包過程
WinPcap捕獲數據包分成以下幾個步驟,首先獲取網卡設備列表并選擇要監聽的一塊網卡,將其設置為混雜模式,還要設置好過濾器等參數;然后把網卡上的數據包復制到內核緩沖區中;最后通過上層的調用,把內核緩沖區中的數據包拷貝到用戶緩沖區中,再交給應用程序對數據進行加工提取出有用的信息。利用WinPcap驅動捕獲的數據幀其實是經過傳輸層、網絡層和數據鏈路層的封裝而生成的太網數據幀,因此可以對數據幀作進一步解析得到有用信息。捕獲到了網絡數據幀,便可以進一步完成網絡流量分析和網絡流量控制等任務,這些任務構成了一個完整的網絡流量監測系統。
4 結論
WinPcap系統是一個功能強大的用于網絡數據獲取開發包,它直接和網卡打交道,獲取數據鏈層的數據,能捕獲數據鏈路層的所有數據包。WinPcap的分層思想為Windows平臺提供了一個完整的、簡單的、系統無關的編程接口,為在Windows平臺下開發高性能的網絡數據獲取軟件提供了方便。WinPcap的兩級緩存的設計,極大地提高了數據包的捕獲率,使丟包率降到了很低的程度,尤其是它內核級緩存的動態循環存儲的思想,使它在數據捕獲的速度方面優于UNIX中的Libpcap。總之,基于WinPcap的網絡數據獲取系統實驗方案具有結構簡單、捕獲數據快、協議識別率高等特點,它的三個模塊的相互套用,實現了網絡數據獲取的基本功能。本文就WinPcap的系統結構及其功能原理進行了介紹,最后闡述了WinPcap捕獲數據包過程。
參考文獻:
[1] 張偉,王韜.基于WinPcap的數據包捕獲及應用[J].計算機工程與設計,2008,29(7):1649-1651.
[2] 楊永.互聯網流量監測系統研究[J].信息網絡安全,2010(7):22-28.
[3] 吳玉,李嵐.基于WinPcap 的網絡數據獲取系統的研究[J].研究與設計,2007,23(6):10-12.
[4] 魏敏,奚茂龍,周陽花.基于WinPcap的網絡數據解析系統[J].計算機安全,2010(11):49-51.
[5] 胡曉元,史涪山.WinPcap包截獲系統的分析及其應用[J].計算機工程,2005,31(2):96-98.
[6] 劉芳.網絡流量監測與控制[M].北京:北京郵電大學出版社,2009.
關鍵詞: P2P; 流量信息; 結構異常; 決策樹; 檢測技術
中圖分類號: TN711?34; TP393 文獻標識碼: A 文章編號: 1004?373X(2017)09?0093?03
Abstract: With the development of information technology, the peer?to?peer (P2P) network information traffic often deviates from the normal range. The detection technology for P2P traffic detection and abnormal traffic is studied on the basis of the decision tree algorithm. The P2P traffic detection model based on improved C4.5 decision tree is used to train the massive training datasets by means of the P2P anomaly traffic detection model to modify the error gradually. The simulation test in laboratory was performed. The P2P network traffic classifier based on improved C4.5 decision tree has perfect classification effect after selecting the characteristics of the network traffic. The classification detection rate is 94.6%~96.7%, which shows that the improved C4.5 decision tree algorithm can detect the P2P traffic effectively, and provide the reference for studying the P2P anomaly traffic detection technology in future.
Keywords: P2P; traffic information; abnormal structure; decision tree; detection technology
0 引 言
目前,S著信息技術的發展,對等網絡(P2P)信息流量增長越來越快[1?3]。根據國內互聯網流量模式報告顯示,在整個互聯網流量中,P2P流量占到70%左右[4]。近年來,經常出現網絡流量偏離正常范圍的異常情況,導致流量出現異常主要是由惡意網絡攻擊造成的,如DOS攻擊、蠕蟲傳播、僵尸網絡等攻擊,同時由于網絡偶發性線路中斷、配置失誤也會引起流量的異常,這就會造成網絡服務質量下降,嚴重時會直接導致網絡癱瘓[5]。
P2P大量占用互聯網帶寬,影響用戶上網正常運行,檢測管控P2P流量是網絡管理難題[6]。因而在大規模網絡環境中,對網絡異常進行檢測,同時對網絡異常提供預警信息,對維護網絡正常運行意義十分重大[7]。本文以決策樹算法為基礎,對P2P流量檢測和流量異常時的檢測技術進行研究。
1 對等網絡P2P概況
對等網絡P2P實質上屬于分布式網絡,參與者均可共享使用公共部分的一些硬件資源,如硬件處理和存儲能力,共享資源的服務、內容由網絡提供,節點可對這些資源進行直接訪問,不需要經過任何中間實體。P2P最具有代表性的應用是進行文件共享,同時P2P的共享還有P2P計算、P2P形式的通信網絡等。P2P與客戶/服務器模型的區別是網絡中節點可對其他節點資源或服務進行獲取,還可提供資源或服務,這是P2P的基本思想。在P2P網絡中,每個節點具有對等的權利、義務、服務、通信、資源消費。
2 P2P流量監控系統結構
P2P流量監控系統功能包括檢測網絡流量、控制網絡流量兩部分。對網絡流量進行控制的前提是準確檢測網絡流量。在進行流量檢測時,流量特征和協議特征要進行相互匹配,在未知流量匹配上以后,對其分類才能進行識別,P2P流量檢測中必須具有協議特征庫的建立。同時,進行流量控制操作必須具備前臺管理界面,以便進行人機交互、流量控制策略的下發、流量識別結果的觀察等,并在數據庫中存儲檢測結果、控制策略信息、協議特征等,P2P流量監控系統整體結構如圖1所示。
P2P流量監控系統工作流程:首先對網絡應用流量數據進行全面采集,其次是建立協議特征庫,對數據報文進行離線分析,同時提取其特征碼,并建立協議特征庫。然后檢測網絡流量,對經過流量監控系統的未知流量,通過匹配算法將未知流量特征與協議規則相匹配,如匹配成功,則作為該協議識別給流量。最后對已識別流量進行控制操作,完成阻斷訪問、限制流量速率。
3 基于監督的機器學習P2P流量識別算法
基于監督的機器學習P2P流量識別算法需要訓練數據,訓練主要有兩步:訓練進行集中學習,然后進行構造分類模型的測試;采用訓練階段模型進行未知數據的分類,計算識別準確率,令訓練集為:
式中:表示輸出類值。
在訓練集中,找出輸入和輸出間的關系函數,這就是分類的目的,通過函數,輸入可輸出得到基于監督的機器學習P2P流量識別分類器如圖2所示。
監督學習是訓練決策樹最常見的技術之一。這種決策樹技術對事先確定分類系統給出的信息高度依賴。對于決策樹來說,可通過分類系統辨別哪類屬性提供的信息最多,可用決策樹解決分類系統問題。
4 算法設計
4.1 C4.5多決策樹分類算法
經過數據預處理模塊,訓練數據集生成決策樹可處理屬性的二維表形式。設訓練數據集全部屬性集合為。整個屬性集PE,分成個小屬性集,每個小屬性集各自獨立。屬性所有不同取值集合為。生成的棵決策樹為,數據分類為。表示數據集合,集合中第條記錄用表示。表示訓練數據及測試數據,第條記錄用表示。系統分辨矩陣用對角矩陣表示,每項定義如下:
4.2 P2P流量異常檢測
P2P流量異常檢測的實質是通過訓練大量數據,逐步對錯誤進行修正,形成精確預測模型。決策樹建立完后進行數據集訓練。訓練數據集為TA,保存經過某節點P2P類訓練數據的數量為;保存經過該節點類訓練數據的數量為。
4.3 P2P屬性關鍵度決策樹分類算法
決策樹生成后,經訓練后,形成檢測模型,原始TCP/IP數據包被從網絡上截獲,經過數據預處理后,TCP/IP數據由每棵子決策樹對其進行判斷,對判斷結果進行加權處理,得到最優結果。第棵子決策樹用表示,存儲內部節點數據訓練的P2P類統計數,存儲內部節點數據訓練的類統計數,第棵子決策樹比率用表示,數據包在整個屬性集的比率用表示,關鍵度多決策樹分類算法流程圖如圖3所示。
根據屬性差異,可建立棵子決策樹,綜合考慮全部子決策樹屬性對分類的影響,能對整個問題進行較好地反映,可使誤報率降低,檢測率提高。
5 仿真實驗
本文的實驗數據通過試驗室仿真試驗得到,仿真試驗采用的軟件為Sniffer,在實驗室PC(CPU為Athlon64 X2;雙核處理器4000+2.11 GHz;內存2 GB)對網絡流量數據進行實時采集。在訓練分類器實驗中,采用定時定量的P2P流量Data1,Data1數據量較小,實驗數據集見表1。
在測試分類器實驗中,采用Data2~Data5對虛警率、漏警率進行嚴格測試,實驗數據集見表2。
由表2可以看出,選擇網絡流量特征后,基于改進的C4.5決策樹的P2P網絡流量分類器能實現較好的分類效果,分類檢測率在94.6%~96.7%。
6 結 語
本文以決策樹算法為基礎,對P2P流量檢測和流量異常時的檢測技術進行研究。通過試驗室仿真試驗,選擇網絡流量特征后,基于改進的C4.5決策樹的P2P網絡流量分類器能實現較好的分類效果,分類檢測率在94.6%~96.7%,較高的檢測率說明采用改進的C4.5決策樹算法能有效地對P2P流量進行檢測,為今后研究P2P流量異常檢測技術提供了參考。
參考文獻
[1] 柴琦,曹旭東,王洪蕾,等.P2P流量監測系統的設計[J].電子設計工程,2016,24(11):64?67.
[2] 謝生鋒.基于數據挖掘的P2P流量檢測技術研究[J].計算機與網絡,2015(13):71?73.
[3] 閆佳,應凌云,劉海峰,等.結構化對等網測量方法研究[J].軟件學報,2014,25(6):1301?1315.
[4] 王菁菁,林琛,陳珂,等.基于MapReduce的Flash P2P VoD系統異常監測[J].廈門大學學報(自然科學版),2013,52(4):459?465.
[5] 李建.基于流量的P2P僵尸W絡檢測[J].計算機時代,2016(5):45?48.
關鍵詞:網絡性能;網絡狀態監測;簡單網絡管理協議;NetFlow
中圖分類號:TP393文獻標識碼:A 文章編號:1009-3044(2008)22-670-03
A Survey and Analysis: Network State Monitoring Technology of Campus Network
ZHU Peng
(Computer Application Department,Research Institute of Petroleum Processing,Beijing 100083,China)
Abstract:The structure of Campus Network is becoming more and more complex together with its applications. New applications appear which are sensitive to network performance. Network state monitoring is becoming more and more important for network users and researchers. The article summarizes significance and analyzes the main theory,technology of network state monitoring.
Key words:network performance; network state monitoring; SNMP; NetFlow
1 園區網網絡監測的意義
近年來,隨著各單位計算機應用水平的整體提高、內部園區網網絡建設的日漸完善,以及實驗儀器設備的網絡自動化程度提高和發展,越來越多的日常學習、工作和科研、實驗活動依賴計算機和網絡來開展運行,這就要求各單位內部的園區網網絡環境有很高的穩定性和運行效率,并能針對不同網絡內部科研應用需求提供相應的網絡質量保障。園區網連接著各個計算機、服務器、網絡設備、存儲設備及系統設備、試驗裝置、儀器儀表,通過交換信息使之成為一個高效運行的有機整體,為確保各項依賴園區網的科研活動順利進行,必須保障園區網的正常運行和性能穩定。
同時,不斷進行的信息化建設使得各項商業、科研活動對園區網絡日漸依賴,這也帶來了新的信息安全隱患,如何保障網絡與信息系統的安全已經成為需要被高度重視的問題。隨著園區網內部網絡應用的迅速發展,越來越多的攻擊和安全隱患來自于園區網內部,使得傳統的基于網關的安全架構在新一代的攻擊手段面前顯得非常脆弱。而且這些傳統的安全防護手段多屬于被動形式,只能簡單過濾或丟棄攻擊數據,而無法在攻擊源發起攻擊時或之后的較短時間內即時響應,將內部網絡中可疑的攻擊源主機斷開,使其無法通過內網連接進行攻擊。在這種情況下,主動對園區網內部的網絡運行狀態進行監控,并根據網絡流量異常信息采取相應的質量控制和防范乃至隔離控制,將可以成為傳統計算機安全技術(如網關防火墻)的有益補充。
2 園區網網絡狀態監測技術
2.1 網絡監測技術概述
網絡狀態監測是網絡管理和系統管理的一個重要組成部分,網絡狀態數據為園區網的運行和維護提供了重要信息,這些數據對調控網絡資源分布、規劃網絡容量、網絡服務質量分析、網絡故障檢測與隔離、網絡安全管理都非常重要。目前,根據對網絡流量的采集方式可將網絡監測技術分為:基于網絡流量全鏡像的監測技術、基于SNMP的監測技術和基于NetFlow的監測技術三種常用技術。
2.2 基于網絡流量全鏡像的監測技術。
網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備,實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。 但采用端口流量鏡像方式將增加網絡設備負擔,對網絡設備性能的影響較大。而若使用探針等附加設備實現流量鏡像,安裝時對網絡影響較大,安裝完成后雖對網絡設備的影響較小,但為網絡結構增加了新的單點失效點,在大型網絡環境下,可能會影響網絡的穩定性。故基于網絡流量全鏡像的監測技術較少用于園區網網絡監測中。
2.3 基于SNMP的流量監測技術
簡單網絡管理協議(SNMP)已經成為事實上的網絡管理標準,得到很大范圍的應用。SNMP首先是由Internet工程任務組織(Internet Engineering Task Force)(IETF)的研究小組為了解決Internet上的路由器管理問題而提出的。SNMP是基于TCP/IP協議的網絡管理標準,它簡單明了,占用系統資源少,已成為事實上的工業標準。SNMP提供了從網絡設備收集網絡管理信息的方法,并為設備提供了向網絡管理端報告故障和錯誤的途徑。SNMP是協議和規范族,包括MIB(管理對象信息庫)、SMI(管理信息結構)和SNM協議。同時,SNMP被設計成與協議無關,所以它可以在IP,IPX,AppleTalk,OSI以及其他傳輸協議上被使用。
基于SNMP的流量信息采集,實質上是通過提取網絡設備Agent提供的MIB(管理對象信息庫)中收集一些與具體設備及流量信息有關的變量。基于SNMP收集的網絡流量信息包括:輸入字節數、輸入非廣播包數、輸入廣播包數、輸入包丟棄數、輸入包錯誤數、輸入未知協議包數、輸出字節數、輸出非廣播包數、輸出廣播包數、輸出包丟棄數、輸出包錯誤數、輸出隊長等。 基于SNMP的網絡流量信息采集可以以極小的代價實現一定程度的網絡流量相關信息的收集,但其收集的信息多是出于網絡管理的需要,無法提供足夠豐富的網絡流量信息。利用其實現網絡總流量的定期監控、觀察網絡設備端口的流量和使用狀況可以滿足網絡管理的基本需求。
SNMP采用‘管理者―’模型來監測各種可管理的網絡設備,利用無連接的UDP協議在管理者和之間進行信息的傳遞。圖1勾畫出了SNMP管理者和SNMP間的通信關系。一個SNMP管理者可以向SNMP發送請求,讀取(Get)或設置(Set)一個或多個MIB變量數值。SNMP可以應答這些請求。除了這種交互式通信方式,SNMP還可以主動向SNMP管理者發送通知(Trap或Inform Request)以提示管理者一個設備或網絡的狀態。
■
圖1 SNMP管理者與SNMP間的通信示意圖
在園區網網絡監測中采用SNMP機制有以下優勢:1)可以隨時隨地收集網絡流量信息,及時獲取當前園區網絡的運行情況;2)能夠即時收集到網絡中大量設備的同步流量信息;3)采用方法基于IP層,不受底層網絡物理類型的限制;4)能夠收集到網絡設備自身的工作信息、端口狀態。并可根據需要遠程配置修改網絡設備的相關參數;5)基于SNMP的流量監測所需費用較少,對現有的網絡性能影響較小,且易于集成到各種網管系統中去。
在此基礎上,如果配合后臺數據庫記錄收集到的網絡流量、性能數據,就可以實現對整個園區網絡進行有效的監視,并能在網絡發生故障時及時發現并通知相關人員處理,從而提高網絡可靠運轉的時間,減少因網絡故障造成的中斷時間。
2.1.基于NetFlow的流量監測技術
NetFlow是Cisco公司提出的一項網絡數據流統計標準,利用NetFlow技術,路由器可以輸出流經路由的包的統計信息,從而監測網絡上的IP 流( IP flow) 。采集到的NetFlow流量信息可以幫助進行網絡規劃、網絡管理、流量計費和病毒檢測等等,NetFlow流量信息采集是基于網絡設備提供的NetFlow機制實現的網絡流量信息采集,在此基礎上實現的流量信息采集效率和效果均能夠滿足網絡流量異常監測的需求。它可以實時提取大量流量的特征,實現對流量的宏觀統計分析。目前,NetFlow技術已經成為網絡設備流量信息采集事實上的標準,一些大型的網絡設備廠商均在其主流的路由設備中實現了對NetFlow主要版本的支持。
表1主流廠商網絡流技術對比
■
NetFlow的實現由路由器、數據采集設備和流量分析工具三部分構成,如圖2所示。
路由器啟動NetFlow功能,負責抓取路由器上發生的流量信息,當Cache表超時后,網絡設備中的NetFlow Agent 將通過規范的報文格式將表項數據以UDP方式向NetFlow數據采集設備發送。NetFlow數據采集設備可以是商業系統或是采用開放源代碼的工作站,它負責實時處理收到的報文,提取出流量數據,進行過濾和聚合后記錄在數據庫中。NetFlow流量分析工具根據數據采集設備數據庫中記錄的網絡流量信息進行網絡規劃、流量計費和各種網絡管理應用,并產生各類報表等。
■
圖2NetFlow的工作原理示意圖
由于NetFlow技術所產生的信息詳盡且趨近于即時,可讓網管人員深入地了解數據包中的信息,獲得很多網絡運行情況的細節。依據NetFlow信息進行網絡規劃,將大大提高規劃的效率,減少盲目性。
(上接第671頁)
在園區網網絡監測中采用NetFlow機制有以下優勢:
1) 對源及目的業務端口號的統計、分析,可以科學地估算出各種業務在網絡總流量中所占的比重和在各條鏈路上的分布,對網絡業務流量進行精細化分析,包括網絡間數據流中各個具體業務的流量及百分比;同時,也可以根據應用層數據參數Protocol、Port、Bytes對各個網絡業務進行排行,進而科學地預測各類業務流量的增長規律。
2) 通過對整網流量的長期監測,可以建立園區網流量基線,了解網絡內各節點的即時與歷史網絡流量狀態,掌握網絡應用及發展趨勢,從而提高網絡的管理維護能力。
3) 通過統計分析,我們還可以獲知那些業務是目前網絡上最受歡迎的業務,進而對相關網絡應用業務的建設和規劃提供準確的基礎數據;對于業務流量大的端點,分析其增長規律,可以指導對其合理及時的擴容,從而提高整個網絡的運行質量。
4) 利用NetFlow產生的流量記錄與統計分析系統配合,還可以記錄網絡平常在不同時間的流量或服務器連接使用情況,當發現網絡或某服務器流量異常,或是服務器連接情況異常大量增加或減少時,在第一時間發出警報,讓網絡管理員可以立即采取相應措施,盡快確定異常流量源地址及目的地址、端口號等多種信息,針對不同的情況,分別利用切斷連接、ACL過濾、靜態空路由過濾、異常流量限定等多種手段,對異常流量進行有效控制、處理,從而在最短時間內恢復網絡的正常運行。這在防范病毒,尤其是蠕蟲或木馬等造成的DoS與DDoS攻擊時尤為有效。
3 結束語
當前,隨著信息化建設步伐的加快,各單位都在不斷地建設和改造內部的園區網絡,園區網絡的不斷擴展使得網絡的拓撲變得越來越復雜和不規則。而網絡新應用的涌現和網絡用戶的快速增長也使得網絡流量不斷增大、網絡應用日益復雜。采用一種或混合使用多種技術監測園區網網絡狀態的重要性和迫切性越來越突出。園區網網絡監測技術已經成為計算機網絡研究中一個重要的課題方向。
參考文獻:
[1] Cisco. System , NetFlow Services Solutions Guide[S], 2003.
[2] Stewart A J. Network State Monitoring: A Network Security Assessment Concept[EB/OL]. /papers/nsm/network_state_monitoring.txt, 2000
[3] 陳秀蘭,吳軍華.通用網絡流量監測報警系統的設計與實現[J]. 微計算機應用, 2006(4):47-50.
[4] 何豐,靳娜.基于NetFlow的IP網絡狀態監測系統的設計與實現[J] . 通信技術, 2007(8):36-38.
流量可控
云計算、大數據、虛擬化、移動化的興起,對于數據中心架構尤其是網絡的管理、分析和安全產生了重大影響。用戶對于網絡效率、安全性和可靠性的追求永無止境,而傳統的網絡管理和監控方式則有些捉襟見肘。Gigamon的網絡流量可視化解決方案采用帶外方式,可以在不影響網絡本身性能和可靠性的情況下,對流量進行監控。
網絡流量的提取、分類、優先級劃分等并不容易。傳統的流量監控和分析往往要通過大規模添加新的工具和系統,或者變更以太網交換機的用途,或借助鏡像端口復制流量,以及通過網絡分路器分拆流量等方式實現。上述方式通常只借助一臺交換機或一個分路器的有限過濾功能實現,功能和可視化都受到了限制,而且擴展和管理難度大,成本高。
能不能通過一種可靠的一體化的設計方式,沖破傳統方式在性能、成本和管理方面的局限性,實現對網絡流量的有效監控與管理呢?正是基于這種考慮,Gigamon推出了流量可視化矩陣(Traffic Visibility Fabric),它采用創新的架構,可以全方位實現流量的可視化與控制,提升擴展性和吞吐能力,同時增強網絡的可靠性,提高網絡效率并簡化部署和使用。
統一可視化
在網絡由簡單的、靜態的逐漸向復雜的、動態化的方向發展時,Gigamon流量可視化矩陣的優勢就顯現出來了,它為網絡架構的設計師、管理員提供了全面的流量可視性,在不影響生產網絡的性能和穩定性的情況下,可以對通過物理網和虛擬網的流量進行監控。許多大型企業、數據中心和服務供應商都采用了Gigamon流量可視化矩陣。
在可視化矩陣的基礎上,Gigamon又進一步提出了統一可視化結構的理念,它可以提供跨平臺的流量可視化功能,讓用戶原有的監測工具,可以監測和分析來自物理網絡、虛擬網絡或軟件定義網絡的流量,從而提升網絡流量監控的智能化程度。統一可視化結構的好處顯而易見:具有智能化的全面可視性,可以對遠程站點提供實時、深入的監控;實現集中監控,為多種工具和IT部門提供可視性,從而簡化運作;減少遠程站點的維護人員和監測工具,節省成本。
精確分發與智能過濾
流量監測是網絡管理的基礎。從網絡體系架構來說,網絡流量是一切研究的基礎;它能直接反映網絡性能的好壞;更能幫助判斷網絡故障及網絡安全等狀況。隨著Ineernet重要性的日益提高和網絡結構的日益復雜.人們經常會遇到網絡擁塞和服務質量低等一系列問題.越來越有必要對網絡的整體拓撲結構和網絡行為進行深入的了解、分析,以利于發現網絡瓶頸,優化網絡配置,并進一步發現網絡中可能存在的潛在危險。為此。需要對大規模網絡結構進行動態描述,并根據網絡流量的變化分析網絡的性能,為加強網絡管理、提高網絡利用率.因此網絡流量的測量與分析一直為人們所關注。
2.課題名稱和課題來源
網絡測量技術始于上世紀70年代初,發展于80年代.90年代已漸成體系.在網絡測量的方法、工具及流量的測量模型等方面取得了長足的發展。美國在1992年開始著手IIltemet特征的研究.其中比較著名的項目有NIMIⅢationalIntemetMea.surementInfrastnlctu商。它是一個完整的網絡測量基礎框架,并且是第一個執行大規模端到端ntemet行為測量的軟件.NIMI主要采用主動測量技術.主要目的是要測量全球的Intemet.致力于建立一個總體的可擴展的網絡測量基礎框架.而不是為特定的分析目標做一組特定的測量操作。
網絡流量簡而言之就是網絡上傳輸的數據量。就象要根據來往車輛的多少和流向來設計道路的寬度和連接方式一樣,根據網絡流量設計網絡是十分必要的。在網絡中不同的位置通過不同的方法采集不同空間粒度和不同時間粒度下的網絡流量,并借助于數理統計、隨機過程和時間序列等數學手段針對預先所定義的一系列的網絡流量的相關屬性對網絡流量展開分析與研究,得到網絡流量的不同屬性在其構成、分布、相關性和變化規律與趨勢等方面的特征,簡稱流量測量;并且所得到的"特征"叫做網絡流量特征,簡稱流量特征。
網絡流量貫穿整個網絡,沒有網絡流量,網絡應用也就無從存在。如果把TCP/IP協議棧比作成為網絡的靈魂,通過網線等連接起來計算機、交換機和路由器等網絡設備比作成為網絡的骨架,那么網絡流量可以看作成是網絡中流動的血液。這樣,對于研究網絡的可用性、可靠性和穩定性而言,研究網絡流量顯然是獲得第一手有效參數的最為直接和最為基礎的手段之一。應用各種主要基于硬件或者軟件或者硬軟件相結合所實現的流量測量與分析系統,實現網絡流量的監測,并根據你的應用情況對網絡流量進行一定的干預,以保證關鍵性的應用。
3.前人在本課題研究領域的成果簡介
流量監測包括測量工具/系統的部署、流量數據的采集(包括數據包捕獲、歸并和采樣處理等)、數據包的解析和處理(包括協議解析、按照協議、流和應用等不同聚合層次進行聚合表示和流量識別與分類等)、測量實體量化數值的獲得與統計分析、流量特征化描述、流量存儲和查詢表示、流量建模等多個環節,具有相對復雜的處理和分析過程。目前存在有眾多種流量測量的實現方法,他們可適用不同的測量環境、滿足不同的測量要求,并且有著不同的實現方式。概括來看,現有的這些實現方法大致可以依據如下幾個方面進行分類:根據測量時所依賴工具的實現主體是硬件還是軟件,流量測量可以被分成基于硬件的測量和基于軟件的測量兩種。基于硬件的測量通常需要設計和應用特定的硬件設備來對流量數據進行采集和分析。如IPMON、OCxMON、InMonsFlowProbe、NavTelIW5000ATMTrafficAnalyzer等,這些硬件設備通常被稱為流量采集探針(Probe),需要配置有網絡處理器(NP,NetworkProcessor)或專用的流量捕獲板卡采用串接(in-line)、鏡像(Mirror)或者分光(OpticalTap/Splitter)等方式捕獲被測量的流量。而基于軟件的測量一般是指通過普通的商用計算機(commoditycomputer)即所完成的流量測量。這類測量的主要特點就是被測流量的采集通常是借助于現有的硬件(如市面上可隨便購買到網絡接口卡(NIC,NetworkInterfaceCard,如以太網卡(EthernetCard))或者現有的網絡設備(如網絡中已經部署且正在工作的服務器、交換機和路由器)來完成。
它主要包括兩個類別:一類是通過對操作系統內核和網絡協議棧的增改(由于代碼開放性等的限制,操作系統內核和網絡協議棧的增改通常是在開源的Linux下進行),借助普通的網絡接口卡(如將普通的以太網卡置于混雜模式(promiscuousmode)并借助于BPF完成對感興趣數據包的過濾)等將一般的商用計算機轉換成為具有數據包捕獲和分析處理能力的流量測量系統。另一類則是被測量的流量并非由普通的商用計算機直接獲得,而是需要從服務器、交換機、路由器等特定的網絡設備上經過一定處理后導出,然后再由普通的商用計算機完成后續的流量處理和統計分析等工作。需要說明的是,特定設備上所導出的流量通常并非是詳細的網絡級的原始數據包,而是根據特定設備的不同,可能是SNMP/RMON統計數據,可能是經過聚合處理后的flow數據,也可能是服務器日志,等等。不同形式的數據,對應要求在普通的商用計算機上通過不同的程序或軟件實現相應的流量處理和統計分析功能。
對于大多數的網絡用戶而言,網絡僅僅是為這些用戶的應用,如WEB網頁瀏覽、BT電影下載、QQ聊天程序、Skype網絡電話、PPLive在線視頻等等,提供連通性的媒介。以TCP/IP協議棧為基礎和核心的網絡遵循并實現了信息隱藏的原則,將具體的用戶級的網絡應用抽象為底層的數據幀/包的發送和接收,而終端的用戶無需了解網絡工作的底層細節。例如,用戶在Youtube的主頁面上點擊網頁上的超鏈接觀看所感興趣的在線視頻的時候,他不需要知道和關心會有多少個網絡數據包生成,也無需了解這些數據包是如何在網絡中進行路由的、IP協議是如何完成尋址定位功能的、TCP協議是如何提供了可靠的端到端的數據傳輸功能的、HTTP協議是如何應用超文本表示和描述頁面上不同元素的、Youtube服務器上FlashMediaServer是如何實現自動位速率選擇和動態緩沖的,等等。用戶關心的可能僅僅是:他們所想要看到的視頻內容是否能夠快速的被呈現出來?視頻內容的播放是否能夠一直都很流暢?視頻內容是否能夠下載保存到自己的電腦上來?總而言之,用戶所最為關注的是應用,可以為他們帶來更為輕松和簡便的、更為豐富和優質的網絡應用。然而,對于網絡管理人員而言,由數據包/幀這一最基本元素所形成的網絡流量卻是我們應該關注和研究的對象。這是因為網絡本身并無任何價值,其關鍵在于它所承載的業務,即人們日常所應用到的網絡應用。而不管哪一方面、什么類型、遵從什么架構、應用哪種協議、通過何種方式所實現的網絡應用都會產生流量,也必須要產生流量。這些流量會流經作為最終的發送端和接收端的計算機、完成尋址和路由功能的交換機與路由器、提供安全檢查和防護的IDS和IPS系統等網絡設備。而正是這些具有不同能力和不同功能、處在不同層次和結構上的網絡設備憑借各種形式互相連接起來構成了整個網絡。
4.研究的主要內容和方法
(1)利用QoS優化技術,按照不同網絡設備上不同的網絡應用進行網絡帶寬的分配,通過分類確定流量的優先權,并對較高的優先權提供優先服務。由于行政網段是網路的一個重要服務對象,必須首先保證其服務質量,所以將網路內部行政網段流量設為最高的優先級。
(2)通過交換機管理設置,利用VLAN技術,將不同位置上的交換機和IP地址管理集中在某個管理網段,把網絡劃分為若干子網,對訪問管理網段的流量進行限制。
(3)利用組播優化技術,在網路中的網站上動態的直播、VOD和網絡電視等均采用組播技術,在網絡上建立一個視頻服務器,點擊視頻等即可觀看。訪問網內FTP、VOD和網絡電視服務器的多媒體流應用流量,此類流量較大,在播放時段對多媒體流設置相應的優先級。
5、預期達到的目的和應用前景
網絡結構的優化在優化過程中應盡量減少節點匯聚,原先的節點可擴展為新匯聚,從核心到匯聚都采用直接邏輯連接,不再設置中間有源節點。采用以高速路由交換機為核心,多層交換機作為匯聚層,可管理換機作為接入層的網絡設計。在實際應用中,重要骨干設備采用雙線路連接到核心設備上,核心層至匯聚層交換機也采用雙千兆光纖做鏈路聚合(Trunking)的冗余組網方案,在加大帶寬的同時冗余了骨干鏈路,然后根據鏈路的長短來確定使用光纖鏈路,還是使用雙絞線從匯聚層交換機聯到接入層交換機,并且接入層設備采用線路捆綁連接到匯聚層,這樣在設備或物理鏈路出現故障時均可自動轉換,進而提高網絡的帶寬和穩定性。
網絡應用優化在網絡應用優化前,先對網絡內所有終端全面殺毒,檢測各種蠕蟲和Ddos的攻擊,實現網絡安全,凈化網絡運行環境。
關鍵詞:網絡技術 網絡設備 網絡性能 網絡配置
中圖分類號:TP393.0 文獻標識碼:A 文章編號:1007-9416(2013)07-0071-01
1 引言
網絡性能從20世紀80年代逐漸受到重視。網絡測量研究大致可劃分為三部分,端到端性能測量、路由/路由器相關測量、應用層測量。
2 網絡性能測量方法
網絡性能測量作為分析網絡行為、了解網絡狀況和定位網絡故障的有效手段,需要服務于各種不同目的的測量要求,根據獲取數據的方式和技術特征不同可以歸分為兩類:被動測量和主動測量。
2.1 主動測量
主動測量是利用測量工具,有目的地主動產生測量流量,并再次注入網絡。主動測量的優點是對測量過程可控性比較高、靈活、機動,易于進行端到端的性能測量;缺點是注入的測量流量會改變網絡本身的運行情況,使得測量的結果與實際情況存偏差,并且測量流量還會增加網絡負擔。主動測量在性能參數的測量中應用十分廣泛,目前大多數測量系統都涉及到主動測量。主動測量需要發出測量數據包,通過測量數據包在網絡中的處理和響應結果獲知網絡的流量狀態信息。
2.2 被動測量
被動測量是指在鏈路或設備(如路由器,防火墻、交換機等)上對網絡進行監測,觀察和記錄的分組,不注入流量測量方法。被動測量的優點在于理論上它不產生多余流量,不會增加網絡負擔;其缺點在于被動測量基本上是基于對單個設備監測,很難對網絡端到端的性能進行分析,并且可能實時采集的數據量過大,被動測量非常適合用來進行流量測量。被動測量在網絡中的某點收集流量信息,如使用路由器或交換機收集數據或者一個獨立的設備被動地監測網絡鏈路流量,它可以完全取消附加流量和Heisenberg效應。網絡流量是采用大小不一的報文傳送,收集到的數據可以進行各種流量分析。
3 延時的測量分析
目前能夠進行雙向延時測量的工具很多,常見的測試工具有scantools、NetMedic、Internet Anywhere Toolkit等,其中典型延時應用“Ping”命令。Ping是基于ICMP請求應答的應用軟件,Ping發送ICMP的請求回應數據,當接收方收到該報文后,會返回一個回應數據,這樣發送方收到反饋數據后就可以計算出網絡的傳輸延時。設在局域網內,通過改變數據包大小對網內核心交換機進行撥打測試,包的大小從100B字節增至1000B字節,增長步長設為100B字節,每次測試32個包,若網絡比較忙,也可以采用128個數據包進行統計。
4 流量的測量分析
從網絡體系架構來說,網絡流量是一切研究的基礎。所有的網絡應用和網絡本身的行為特點,都可以通過對網絡流量測量數據的分析來獲得。目前,流量測量分析模式基本上有三種:一種是專門使用一臺計算機在網絡中偵聽,另一種方法是直接從網絡對象獲取數據。網絡流量可以反映網絡性能的好壞,如果網絡所接受的流量超過它實際的運載能力,就會引起網絡性能大幅下降。為了使網絡性能得到進一步的改善,必須得對網絡流量進行測量。并根據最終分析結果,對網絡流量實施有效的控制,改進和優化網絡性能。通過觀察一周流量變化情況,得出一周中相鄰的各天流量的大小和變化具有明顯的自相似性,當高峰期出現擁塞現象時,可采取適當限制措施,如限制端口速度,或對P2P應用限速等,常用的辦法是限制每個交換機端口的速率,分時段控制或者總流量限制。
5 網絡優化
網絡優化是指根據對網絡性能測量數據的分析,找出影響網絡性能的因素,通過采取技術手段,從而使網絡達到最佳狀態,使網絡資源獲得最佳使用效率。在進行網絡優化時,應結合網絡的實際狀況,利用已有網絡設備支持的相關協議和標準。
5.1 網絡結構的優化
在優化過程中應盡量減少節點匯聚,將匯聚層直接設置內部,原先的節點可擴展為新匯聚,從核心到匯聚都采用直接邏輯連接,不再設置中間有源節點。采用以高速路由交換機為核心,多層交換機作為匯聚層,可管理換機作為接入層的網絡設計。重要骨干設備采用雙線路連接到核心設備上,核心層至匯聚層交換機也采用雙千兆光纖做鏈路聚合(Trunking)的冗余組網方案,在加大帶寬的同時冗余了骨干鏈路,然后根據鏈路的長短來確定使用光纖鏈路,還是使用雙絞線從匯聚層交換機聯到接入層交換機,并且接入層設備采用線路捆綁連接到匯聚層。
5.2 網絡應用優化
在網絡應用優化前,先對內網所有終端全面殺毒,檢測各種掃描、蠕蟲和Ddos的攻擊。
(1)利用QoS優化技術,按照不同網絡設備上不同網絡應用進行網絡帶寬的分配,通過分類確定流量優先權,并對較高的優先權提供最好的性能服務。由于學校辦公網段是校園網的一個重要服務對象,必須首先保證其服務質量。(2)通過交換機管理設置,利用VLAN技術,將不同位置上的交換機和IP地址管理集中在某個管理網段,把網絡劃分為若干子網,對訪問管理網段的流量進行限制。(3)利用組播優化技術,在校園網中的遠程教學網站上動態的直播課堂、VOD和網絡電視等均采用組播技術,在網絡上建立一個視頻服務器,點擊視頻等即可觀看。
6 結語
通過優化,數據傳輸成功率得到提升,當發包和收包的數相同時,響應時間明顯降低。經過優化以后,對教學應用中比較廣泛的網頁和視頻等進行重新測量,應用效果明顯得到改善。
參考文獻
[1]王海濤,付鷹.網絡測量方法和關鍵技術[J].電信工程技術與標準化,2010年07期.
[2]蔣序平,陳鳴,趙金.網絡測量系統研究中亟待解決的若干問題[J].電信科學.2003年08期.
關鍵詞:網絡安全,流量監控,數據備份,遠程同步
1.引言
在互聯網飛速發展的今天, 越來越多的公司關和企事業單位擁有了自己的網站。 網站不但是信息傳播的工具, 也是非常好的商業運營方式。但由于互聯網在安全方面的脆弱性,以及黑客對網站的攻擊,使得網站的運行安全是我們設計網站時需要解決的問題。網站的安全不應僅依賴于防火墻和入侵檢測, 也需要使用對網站的監控和恢復技術,力爭使損失達到最小。而一些大型網站更是會在很多不同的地點建立分站點,一方面能提高用戶的訪問速度,分擔負載,另一方面也是為了使得各分站的數據能夠實現同步傳輸,防止因為各種原因造成的數據丟失所產生的損失。本文正是基于此目的,以12530網站系統為基本構架 ,Linux為操作系統 ,規劃配置出一套能夠對網站日常的運行進行監控與保護的相對安全的網絡系統的方案。
2.網頁監控和保護系統基本構架
如圖1 所示 ,在本次12530網站建設中,我們將網站監控和保護系統基本構架設計成主要的三部分:(1)網絡服務器。系統的主控臺 , 擁有良好的人機界面 ,對靜態網頁和動態腳本進行校驗。(2)備份服務器。對靜態頁面、動態腳本、靜態網頁和動態腳本的校驗值及數據庫數據進行備份。(3)Rsync-server服務器。將產生的數據與其他分站進行遠程雙向同步。
圖1 網頁監控和保護系統基本組成
3.實現對網絡流量實時監控與異常報警
隨著網絡規模的不斷擴大,容量不斷增加,新的應用不斷出現,網絡環境變得更加復雜、多變和異構,對網絡流量進行監控與分析已成為對網絡行為分析的主要可行途徑。通過對整個網絡進行流量監測,獲得網絡設備及骨干網每時每刻的流量數據,并對其進行分析和研究,才能發現整個網絡運行的規律,不斷提高網絡安全性能。目前在世界各地有許多公司和學術團體 , 根據不同的計算機系統與需要開發出不同的網絡流量監控工具如Cacti, Sniffer Pro, ROM II, NetDetector,Netxray等相關軟件。表1 列出了五種流量采集工具的主要性能比較。
關鍵詞:流量檢測;DPI;VoIP
中圖分類號:TP393 文獻標識碼:A 文章編號:1009-3044(2013)27-6094-05
隨著互聯網技術的快速發展,網絡已經成為人們生活中不可分割的組成部分,通過網絡人們的工作、生活都變得便捷,欣欣向榮的寬帶業務,給運營商帶來機遇的同時也帶來了挑戰。大量非法VOIP運營充斥著正規電信市場,導致合法運營商話務量流失,利潤減少。造成這些結果的主要原因是運營商對網絡流量缺少一個有效的技術監管方案,對網絡上的流量沒有進行有效的分析。技術的進步是由市場的需求推動的,在這種情況下,深度包檢測技術(DPI)就隨后產生了,DPI是一種基于應用層的流量檢測和控制技術。
本文研究的目的就是提出一種基于深度包檢測技術的網絡流量識別方案,并在此基礎上實現一個網絡流量識別系統,該系統可以滿足對網絡中各種流量的識別和記錄。
1 VoIP協議簡介
自從1995年以色列的VocalTec公司開發出了世界上第一個可以實時通話的軟件“Internet Phone”后,VoIP技術經過十幾年的快速發展,這項技術已經得到了廣泛的應用。在網絡上出現了大量的VoIP軟件,例如騰訊QQ、YY語音、Skype、MSN、KC網絡電話、UUCall網絡電話等。當前大部分VoIP軟件的呼叫控制協議都遵循H.323協議和SIP協議。例如:SIP通話主要包括3個過程:終端注冊過程、呼叫建立過程和呼叫釋放過程。檢測過程為,首先采集用戶的流量,分析流量中的信令流,采集SIP發送方的呼叫建立信令信息和響應方的同意建立通話信令信息,就可以通過這些信令信息分析是否有用戶在使用或者提供基于SIP協議的VoIP服務。采集呼叫釋放的信令就可以知道用戶是否已經結束通話。H.323協議的檢測過程和SIP協議類似。主流的VoIP軟件的通話的網絡流量都可以通過這種方法被檢測出來是否屬于VoIP協議。但是,這種檢測方法在現在的環境下已經不具有普遍性。為了逃避監管部門的監管,一些非法經營者經常會采取一些改變協議的方式來逃避管控,如改變標準通信端口、修改協議內容或制定私有協議等。這就使通過SIP協議和H.323協議的檢測方法不能檢測出非標準和私有協議的VoIP業務,這就需要通過系統抓包分析,分析出VoIP協議特征之后就可以實現對該標準協議的監測。現在DPI檢測技術的出現可以實現對各種標準和非標準VoIP業務的檢測。
2 VoIP流量檢測技術
2.1 端口檢測法
大多數早期的VoIP應用程序使用的都是固定端口號,比如:
1) RTSP服務器的缺省端口是554;
2) RTP/UDP/16384-32768;
3)H.323協議棧需使用的端口號:RAS/UDP/1719;H225.0/TCP/1720;H245/TCP/1800-1820;
這種檢測方法需要在網絡中收集數據流量并進行分組,然后檢查報文的運輸層首部信息,將端口信息和特定的協議的端口進行匹配。如果匹配上,就可以證明該分流量即為VoIP類流量,便可以按照識別的結果對VoIP流量進行管理控制。
這種檢測方法的優點是簡單和識別效率高,但是隨著VoIP應用技術的快速發展,一些VoIP應用改變了端口信息,這種方法開始變得不再普遍適用,但是針對一些特殊的VoIP協議還存在一定的適用性。這就需要更具有普遍性的DPI檢測技術。
2.2 基于深度報文的流量檢測技術
隨著計算機網絡技術的發展,一種檢測性能更加強大的檢測技術DPI技術出現了。DPI全稱為“Deep Packet Inspection”,稱為“深度包檢測”。所謂“深度”是和普通的報文分析層次相比較而言的,“普通報文檢測"僅分析IP包的層4以下的內容,包括源地址、目的地址、源端口、目的端口以及協議類型,而DPI除了對前面的層次分析外,還增加了應用層分析,就是通過對應用流中的數據報文內容進行探測,從而確定數據報文的真正應用。DPI的識別技術可以分為以下幾大類:
1) 基于“特征字"的識別技術
基于“特征字"的識別技術這是一種簡單而又高效的網絡流量檢測技術。不同網絡應用的協議都有獨特的特征,這些特征一般被稱為“特征字”。該檢測技術就是通過模式匹配算法(Pattern-Matching)對數據流中數據負載部分的“特征字”進行匹配,然后識別出某種網絡流量。只要通過對這些“特征字"信息的不斷更新升級,該檢測技術就會很方便有效地實現對各種協議(包括新出現協議的檢測識別)的檢測識別。
基于VoIP協議的應用軟件有很多,而且也很優秀。每種應用層協議和軟件都在應用層數據中有它標志性的特征,其中,有些特征是比較容易發現的,把各種應用層協議和軟件已經發現并且驗證的“特征字”用一定的格式集中統一放在一個文件當中,就形成了DPI特征庫。表1是常見部分應用層協議的“特征字”信息。
2) 應用層網關識別技術
一些業務的控制流和業務流是分離的,業務流不包含任何有效的特征。在這種情況下,我們就應該采用應用層網關識別技術。應用層網關需要首先識別出控制流,并根據控制流的協議通過某種特定的應用層網關對其進行分析,從它的協議內容中識別出相對應的業務流。對于每一種協議,都需要有不一樣的應用層網關對其進行解析。例如SIP、H.323協議都屬于該種類型。SIP/H.323協議通過信令交互過程,協商從而得到其數據通道進行通信,通常是RTP格式封裝的語音流。換句話說,僅僅檢測RTP流并不能得出這條RTP流是屬于哪種協議。只有通過檢測SIP/H.323的協議交互,然后對其中的信令信息的通信特征進行分析,才能得出它完整的結果。
3) 行為模式識別技術
行為模式識別技術基于對終端已經執行的行為的分析,從而判斷出用戶正在執行的動作或者將要實施的動作。行為模式識別技術一般用于無法通過協議判斷分析的業務的識別。例如:垃圾郵件(SPAM)業務流和普通的電子郵件(Email)業務流從電子郵件(Email)的內容上看是完全一致的,只有通過對用戶行為的分析,才能較為準確的判斷出是否為垃圾郵件,從而識別出SPAM業務。
(1)優點:檢測準確率比基于端口和流量模式的方法高,端口的變化不會影響檢測率。能夠檢測使用最廣泛的應用,適合流量的精確檢測。
(2) 缺點:無法識別新出現的和經過加密的應用,對無法識別的應用會出現漏判。協議分析和特征搜尋需要投入大量的人力及時間,難以獲取加密協議的特征,特征的選擇對檢測性能有很大影響。系統檢測模塊需要不定期地進行更新和升級,查看應用層的內容會涉及到隱私的問題,對檢測設備的處理能力要求較高。
3 DPI系統工作原理概述
3.1 基于VOIP的DPI系統設計
系統對經過網絡分光/鏡像的數據報文,拆包并標記頭指針,然后將經過預處理的報文送到協議識別引擎進行匹配識別,最后返回識別結果。整個DPI系統的工作流程如圖2所示。
第一步:對抓取的數據包進行分流,首先檢查入口條件:入口條件通常包括關聯表中的條件,數據包的長度,特征字,IP地址,端口號。如果符合條件則進入第二步,不符合條件則進入第三步進行識別處理。
第二步:如果滿足上面的入口條件,就會進入與它相對應的協議識別方法中去,這些方法通常為代碼識別,需要對報文當中一段特殊的代碼進行一系列的特殊處理以及判定。例如應用層網關識別技術,在通過特征庫的識別成信令流之后,就會需要交給與之對應的代碼字段,通過使用正則表達式等匹配算法找出信令流的負載內容當中的交互的信息,然后將這個信息存入關聯表當中,如果后續的流量符合這個關聯表當中的內容,
就可以判定為所對應信令流命中的協議。
第三步:若沒有命中入口條件,就需要通過與特征庫當中的規則進行模式匹配處理,如果與之匹配成功,就需要檢查此協議是否打開了懷疑功能,如果打開了懷疑功能,則就需要繼續進行檢查,否則返回識別的結果。如果沒有命征庫當中的規則,則需要繼續檢查這條流的下一個數據包,直到達到了系統能夠檢查的數據包個數的限度。若到最后都沒有命中任何規則,則返回的結果為unknown。
從上面整個DPI系統對于如VoIP類數據報文的處理工作原理可以看出,整個系統中最為核心的一個組成部分就是其中的流量識別模塊的設計。該部分的好壞直接影響整個DPI系統工作的效率。
3.2 流量識別模塊
VOIP應用軟件的流量識別是由DPI識別模塊來實現的。該模塊包含協議識別引擎程序和DPI特征庫兩部分。圖1是基于DPI的流量識別系統工作原理圖。
從上圖中可以看出,網絡流量經過處理后送入DPI識別模塊,DPI模塊將識別出的流量交給后續處理,DPI識別模塊通過特征庫升級系統并與遠程升級服務器連接進行升級DPI特征庫,并保持定期升級特征庫。
具體的處理方式如下描述:
網絡上的數據包進入預處理模塊,每當一個網絡報文通過流量識別模塊,就會先將每一個報文放入內存當中進行排序,每次從緩存隊列中取出報文進行分析。在流節點鏈表中查找是否有這個報文對應的流節點,若沒有的話就為該報文創建一個流節點,如果有的話,就需要根據這個流節點的狀態來決定該流是否需要繼續進行識別。流節點的狀態有OK,Continue和Unknown。若流節點的狀態為OK或者Unknown,就需要釋放這個報文所占用的資源,如果是Continue就把該報文放入等待處理的隊列,然后送給協議識別引擎進行下一步的識別。需要被繼續進行識別的數據報文傳給協議識別引擎,協議引擎識別完后返回識別結果,如果能夠匹配成功,則返回協議類型,釋放這個報文所占用的空間并把該報文所在的流節點的狀態改寫為OK。若所屬的數據流還需要繼續進行識別,釋放該報文所占的空間并且把該報文所屬的流節點狀態修改為Continue。如果判斷報文所屬的數據流已經確定為無法識別,則把對應的流節點狀態寫為Unknown,并且釋放報文所占用的內存空間。
4 系統測試及結果分析
為了驗證DPI系統對于VOIP類應用軟件的監控和識別,該文通過設計一個基于DPI系統的拓撲網絡結構如圖3所示的實驗,實驗設備包括有模擬公司或者集體的內部網絡用戶網絡,加載有DPI系統配置的設備處于內部網絡與外部互聯網之間。經過內部網絡用戶連接該DPI識別系統然后獲取網上資源。
在通過網絡流量監測網關上網的PC上分別用QQ、YY、MSN、Skype等VoIP軟件進行通話,并且同時使用wireshark軟件抓取網絡流量包。然后把使用這些語音通話的網絡流量包跑識別率。大部分常用VoIP應用軟件的識別率都在85%以上,漏報率在5%以下,誤報率很少。在某實驗室里對幾種常用的VoIP軟件進行抓包跑識別率,經過測試統計,得出表2中的幾種常用的VoIP網絡應用軟件的檢測結果。
5 結束語
本文對運用DPI技術進行VoIP流量監測進行了深入的研究,在此基礎上設計出一個流量監控系統,并對VoIP流量監測的準確性進行了驗證。這個系統對VoIP流量的識別率達到85%以上,誤報率很低。測試結果表明,該實現對VoIP流量的識別很有效果。這個系統可以對檢測出正規和非法的VoIP流量,可以對非法的VoIP流量進行識別記錄和管理,這對監管VoIP運營市場有很大的幫助,也有利于該市場的健康發展。
參考文獻:
[1] Sen. S, Wang Jia. Analyzing Peer-to-Peer Traffic across Large Networks[C].IEEE/ACM Transactions on Net2 working. NJ: IEEE Press, 2004: 219-23.
[2] Elisa Bertino, Elena Ferran and Allna Squieeiarini, Trust Negotiations: Concepts, Systems, and Language[C].P27-34, July/August, 2004, IEEE.
[3] 韓耀明.基于DPI技術的VoIP流量檢測系統的設計與實現[D].北京:北京郵電大學,2010.
[4] 米淑云.IP網絡流量監控系統的研究與實現[D].北京:北京郵電大學,2009.
[5] 聶瑞華,黃偉強,吳仕毅,羅輝瓊.基于DPI技術的校園網絡帶寬管理[J].計算機技術與發展,2009.
[6] 匡琳.P2P網絡流量監控技術探討[J].科技廣場,2008.
關鍵詞:SNMP;RRDTOOL;CACTI;流量監控
1引言
隨著網絡技術的迅速發展和各種網絡業務應用的普及,用戶對網絡資源的需求不斷增長,網絡已成為人們日常工作生活中不可或缺的信息承載工具,同時人們對網絡性能的要求也越高,在眾多影響網絡性能的因素中網絡流量是最為重要的因素之一,它包含了用戶利用網絡進行活動的所有的信息。通過對網絡流量的監測分析,可以為網絡的運行和維護提供重要信息,對于網絡性能分析、異常監測、鏈路狀態監測、容量規劃等發揮著重要作用。
SNMP(簡單網絡維護管理協議)是Internet工程任務組(IETF)在SGMP基礎上開發的,SNMP是由一系列協議組和規范組成的,SNMP的體系結構包括SNMP管理者(SNMPManager)、SNMP者(SNMPAgent)和管理信息庫(MIB)。每個支持SNMP的網絡設備中都包含一個,不斷地收集統計數據,并把這些數據記錄到一個管理信息庫(MIB)中,網絡維護管理程序再通過SNMP通信協議查詢或修改所紀錄的信息。從被管理設備中收集數據有兩種方法:輪詢方法和基于中斷的方法。SNMP最大的特點是簡單性,容易實現且成本低,利用SNMP協議能夠對被監視的各個網絡端口輸入字節數、輸入非廣播包數、輸入廣播包數、輸入包丟棄數、輸入包錯誤數、輸入未知協議包數、輸出字節數、輸出非廣播包數、輸出廣播包數、輸出包丟棄數、輸出包錯誤數、輸出隊長等進行采集。
2RRDTOOL的工作原理
RRDTOOL代表“RoundRobinDatabasetool”,是TobiasOetiker設計的一個基于Perl的功能強大的數據儲存和圖形生成工具,最初設計目的是為流量統計分析工具MRTG提供更好的數據存儲性能和更強的圖形生成功能。所謂的“RoundRobin”其實是一種存儲數據的方式,使用固定大小的空間來存儲數據,并有一個指針指向最新的數據的位置。我們可以把用于存儲數據的數據庫的空間看成一個圓,上面有很多刻度。這些刻度所在的位置就代表用于存儲數據的地方。所謂指針,可以認為是從圓心指向這些刻度的一條直線。指針會隨著數據的讀寫操作自動移動。要注意的是,這個圓沒有起點和終點,所以指針可以一直移動,而不用擔心到達終點后就無法前進的問題。在一段時間后,當所有的空間都存滿了數據,就又從頭開始存放。這樣整個存儲空間的大小就是一個固定的數值。所以RRDtool就是使用類似的方式來存放數據的工具,RRDtool所使用的數據庫文件的后綴名是''''.rrd''''。
和其它數據庫工具相比,它具有如下特點:
首先RRDtool存儲數據,扮演了一個后臺工具的角色。但同時RRDtool又允許創建圖表,這使得RRDtool看起來又像是前端工具。其他的數據庫只能存儲數據,不能創建圖表。
RRDtool的每個rrd文件的大小是固定的,而普通的數據庫文件的大小是隨著時間而增加的。
其他數據庫只是被動的接受數據,RRDtool可以對收到的數據進行計算,例如前后兩個數據的變化程度(rateofchange),并存儲該結果。
RRDtool要求定時獲取數據,其他數據庫則沒有該要求。如果在一個時間間隔內(heartbeat)沒有收到值,則會用UNKN代替,其他數據庫則不會這樣做。
3監測系統的安裝與配置
(1)配置路由器和交換機:
開始配置RRDTool之前,必須對需要監測的網絡及設備進行良好的規劃、設計與配置,包括配置設備互聯地址、網管地址及路由,保證流量監測計算機可以與被監測設備網絡層的互通;配置SNMP通信字符串和端口號,掌握需要的監測對象號(SNMPOID),確保流量監測計算機可以獲取正確的SNMP信息。在路由器和交換機上啟動SNMP,并設置只讀團體名。命令如下:
(config)#snmp-serverenabletraps
(config)#snmp-servercommunitytestro
(2)安裝配置RRDTool:
我們以Debian平臺來安裝配置RRDTOOL系統,在安裝RRDTOOL前首先要安裝支持RRDTOOL運行的環境:Zlib、libart_lgpl、cgilib、Libpng、freetype軟件包。
①安裝apache、mysql、php:apt-getinstallapache2php4mysql-serverphp4-mysql;安裝成功后通過瀏覽器訪問客戶器,可以得到“Itworks!”的提示;利用mysqladmin工具給mysql添加好管理員密碼。
②安裝RRDTOOL:apt-getinstallrrdtool。
③安裝NET-SNMP:apt-getinstallsnmp。
④安裝Cacti:apt-getinstallcacti,在安裝過程中會提示你輸入mysql管理員密碼和cacti數據庫管理員密碼。
(3)系統配置:
安裝好系統后就要進行簡單的初始化和配置,步驟如下:
①訪問x.x.x.x/cacti,按照向導提示進行cacti的初始化安裝;
②利用crontab-e添加計劃任務:
*/5****/usr/bin/php/usr/share/cacti/site/poller.php>/dev/null2>&1
③利用cacti進行設備的添加;
④利用cacti進行繪圖管理。
cacti其實是一套php程序,它運用snmpget采集數據,使用rrdtool繪圖。它的界面非常漂亮,能讓你根本無需明白rrdtool的參數能輕易的繪出漂亮的圖形。更難能可貴的是,它提供了強大的數據管理和用戶管理功能,一張圖是屬于一個host的,每一個host又可以掛載到一個樹狀的結構上。用戶的管理上,作為一個開源軟件,它居然做到為指定一個用戶能查看的“樹”、host、甚至每一張圖,還可以與LDAP結合進行用戶的驗證!我不由得佩服作者考慮的周到!Cacti還提供自己增加模板的功能,讓你添加自己的snmp_query和script!可以說,cacti將rrdtool的所有“缺點”都補足了!
網絡地圖