基于數(shù)據(jù)挖掘的計算機網(wǎng)絡入侵檢測系統(tǒng)的研制-科技論文

摘要：本文對對入侵檢測系統(tǒng)數(shù)的據(jù)挖掘的算法進行了改進和優(yōu)化，實現(xiàn)了對網(wǎng)絡數(shù)據(jù)的智能檢測。在設計中使用Winsock2 SPI截取網(wǎng)絡中的數(shù)據(jù)，采用“會話過濾”的方法對網(wǎng)絡封包進行過濾。系統(tǒng)分為控管規(guī)則和智能檢測等模塊。通過實際檢測，系統(tǒng)能夠?qū)W(wǎng)絡連接狀態(tài)進行實時顯示，對應用程序等也能進行有效的控管，對網(wǎng)絡數(shù)據(jù)也能進行智能檢測。

關鍵詞：數(shù)據(jù)挖掘  Winsock2 SPI  控管規(guī)則  智能檢測 

Abstract: In this paper, data mining algorithms have been refined and optimized to achieve the intelligent detection of network data. Winsock2 SPI used in the design of interception of network data, and use "session filtering" approach to network packet filtering. System is divided into control rules and intelligent detection module. Through practical testing, the system can display real-time network connection status on the application procedures can be effective control of network data can also be intelligent detection.
Keywords: data mining Winsock2 SPI control rules of intelligent detection

1.引言
隨著科學技術的不斷發(fā)展，網(wǎng)絡已成為一個國家最為關鍵的政治、經(jīng)濟、軍事資源，成為國家實力的象征。另一方面，網(wǎng)絡的發(fā)展也不斷改變?nèi)藗兊墓ぷ鞣绞?、生活方式，使信息的獲取、傳遞、處理以及利用更加高效、迅速[1]。網(wǎng)絡已成為人們生活的一個重要組成部分。然而隨著網(wǎng)絡的應用的不斷擴大，它的反面效應也隨之產(chǎn)生。通過網(wǎng)絡使得黑客或工業(yè)間諜及惡意入侵者侵犯及操縱一些重要信息成為可能，因而引發(fā)網(wǎng)絡安全性問題。黑客們聯(lián)手襲擊世界的上最大幾個熱門網(wǎng)站如Yahoo、美國在線，使他們的服務器不能正常提供服務;黑客襲擊中國的人權網(wǎng)站，把人權網(wǎng)站的主頁改為反政府的言論;同時計算機的病毒發(fā)展也很快[2]。當今網(wǎng)絡安全維護正面臨嚴峻的挑戰(zhàn)，解決網(wǎng)絡安全問題已成為信息化建設的核心問題之一。

入侵檢測本質(zhì)上是電子數(shù)據(jù)處理的過程，按照預先確定方法對收集到的安全的審計數(shù)據(jù)進行分析處理，根據(jù)分析結(jié)果得出系統(tǒng)是否被入侵結(jié)論。收集的數(shù)據(jù)一般是系統(tǒng)日志或者網(wǎng)絡事件日志，預先確定的方法就是分析引擎采用的分析技術，一般是某種模式的匹配技術或統(tǒng)計學分析技術，或是二者的結(jié)合[3]。入侵檢測一般是分為3個步驟，依次為信息收集、數(shù)據(jù)分析、響應(被動響應以及主動響應)。相應地，IDS一般由信息收集、數(shù)據(jù)分析、響應等功能模塊組成，分別承擔上面3個步驟的任務。

信息收集以及模塊收集的內(nèi)容包括系統(tǒng)、網(wǎng)絡及用戶活動的狀態(tài)和行為。入侵檢測采用的數(shù)據(jù)源一般來自系統(tǒng)日志(包含操作系統(tǒng)的審計記錄、操作系統(tǒng)的系統(tǒng)日志、應用日志)、目錄及文件的異常改變、程序執(zhí)行中異常的行為、網(wǎng)絡數(shù)據(jù)包等等幾個方面。數(shù)據(jù)分析模塊是IDS的核心，它完成對原始數(shù)據(jù)的同步、組織、整理、分類，進行各種類型的細致分析，提取其中的隱含系統(tǒng)活動特征或者模式，用來IDS判斷是否有入侵的行為發(fā)生[4]。IDS在發(fā)現(xiàn)入侵銀以后應根據(jù)預定的策略及時作出響應，包括切斷網(wǎng)絡連接、記錄事件以及報警等等。

2.入侵檢測的數(shù)據(jù)挖掘方法
用于入侵檢測的數(shù)據(jù)挖掘分析方法主要有數(shù)據(jù)分類分析方法、關聯(lián)分析方法、聚類分析方法以及序列模式分析方法等。

1）關聯(lián)分析法

關聯(lián)規(guī)則是數(shù)據(jù)之間的相互依賴關系，關聯(lián)分析的任務是從數(shù)據(jù)庫中發(fā)現(xiàn)可信度以及支持度都大于給定值的強壯規(guī)則。關聯(lián)分析方法用來找出協(xié)同入侵事件之間的相互關系，導出一些未知的協(xié)同攻擊模式，從而構造出新的協(xié)同的入侵規(guī)則。常見的關聯(lián)分析算法有: DHP, Apriori, AISIISETM等。   

關聯(lián)規(guī)則算法的挖掘有兩個步驟：

(1)找出所有的頻繁項集。通過用戶給定的最小支持度，尋找所有的頻繁項目集，即滿足支持度不小于min_sup的項目集，當頻繁的項目集可能具有包含關系時，也就是找出不被其它頻繁項目集所包含的項集稱作頻繁大項目集。

(2)由頻繁項集生成關聯(lián)規(guī)則。通過用戶給定最小置信度(min_con) ,在每個最大頻繁項目集里，尋找置信度不小于min_con的關聯(lián)規(guī)則。

2）數(shù)據(jù)分類分析法

分類分析法是數(shù)據(jù)挖掘中應用最多的方法。分類是找出一個類別的概念來描述，它代表了這類數(shù)據(jù)的整體信息，也就是該類的內(nèi)涵描述，一般用規(guī)則或者決策樹模式表示。一個類的內(nèi)涵描述分為特征性描述及區(qū)別性描述[5]。特征性描述就是對類中對象的共同特征描述，區(qū)別性描述是對類間區(qū)別的描述。分類分析在系統(tǒng)中的任務是分析系統(tǒng)安全事件庫中的安全事件，為每個事件的類別做出準確描述，導出事件的分類規(guī)則。常見的分類算法有: CART, ID3 , C45等。

數(shù)據(jù)分類步驟為:

(1)獲得訓練數(shù)據(jù)集，數(shù)據(jù)集中的數(shù)據(jù)記錄具有和目標數(shù)據(jù)庫中的數(shù)據(jù)記錄相同數(shù)據(jù)項;

(2)訓練數(shù)據(jù)集中，每一條數(shù)據(jù)記錄有已知的類型標識與之相關聯(lián);

(3)分析訓練數(shù)據(jù)集，提取其數(shù)據(jù)記錄的特征屬性，為每一種類型生成精確描述模型;

(4)使用得到的類型描述模型對目標數(shù)據(jù)庫里的數(shù)據(jù)記錄進行分類或者生成優(yōu)化的分類模型(分類規(guī)則)。

3)聚類分析法

數(shù)據(jù)聚類是將物理的或抽象的對象分成幾個群體，在群體內(nèi)部，對象間具有較高的相似性，在不同群體之間，相似性比較低[6]。聚類分析的輸入集是一組未標定的記錄，記錄沒有任何分類。聚類根據(jù)一定規(guī)則，合理劃分記錄集合，用顯式或隱式的方法來描述不同的級別。聚類分析能對一組未分類的安全事件進行分析，根據(jù)分類分析預先給出分類規(guī)則，將大量零碎安全的事件劃分為描述入侵行為的安全事件集。常見的聚類算法有: CLARA, PAM,BIRCH等[7]。

4)序列模式分析方法

序列模式分析與關聯(lián)規(guī)則分析相似，目的也是為挖掘數(shù)據(jù)間的聯(lián)系，不同的是關聯(lián)分析用來挖掘數(shù)據(jù)記錄中的不同數(shù)據(jù)項間的關聯(lián)性，序列分析則是發(fā)現(xiàn)不同的數(shù)據(jù)記錄間的相關性[8]。序列分析目標是在事務數(shù)據(jù)庫中挖掘序列模式，滿足用戶指定最小支持度要求的最大序列，該序列模式須是最高序列。

挖掘序列模式通常按5個步驟來進行:

(1)排序階段(sort phase):以事務主體為主鍵，事務時間為次主鍵，對原始的數(shù)據(jù)庫進行排序，把它轉(zhuǎn)換為主體序列(customer sequences)的數(shù)據(jù)庫;

(2)大數(shù)據(jù)項階段(litemset phase):找出所有大數(shù)據(jù)項集L，把大數(shù)據(jù)項集映射為一組相鄰整數(shù)，每個大數(shù)據(jù)項對應一個整數(shù);

(3)轉(zhuǎn)換階段((transformation phase):將數(shù)據(jù)庫中主體序列每一次事務用事務包含的大數(shù)據(jù)項集litems ets(映射的整數(shù))代替;

(4)序列階段(sequence phase):利用大數(shù)據(jù)項集來挖掘序列模式;

(5)序列最高化階段(maximalp hase):找出所有序列模式的最高序列集。

在入侵檢測領域中，由于攻擊者的許多入侵行為是有先后關系，具有一定時序性，如黑客在實施攻擊時，一般要對系統(tǒng)的端口先進行掃描，找出具體漏洞后再實施進一步入侵。因此，利用序列模式分析可挖掘入侵行為之間的聯(lián)系。

3.系統(tǒng)模塊功能設計
系統(tǒng)使用Winsock2 SPI技術來截取網(wǎng)絡數(shù)據(jù)并將過濾后的數(shù)據(jù)實時進行顯示;控管規(guī)則可對存在威脅的網(wǎng)絡行為進行過濾;數(shù)據(jù)挖掘的算法從數(shù)據(jù)庫中提取數(shù)據(jù)，然后進行挖掘，將挖掘出的結(jié)果進行檢測;統(tǒng)計分析的模塊可以對數(shù)據(jù)庫中的信息進行統(tǒng)計，將各種統(tǒng)計結(jié)果反饋給用戶;日志查詢模塊可以供用戶查詢歷史記錄，并對感興趣的記錄進行另外保存。該系統(tǒng)的總體結(jié)構如圖1所示。

該系統(tǒng)模塊功能設計如下：

1、數(shù)據(jù)截取模塊:通過Winsock2 SPI中的函數(shù)來截取網(wǎng)絡封包。

2、封包過濾模塊:對截取的數(shù)據(jù)包進行過濾，此模塊是本設計核心的部分之一，SPI給出了設置工作模式及設置控管規(guī)則的接口函數(shù)。根據(jù)工作模式及控管規(guī)則，還有過濾規(guī)則對過往封包進行過濾。

3、連接顯示模塊:提供網(wǎng)絡會話的監(jiān)視界面，(會話內(nèi)容包括:會話的建立時間、結(jié)束時間，會話源、目的地址，會話進、出的流量、方向及會話進程等等)。碰到被攔阻的封包，根據(jù)參數(shù)的配置進行提示，用戶可以自行設置工作模式(放行、拒絕與詢問)。

4、歷史記錄查詢模塊:把網(wǎng)絡會話/封包記錄到日志文件里，可按時間段對封包信息進行查詢，并提供另外保存的功能。

5、規(guī)則庫:手動添加控管規(guī)則，如手動添加以及刪除IP地址段和監(jiān)聽端口段;手動添加、修改以及刪除控管規(guī)則。

6、數(shù)據(jù)庫:存儲樣本數(shù)據(jù)、實時網(wǎng)絡數(shù)據(jù)的屬性及信息。將這些信息提供給統(tǒng)計分析模塊及智能挖掘模塊使用。

7、統(tǒng)計分析模塊:對數(shù)據(jù)庫中某段特定時間數(shù)據(jù)進行統(tǒng)計分析，可將信息以柱狀圖、餅狀圖形式直觀的反饋給用戶，比如某段時間訪問量的前十名IP等信息。

8、智能挖掘模塊:從數(shù)據(jù)庫中提取樣本數(shù)據(jù)，應用改進算法對數(shù)據(jù)進行挖掘處理，提取出用戶行為特征及規(guī)則等，再對所得到的規(guī)則歸并更新，建立規(guī)則。將此規(guī)則和數(shù)據(jù)挖掘模塊對實時數(shù)據(jù)挖掘，得出的規(guī)則進行匹配來檢測是否異常。

4.系統(tǒng)實現(xiàn)
4.1.  數(shù)據(jù)截取及封包過濾模塊的設計
數(shù)據(jù)截取及封包過濾模塊是本設計的基礎，它對數(shù)據(jù)截取的準確性、可靠性以及效率將直接影響到系統(tǒng)的性能。Winsock2 SPI是Winsock系統(tǒng)組件中提供的面向系統(tǒng)底層的編程接口，上層應用程序不必關心Winsock實現(xiàn)細節(jié)，為上層的應用程序提供透明的服務。用戶在進行數(shù)據(jù)封包截獲的時候，將編寫的SPI程序安裝到系統(tǒng)上，這時，所有Winsock請求都首先發(fā)送到用戶程序中，在不影響網(wǎng)絡系統(tǒng)的正常工作前提下對網(wǎng)絡通信實行監(jiān)測并根據(jù)各種各樣的過濾規(guī)則進行安全設置。

Winsock2 SPI的工作流程如下:

(1)在應用程序啟動后，先加載當前目錄下分層服務的提供者，初始化用戶界面與DLL間的通信管道。

(2)在(1)成功進行后，打開當前目錄下控管規(guī)則設置文件527safe. cfg,并讀入工作模式、控管規(guī)則及過濾條件至內(nèi)存。

(3)用戶界面通過管道函數(shù)，向DLL發(fā)送界面的窗口句柄、控管規(guī)則以及過濾條件等等元素觸發(fā)服務提供者正常工作。

(4)服務提供者記錄過往封包，通過管道函數(shù)來向用戶界面發(fā)送消息，然后通知用戶界面從服務提供者處取走封包，最終顯示在用戶界面網(wǎng)絡會話列表中，更新歷史記錄。

(5)用戶更新控管規(guī)則以及過濾條件，用戶界面通知服務提供者的規(guī)則變更，根據(jù)規(guī)則重新工作，同時完成對控管規(guī)則文件的更新。

(6)在退出應用程序前，完成記錄當前工作模式，日志更新等工作。

4.2.  規(guī)則庫模塊的設計
規(guī)則庫模塊是用來進行對過濾規(guī)則的配置。Winsock2 SPI是一個DLL程序，它工作在API和DRIVER間，為上層的應用程序提供服務。根據(jù)其特性，制訂出規(guī)則庫全局工作流程?？赏ㄟ^此部分對IP地址、端口、應用程序及固定的規(guī)則進行設置?？毓芤?guī)則的設計流程如圖2所示。而本設計的控管規(guī)則匹配優(yōu)先級是:先對IP地址進行匹配，然后是對端口進行匹配，最后是應用程序進行匹配。

4.3. 智能挖掘模塊的設計
智能挖掘模塊實現(xiàn)的是離線檢測功能，智能挖掘模塊流程如圖3所示。功能主要分為:數(shù)據(jù)預處理、數(shù)據(jù)挖掘以及智能檢測。

1）數(shù)據(jù)預處理

存儲在數(shù)據(jù)庫中的數(shù)據(jù)為特定數(shù)據(jù)格式，該數(shù)據(jù)不能被數(shù)據(jù)挖掘的算法直接處理，故須對其進行轉(zhuǎn)化及處理。數(shù)據(jù)庫中存儲的數(shù)據(jù)包含網(wǎng)絡數(shù)據(jù)的重要屬性，如連接起止時間、服務類型、協(xié)議類型、源端至目的端的字節(jié)數(shù)及目的端至源端的字節(jié)數(shù)等。

2）數(shù)據(jù)挖掘

由預處理得到數(shù)據(jù)挖掘的算法所能處理的數(shù)據(jù)格式以后，對數(shù)據(jù)挖掘，挖掘后的結(jié)果為整數(shù)表示的規(guī)則。這時，得到如下形式的規(guī)則:(service=http, flag=syn), (service =http, flag=syn)→(service =http, flag=syn)[0.86,0.02,2]。此規(guī)則表示：在flag為syn時，兩個http連接后，在2s之內(nèi)，有86%的可能性出現(xiàn)第二個一樣的連接，該模式發(fā)生的概率為2%。以上挖掘出序列模式即為syn flood的頻繁的片斷模式。向數(shù)據(jù)庫中存入樣本數(shù)據(jù)，對樣本數(shù)據(jù)進行挖掘，將挖掘出的規(guī)則存儲。

3）智能檢測

智能檢測的功能是規(guī)則的匹配，即將數(shù)據(jù)挖掘的模塊產(chǎn)生的輸出結(jié)果及現(xiàn)有規(guī)則進行匹配，若匹配成功，認為某種異常發(fā)生，若都不成功，認為網(wǎng)絡情況正常。

(1)規(guī)則的形式

在數(shù)據(jù)挖掘的模塊中，對數(shù)據(jù)庫中提取出非樣本數(shù)據(jù)，預處理后變成整數(shù)格式，挖掘后的整數(shù)格式規(guī)則不再變成字符格式，是直接與整數(shù)格式標準規(guī)則匹配，這樣可減少規(guī)則的長度，減少需要匹配字符數(shù)，從而在一定的程度上提高效率。

(2)匹配算法

本系統(tǒng)規(guī)則匹配與一般意義的規(guī)則匹配不同。一般意義的規(guī)則匹配，是從網(wǎng)絡封包的全部數(shù)據(jù)里匹配某些特征，運算量較大。本系統(tǒng)中的模式與常規(guī)模式不同，提取的信息經(jīng)整理和預處理后，規(guī)則已經(jīng)大為精簡，故模式匹配的部分在系統(tǒng)運算量所占比例較一般基于模式匹配入侵檢測系統(tǒng)要小。系統(tǒng)中數(shù)據(jù)挖掘得出的規(guī)則在一定的程度上有類似性，即很多規(guī)則字串是相同的。根據(jù)以上分析，選用多模式匹配AC-BM算法。BM算法是單一的模式匹配，而AC算法沒利用啟發(fā)式策略進行跳躍，運行效率不佳，結(jié)合BM算法和AC算法的AC-BM算法則可利用二者優(yōu)點，效率同時也優(yōu)于BM算法和AC算法。

5.系統(tǒng)運行結(jié)果
智能檢測主要完成功能是可對記錄下來的數(shù)據(jù)進行智能挖掘，來發(fā)現(xiàn)是否存在異常信息。實際測試中，輸入想要的挖掘的起止時間，若輸入時間不合理，系統(tǒng)會提醒你重新輸入;系統(tǒng)根據(jù)時間區(qū)間查詢數(shù)據(jù)庫，對每一組值進行解析，進行挖掘;最后用挖掘出規(guī)則與原有規(guī)則進行匹配，判斷是否匹配。根據(jù)匹配的結(jié)果，判斷系統(tǒng)是否存在異常。運行結(jié)果如圖4所示。

計算機網(wǎng)絡安全的實時監(jiān)控系統(tǒng)作為一種安全的防護技術，提供對系統(tǒng)的實時監(jiān)控，對記錄的信息能利用數(shù)據(jù)挖掘算法進行智能檢測，及時發(fā)現(xiàn)異常的網(wǎng)絡行為。隨著網(wǎng)絡通信技術安全性的要求越來越高，入侵檢測系統(tǒng)能從網(wǎng)絡安全的立體縱深、多層次防御角度出發(fā)提供安全服務，必將進一步受到人們的高度重視。

參考文獻
[1] 聶小逢、鄭東、顧健.認證機構以的安全體系設計[J].計算機工程. 2007, 30(10).

[2] 徐暉，張衛(wèi)平，吳志偉，入侵檢測系統(tǒng)的發(fā)展與研究，微機發(fā)展，第13卷第1期，2008年1月

[3] 朱雁輝，Windows防火墻與網(wǎng)絡封包截獲技術，北京:電子工業(yè)出版社，2006年

[4] 馬俊、王鐵存.網(wǎng)絡數(shù)據(jù)傳輸安全對策[[J].航空計算技術.2006, 25 (4) .

[5] 耿海霞，陳啟軍.基于Web的移動機器人控制系統(tǒng)研究及Java實現(xiàn).同濟大學學      報，2007，第8期

[6] Mani.Subramanian Net<vork Management Principles and Practices Addison Wesley.2008.11

[7] M.Rose. K.McCloghrie.Strncture and Identification of Management Informationfor TCP/IP-based Internets(SMI) RFC 1155. May.2008

[8] B.Wijnen. R.Presuhn. K. McCloghrie. View-based Access Control Model(VACM) for the   Simple Net<uork Management Protocol (SNMP),RFC 2575. Apri1,2007