關(guān)鍵模塊SVM研究

短信預(yù)處理模塊和SVM模塊,實(shí)現(xiàn)以下功能: (1)短信預(yù)處理模塊。在短信預(yù)處理模塊中對(duì)嫌疑短信進(jìn)行前期處理,完成分詞、文本表示和特征選擇,把嫌疑短信表示成計(jì)算機(jī)能夠處理的形式。 (2)SVM模塊。因?yàn)橹С窒蛄繖C(jī)具有較高的分類精度,但在處理大規(guī)模數(shù)據(jù)集時(shí)有收斂速度較慢的特點(diǎn),在SVM模塊中對(duì)嫌疑短信進(jìn)行離線分類,將其用于校對(duì)和補(bǔ)充貝葉斯模塊的判定結(jié)果,并計(jì)算關(guān)鍵詞的權(quán)重,更新關(guān)鍵詞庫(kù),以提高垃圾短信過(guò)濾準(zhǔn)確率。[3][4] 本文結(jié)合短信文本的特點(diǎn)，提出了基于支持向量機(jī)的短信分類方法以及實(shí)現(xiàn)步驟。基于支持向量機(jī)的短信分類是通過(guò)提取短信文本內(nèi)容，將短信識(shí)別看作文本的兩分類問(wèn)題，利用支持向量機(jī)方法對(duì)訓(xùn)練短信集進(jìn)行訓(xùn)練學(xué)習(xí)，得到分類模型以及決策函數(shù)，再利用得到的分類模型對(duì)待分類短信進(jìn)行分類，識(shí)別短信的屬性，即判斷短信是否屬于垃圾短信的過(guò)程。其具體實(shí)現(xiàn)主要分為兩個(gè)階段，即訓(xùn)練階段和分類階段。如下圖1所示： 基于支持向量機(jī)的短信分類過(guò)程需要經(jīng)過(guò)短信預(yù)處理，特征降維，短信文本表示以及構(gòu)建分類器四個(gè)步驟。首先要對(duì)短信訓(xùn)練集和測(cè)試集（即已知樣本短信和未知分類短信）進(jìn)行預(yù)處理，對(duì)短信的屬性類別，詞條（即特征）進(jìn)行統(tǒng)計(jì)，然后對(duì)特征集進(jìn)行降維，進(jìn)而完成特征的向量表示。在對(duì)樣本特征集進(jìn)行訓(xùn)練學(xué)習(xí)的過(guò)程中，根據(jù)訓(xùn)練集中的樣本點(diǎn)計(jì)算出參數(shù)，從而得到分類模型（二元分類器）。接下來(lái)進(jìn)行的分類階段，通過(guò)分類模型的決策函數(shù)對(duì)未知的待分類樣本進(jìn)行分類，以判別待分類短信是否屬于垃圾短信。