互聯(lián)網(wǎng)大數(shù)據(jù)挖掘與分類

1 緒論
1．1 背景知識(shí)
1．1．1 研究背景
1．1．2 研究意義
1．2 網(wǎng)絡(luò)測(cè)量技術(shù)
1．2．1 網(wǎng)絡(luò)測(cè)量常見對(duì)象
1．2．2 網(wǎng)絡(luò)測(cè)量分析的問題
1．2．3 單點(diǎn)測(cè)量常用方法
1．2．4 單點(diǎn)網(wǎng)絡(luò)測(cè)量常用工具
1．2．5 分布式網(wǎng)絡(luò)測(cè)量技術(shù)
1．3 分類算法
1．3．1 決策樹
1．3．2 貝葉斯分類
1．3．3 支持向量機(jī)
1．4 C4．5算法
1．4．1 算法概述
1．4．2 決策樹的分割
1．4．3 決策樹的剪枝
1．4．4 剪枝實(shí)例
1．4．5 十折交叉驗(yàn)證方法
1．4．6 測(cè)度子集選擇方法
1．5 數(shù)據(jù)挖掘方法
1．5．1 聚類方法
1．5．2 k-近鄰算法
1．6 流數(shù)據(jù)結(jié)構(gòu)
1．6．1 Bitmap
1．6．2 混合Counter
1．6．3 Count-Min Sketch
1．6．4 Bloom Filter
1．6．5 Counter Braids
1．6．6 BRICK
1．7 流量測(cè)量的評(píng)價(jià)指標(biāo)
1．7．1 誤報(bào)率和漏報(bào)率
1．7．2 相對(duì)誤差
1．7．3 相對(duì)差
1．7．4 熵
1．8 小結(jié)
參考文獻(xiàn)
2 互聯(lián)網(wǎng)大數(shù)據(jù)分析系統(tǒng)
2．1 系統(tǒng)設(shè)計(jì)
2．1．1 總體設(shè)計(jì)
2．1．2 數(shù)據(jù)收集層設(shè)計(jì)
2．1．3 并行算法層設(shè)計(jì)
2．1．4 查詢層設(shè)計(jì)
2．2 測(cè)度定義
2．2．1 輸入測(cè)度
2．2．2 用戶行為測(cè)度
2．2．3 輸出測(cè)度
2．3 基于MapReduce測(cè)度的計(jì)算方法
2．3．1 單點(diǎn)TCP測(cè)度
2．3．2 并行TCP測(cè)度
2．3．3 流聚合并行方法
2．3．4 用戶行為測(cè)度
2．3．5 并行算法優(yōu)化
2．4 系統(tǒng)實(shí)現(xiàn)
2．4．1 存儲(chǔ)模塊實(shí)現(xiàn)
2．4．2 測(cè)度計(jì)算模塊實(shí)現(xiàn)
2．4．3 用戶行為分析模塊實(shí)現(xiàn)
2．4．4 查詢模塊實(shí)現(xiàn)
2．5 實(shí)驗(yàn)分析
2．5．1 實(shí)驗(yàn)環(huán)境
2．5．2 實(shí)驗(yàn)平臺(tái)布署
2．5．3 實(shí)驗(yàn)數(shù)據(jù)集
2．5．4 實(shí)驗(yàn)結(jié)果分析
2．5．5 可擴(kuò)展性分析
2．5．6 性能瓶頸分析
2．6 小結(jié)
參考文獻(xiàn)
3 超點(diǎn)數(shù)據(jù)流檢測(cè)方法
3．1 引言
3．2 并行數(shù)據(jù)流方法
3．2．1 方法描述
3．2．2 相關(guān)定義
3．2．3 數(shù)據(jù)結(jié)構(gòu)
3．2．4 更新歸并過程
3．2．5 鏈接度估計(jì)
3．2．6 超點(diǎn)檢測(cè)
3．3 性能分析
3．3．1 存儲(chǔ)開銷
3．3．2 準(zhǔn)確性
3．3．3 計(jì)算性能
3．4 實(shí)驗(yàn)分析
3．4．1 實(shí)驗(yàn)數(shù)據(jù)
3．4．2 評(píng)價(jià)標(biāo)準(zhǔn)
3．4．3 鏈接度估計(jì)
3．4．4 參數(shù)評(píng)估
3．4．5 算法對(duì)比
3．5 小結(jié)
參考文獻(xiàn)
4 長(zhǎng)持續(xù)時(shí)間流檢測(cè)方法
4．1 引言
4．2 問題定義
4．3 數(shù)據(jù)結(jié)構(gòu)
4．4 基于共享數(shù)據(jù)結(jié)構(gòu)的檢測(cè)方法
4．4．1 方法描述
4．4．2 方法流程
4．4．3 實(shí)驗(yàn)結(jié)果分析
4．5 基于獨(dú)立數(shù)據(jù)結(jié)構(gòu)的檢測(cè)方法
4．5．1 方法描述
4．5．2 方法流程
4．5．3 性能分析
4．5．4 實(shí)驗(yàn)結(jié)果分析
4．6 小結(jié)
參考文獻(xiàn)
5 大流的自適應(yīng)抽樣識(shí)別方法
5．1 引言
5．2 大流識(shí)別方法
5．2．1 問題定義
5．2．2 方法描述
5．2．3 自適應(yīng)抽樣
5．2．4 數(shù)據(jù)劃分
5．2．5 大流識(shí)別
5．3 實(shí)驗(yàn)結(jié)果分析
5．3．1 實(shí)驗(yàn)環(huán)境
5．3．2 估計(jì)精度
5．3．3 負(fù)載均衡
5．3．4 可擴(kuò)展性
5．3．5 數(shù)據(jù)更新
5．3．6 Reducer數(shù)量
5．4 小結(jié)
參考文獻(xiàn)
6 流量異常的信息熵檢測(cè)方法
6．1 引言
6．1．1 研究背景
6．1．2 研究意義
6．1．3 相關(guān)研究
6．1．4 本章內(nèi)容
6．2 信息熵靈敏度分析
6．2．1 理論分析
6．2．2 實(shí)驗(yàn)分析
6．2．3 分析結(jié)論
6．3 流量異常檢測(cè)方法
6．3．1 測(cè)度定義
6．3．2 基于Kmeans的閾值選擇
6．3．3 正常流量BID學(xué)習(xí)
6．3．4 驗(yàn)證方案
6．4 實(shí)驗(yàn)結(jié)果分析
6．4．1 實(shí)驗(yàn)環(huán)境
6．4．2 攻擊流量獲取
6．4．3 攻擊檢測(cè)能力評(píng)估
6．4．4 檢測(cè)準(zhǔn)確性
6．5 小結(jié)
參考文獻(xiàn)
7 網(wǎng)頁關(guān)聯(lián)分析方法
7．1 概述
7．1．1 研究背景
7．1．2 研究意義
7．1．3 相關(guān)研究
7．2 網(wǎng)頁關(guān)聯(lián)概念
7．2．1 定義
7．2．2 問題描述
7．2．3 輸入輸出描述
7．2．4 分類
7．2．5 網(wǎng)頁引用方法
7．3 基于DPI的網(wǎng)頁關(guān)聯(lián)方法
7．3．1 方法概述
7．3．2 基于HTTP頭信息的引用發(fā)現(xiàn)方法
7．3．3 請(qǐng)求網(wǎng)頁父引用提取方法
7．3．4 HTTP網(wǎng)頁解碼算法
7．3．5 基于網(wǎng)頁內(nèi)容的引用發(fā)現(xiàn)算法
7．3．6 父子引用關(guān)聯(lián)方法
7．4 DPI關(guān)聯(lián)方法實(shí)驗(yàn)分析
7．4．1 在線采集數(shù)據(jù)分析
7．4．2 被動(dòng)測(cè)量數(shù)據(jù)關(guān)聯(lián)分析
7．5 網(wǎng)頁關(guān)聯(lián)存在的問題
7．5．1 頁面懸浮廣告
7．5．2 彈出窗口廣告
7．5．3 link href
7．5．4 廣告關(guān)聯(lián)問題分析
7．6 算法改進(jìn)對(duì)比
7．6．1 測(cè)試一
7．6．2 測(cè)試二
7．6．3 測(cè)試三
7．7 基于DFI的網(wǎng)頁關(guān)聯(lián)方法
7．7．1 主流識(shí)別規(guī)則
7．7．2 輔流關(guān)聯(lián)方法
7．7．3 實(shí)驗(yàn)結(jié)果分析
7．8 小結(jié)
參考文獻(xiàn)
8 面向網(wǎng)絡(luò)流的分類方法
8．1 引言
8．1．1 測(cè)度定義
8．1．2 背景研究
8．1．3 研究意義
8．2 流特征選擇方法
8．2．1 特征選擇方法
8．2．2 混合特征選擇
8．2．3 實(shí)驗(yàn)結(jié)果分析
8．3 代價(jià)敏感分類方法
8．3．1 數(shù)據(jù)重采樣
8．3．2 代價(jià)敏感學(xué)習(xí)
8．3．3 基于Adacost的分類算法
8．3．4 實(shí)驗(yàn)結(jié)果分析
8．5 集成學(xué)習(xí)分類方法
8．5．1 集成學(xué)習(xí)基本概念
8．5．2 基于均值決策的集成學(xué)習(xí)方法
8．5．3 基于精度權(quán)重的集成學(xué)習(xí)方法
8．5．4 基于代價(jià)敏感的集成學(xué)習(xí)方法
8．5．5 實(shí)驗(yàn)結(jié)果分析
8．6 小結(jié)
參考文獻(xiàn)
9 基于覆蓋網(wǎng)監(jiān)測(cè)的故障推理
9．1 研究背景及意義
9．2 基本概念
9．2．1 社區(qū)的概念
9．2．2 覆蓋網(wǎng)
9．2．3 chord
9．3 數(shù)據(jù)處理
9．3．1 集中式處理的問題
9．3．2 負(fù)載均衡
9．3．3 癥狀數(shù)據(jù)存取索引
9．3．4 癥狀數(shù)據(jù)預(yù)處理
9．4 故障推理算法
9．4．1 客戶端故障判斷算法
9．4．2 現(xiàn)有方法
9．4．3 故障推理算法
9．4．4 算法設(shè)計(jì)
9．5 系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)
9．5．1 系統(tǒng)設(shè)計(jì)
9．5．2 實(shí)驗(yàn)工具
9．5．3 實(shí)驗(yàn)環(huán)境
9．5．4 實(shí)驗(yàn)結(jié)果分析
9．6 小結(jié)
參考文獻(xiàn)
彩插