大規(guī)模分布式內(nèi)容檢索技術(shù)

序
前言
第1章 緒論
1.1 對(duì)等網(wǎng)絡(luò)概述
1.2 基于對(duì)等模式的大規(guī)模分布式文本內(nèi)容檢索
1.3 大規(guī)模分布式文本內(nèi)容檢索研究面臨的挑戰(zhàn)
1.4 大規(guī)模分布式文本內(nèi)容檢索技術(shù)分類(lèi)
1.4.1 基于結(jié)構(gòu)化分布式哈希表的分布式全局倒排索引
1.4.2 基于非結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)的聯(lián)邦式搜索網(wǎng)絡(luò)
1.4.3 混合對(duì)等網(wǎng)絡(luò)搜索引擎
1.5 本書(shū)內(nèi)容
參考文獻(xiàn)
第2章 分布式哈希表及單關(guān)鍵字全局索引
2.1 分布式哈希表
2.1.1 Chord：基于二分查找的環(huán)狀對(duì)等結(jié)構(gòu)
2.1.2 CAN：基于多維空間劃分的對(duì)等結(jié)構(gòu)
2.1.3 Pastry：基于多分查找的前綴匹配對(duì)等結(jié)構(gòu)
2.1.4 Tapestry：基于多分查找的對(duì)等結(jié)構(gòu)
2.2 現(xiàn)有分布式哈希表算法的比較
2.3 利用分布式哈希表構(gòu)建單關(guān)鍵字全局索引
2.3.1 eSearch：基于分布式哈希表的水平索引
2.3.2 Minerva：在查詢(xún)中挖掘關(guān)聯(lián)關(guān)鍵字
2.3.3 局限性
參考文獻(xiàn)
第3章 布隆濾波
3.1 哈希編碼的時(shí)間/空間權(quán)衡
3.1.1 一種經(jīng)典的哈希編碼方法
3.1.2 兩種存在誤判率的哈希編碼方法
3.1.3 計(jì)算因子
3.1.4 三種哈希編碼方法的數(shù)學(xué)分析
3.1.5 時(shí)空性能比較
3.2 布隆濾波的基本理論
3.2.1 布隆濾波概念
3.2.2 位向量長(zhǎng)度的下界
3.2.3 布隆濾波與集合運(yùn)算
3.3 布隆濾波的擴(kuò)展形式
3.3.1 計(jì)數(shù)布隆濾波
3.3.2 壓縮布隆濾波
3.3.3 動(dòng)態(tài)布隆濾波
3.4 布隆濾波的應(yīng)用
3.4.1 早期應(yīng)用
3.4.2 分布式緩存
3.4.3 P2P網(wǎng)絡(luò)
3.4.4 資源路由
3.4.5 數(shù)據(jù)包路由
3.4.6 基礎(chǔ)設(shè)施測(cè)量
參考文獻(xiàn)
第4章 基于分布式哈希表單關(guān)鍵字索引的搜索
4.1 結(jié)構(gòu)化對(duì)等網(wǎng)多關(guān)鍵字檢索面臨的挑戰(zhàn)
4.2 Top-k查詢(xún)策略
4.2.1 倒排索引
4.2.2 Top-k裁剪算法
4.2.3 性能評(píng)估
4.3 PWEB系統(tǒng)
4.3.1 PWEB網(wǎng)絡(luò)結(jié)構(gòu)
4.3.2 多關(guān)鍵字搜索通信開(kāi)銷(xiāo)優(yōu)化策略
4.3.3 擴(kuò)展性算法
4.3.4 分布式交集運(yùn)算執(zhí)行順序優(yōu)化策略
4.3.5 搜集關(guān)鍵字全局統(tǒng)計(jì)信息
4.3.6 模擬仿真方法
4.3.7 性能評(píng)估
4.4 小結(jié)
參考文獻(xiàn)
第5章 多關(guān)鍵字全局索引及搜索
5.1 分布式關(guān)鍵字集索引面臨的挑戰(zhàn)
5.2 文本檢索中的關(guān)鍵字權(quán)重方法
5.2.1 關(guān)鍵字權(quán)重模型TF×IDF
5.2.2 理解逆文檔頻率
5.2.3 用逆向總關(guān)鍵字頻率替換逆文檔頻率的嘗試
5.2.4 詞頻在相關(guān)權(quán)重模型中的探索
5.3 HDK：基于高區(qū)分關(guān)鍵字集的索引技術(shù)
5.3.1 關(guān)鍵字集倒排索引
5.3.2 高區(qū)分關(guān)鍵字集索引
5.3.3 基于高區(qū)分關(guān)鍵字集索引的搜索
5.3.4 擴(kuò)展性分析
5.3.5 性能評(píng)估
5.4 TSS：基于關(guān)鍵字集索引的P2P搜索系統(tǒng)
5.4.1 TSS系統(tǒng)結(jié)構(gòu)
5.4.2 分布式關(guān)鍵字集索引
5.4.3 模擬測(cè)試方法
5.4.4 性能評(píng)估
參考文獻(xiàn)
第6章 基于復(fù)制的聯(lián)邦式對(duì)等搜索策略
6.1 理論分析
6.1.1 模型建立
6.1.2 均勻復(fù)制策略和比例復(fù)制策略
6.1.3 平方根復(fù)制策略
6.1.4 混合復(fù)制策略
6.1.5 分布式復(fù)制算法的實(shí)現(xiàn)
6.2 基于隨機(jī)游走的隨機(jī)復(fù)制策略
6.2.1 生日悖論和理論下界
6.2.2 隨機(jī)游走復(fù)制策略和搜索協(xié)議
6.2.3 性能評(píng)估
6.3 BubbleStorm：基于隨機(jī)多圖的概率窮盡搜索策略
6.3.1 副本數(shù)量的確定
6.3.2 網(wǎng)絡(luò)大小的測(cè)量
6.3.3 隨機(jī)多圖與隨機(jī)采樣
6.3.4 洪泛和隨機(jī)游走的完美結(jié)合
6.3.5 系統(tǒng)分析
6.3.6 性能評(píng)估
6.4 BloomCast：基于輕量級(jí)分布式哈希表的隨機(jī)采樣
6.4.1 BloomCast網(wǎng)絡(luò)結(jié)構(gòu)
6.4.2 網(wǎng)絡(luò)結(jié)點(diǎn)數(shù)量估計(jì)
6.4.3 隨機(jī)結(jié)點(diǎn)采樣
6.4.4 基于布隆濾波的復(fù)制算法
6.4.5 多關(guān)鍵字搜索
6.4.6 性能評(píng)估
6.5 PlanetP：基于全局摘要索引的復(fù)制策略
6.5.1 全局目錄索引復(fù)制
6.5.2 結(jié)點(diǎn)排序模型
6.5.3 查詢(xún)處理算法
6.5.4 性能評(píng)估
參考文獻(xiàn)
第7章 基于內(nèi)容路由的聯(lián)邦式搜索策略
7.1 基于語(yǔ)言模型的路由選擇
7.1.1 聯(lián)邦式搜索引擎的兩層結(jié)構(gòu)
7.1.2 語(yǔ)言模型
7.1.3 相對(duì)熵
7.1.4 搜索算法
7.1.5 性能評(píng)估
7.2 基于語(yǔ)義小世界模型的聯(lián)邦式對(duì)等搜索
7.2.1 語(yǔ)義空間和向量
7.2.2 構(gòu)造語(yǔ)義小世界
7.2.3 降低語(yǔ)義小世界的維度
7.2.4 基于語(yǔ)義小世界的搜索
7.2.5 性能評(píng)估
7.3 基于興趣局部性的路由
7.3.1 興趣局部性
7.3.2 基于興趣局部性的拓?fù)浜吐酚?br />7.3.3 性能評(píng)估
7.4 SemreX系統(tǒng)
7.4.1 SemreX系統(tǒng)模型
7.4.2 語(yǔ)義覆蓋網(wǎng)
7.4.3 基于語(yǔ)義覆蓋網(wǎng)的查詢(xún)搜索算法
7.4.4 性能評(píng)估
參考文獻(xiàn)
第8章 混合式對(duì)等搜索策略
8.1 混合對(duì)等搜索面臨的挑戰(zhàn)
8.2 基于預(yù)先探測(cè)的混合策略
8.2.1 Boon Thau Loo的Gnutella實(shí)驗(yàn)
8.2.2 SimplelHbrid混合P2P搜索策略
8.2.3 性能評(píng)估
8.3 基于Gossip的混合搜索選擇
8.3.1 收集全局統(tǒng)計(jì)信息
8.3.2 使用全局信息進(jìn)行搜索選擇
8.3.3 洪泛閾值的調(diào)節(jié)
8.3.4 性能評(píng)估
8.4 難度感知的混合式搜索策略
8.4.1 很多復(fù)本≠很多結(jié)點(diǎn)
8.4.2 QRank設(shè)計(jì)
8.4.3 用QRank進(jìn)行混合查詢(xún)
8.4.4 自適應(yīng)混合查詢(xún)
8.4.5 QRank仿真器設(shè)計(jì)
8.4.6 性能評(píng)估
參考文獻(xiàn)
第9章 大規(guī)模在線社會(huì)網(wǎng)絡(luò)搜索
9.1 大規(guī)模在線社會(huì)網(wǎng)絡(luò)搜索面臨的挑戰(zhàn)
9.2 在線社會(huì)網(wǎng)絡(luò)系統(tǒng)研究現(xiàn)狀
9.3 流行在線社會(huì)網(wǎng)絡(luò)的數(shù)據(jù)劃分與定位
9.4 大規(guī)模在線社會(huì)網(wǎng)絡(luò)內(nèi)容搜索關(guān)鍵技術(shù)
9.4.1 流式文本摘要技術(shù)
9.4.2 基于摘要索引的排序算法
9.4.3 多跳鄰居摘要聚合技術(shù)
9.4.4 基于社區(qū)局部性降低摘要索引開(kāi)銷(xiāo)
參考文獻(xiàn)