分布式流數據處理的容錯技術研究

定　價：￥42.00

作　者：	莊園
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787121452857	出版時間：	2023-01-01	包裝：	平裝
開本：	16開	頁數：		字數：

內容簡介

　　本書主要論述分布式流數據處理的容錯技術方法。通過深入分析和探討，從理論模型、容錯策略、容錯機制和協議等方面開展相關研究工作，通過建立理論方法和核心技術，提升分布式流處理系統的可靠性，為分布式流處理容錯技術提供了一種新的思路和解決方案。本書共6章，主要內容包括緒論、支持分布式流處理的低開銷容錯機制、支持彈性流處理的自適應容錯機制、負載感知的最佳檢查點間隔策略、負載感知的近似備份策略和總結與展望。本書通過理論建模、仿真分析及實驗驗證等手段，對分布式流數據處理的容錯技術進行了有意義的探索。本書可作為高等工科院校計算機科學與技術、自動化、電子信息等專業(yè)研究生的參考書，也可供從事分布式處理系統容錯技術設計的工程技術人員自學參考。

作者簡介

　　莊園，哈爾濱工程大學計算機科學與技術學院講師，碩士生導師。2019年畢業(yè)于吉林大學計算機科學與技術專業(yè)并獲工學博士學位。主要研究方向為信息安全、區(qū)塊鏈、機器學習等。參與完成國家自然科學基金、國家自然科學青年基金、教育部高等專項科研基金、吉林省科技廳項目等多個科研項目；主持CCF科研類基金、智能船舶標準、中央高校等基金類項目；獲商業(yè)聯合協會科技進步獎一項；發(fā)表SCI、EI檢索的學術論文10余篇，申請專利4項。作為訪問學者，曾在新加坡國立大學Next++人工智能實驗室工作一年，主要研究方向為區(qū)塊鏈安全、深度學習、大數據處理，分布式計算等。

圖書目錄

目錄
第1章緒論 1
1．1 研究背景與意義 1
1．1．1 分布式流數據處理 1
1．1．2 系統可靠性問題與容錯機制 2
1．1．3 流數據處理容錯技術的挑戰(zhàn) 3
1．2 國內外研究現狀 5
1．2．1 分布式流數據處理系統 5
1．2．2 流處理自動并行化技術 9
1．2．3 容錯技術 10
1．3 本書的主要內容 13
1．4 本書的組織結構 14
第2章支持分布式流處理的低開銷容錯機制 16
2．1 引言 16
2．2 相關工作 16
2．3 通用分布式流處理框架 17
2．4 系統模型 18
2．4．1 流數據處理作業(yè) 18
2．4．2 節(jié)點運行狀態(tài) 19
2．5 結合檢查點的上游備份模型 21
2．5．1 異步檢查點 22
2．5．2 上游數據備份 22
2．6 容錯協議及算法 24
2．6．1 上游備份協議 24
2．6．2 協議開銷分析 26
2．6．3 快速恢復算法 27
2．7 實驗結果與性能分析 29
2．7．1 系統原型實現 29
2．7．2 實驗設置 29
2．7．3 容錯通信開銷 32
2．7．4 容錯延遲開銷 33
2．7．5 容錯內存開銷 33
2．7．6 故障恢復測試 34
2．8 本章小結 35
第3章支持彈性流處理的自適應容錯機制 36
3．1 引言 36
3．2 相關工作 37
3．3 彈性流處理下容錯問題建模 38
3．3．1 問題概述 38
3．3．2 備份調整函數 40
3．3．3 問題模型假設 41
3．4 支持彈性流處理的自適應容錯機制 41
3．4．1 彈性數據備份單元 42
3．4．2 數據依賴關系追蹤 44
3．4．3 在線檢查點調整機制 46
3．5 自適應容錯協議 46
3．6 實驗與結果分析 49
3．6．1 系統原型實現 49
3．6．2 實驗設置 50
3．6．3 容錯開銷測試 51
3．6．4 故障恢復測試 52
3．6．5 綜合性能比較 52
3．7 本章總結 53
第4章負載感知的最佳檢查點間隔策略 54
4．1 引言 54
4．2 相關工作 55
4．3 最佳檢查點問題建模 57
4．3．1 系統模型 57
4．3．2 處理效率 58
4．3．3 問題定義 60
4．4 動態(tài)最佳檢查點間隔（DOCI）模型 61
4．4．1 在線恢復時間預測 61
4．4．2 最佳檢查點間隔 62
4．5 DOCI調整策略 63
4．5．1 DOCI調整算法 63
4．5．2 緩存對最佳檢查點間隔的影響 66
4．6 實驗與結果分析 67
4．6．1 模擬方法 67
4．6．2 恒定輸入速率下的效率測試 68
4．6．3 工作負載波動下的效率測試 69
4．6．4 備份緩存區(qū)容量的影響測試 71
4．7 應用場景 72
4．8 本章總結 73
第5章負載感知的近似備份策略 74
5．1 引言 74
5．2 相關工作 76
5．3 系統模型介紹 77
5．3．1 流處理模型 77
5．3．2 近似備份模型 77
5．3．3 前提假設 78
5．4 容錯問題建模 79
5．4．1 備份開銷 79
5．4．2 恢復質量 80
5．4．3 問題描述 81
5．5 近似備份算法 82
5．5．1 單節(jié)點故障算法 82
5．5．2 級聯故障算法 83
5．5．3 負載傾斜備份算法 85
5．6 實驗結果與分析 87
5．6．1 實驗設置 87
5．6．2 綜合性能測試 89
5．6．3 系統性能與故障恢復精度的影響測試 91
5．6．4 負載傾斜下的性能測試 92
5．6．5 可擴展性測試 93
5．7 結論 94
第6章總結與展望 96
6．1 總結 96
6．2 未來研究展望 96
參考文獻 98