注冊 | 登錄讀書好,好讀書,讀好書!
讀書網-DuShu.com
當前位置: 首頁出版圖書科學技術計算機/網絡行業(yè)軟件及應用海量射電天文觀測數(shù)據(jù)的存儲與處理研究

海量射電天文觀測數(shù)據(jù)的存儲與處理研究

海量射電天文觀測數(shù)據(jù)的存儲與處理研究

定 價:¥39.00

作 者: 石聰明
出版社: 科學技術文獻出版社
叢編項:
標 簽: 暫缺

購買這本書可以去


ISBN: 9787518991747 出版時間: 2022-09-01 包裝: 平裝-膠訂
開本: 16開 頁數(shù): 字數(shù):  

內容簡介

  本書充分應用信息管理及相關學科知識,根據(jù)當前天文海量數(shù)據(jù)管理中存在的關鍵問題,重點開展存儲與檢索、傳輸、歸檔3個方面的關鍵技術研究。最后,以兩個射電望遠鏡的數(shù)據(jù)管理為例[明安圖射電頻譜日像儀(MUSER)和平方公里陣列(SKA)射電望遠鏡],通過數(shù)據(jù)仿真、實例化測試、性能對比、理論分析來驗證本書相關內容的正確性。具體說明如下:①針對海量射電天文觀測數(shù)據(jù)記錄的高效存儲與檢索需求,基于觀測數(shù)據(jù)具有固定的采樣間隔和固定數(shù)量的連續(xù)觀測數(shù)據(jù)記錄按序存放在文件中的時序數(shù)據(jù)特征,本書提出了一種以集合中的補集思想為核心的面向時序數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng),即負數(shù)據(jù)庫系統(tǒng)。負數(shù)據(jù)庫系統(tǒng)將文件中存在記錄及首尾記錄之間丟失記錄的元數(shù)據(jù)信息視為全集,把文件中首尾記錄之間丟失記錄的元數(shù)據(jù)信息看成補集,通過補集構建出來的文件邏輯結構關系,能夠推導出文件中存在記錄的元數(shù)據(jù)信息。本書給出完整的形式化定義及嚴格的理論證明。實測結果表明:在記錄入庫、數(shù)據(jù)檢索及要入庫的記錄數(shù)方面,負數(shù)據(jù)庫系統(tǒng)比需要存儲文件中所有存在記錄的元數(shù)據(jù)信息的常用數(shù)據(jù)管理系統(tǒng)分別快18.8倍、快1.5~6.9倍及減少(N-2)/N×100%(N指文件中的固定記錄數(shù))。進而說明,負數(shù)據(jù)庫系統(tǒng)能夠在大幅降低存儲開銷和記錄數(shù)的同時提供較高的檢索性能。②針對海量射電天文觀測數(shù)據(jù)的跨區(qū)域高速傳輸需求,本書提出帶狀態(tài)檢測和重傳功能的兩路異步消息傳輸模型——高效消息傳輸模型。該模型是指用兩路異步消息傳輸來分別單向高速傳輸數(shù)據(jù)消息和反饋消息,通過超時重傳來確保數(shù)據(jù)消息送達接收方,以及通過實時狀態(tài)檢測來決定是否繼續(xù)向接收方發(fā)送消息。該模型能夠克服當前很多遠程數(shù)據(jù)傳輸技術都使用的出錯重傳方法存在的需要等待對端反饋消息而降低數(shù)據(jù)消息傳輸效率的不足?;诟咝鬏斈P蛯崿F(xiàn)了一套高效數(shù)據(jù)傳輸系統(tǒng),該系統(tǒng)的性能測試結果表明:在傳輸文件為數(shù)百kB時,該系統(tǒng)獲得的平均傳輸速度比現(xiàn)有系統(tǒng)快將近40倍;同時,在數(shù)百MB這個量級和使用較少的并發(fā)數(shù)時,該系統(tǒng)獲得的平均傳輸速度達到1172 MB/s(該速度基本上實現(xiàn)了10 Gb/s網絡帶寬的滿負載),比現(xiàn)有系統(tǒng)快將近3.4倍。進而說明,實現(xiàn)的高效數(shù)據(jù)傳輸系統(tǒng)有效地提高了數(shù)據(jù)傳輸性能,縮短了數(shù)據(jù)傳輸時間。③針對海量射電天文觀測數(shù)據(jù)在進行高可靠性歸檔時盡可能降低數(shù)據(jù)冗余的需求,本書提出基于糾刪碼的歸檔模型——低冗余歸檔模型。該模型是指將糾刪碼技術集成到帶狀態(tài)檢測和重傳功能的兩路異步消息傳輸模型中的數(shù)據(jù)消息接收方而形成的歸檔模型。該模型能夠克服現(xiàn)有系統(tǒng)使用副本技術歸檔時存在的高數(shù)據(jù)冗余的不足。基于低冗余歸檔模型和RS(4,2)算法實現(xiàn)了一套低冗余歸檔系統(tǒng),該系統(tǒng)的性能測試結果表明:在相同的實驗環(huán)境下,該系統(tǒng)獲得的平均異地歸檔速度是現(xiàn)有系統(tǒng)未啟用3副本策略時的1.4倍,且只需要增加50%的額外存儲開銷就能達到基于3副本策略時需要200%的額外存儲開銷才能達到的數(shù)據(jù)可靠性;并發(fā)數(shù)和HWM是該系統(tǒng)調優(yōu)的關鍵參數(shù)。進而說明,實現(xiàn)的低冗余歸檔系統(tǒng)具有較高的歸檔速度,能以較低的數(shù)據(jù)冗余獲得較高的數(shù)據(jù)可靠性。

作者簡介

暫缺《海量射電天文觀測數(shù)據(jù)的存儲與處理研究》作者簡介

圖書目錄

第一章 緒論
1.1 研究背景
1.1.1 大數(shù)據(jù)時代的信息管理
1.1.2 天文大數(shù)據(jù)時代對信息管理的需求
1.1.3 天文大數(shù)據(jù)處理面臨的問題與困難
1.2 研究意義及價值
1.3 國內外研究現(xiàn)狀
1.3.1 海量數(shù)據(jù)的存儲
1.3.2 海量數(shù)據(jù)的處理
1.3.3 海量數(shù)據(jù)的傳輸
1.3.4 存儲/歸檔系統(tǒng)中的數(shù)據(jù)冗余技術
1.4 研究內容及思路
1.5 結構
第二章 負數(shù)據(jù)庫模型與原理
2.1 時序數(shù)據(jù)的基本定義
2.2 時序數(shù)據(jù)管理
2.2.1 時序數(shù)據(jù)文件中的術語
2.2.2 與時序數(shù)據(jù)相關的函數(shù)定義
2.2.3 時序數(shù)據(jù)組織結構
2.2.4 有損時序數(shù)據(jù)文件
2.2.5 時序數(shù)據(jù)管理
2.3 負數(shù)據(jù)庫
2.3.1 記錄結構
2.3.2 記錄入庫
2.3.3 數(shù)據(jù)檢索
2.3.3.1 獲取符合條件的Value1實例
2.3.3.2 獲取精準位置序號范圍
2.3.3.3 推導出符合檢索條件的記錄集合
2.4 性能分析與討論
2.4.1 記錄數(shù)分析
2.4.2 最優(yōu)性能分析
2.4.3 最差性能分析
2.4.4 討論
2.5 本章小結
第三章 觀測數(shù)據(jù)遠程傳輸
3.1 應用需求
3.2 NGAS介紹
3.2.1 數(shù)據(jù)歸檔功能
3.2.2 數(shù)據(jù)同步功能
3.2.3 遠程傳輸
3.3 消息傳輸模型
3.3.1 帶重傳的同步消息傳輸模型
3.3.2 帶狀態(tài)檢測和重傳功能的兩路異步消息傳輸模型
3.4 數(shù)據(jù)傳輸系統(tǒng)的設計與實現(xiàn)
3.4.1 Pub-Server與Sub-Server的設計
3.4.2 Pub-Server與Sub-Server的實現(xiàn)
3.4.3 Subscriber-Server與Subscriber-Client的設計與
實現(xiàn)
3.5 性能測試
3.5.1 單機環(huán)境下的性能測試
3.5.2 模擬環(huán)境下的性能測試
3.6 分析與討論
3.7 本章小結
第四章 觀測數(shù)據(jù)低冗余歸檔
4.1 應用需求
4.2 糾刪碼算法選擇
4.2.1 相關概念和性能指標
4.2.2 算法分析
4.3 歸檔模型及其歸檔系統(tǒng)
4.3.1 歸檔模型
4.3.2 歸檔系統(tǒng)的設計與實現(xiàn)
4.4 性能測試
4.4.1 實驗環(huán)境
4.4.2 小文件對性能的影響
4.4.3 文件大小對性能的影響
4.4.4 并發(fā)數(shù)對性能的影響
4.4.5 HWM對性能的影響
4.5 分析與討論
4.6 本章小結
第五章 負數(shù)據(jù)庫在MUSER中的應用
5.1 明安圖射電頻譜日像儀簡介
5.2 MUSER負數(shù)據(jù)庫的設計與實現(xiàn)
5.2.1 記錄結構的設計
5.2.2 記錄結構的實現(xiàn)
5.2.3 記錄入庫
5.2.4 數(shù)據(jù)檢索
5.3 3種系統(tǒng)的部署
5.4 MUSER負數(shù)據(jù)庫的性能測試
5.4.1 記錄入庫性能
5.4.2 數(shù)據(jù)檢索性能
5.4.3 丟幀率對檢索性能的影響
5.5 分析與討論
5.6 本章小結
第六章 結論與展望
6.1 研究結論
6.2 不足與展望
參考文獻

本目錄推薦

掃描二維碼
Copyright ? 讀書網 www.talentonion.com 2005-2020, All Rights Reserved.
鄂ICP備15019699號 鄂公網安備 42010302001612號