GeoMesa時空數(shù)據(jù)管理

定　價：￥79.90

作　者：	劉鈞文、梁超、俞自生
出版社：	人民郵電出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網(wǎng) (￥59.90)

ISBN：	9787115609830	出版時間：	2023-06-01	包裝：	平裝-膠訂
開本：	128開	頁數(shù)：		字數(shù)：

內容簡介

　　這是一本專門為智慧城市開發(fā)和管理人員打造的GeoMesa學習圖書。本書的重點不僅包括宏觀的行業(yè)環(huán)境，還包括對GeoMesa內部原理的剖析，力圖幫助讀者搭建GeoMesa以及時空數(shù)據(jù)高效管理的完整知識體系和技能樹。本書首先從GeoMesa的歷史及上手教程入手。然后，為了加強讀者對入門代碼中內容的理解，本書對GeoTools的基本概念進行介紹。接著，為了進一步引導讀者對時空數(shù)據(jù)管理建立認知，本書詳細闡述GeoMesa核心的時空索引。除了理論方面的介紹，本書還介紹GeoMesa數(shù)據(jù)寫入、數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析、數(shù)據(jù)工作流以及數(shù)據(jù)存儲方案的使用方法和原理，以及GeoMesa對分布式計算的擴展。后，作者針對實際操作時遇到的典型問題，給出詳細的解決方案。

作者簡介

　　劉鈞文哈爾濱工業(yè)大學建筑學碩士，科技算法研究員，中國計算機學會（CCF）會員。負責時空數(shù)據(jù)引擎的開發(fā)和時空數(shù)據(jù)產(chǎn)品的研發(fā)工作。研究興趣包括：時空數(shù)據(jù)的管理、時空數(shù)據(jù)庫、數(shù)據(jù)庫優(yōu)化器的原理及其實現(xiàn)、分布式計算以及城市計算。梁超人文地理與城鄉(xiāng)規(guī)劃專業(yè)，廣東國地資源與環(huán)境研究院研究員，中國計算機學會（CCF會員）。擅長機器學習與GIS空間分析。研究興趣包括：城市大數(shù)據(jù)與機器學習、時空數(shù)據(jù)挖掘以及城市計算。俞自生西安電子科技大學計算機本碩，中國計算機學會（CCF）會員，城市算法研究員，主要參與時空數(shù)據(jù)引擎的設計與開發(fā)，以及時空算法落地與實現(xiàn)等工作，研究興趣包括：城市計算、時空數(shù)據(jù)管理與分析、分布式數(shù)據(jù)庫以及復雜網(wǎng)絡等。

圖書目錄

第 1章　GeoMesa的前世今生 1
1.1　時空數(shù)據(jù)背景 1
1.1.1　時空數(shù)據(jù)簡介 1
1.1.2　時空數(shù)據(jù)處理過程 2
1.1.3　時空數(shù)據(jù)庫的產(chǎn)生 3
1.2　傳統(tǒng)時空數(shù)據(jù)庫的瓶頸 4
1.2.1　無法支持海量數(shù)據(jù) 4
1.2.2　無法進行彈性擴展 5
1.2.3　流式數(shù)據(jù)的支持受限 5
1.2.4　改造成本較高 5
1.3　GeoMesa概述 5
1.3.1　GeoMesa橫空出世 5
1.3.2　GeoMesa設計思想 6
1.3.3　GeoMesa核心特性 8
1.4　GeoMesa生態(tài)圈 9
1.4.1　GeoMesa支持的第三方組件 9
1.4.2　使用GeoMesa的產(chǎn)品 10
1.5　本章小結 10
第 2章　GeoMesa上手教程 11
2.1　下載、安裝以及配置 12
2.1.1　下載和安裝 12
2.1.2　GeoMesa-HBase的配置 13
2.2　通過命令行使用GeoMesa-HBase 16
2.2.1　環(huán)境和狀態(tài)命令 16
2.2.2　數(shù)據(jù)模式相關命令 17
2.2.3　數(shù)據(jù)編輯命令 20
2.2.4　查詢導出命令 21
2.2.5　分析命令 23
2.2.6　定義SimpleFeatureType 25
2.2.7　日志異常處理 25
2.2.8　GeoMesa Scala控制臺 26
2.2.9　GeoTools 命令行工具 28
2.3　快速入門 30
2.4　通過Java API使用GeoMesa-HBase 33
2.4.1　Maven的配置與使用 33
2.4.2　Java API的使用示例 33
2.5　本章小結 35
第3章　GeoTools基本概念 36
3.1　空間矢量數(shù)據(jù)概述 36
3.1.1　矢量數(shù)據(jù)簡介 36
3.1.2　OpenGIS規(guī)范 37
3.1.3　GeoTools概述 38
3.2　DataStore 40
3.2.1　DataStore簡介 40
3.2.2　DataStore使用 40
3.3　SimpleFeatureType 41
3.3.1　SimpleFeatureType概念 42
3.3.2　SimpleFeatureType使用 43
3.4　SimpleFeature 44
3.4.1　SimpleFeature概念 44
3.4.2　SimpleFeature使用 45
3.5　GeoTools的內部邏輯 45
3.5.1　獲取DataStore實例 46
3.5.2　創(chuàng)建Schema 46
3.5.3　數(shù)據(jù)寫入 47
3.5.4　數(shù)據(jù)讀取 50
3.6　本章小結 51
第4章　GeoMesa的時空索引 52
4.1　時空索引概述 52
4.1.1　索引的基礎知識 53
4.1.2　傳統(tǒng)的空間索引 54
4.1.3　空間填充曲線 56
4.1.4　Google S2索引與Uber H3索引 64
4.2　GeoMesa的索引實現(xiàn) 66
4.2.1　GeoMesa中索引的類型 66
4.2.2　GeoMesa索引具體的使用方法 67
4.3　GeoMesa的索引查詢 69
4.3.1　條件分解 69
4.3.2　索引選擇 70
4.4　GeoMesa的索引配置 72
4.4.1　配置FeatureID編碼方式 72
4.4.2　配置Geometry序列化 72
4.4.3　配置列族 73
4.4.4　自定義創(chuàng)建索引 74
4.4.5　配置“Z”索引分片個數(shù) 74
4.4.6　配置“Z”索引時間間隔 74
4.4.7　配置“XZ”索引精度 75
4.4.8　配置ATTR索引分片個數(shù) 75
4.4.9　配置ATTR字段基數(shù) 75
4.4.10　配置索引分區(qū) 76
4.4.11　配置索引拆分策略 76
4.4.12　配置查詢攔截器 76
4.4.13　配置統(tǒng)計緩存 77
4.4.14　配置時間優(yōu)先級 77
4.4.15　配置混合幾何類型 78
4.5　本章小結 78
第5章　數(shù)據(jù)寫入 79
5.1　數(shù)據(jù)寫入概述 79
5.1.1　數(shù)據(jù)寫入流程 79
5.1.2　使用示例 80
5.2　生成ID信息 82
5.2.1　用戶指定 82
5.2.2　隨機生成 82
5.3　獲取寫入對象 84
5.3.1　寫入表的對象 84
5.3.2　寫入分區(qū)表的對象 85
5.4　寫入存儲引擎 87
5.4.1　獲取轉換器 88
5.4.2　構建索引 89
5.4.3　數(shù)據(jù)寫入 92
5.5　更新統(tǒng)計信息 94
5.5.1　構造統(tǒng)計查詢條件 94
5.5.2　執(zhí)行統(tǒng)計操作 97
5.6　數(shù)據(jù)組織方式 98
5.6.1　元數(shù)據(jù)管理 98
5.6.2　實體數(shù)據(jù)管理 99
5.7　本章小結 100
第6章　數(shù)據(jù)查詢 101
6.1　數(shù)據(jù)查詢概述 101
6.2　查詢準備 102
6.2.1　獲取對應的DataStore對象 102
6.2.2　獲取SimpleFeatureType信息 104
6.2.3　查詢校驗 105
6.3　查詢計劃生成 106
6.3.1　準備查詢計劃 106
6.3.2　結合索引生成查詢范圍 110
6.3.3　獲取底層表信息 114
6.3.4　構造存儲引擎查詢信息 115
6.4　執(zhí)行并獲取數(shù)據(jù) 119
6.4.1　執(zhí)行查詢 120
6.4.2　獲取數(shù)據(jù) 120
6.5　本章小結 122
第7章　數(shù)據(jù)統(tǒng)計 123
7.1　數(shù)據(jù)統(tǒng)計概述 123
7.2　統(tǒng)計功能 124
7.3　統(tǒng)計信息獲取方法 125
7.3.1　通過Hints來獲取統(tǒng)計信息 125
7.3.2　通過接口來獲取統(tǒng)計信息 126
7.4　執(zhí)行流程 127
7.4.1　流程概述 127
7.4.2　命令解析 128
7.4.3　執(zhí)行統(tǒng)計 129
7.4.4　統(tǒng)計信息的序列化和反序列化過程 130
7.5　本章小結 136
第8章　數(shù)據(jù)分析 137
8.1　空間數(shù)據(jù)分析 137
8.1.1　空間數(shù)據(jù)分析概述 137
8.1.2　GeoMesa中對空間數(shù)據(jù)分析操作 139
8.2　熱力圖分析操作 140
8.2.1　熱力圖分析概述 140
8.2.2　GeoMesa中熱力圖分析功能的使用方法 141
8.3　KNN查詢操作 143
8.3.1　KNN概述 143
8.3.2　GeoMesa中KNN查詢功能的使用方法 145
8.4　近似查詢操作 146
8.4.1　近似查詢概述 147
8.4.2　GeoMesa中近似查詢功能的使用方法 148
8.5　本章小結 149
第9章　數(shù)據(jù)工作流 150
9.1　數(shù)據(jù)工作流概述 150
9.2　NiFi概述 151
9.2.1　NiFi簡介 151
9.2.2　NiFi的特性 153
9.2.3　Processor機制 153
9.3　GeoMesa與NiFi整合 154
9.3.1　NiFi自定義數(shù)據(jù)處理器 155
9.3.2　GeoMesa擴展結構 160
9.4　GeoMesa NiFi數(shù)據(jù)處理算子 160
9.4.1　轉換器處理器 160
9.4.2　記錄處理器 161
9.4.3　Avro 處理器 162
9.4.4　記錄更新處理器 162
9.4.5　數(shù)據(jù)源處理器 163
9.4.6　轉換處理器 164
9.5　本章小結 164
第 10章　GeoMesa的數(shù)據(jù)存儲方案 165
10.1　使用HBase存儲數(shù)據(jù) 165
10.1.1　HBase概述 165
10.1.2　GeoMesaHBase DataStore簡介 166
10.2　使用Kafka存儲數(shù)據(jù) 168
10.2.1　Kafka概述 168
10.2.2　GeoMesa Kafka DataStore簡介 169
10.3　使用Redis存儲數(shù)據(jù) 172
10.3.1　Redis概述 172
10.3.2　GeoMesa Redis DataStore簡介 172
10.4　使用CQEngine存儲數(shù)據(jù) 174
10.4.1　CQEngine概述 174
10.4.2　GeoMesa CQEngine DataStore簡介 174
10.5　使用FileSystem存儲數(shù)據(jù) 176
10.5.1　FileSystem概述 176
10.5.2　GeoMesa FSDS簡介 176
10.6　使用Lambda存儲數(shù)據(jù) 181
10.6.1　Lambda概述 181
10.6.2　GeoMesa Lambda DataStore簡介 182
10.7　本章小結 184
第 11章　分布式計算 185
11.1　Spark和Spark SQL 185
11.1.1　Spark概述 185
11.1.2　Spark SQL概述 186
11.2　GeoMesa接入Spark的方式 188
11.2.1　GeoMesa Spark整體架構 188
11.2.2　GeoMesa對RDD的擴展 189
11.2.3　GeoMesa對JTS的擴展 192
11.2.4　GeoMesa對Spark SQL空間能力的擴展 196
11.3　空間數(shù)據(jù)計算函數(shù) 207
11.3.1　空間數(shù)據(jù)構建函數(shù) 207
11.3.2　空間數(shù)據(jù)信息抽取函數(shù) 208
11.3.3　空間數(shù)據(jù)轉換函數(shù) 208
11.3.4　空間數(shù)據(jù)輸出函數(shù) 209
11.3.5　空間數(shù)據(jù)關系函數(shù) 209
11.3.6　空間數(shù)據(jù)處理函數(shù) 210
11.4　本章小結 210
第 12章　操作時遇到的若干問題 211
12.1　GeoMesa寫入數(shù)據(jù)時出現(xiàn)的問題 211
12.1.1　Region繁忙的問題 211
12.1.2　數(shù)據(jù)記錄過大的問題 216
12.2　GeoMesa查詢數(shù)據(jù)時出現(xiàn)的問題 218
12.2.1　數(shù)據(jù)采樣的問題 219
12.2.2　數(shù)據(jù)分頁的問題 221
12.2.3　利用Spark查詢GeoMesa時，無法設置返回數(shù)據(jù)量上限的問題 225
12.2.4　查詢時數(shù)據(jù)不一致的問題 230
12.3　GeoMesa分析統(tǒng)計時出現(xiàn)的問題 233
12.4　本章小結 237
參考文獻 238