Elasticsearch實(shí)戰(zhàn)（第2版）

目錄

第 1章　概述 1
1.1　一個(gè)好的搜索引擎是怎樣的 1
1.2　搜索已成為新常態(tài) 2
1.2.1　結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化（全文）數(shù)據(jù) 3
1.2.2　數(shù)據(jù)庫(kù)支持的搜索 4
1.2.3　數(shù)據(jù)庫(kù)與搜索引擎 5
1.3　現(xiàn)代搜索引擎 6
1.3.1　功能 6
1.3.2　流行的搜索引擎 7
1.4　Elasticsearch概述 7
1.4.1　核心領(lǐng)域 8
1.4.2　Elastic Stack 9
1.4.3　Elasticsearch的使用場(chǎng)景 10
1.4.4　不適合Elasticsearch的使用場(chǎng)景 11
1.4.5　誤解 12
1.5　業(yè)界案例 13
1.6　生成式人工智能與現(xiàn)代搜索 14
1.7　小結(jié) 16
第 2章　開始使用 17
2.1　往Elasticsearch中導(dǎo)入數(shù)據(jù) 18
2.1.1　在線書店 18
2.1.2　索引文檔 19
2.1.3　索引第 一個(gè)文檔 22
2.1.4　索引更多文檔 25
2.2　檢索數(shù)據(jù) 26
2.2.1　計(jì)算文檔數(shù)量 26
2.2.2　檢索文檔 27
2.3　全文搜索 31
2.3.1　匹配查詢：按作者找書 31
2.3.2　帶有AND運(yùn)算符的匹配查詢 32
2.3.3　使用_bulk API索引文檔 34
2.3.4　多字段搜索 35
2.3.5　提升結(jié)果 36
2.3.6　搜索短語(yǔ) 36
2.3.7　處理缺失單詞的短語(yǔ) 38
2.3.8　處理拼寫錯(cuò)誤 38
2.4　詞項(xiàng)級(jí)查詢 39
2.4.1　term查詢 40
2.4.2　range查詢 41
2.5　復(fù)合查詢 41
2.5.1　bool查詢 42
2.5.2　must子句 43
2.5.3　must_not子句 44
2.5.4　should子句 44
2.5.5　filter子句 45
2.6　聚合 46
2.6.1　指標(biāo)聚合 47
2.6.2　桶聚合 49
2.7　小結(jié) 52
第3章　架構(gòu) 53
3.1　概述 54
3.1.1　數(shù)據(jù)導(dǎo)入 54
3.1.2　數(shù)據(jù)處理 55
3.1.3　數(shù)據(jù)輸出 58
3.2　基本組件 58
3.2.1　文檔 58
3.2.2　索引 62
3.2.3　數(shù)據(jù)流 63
3.2.4　分片和副本 65
3.2.5　節(jié)點(diǎn)和集群 70
3.3　倒排索引 75
3.4　相關(guān)性 77
3.4.1　相關(guān)性分?jǐn)?shù) 77
3.4.2　相關(guān)性（相似性）算法 78
3.5　路由算法 82
3.6　擴(kuò)展 83
3.6.1　縱向擴(kuò)展（垂直擴(kuò)展） 83
3.6.2　橫向擴(kuò)展（水平擴(kuò)展） 84
3.7　小結(jié) 84
第4章　映射 85
4.1　概述 86
4.1.1　映射定義 86
4.1.2　首次索引文檔 87
4.2　動(dòng)態(tài)映射 89
4.2.1　推斷類型的機(jī)制 90
4.2.2　動(dòng)態(tài)映射的局限性 91
4.3　顯式映射 93
4.3.1　使用索引API定義映射 94
4.3.2　使用映射API更新模式 95
4.3.3　不允許修改現(xiàn)有字段 97
4.3.4　類型強(qiáng)制轉(zhuǎn)換 98
4.4　數(shù)據(jù)類型 98
4.5　核心數(shù)據(jù)類型 100
4.5.1　文本數(shù)據(jù)類型 100
4.5.2　關(guān)鍵詞數(shù)據(jù)類型 104
4.5.3　日期數(shù)據(jù)類型 106
4.5.4　數(shù)值數(shù)據(jù)類型 108
4.5.5　布爾數(shù)據(jù)類型 109
4.5.6　范圍數(shù)據(jù)類型 110
4.5.7　IP地址數(shù)據(jù)類型 111
4.6　高級(jí)數(shù)據(jù)類型 112
4.6.1　geo_point數(shù)據(jù)類型 112
4.6.2　object數(shù)據(jù)類型 114
4.6.3　nested數(shù)據(jù)類型 118
4.6.4　flattened數(shù)據(jù)類型 120
4.6.5　join數(shù)據(jù)類型 122
4.6.6　search_as_you_type數(shù)據(jù)類型 124
4.7　擁有多種數(shù)據(jù)類型的字段 126
4.8　小結(jié) 127
第5章　處理文檔 128
5.1　索引文檔 129
5.1.1　文檔API 129
5.1.2　索引機(jī)制 135
5.1.3　自定義刷新過程 137
5.2　檢索文檔 138
5.2.1　使用單文檔API 139
5.2.2　檢索多個(gè)文檔 140
5.2.3　ids查詢 141
5.3　操縱響應(yīng) 142
5.3.1　從響應(yīng)中移除元數(shù)據(jù) 142
5.3.2　抑制源數(shù)據(jù) 143
5.3.3　包含或排除字段 144
5.4　更新文檔 146
5.4.1　文檔更新機(jī)制 146
5.4.2　_update API 147
5.4.3　腳本更新 148
5.4.4　替換文檔 152
5.4.5　更新插入 153
5.4.6　將更新視為更新插入 154
5.4.7　通過查詢更新 155
5.5　刪除文檔 156
5.5.1　通過ID刪除 156
5.5.2　通過查詢刪除 156
5.5.3　通過range查詢刪除 157
5.5.4　刪除所有文檔 158
5.6　批量處理文檔 159
5.6.1　_bulk API的格式 159
5.6.2　批量索引文檔 160
5.6.3　批量請(qǐng)求處理多個(gè)索引和操作 161
5.6.4　使用cURL執(zhí)行批量請(qǐng)求 162
5.7　重新索引文檔 163
5.8　小結(jié) 164
第6章　索引操作 165
6.1　概述 166
6.2　創(chuàng)建索引 166
6.2.1　隱式創(chuàng)建索引（自動(dòng)創(chuàng)建） 167
6.2.2　顯式創(chuàng)建索引（手動(dòng)創(chuàng)建） 170
6.2.3　自定義索引設(shè)置 170
6.2.4　索引映射 172
6.2.5　索引別名 173
6.3　讀取索引 177
6.3.1　讀取公開索引 177
6.3.2　讀取隱藏索引 178
6.4　刪除索引 179
6.4.1　刪除多個(gè)索引 179
6.4.2　僅刪除別名 180
6.5　關(guān)閉索引和打開索引 180
6.5.1　關(guān)閉索引 180
6.5.2　打開索引 181
6.6　索引模板 182
6.6.1　創(chuàng)建可組合（索引）模板 183
6.6.2　創(chuàng)建組件模板 184
6.7　監(jiān)控和管理索引 186
6.7.1　索引的統(tǒng)計(jì)信息 186
6.7.2　多個(gè)索引的統(tǒng)計(jì)信息 188
6.8　高級(jí)操作 189
6.8.1　拆分索引 189
6.8.2　縮小索引 191
6.8.3　滾動(dòng)更新索引別名 193
6.9　索引生命周期管理 195
6.9.1　索引生命周期 196
6.9.2　手動(dòng)管理索引生命周期 197
6.9.3　帶有滾動(dòng)機(jī)制的索引生命周期 199
6.10　小結(jié) 202
第7章　文本分析 203
7.1　概述 204
7.1.1　查詢非結(jié)構(gòu)化數(shù)據(jù) 204
7.1.2　分析器來拯救 205
7.2　分析器模塊 205
7.2.1　分詞 205
7.2.2　歸一化 206
7.2.3　分析器的結(jié)構(gòu) 206
7.2.4　測(cè)試分析器 208
7.3　內(nèi)置分析器 209
7.3.1　standard分析器 210
7.3.2　simple分析器 216
7.3.3　whitespace分析器 217
7.3.4　keyword分析器 218
7.3.5　fingerprint分析器 219
7.3.6　pattern分析器 220
7.3.7　語(yǔ)言分析器 221
7.4　自定義分析器 224
7.5　指定分析器 227
7.5.1　為索引指定分析器 227
7.5.2　為搜索指定分析器 228
7.6　字符過濾器 230
7.6.1　html_strip字符過濾器 231
7.6.2　mapping字符過濾器 232
7.6.3　pattern_replace字符過濾器 234
7.7　分詞器 235
7.7.1　standard分詞器 235
7.7.2　ngram分詞器和edge_ngram分詞器 236
7.7.3　其他分詞器 238
7.8　詞元過濾器 238
7.8.1　stemmer詞元過濾器 239
7.8.2　shingle詞元過濾器 239
7.8.3　synonym詞元過濾器 240
7.9　小結(jié) 242
第8章　搜索簡(jiǎn)介 243
8.1　概述 243
8.2　搜索的工作原理 244
8.3　電影樣本數(shù)據(jù) 245
8.4　搜索的基礎(chǔ)知識(shí) 247
8.4.1　_search端點(diǎn) 247
8.4.2　查詢上下文和過濾上下文 248
8.5　請(qǐng)求和響應(yīng)的結(jié)構(gòu) 250
8.5.1　搜索請(qǐng)求 250
8.5.2　搜索響應(yīng) 251
8.6　URI搜索 253
8.6.1　按片名搜索電影 253
8.6.2　搜索特定的電影 254
8.6.3　附加參數(shù) 254
8.6.4　使用Query DSL支持URI搜索 255
8.7　Query DSL 255
8.7.1　查詢樣例 256
8.7.2　通過cURL調(diào)用Query DSL 256
8.7.3　使用Query DSL進(jìn)行聚合 257
8.7.4　葉子查詢和復(fù)合查詢 257
8.8　搜索功能 258
8.8.1　分頁(yè) 259
8.8.2　高亮顯示 260
8.8.3　解釋相關(guān)性分?jǐn)?shù) 262
8.8.4　排序 264
8.8.5　操縱結(jié)果 267
8.8.6　跨索引和數(shù)據(jù)流搜索 271
8.9　小結(jié) 272
第9章　詞項(xiàng)級(jí)搜索 273
9.1　概述 273
9.1.1　詞項(xiàng)級(jí)查詢不進(jìn)行分析 273
9.1.2　詞項(xiàng)級(jí)查詢示例 274
9.2　term查詢 275
9.2.1　在text類型的字段上執(zhí)行term查詢 275
9.2.2　term查詢示例 276
9.2.3　簡(jiǎn)化的詞項(xiàng)級(jí)查詢 277
9.3　terms查詢 277
9.3.1　terms查詢示例 278
9.3.2　terms查找查詢 279
9.4　ids查詢 280
9.5　exists查詢 281
9.6　range查詢 282
9.7　wildcard查詢 284
9.8　prefix查詢 286
9.8.1　簡(jiǎn)化查詢 287
9.8.2　加速prefix查詢 288
9.9　fuzzy查詢 289
9.10　小結(jié) 291
第 10章　全文搜索 292
10.1　概述 292
10.1.1　精確率 293
10.1.2　召回率 293
10.2　樣本數(shù)據(jù) 295
10.3　match_all查詢 295
10.3.1　構(gòu)建match_all查詢 295
10.3.2　match_all查詢的簡(jiǎn)寫格式 296
10.4　match_none查詢 296
10.5　match查詢 297
10.5.1　match查詢的格式 297
10.5.2　使用match查詢搜索 298
10.5.3　分析match查詢 298
10.5.4　搜索多個(gè)單詞 299
10.5.5　至少匹配幾個(gè)單詞 300
10.5.6　使用fuzziness關(guān)鍵詞糾正拼寫錯(cuò)誤 301
10.6　match_phrase查詢 301
10.7　match_phrase_prefix查詢 303
10.8　multi_match查詢 304
10.8.1　最佳字段 304
10.8.2　dis_max查詢 306
10.8.3　tie_breaker 306
10.8.4　提升單個(gè)字段的權(quán)重 308
10.9　query_string查詢 309
10.9.1　query_string查詢中的字段 310
10.9.2　默認(rèn)運(yùn)算符 311
10.9.3　帶有短語(yǔ)的query_string查詢 312
10.10　模糊查詢 312
10.11　簡(jiǎn)單的字符串查詢 313
10.12　simple_query_string查詢 314
10.13　小結(jié) 315
第 11章　復(fù)合查詢 316
11.1　產(chǎn)品樣本數(shù)據(jù) 317
11.1.1　產(chǎn)品模式 317
11.1.2　索引產(chǎn)品數(shù)據(jù) 318
11.2　復(fù)合查詢 318
11.3　bool查詢 320
11.3.1　bool查詢結(jié)構(gòu) 320
11.3.2　must子句 321
11.3.3　增強(qiáng)must子句 322
11.3.4　must_not子句 324
11.3.5　增強(qiáng)must_not子句 325
11.3.6　should子句 327
11.3.7　filter子句 332
11.3.8　組合所有子句 334
11.3.9　命名查詢 335
11.4　constant_score查詢 337
11.5　boosting查詢 339
11.6　dis_max查詢 341
11.7　function_score查詢 343
11.7.1　random_score函數(shù) 344
11.7.2　script_score函數(shù) 345
11.7.3　field_value_factor函數(shù) 346
11.7.4　組合函數(shù)分?jǐn)?shù) 347
11.8　小結(jié) 348
第 12章　高級(jí)搜索 349
12.1　位置搜索簡(jiǎn)介 350
12.1.1　bounding_box查詢 350
12.1.2　geo_distance查詢 351
12.1.3　geo_shape查詢 351
12.2　地理空間數(shù)據(jù)類型 352
12.2.1　geo_point數(shù)據(jù)類型 352
12.2.2　geo_shape數(shù)據(jù)類型 353
12.3　地理空間查詢 355
12.4　geo_bounding_box查詢 355
12.5　geo_distance查詢 359
12.6　geo_shape查詢 360
12.7　shape查詢 362
12.8　span查詢 364
12.8.1　樣本數(shù)據(jù) 364
12.8.2　span_first查詢 365
12.8.3　span_near查詢 366
12.8.4　span_within查詢 367
12.8.5　span_or查詢 369
12.9　專用查詢 370
12.9.1　distance_feature查詢 370
12.9.2　pinned查詢 375
12.9.3　more_like_this查詢 376
12.9.4　percolate查詢 377
12.10　小結(jié) 381
第 13章　聚合 382
13.1　概述 382
13.1.1　端點(diǎn)和語(yǔ)法 383
13.1.2　結(jié)合搜索和聚合 383
13.1.3　多重聚合和嵌套聚合 384
13.1.4　忽略結(jié)果 384
13.2　指標(biāo)聚合 385
13.2.1　樣本數(shù)據(jù) 385
13.2.2　value_count指標(biāo) 386
13.2.3　avg指標(biāo) 387
13.2.4　sum指標(biāo) 388
13.2.5　min指標(biāo)和max指標(biāo) 388
13.2.6　stats指標(biāo) 389
13.2.7　extended_stats指標(biāo) 390
13.2.8　cardinality指標(biāo) 391
13.3　桶聚合 392
13.3.1　直方圖 393
13.3.2　子聚合 396
13.3.3　自定義range聚合 397
13.3.4　terms聚合 399
13.3.5　multi-terms聚合 400
13.4　父聚合和兄弟聚合 401
13.4.1　父聚合 402
13.4.2　兄弟聚合 403
13.5　管道聚合 404
13.5.1　管道聚合的類型 404
13.5.2　樣本數(shù)據(jù) 404
13.5.3　管道聚合的語(yǔ)法 405
13.5.4　可用的管道聚合 406
13.5.5　cumulative_sum父管道聚合 407
13.5.6　max_bucket和min_bucket兄弟管道聚合 408
13.6　小結(jié) 410
第 14章　集群管理 411
14.1　擴(kuò)展集群 412
14.1.1　向集群中添加節(jié)點(diǎn) 412
14.1.2　集群健康 413
14.1.3　提高讀吞吐量 416
14.2　節(jié)點(diǎn)間通信 416
14.3　確定分片大小 417
14.3.1　設(shè)置單個(gè)索引 417
14.3.2　設(shè)置多個(gè)索引 418
14.4　快照 419
14.4.1　開始使用 420
14.4.2　注冊(cè)快照存儲(chǔ)庫(kù) 421
14.4.3　創(chuàng)建快照 423
14.4.4　恢復(fù)快照 424
14.4.5　刪除快照 424
14.4.6　自動(dòng)化快照 424
14.5　高級(jí)配置 428
14.5.1　主配置文件 429
14.5.2　日志選項(xiàng) 429
14.5.3　Java虛擬機(jī)選項(xiàng) 430
14.6　集群主節(jié)點(diǎn) 431
14.6.1　主節(jié)點(diǎn) 431
14.6.2　主節(jié)點(diǎn)選舉 432
14.6.3　集群狀態(tài) 432
14.6.4　法定人數(shù) 433
14.6.5　腦裂問題 433
14.6.6　專用主節(jié)點(diǎn) 434
14.7　小結(jié) 435
第 15章　性能與故障排查 437
15.1　搜索與速度問題 437
15.1.1　現(xiàn)代硬件 438
15.1.2　文檔建模 438
15.1.3　選擇keyword類型而不是text類型 441
15.2　索引速度問題 442
15.2.1　系統(tǒng)生成的ID 442
15.2.2　批量請(qǐng)求 442
15.2.3　調(diào)整刷新頻率 442
15.3　集群不穩(wěn)定問題 445
15.3.1　集群狀態(tài)不是綠色 445
15.3.2　未分配的分片 445
15.3.3　磁盤使用閾值 447
15.4　斷路器 449
15.5　結(jié)束語(yǔ) 450
15.6　小結(jié) 451
附錄A　安裝 452
附錄B　攝取管道 459
附錄C　客戶端 466