云原生測(cè)試實(shí)戰(zhàn)

第 1 章 認(rèn)識(shí)云原生 1
1.1 什么是云原生 1
1.2 云原生的測(cè)試挑戰(zhàn) 3
1.3 本章總結(jié) 4
第 2 章 容器技術(shù)基礎(chǔ) 5
2.1 構(gòu)建瀏覽器集群 5
2.1.1 Selenium Grid 5
2.1.2 Docker 部署 Selenium Grid 6
2.1.3 小結(jié) 8
2.2 容器隔離的原理 9
2.2.1 隔離 9
2.2.2 Linux 名字空間 10
2.2.3 小結(jié) 13
2.3 網(wǎng)絡(luò)模式 13
2.3.1 bridge 網(wǎng)絡(luò)模式 13
2.3.2 host 網(wǎng)絡(luò)模式 16
2.3.3 container 網(wǎng)絡(luò)模式 17
2.3.4 小結(jié) 18
2.4 容器鏡像 19
2.4.1 鏡像構(gòu)建 19
2.4.2 聯(lián)合文件系統(tǒng) 23
2.4.3 鏡像分層的優(yōu)勢(shì) 25
2.4.4 鏡像掃描工具的開發(fā) 26
2.4.5 小結(jié) 28
2.5 本章總結(jié) 28
第 3 章 Kubernetes 基礎(chǔ) 29
3.1 深入解析 Pod 29
3.1.1 Pod 的架構(gòu) 29
3.1.2 Pod 的調(diào)度 31
3.1.3 Pod 的資源管理 34
3.1.4 小結(jié) 37
3.2 服務(wù)高可用設(shè)計(jì) 37
3.2.1 高可用的常見設(shè)計(jì) 38
3.2.2 服務(wù)副本與水平擴(kuò)展 38
3.2.3 基于 Service 的負(fù)載均衡網(wǎng)絡(luò) 41
3.2.4 基于探針的健康檢查 43
3.2.5 小結(jié) 46
3.3 再談鏡像掃描工具 50
3.3.1 DaemonSet 定義 50
3.3.2 DaemonSet 與 Headless Service 51
3.3.3 在容器中調(diào)用 Docker 52
3.3.4 小結(jié) 52
3.4 離線業(yè)務(wù) 52
3.4.1 Job 52
3.4.2 CronJob 54
3.4.3 小結(jié) 54
3.5 K8s 開發(fā)基礎(chǔ) 55
3.5.1 客戶端的初始化 55
3.5.2 基本 API 的使用 56
3.5.3 資源回收工具的開發(fā) 58
3.5.4 讓工具在集群中運(yùn)行-InCluster 模式和 RBAC 61
3.5.5 解決容器時(shí)區(qū)問題 64
3.5.6 小結(jié) 65
3.6 本章總結(jié) 66
第 4 章 混沌工程 67
4.1 什么是混沌工程 67
4.2 高可用測(cè)試的理論 67
4.2.1 冪等與重試 68
4.2.2 狀態(tài)管理 69
4.2.3 CAP 70
4.2.4 BASE 73
4.2.5 監(jiān)控告警 75
4.2.6 小結(jié) 75
4.3 高可用掃描工具 75
4.3.1 掃描規(guī)則 76
4.3.2 代碼實(shí)現(xiàn) 76
4.3.3 小結(jié) 80
4.4 故障注入工具 81
4.4.1 故障注入工具的底層原理 81
4.4.2 開源工具的選擇 82
4.4.3 Chaos Mesh 的架構(gòu) 83
4.4.4 K8s 的 Operator 84
4.4.5 Chaos Dashboard 87
4.4.6 chaosd-server 88
4.4.7 sidecar 模式的故障注入 89
4.4.8 jvm-sandbox 97
4.4.9 故障注入的注意點(diǎn) 100
4.4.10 小結(jié) 100
4.5 K8s 中的特殊故障 101
4.5.1 Pod 無法被刪除 101
4.5.2 驅(qū)逐策略與搶占優(yōu)先級(jí) 103
4.5.3 K8s 核心組件故障 105
4.5.4 小結(jié) 107
4.6 高可用的評(píng)估手段 107
4.6.1 以模擬 SLA 為角度評(píng)估 107
4.6.2 以故障場(chǎng)景為角度評(píng)估 109
4.6.3 RPO 與 RTO 109
4.6.4 小結(jié) 110
4.7 本章總結(jié) 110
第 5 章 性能測(cè)試與監(jiān)控 111
5.1 Prometheus 快速入門 112
5.1.1 快速部署 112
5.1.2 架構(gòu)介紹 113
5.1.3 可視化 114
5.1.4 小結(jié) 116
5.2 PromQL 詳解 116
5.2.1 理解時(shí)間序列 117
5.2.2 理解指標(biāo)類型 117
5.2.3 語法詳解 119
5.2.4 HTTP API 123
5.2.5 小結(jié) 126
5.3 容量測(cè)試 126
5.3.1 超賣的風(fēng)險(xiǎn) 127
5.3.2 資源的初步評(píng)估 128
5.3.3 統(tǒng)計(jì)具體的資源 130
5.3.4 小結(jié) 134
5.4 分布式壓力測(cè)試工具 JMeter 134
5.4.1 部署 JMeter 集群 135
5.4.2 小結(jié) 136
5.5 測(cè)試 K8s 的性能 136
5.5.1 測(cè)試方法 136
5.5.2 Kubemark 簡介 137
5.5.3 Kubemark 部署 138
5.5.4 小結(jié) 143
5.6 本章總結(jié) 143
第 6 章 穩(wěn)定性測(cè)試與監(jiān)控 144
6.1 什么是穩(wěn)定性測(cè)試 144
6.2 List-Watch 145
6.2.1 K8s 的控制器模型 145
6.2.2 List-Watch 簡介 146
6.2.3 小結(jié) 148
6.3 構(gòu)建事件監(jiān)控組件 149
6.3.1 Pod 與容器的狀態(tài) 149
6.3.2 Pod 的 Condition 和 Phase 150
6.3.3 獲取異常容器 152
6.3.4 獲取異常信息 153
6.3.5 NPD 154
6.3.6 小結(jié) 157
6.4 持續(xù)性觀測(cè) 157
6.4.1 自定義 Exporter 157
6.4.2 服務(wù)可用時(shí)間 164
6.4.3 業(yè)務(wù)巡檢與Pushgateway 167
6.4.4 小結(jié) 168
6.5 Operator 168
6.5.1 什么是 Operator 169
6.5.2 Prometheus Operator 170
6.5.3 小結(jié) 171
6.6 本章總結(jié) 171
第 7 章 邊緣計(jì)算 172
7.1 什么是邊緣計(jì)算 172
7.1.1 云計(jì)算的不足 172
7.1.2 就近計(jì)算的設(shè)計(jì) 173
7.1.3 小結(jié) 174
7.2 K8s 與邊緣計(jì)算 174
7.2.1 邊緣自治 175
7.2.2 分布式健康檢查 176
7.2.3 邊緣調(diào)度 177
7.2.4 就近計(jì)算 180
7.2.5 邊緣灰度 182
7.2.6 邊緣存儲(chǔ) 184
7.2.7 小結(jié) 185
7.3 核心測(cè)試場(chǎng)景 185
7.3.1 邊緣計(jì)算的容量測(cè)試 186
7.3.2 邊緣計(jì)算的高可用測(cè)試 186
7.3.3 數(shù)據(jù)通信測(cè)試 188
7.3.4 調(diào)度測(cè)試 189
7.3.5 小結(jié) 190
7.4 本章總結(jié) 190
第 8 章 持續(xù)集成和持續(xù)部署 191
8.1 構(gòu)建 CI/CD 系統(tǒng)的關(guān)鍵 191
8.1.1 CI/CD 與流水線 191
8.1.2 規(guī)模擴(kuò)大帶來的挑戰(zhàn) 194
8.1.3 高度自動(dòng)化的工程能力 195
8.1.4 小結(jié) 196
8.2 Jenkins 流水線 196
8.2.1 流水線基礎(chǔ) 197
8.2.2 多分支流水線 200
8.2.3 Jenkins 共享庫 202
8.2.4 小結(jié) 207
8.3 K8s 中的 CI/CD 207
8.3.1 Jenkins 與 Docker 207
8.3.2 Jenkins 與 K8s 208
8.3.3 小結(jié) 215
8.4 環(huán)境治理 215
8.4.1 環(huán)境的隔離級(jí)別 215
8.4.2 K8s 中的資源隔離 216
8.4.3 在 K8s 中實(shí)現(xiàn)邏輯隔離 218
8.4.4 Helm 221
8.4.5 小結(jié) 223
8.5 本章總結(jié) 223
第 9 章 云原生與大數(shù)據(jù) 224
9.1 什么是大數(shù)據(jù) 224
9.1.1 大數(shù)據(jù)的 4 個(gè)特征 224
9.1.2 分布式存儲(chǔ) 225
9.1.3 分布式計(jì)算 226
9.1.4 批處理和流計(jì)算 226
9.1.5 大數(shù)據(jù)生態(tài) 227
9.1.6 小結(jié) 228
9.2 K8s 中的分布式計(jì)算 228
9.2.1 K8s 中的存儲(chǔ) 229
9.2.2 Spark Operator 233
9.2.3 小結(jié) 235
9.3 Spark 基礎(chǔ) 235
9.3.1 搭建本地環(huán)境 236
9.3.2 Spark 的運(yùn)行機(jī)制 236
9.3.3 RDD 基礎(chǔ) 237
9.3.4 小結(jié) 239
9.4 典型測(cè)試場(chǎng)景介紹 239
9.4.1 shuffle 與數(shù)據(jù)傾斜 239
9.4.2 分區(qū)對(duì)性能的影響 240
9.4.3 多種數(shù)據(jù)源的對(duì)接 241
9.4.4 功能測(cè)試與數(shù)據(jù)質(zhì)量監(jiān)控242
9.4.5 流計(jì)算與數(shù)據(jù)一致性 243
9.4.6 小結(jié) 245
9.5 造數(shù)工具 245
9.5.1 造數(shù)的難點(diǎn)與解決方案 246
9.5.2 代碼實(shí)現(xiàn) 247
9.5.3 非結(jié)構(gòu)化數(shù)據(jù)的構(gòu)建 250
9.5.4 小結(jié) 252
9.6 本章總結(jié) 252