架構(gòu)設(shè)計(jì)2.0：大型分布式系統(tǒng)架構(gòu)方法論與實(shí)踐

第1部分 分布式架構(gòu)
第1章 高并發(fā)\t4
1．1 問(wèn)題分類\t4
1．1．1 側(cè)重于“高并發(fā)讀”的系統(tǒng)\t4
1．1．2 側(cè)重于“高并發(fā)寫(xiě)”的系統(tǒng)\t6
1．1．3 同時(shí)側(cè)重于“高并發(fā)讀”和“高并發(fā)寫(xiě)”的系統(tǒng)\t7
1．2 高并發(fā)讀\t8
1．2．1 策略1：動(dòng)靜分離與CDN加速\t8
1．2．2 策略2：加緩存\t9
1．2．3 策略3：并發(fā)讀與Pipeline\t10
1．2．4 策略4：批量讀\t12
1．2．5 策略5：重寫(xiě)輕讀\t12
1．2．6 總結(jié)：讀寫(xiě)分離（CQRS架構(gòu)）\t14
1．3 高并發(fā)寫(xiě)\t16
1．3．1 策略1：數(shù)據(jù)分片\t16
1．3．2 策略2：任務(wù)分片\t17
1．3．3 策略3：異步化與Pipeline\t19
1．3．4 策略4：批量\t26
1．3．5 策略5：串行化+多進(jìn)程單線程+異步I/O\t27
第2章 高可靠\t29
2．1 容量評(píng)估與規(guī)劃\t29
2．1．1 理論基礎(chǔ)：吞吐量、響應(yīng)時(shí)間與并發(fā)數(shù)三者關(guān)系\t29
2．1．2 容量規(guī)劃\t31
2．1．3 單機(jī)最大QPS估算方法1： CPU密集型與I/O密集型的區(qū)分\t32
2．1．4 單機(jī)最大QPS估算方法2：壓力測(cè)試\t33
2．2 過(guò)載保護(hù)：限流與熔斷\t35
2．2．1 限流的兩種限制維度\t35
2．2．2 單機(jī)限流的算法\t35
2．2．3 單機(jī)限流的實(shí)現(xiàn)\t37
2．2．4 中央限流\t40
2．2．5 熔斷\t41
2．3 超時(shí)與重試\t42
2．4 隔離\t43
2．5 有損服務(wù)與降級(jí)\t44
2．6 灰度發(fā)布、備份與回滾\t45
2．7 監(jiān)控體系與日志報(bào)警\t47
第3章 分布式事務(wù)\t50
3．1 隨處可見(jiàn)的分布式事務(wù)問(wèn)題\t51
3．1．1 緩存和數(shù)據(jù)庫(kù)的一致性問(wèn)題\t51
3．1．2 消息中間件和數(shù)據(jù)庫(kù)的一致性問(wèn)題\t51
3．1．3 兩個(gè)數(shù)據(jù)庫(kù)的一致性問(wèn)題\t51
3．1．4 服務(wù)和數(shù)據(jù)庫(kù)的一致性問(wèn)題\t51
3．1．5 兩個(gè)服務(wù)的一致性問(wèn)題\t52
3．1．6 兩個(gè)文件的一致性問(wèn)題\t52
3．2 分布式事務(wù)解決方案匯總\t52
3．2．1 2PC\t52
3．2．2 最終一致性：第一種實(shí)現(xiàn)方案\t56
3．2．3 最終一致性：第二種實(shí)現(xiàn)方案（基于事務(wù)消息）\t59
3．2．4 TCC\t61
3．2．5 事務(wù)狀態(tài)表+事務(wù)補(bǔ)償\t63
3．2．6 同步雙寫(xiě)（多寫(xiě)）+異步對(duì)賬\t64
3．2．7 妥協(xié)方案：弱一致性+基于狀態(tài)的事后補(bǔ)償\t66
3．2．8 妥協(xié)方案：重試+回滾+報(bào)警+人工修復(fù)\t68
3．2．9 阿里云Seata框架\t68
3．2．10 總結(jié)\t73
第4章 高可用\t74
4．1 高可用架構(gòu)的思維框架\t74
4．1．1 如何實(shí)現(xiàn)故障探測(cè)\t75
4．1．2 如何解決腦裂問(wèn)題\t75
4．1．3 如何做到數(shù)據(jù)一致性\t76
4．1．4 如何做到對(duì)客戶端透明\t76
4．1．5 如何解決高可用依賴的連環(huán)套問(wèn)題\t76
4．2 接入層高可用\t78
4．2．1 DNS層高可用：廣域網(wǎng)負(fù)載均衡\t79
4．2．2 接入網(wǎng)關(guān)高可用：局域網(wǎng)負(fù)載均衡\t79
4．2．3 Nginx高可用\t81
4．2．4 Tomcat高可用\t81
4．3 業(yè)務(wù)邏輯層（微服務(wù)層）高可用\t82
4．4 存儲(chǔ)層高可用\t83
4．4．1 RedisCluster的高可用案例\t83
4．4．2 HDFS的高可用案例\t85
第5章 高可用：多副本一致性算法\t89
5．1 高可用且強(qiáng)一致性到底有多難\t89
5．1．1 Kafka的消息丟失問(wèn)題\t89
5．1．2 Kafka的消息錯(cuò)亂問(wèn)題\t93
5．1．3 MySQL半同步復(fù)制數(shù)據(jù)不一致問(wèn)題\t94
5．2 Paxos算法解析\t96
5．2．1 Paxos解決什么問(wèn)題\t96
5．2．2 復(fù)制狀態(tài)機(jī)\t99
5．2．3 一個(gè)樸素而深刻的想法\t101
5．2．4 Basic Paxos算法\t102
5．2．5 Multi Paxos算法\t105
5．3 Raft算法解析\t108
5．3．1 為“可理解性”而設(shè)計(jì)\t108
5．3．2 單點(diǎn)寫(xiě)入\t108
5．3．3 日志結(jié)構(gòu)\t109
5．3．4 階段1：Leader選舉\t113
5．3．5 階段2：日志復(fù)制\t115
5．3．6 階段3：恢復(fù)階段\t116
5．3．7 安全性保證\t116
5．4 Zab算法解析\t119
5．4．1 復(fù)制狀態(tài)機(jī)與Primary-Backup System\t119
5．4．2 zxid\t121
5．4．3 “序”：亂序提交與順序提交\t122
5．4．4 Leader選舉：FLE算法\t124
5．4．5 正常階段：2階段提交\t125
5．4．6 恢復(fù)階段\t126
5．5 三種算法對(duì)比與工程實(shí)現(xiàn)\t127
第6章 高可用：跨城容災(zāi)與異地多活\t129
6．1 跨城的關(guān)鍵物理約束：時(shí)延\t129
6．2 多IDC無(wú)復(fù)制架構(gòu)\t130
6．2．1 單寫(xiě)多讀架構(gòu)\t130
6．2．2 各IDC自治架構(gòu)\t132
6．3 同城同步復(fù)制，跨城異步復(fù)制：2地3中心\t133
6．4 跨城同步復(fù)制：3地5中心\t133
6．5 跨城異步復(fù)制\t135
6．5．1 不能容忍數(shù)據(jù)不一致：實(shí)現(xiàn)部分的強(qiáng)一致\t136
6．5．2 可以容忍數(shù)據(jù)不一致：事后修復(fù)\t137
6．5．3 加快異步復(fù)制速度\t137
6．6 單元化\t138
6．6．1 到底什么是單元化\t138
6．6．2 什么系統(tǒng)不能單元化\t140
第7章 CAP理論\t142
7．1 CAP理論的誤解\t142
7．2 現(xiàn)實(shí)世界不存在“強(qiáng)一致性”（PACELC理論）\t143
第2部分 業(yè)務(wù)架構(gòu)
第8章 業(yè)務(wù)架構(gòu)定義\t148
8．1 各式各樣的方法論\t148
8．2 什么不是業(yè)務(wù)架構(gòu)\t149
8．3 以終為始：業(yè)務(wù)架構(gòu)到底解決哪些問(wèn)題\t150
第9章 深刻理解現(xiàn)實(shí)世界：識(shí)別“真正的”需求\t153
9．1 探究問(wèn)題的本源\t153
9．2 系統(tǒng)化思維\t154
9．3 信息傳播的遞減效應(yīng)\t155
9．4 主要矛盾與次要矛盾\t156
9．5 產(chǎn)品手段與技術(shù)手段的權(quán)衡\t156
第10章 深刻理解現(xiàn)實(shí)世界：從整體上去看待需求\t158
10．1 利益相關(guān)者分析：看需求先看人\t158
10．2 金字塔原理：不重不漏地拆解問(wèn)題\t160
10．3 需求的兩種表現(xiàn)形式：業(yè)務(wù)流程與業(yè)務(wù)規(guī)則\t162
10．4 “業(yè)務(wù)”的閉環(huán)性\t163
第11章 不同粒度的建模方法與原則\t165
11．1 單個(gè)系統(tǒng)內(nèi)部的建模方法與原則\t165
11．1．1 建模的通用思維：搭積木\t165
11．1．2 面向?qū)ο蠼５幕静襟E\t167
11．2 問(wèn)題空間\t169
11．2．1 深刻理解專業(yè)名詞\t169
11．2．2 重要信息“顯性化”\t170
11．2．3 抽象\t171
11．3 解決方案空間\t174
11．3．1 重構(gòu)\t174
11．3．2 設(shè)計(jì)模式\t175
11．3．3 面向?qū)ο蟮奈宕笤瓌t（SOLID原則）\t178
11．4 跨系統(tǒng)、跨團(tuán)隊(duì)的建模方法與原則\t179
11．4．1 康威定律\t179
11．4．2 領(lǐng)域的劃分：高內(nèi)聚與低耦合\t181
11．4．3 邊界思維：接口的設(shè)計(jì)比實(shí)現(xiàn)重要得多\t182
11．4．4 多視角描述同一個(gè)架構(gòu)：架構(gòu)4+1/5+1視圖\t184
第12章 常用架構(gòu)模式\t186
12．1 分層架構(gòu)模式與“偽分層”\t186
12．2 管道-過(guò)濾器架構(gòu)模式\t189
12．3 狀態(tài)機(jī)架構(gòu)模式\t190
12．4 業(yè)務(wù)切面/業(yè)務(wù)閉環(huán)架構(gòu)模式\t192
12．5 規(guī)則引擎\t193
12．5．1 什么是規(guī)則\t194
12．5．2 業(yè)務(wù)代碼如何抽象成一條條規(guī)則\t194
12．5．3 規(guī)則描述語(yǔ)言DSL\t196
12．5．4 規(guī)則引擎的兩種執(zhí)行方式\t197
12．6 工作流引擎\t198
第13章 領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)\t200
13．1 傳統(tǒng)開(kāi)發(fā)模式：面向數(shù)據(jù)庫(kù)表的“面條式”代碼\t200
13．2 DDD的基本概念\t201
13．3 DDD的方法論\t203
13．3．1 領(lǐng)域模型和數(shù)據(jù)模型的區(qū)別\t203
13．3．2 基于DDD的分層架構(gòu)\t203
13．3．3 領(lǐng)域模型和數(shù)據(jù)模型如何映射\t204
13．3．4 DDD中的讀寫(xiě)分離模式\t206
第14章 DDD的折中與微服務(wù)架構(gòu)\t207
14．1 軟件建模本身的困難\t207
14．2 “無(wú)建模”帶來(lái)的各種問(wèn)題\t209
14．3 DDD的困難\t210
14．4 折中后的DDD\t211
14．4．1 宏觀層面：遵循子域、限界上下文、微服務(wù)三者的映射關(guān)系\t211
14．4．2 微觀層面：不遵循DDD的方法論\t212
14．5 三個(gè)不同層次的讀寫(xiě)分離架構(gòu)\t212
第3部分 案例實(shí)戰(zhàn)
第15章 基礎(chǔ)架構(gòu)案例實(shí)戰(zhàn)\t216
15．1 分布式鎖\t216
15．1．1 分布式鎖的使用場(chǎng)景\t216
15．1．2 分布式鎖的常用實(shí)現(xiàn)方式與問(wèn)題\t216
15．1．3 用串行化代替分布式鎖\t217
15．2 服務(wù)注冊(cè)與服務(wù)發(fā)現(xiàn)中心\t219
15．2．1 服務(wù)注冊(cè)與服務(wù)發(fā)現(xiàn)中心的基本原理\t219
15．2．2 服務(wù)路由表的數(shù)據(jù)延遲與解決方案\t220
15．2．3 服務(wù)注冊(cè)中心應(yīng)該是AP系統(tǒng)，還是CP系統(tǒng)\t221
15．2．4 配置中心應(yīng)該是AP系統(tǒng)，還是CP系統(tǒng)\t222
15．3 分布式ID生成系統(tǒng)\t222
15．3．1 全局唯一，趨勢(shì)遞增\t223
15．3．2 全局唯一，單調(diào)遞增\t225
15．3．3 全局唯一，連續(xù)遞增\t229
第16章 C端業(yè)務(wù)系統(tǒng)案例實(shí)戰(zhàn)\t230
16．1 電商庫(kù)存系統(tǒng)\t230
16．1．1 業(yè)務(wù)背景與需求分析\t230
16．1．2 高并發(fā)讀與寫(xiě)：中央緩存與本地緩存的權(quán)衡\t234
16．1．3 數(shù)據(jù)一致性：冪等問(wèn)題\t238
16．1．4 數(shù)據(jù)一致性：扣減多個(gè)商品的原子性問(wèn)題\t239
16．1．5 數(shù)據(jù)一致性：并發(fā)更新的鎖問(wèn)題\t239
16．1．6 數(shù)據(jù)一致性：流水和庫(kù)存表如何對(duì)賬\t240
16．1．7 業(yè)務(wù)架構(gòu)進(jìn)階之一：一個(gè)庫(kù)存模型同時(shí)支持自營(yíng)與平臺(tái)
兩個(gè)商業(yè)模式\t241
16．1．8 業(yè)務(wù)架構(gòu)進(jìn)階之二：分區(qū)售賣(mài)問(wèn)題\t243
16．1．9 業(yè)務(wù)架構(gòu)進(jìn)階之三：供應(yīng)鏈庫(kù)存（不光要管售賣(mài)，還要管采購(gòu)）\t244
16．1．10 業(yè)務(wù)架構(gòu)進(jìn)階之四：以“單據(jù)”為中心的庫(kù)存對(duì)賬\t245
16．1．11 業(yè)務(wù)架構(gòu)進(jìn)階之五：先采后賣(mài)，還是先賣(mài)后采\t247
16．2 秒殺系統(tǒng)\t249
16．2．1 需求分析\t249
16．2．2 異步秒殺與同步秒殺\t250
16．2．3 同步秒殺系統(tǒng)的設(shè)計(jì)\t252
16．2．4 防刷問(wèn)題\t253
16．2．5 名額歸還問(wèn)題\t254
16．2．6 同步與異步的相結(jié)合\t254
16．2．7 層層限流，保護(hù)最終的核心系統(tǒng)\t255
16．3 Feeds流\t255
16．3．1 需求分析\t255
16．3．2 無(wú)限長(zhǎng)列表的實(shí)現(xiàn)\t256
16．3．3 寫(xiě)擴(kuò)散和讀擴(kuò)散的相結(jié)合\t258
16．3．4 評(píng)論的實(shí)現(xiàn)\t259
第17章 B端業(yè)務(wù)系統(tǒng)案例實(shí)戰(zhàn)\t261
17．1 規(guī)則引擎平臺(tái)\t261
17．1．1 規(guī)則引擎的典型應(yīng)用場(chǎng)景\t261
17．1．2 四種技術(shù)選型\t263
17．1．3 規(guī)則的存儲(chǔ)與版本管理\t265
17．1．4 可視化規(guī)則編輯\t266
17．1．5 特征庫(kù)、動(dòng)作庫(kù)管理\t268
17．1．6 特征數(shù)據(jù)庫(kù)\t269
17．1．7 總結(jié)\t270
17．2 工作流引擎平臺(tái)\t271
17．2．1 沒(méi)有工作流引擎，如何做業(yè)務(wù)開(kāi)發(fā)\t271
17．2．2 工作流引擎的基本思路\t273
17．2．3 工作流引擎與微服務(wù)編排引擎、分布式事務(wù)的Saga模式的區(qū)別與
聯(lián)系\t274
17．2．4 BPMN標(biāo)準(zhǔn)\t278
17．2．5 工作流引擎的技術(shù)選型與Activiti介紹\t281
17．2．6 對(duì)Activiti的裁剪\t283
17．2．7 Activiti的性能問(wèn)題與對(duì)Activiti的擴(kuò)展\t284
17．2．8 工作流引擎與微服務(wù)/DDD方法論的沖突\t285
17．3 權(quán)限管理系統(tǒng)\t286
17．3．1 權(quán)限管理系統(tǒng)的由來(lái)\t286
17．3．2 權(quán)限如何抽象：權(quán)限Code\t287
17．3．3 權(quán)限的進(jìn)一步抽象\t288
17．3．4 權(quán)限模型\t289
17．3．5 權(quán)限系統(tǒng)的實(shí)現(xiàn)方式\t289
17．3．6 API權(quán)限與微服務(wù)鑒權(quán)\t292
第18章 大數(shù)據(jù)與中臺(tái)案例實(shí)戰(zhàn)\t295
18．1 嚴(yán)格區(qū)分在線業(yè)務(wù)邏輯與離線業(yè)務(wù)邏輯\t295
18．2 警惕后臺(tái)離線任務(wù)\t298
18．3 合理利用大數(shù)據(jù)交互式查詢引擎\t300
18．4 中臺(tái)\t301
18．4．1 什么不是中臺(tái)\t301
18．4．2 業(yè)務(wù)中臺(tái)\t303
18．4．3 數(shù)據(jù)中臺(tái)\t304
18．4．4 中臺(tái)和組織架構(gòu)\t307