Mesos大數(shù)據(jù)資源調(diào)度與大規(guī)模容器運行最佳實踐

前言 xiv
第1章運行Mesos 1
1.1 現(xiàn)代數(shù)據(jù)中心 1
1.2 集群計算框架 2
1.3 Mesos簡介 2
1.3.1 master 3
1.3.2 slave 4
1.3.3 框架 4
1.4 為什么使用Mesos 4
1.5 單節(jié)點Mesos集群 5
1.5.1 Mac OS 5
1.5.2 Fedora 6
1.5.3 安裝依賴軟件包 6
1.5.4 構(gòu)建Mesos 8
1.5.5 啟動Mesos 10
1.6 運行測試框架 11
1.7 Mesos Web UI 15
1.8 多節(jié)點Mesos集群 15
1.9 Amazon EC2 上的Mesos集群 16
1.10 使用 Vagrant 運行Mesos 18
1.11 Mesos社區(qū) 19
1.11.1 案例研究 19
1.11.2 郵件列表 20
1.12小結(jié) 20
第 2 章在Mesos上運行 Hadoop 21
2.1 Hadoop 介紹 21
2.2 Mesos上的 Hadoop 22
2.3 在Mesos上安裝 Hadoop 23
2.4 Hadoop 作業(yè)示例 26
2.5 Mesos上 Hadoop 的高級配置 27
2.5.1 任務資源分配 27
2.5.2 度量報告 29
2.5.3 認證 32
2.5.4 容器隔離 33
2.5.5 其他配置參數(shù) 33
2.6 小結(jié) 34
第 3 章在Mesos上運行 Spark 35
3.1 Spark 介紹 35
3.2 Spark 作業(yè)調(diào)度 36
3.3 Spark Standalone模式 38
3.4 在Mesos上的 Spark 40
3.5 在Mesos上 Spark 的調(diào)優(yōu) 41
3.6 小結(jié) 43
第 4 章Mesos上的復雜數(shù)據(jù)分析44
4.1 復雜數(shù)據(jù)和 Lambda 架構(gòu)的興起 44
4.2 Storm 46
4.2.1 Mesos上的 Storm 47
4.2.2 Storm-Mesos配置 49
4.3 Spark Streaming 50
4.3.1 在Mesos上運行 Spark Streaming 52
4.3.2 Spark Streaming 調(diào)優(yōu) 53
4.4 Mesos上的 NoSQL 55
4.4.1 Mesos上的 Cassandra 55
4.5 小結(jié) 57
第 5 章在Mesos上運行服務 59
5.1 服務的介紹 59
5.2 Marathon 60
5.2.1 Marathon API 61
5.2.2運行 Marathon 62
5.2.3 Marathon 樣例 63
5.2.4約束條件 65
5.2.5事件總線 66
5.2.6 artifact store 66
5.2.7應用組 66
5.2.8應用程序健康檢查 67
5.3 Chronos 68
5.3.1 Chronos REST API 68
5.3.2運行Chronos 70
5.3.3 Chronos樣例 71
5.4 Aurora 71
5.4.1 作業(yè)的生命周期 73
5.4.2運行 Aurora 74
5.4.3 Aurora 集群配置 75
5.4.4 Aurora 作業(yè)配置 76
5.4.5 Aurora 客戶端 80
5.4.6 Aurora 樣例 82
5.4.7 Aurora cron作業(yè) 83
5.5 服務發(fā)現(xiàn) 83
5.5.1 Mesos-DNS 83
5.5.2安裝Mesos-DNS 84
5.5.3 Mesos-DNS 配置 85
5.5.4運行Mesos-DNS 86
5.6 打包 87
5.7 小結(jié) 87
第 6 章理解Mesos內(nèi)部機制 88
6.1Mesos架構(gòu) 88
6.1.1 Mesos slave 90
6.1.2 Mesos master 91
6.1.3框架 92
6.1.4通信 92
6.1.5附屬服務 93
6.2 資源分配 94
6.2.1 Mesos調(diào)度器 95
6.2.2 加權(quán) DRF 96
6.2.3 資源預留 97
6.3 資源隔離 101
6.3.1 Mesos容器機 102
6.3.2 Docker 容器機 103
6.3.3 外部容器機 105
6.4 容錯 107
6.4.1 ZooKeeper 108
6.4.2 故障檢測及處理 109
6.4.3 Registry 111
6.5 擴展Mesos 112
6.5.1 Mesos模塊 112
6.5.2分配模塊 116
6.5.3 Mesos hook 和修飾器 119
6.5.4任務標簽 119
6.6 小結(jié) 119
第 7 章開發(fā)Mesos框架 120
7.1 Mesos API 120
7.1.1 Mesos消息 121
7.1.2調(diào)度器 API 122
7.1.3調(diào)度器驅(qū)動 API 124
7.1.4執(zhí)行器 API 125
7.1.5調(diào)度器驅(qū)動 API 126
7.2 開發(fā)一個Mesos框架 127
7.2.1 搭建開發(fā)環(huán)境 127
7.2.2加入框架調(diào)度器 128
7.2.3加入框架啟動器 130
7.2.4部署框架 131
7.3 構(gòu)建框架 133
7.3.1 給框架加入執(zhí)行器 137
7.3.2 更新框架調(diào)度器 141
7.3.3 運行多個執(zhí)行器 144
7.4 高級主題 147
7.4.1 一致性調(diào)解 147
7.4.2 有狀態(tài)應用 148
7.5 開發(fā)者資料 148
7.5.1 框架設計模式 149
7.5.2 框架測試 149
7.5.3 RENDLER 149
7.5.4 Akka-mesos 150
7.6 小結(jié) 150
第 8 章管理Mesos 151
8.1 部署 151
8.2 升級 152
8.3 監(jiān)控 153
8.3.1 容器網(wǎng)絡監(jiān)控 153
8.4 多租戶 155
8.4.1 授權(quán)和鑒權(quán) 155
8.4.2 API 速率限制 158
8.5 高可用 160
8.5.1 master 高可用 160
8.5.2 限制 slave 移除速率 162
8.5.3 slave 恢復 162
8.6 維護狀態(tài) 163
8.7 Mesos接口 165
8.7.1 Mesos REST 接口 165
8.7.2 Mesos CLI 167
8.8配置 170
8.8.1 Mesos master 171
8.8.2 Mesos slave 174
8.8.3 Mesos構(gòu)建選項 179
小結(jié) 181