云數(shù)據(jù)湖：構建健壯的云數(shù)據(jù)架構

定　價：￥89.00

作　者：	[美]魯克米尼·戈帕蘭
出版社：	機械工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網 (￥66.70)

ISBN：	9787111762751	出版時間：	2024-09-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字數(shù)：

內容簡介

　　本書詳細介紹了可用于數(shù)據(jù)處理的表格格式、云產品、框架、存儲層，以及如何將這些內容組合在一起，以獲得適合自己需求的高性能解決方案。作者在書中提供的決策框架將幫助你明智地決定選擇哪種數(shù)據(jù)湖。本書是大數(shù)據(jù)領域每個人的書。閱讀本書后，你將了解構建云數(shù)據(jù)湖所需的所有基礎知識，并能夠以多種方式應用這些知識。本書主要面向數(shù)據(jù)架構師、數(shù)據(jù)開發(fā)人員和數(shù)據(jù)運維專業(yè)人員，他們希望廣泛地了解設置和運營云數(shù)據(jù)湖的各個方面。

作者簡介

　　Rukmani Gopalan是微軟經驗豐富的產品管理負責人。除了開發(fā)高度可擴展的服務和令人愉悅的端到端客戶體驗外，她還與零售、制造和醫(yī)療保健等不同行業(yè)的各種客戶合作，在云上構建他們的大數(shù)據(jù)分析解決方案。在從單一的本地數(shù)據(jù)平臺遷移時，Rukmani還致力于在云上構建高度可擴展的數(shù)據(jù)湖架構。

圖書目錄

目錄
前言1
第1章大數(shù)據(jù)—超越喧囂9
1.1 什么是大數(shù)據(jù)10
1.2 彈性數(shù)據(jù)基礎設施的挑戰(zhàn)14
1.3 云計算基礎15
1.3.1 云計算術語16
1.3.2 云的價值主張17
1.4 云數(shù)據(jù)湖架構19
1.4.1 本地數(shù)據(jù)倉庫解決方案的限制20
1.4.2 什么是云數(shù)據(jù)湖架構21
1.4.3 云數(shù)據(jù)湖架構的優(yōu)勢21
1.5 開啟云數(shù)據(jù)湖之旅23
1.6 總結26
第2章云上的大數(shù)據(jù)架構27
2.1 為什么Klodars公司要遷移到云27
2.2 云數(shù)據(jù)湖架構基礎28
2.2.1 淺談數(shù)據(jù)的多樣性29
2.2.2 云數(shù)據(jù)湖存儲31
2.2.3 大數(shù)據(jù)分析引擎33
2.2.4 云數(shù)據(jù)倉庫39
2.3 現(xiàn)代數(shù)據(jù)倉庫架構41
2.3.1 參考架構41
2.3.2 現(xiàn)代數(shù)據(jù)倉庫架構的用例43
2.3.3 現(xiàn)代數(shù)據(jù)倉庫架構的優(yōu)勢和挑戰(zhàn)45
2.4 數(shù)據(jù)湖倉一體架構45
2.4.1 參考架構46
2.4.2 數(shù)據(jù)湖倉一體架構的用例52
2.4.3 數(shù)據(jù)湖倉一體架構的優(yōu)勢和挑戰(zhàn)54
2.4.4 數(shù)據(jù)倉庫和非結構化數(shù)據(jù)56
2.5 數(shù)據(jù)網格56
2.5.1 參考架構57
2.5.2 數(shù)據(jù)網格架構的用例59
2.5.3 數(shù)據(jù)網格架構的優(yōu)勢和挑戰(zhàn)59
2.6 什么是適合的架構60
2.6.1 了解客戶60
2.6.2 了解業(yè)務驅動因素61
2.6.3 考慮增長和未來場景62
2.6.4 設計注意事項62
2.6.5 混合方法64
2.7 總結64
第3章數(shù)據(jù)湖的設計注意事項66
3.1 設置云數(shù)據(jù)湖基礎設施66
3.1.1 確定目標67
3.1.2 規(guī)劃架構和可交付成果70
3.1.3 云數(shù)據(jù)湖實施74
3.1.4 發(fā)布和運行75
3.2 在數(shù)據(jù)湖中組織數(shù)據(jù)75
3.2.1 數(shù)據(jù)生命中的一天75
3.2.2 數(shù)據(jù)湖區(qū)76
3.2.3 組織機制79
3.3 數(shù)據(jù)治理簡介80
3.3.1 數(shù)據(jù)治理的參與者81
3.3.2 數(shù)據(jù)分類83
3.3.3 元數(shù)據(jù)管理、數(shù)據(jù)目錄和數(shù)據(jù)共享84
3.3.4 數(shù)據(jù)訪問管理85
3.3.5 數(shù)據(jù)質量和可觀測性86
3.3.6 Klodars公司的數(shù)據(jù)治理89
3.3.7 數(shù)據(jù)治理總結90
3.4 管理數(shù)據(jù)湖成本91
3.4.1 揭秘云上的數(shù)據(jù)湖成本92
3.4.2 數(shù)據(jù)湖成本策略94
3.5 總結96
第4章可擴展的數(shù)據(jù)湖97
4.1 可擴展性探秘97
4.1.1 什么是可擴展性98
4.1.2 日常生活中的規(guī)模98
4.1.3 數(shù)據(jù)湖架構中的可擴展性101
4.2 數(shù)據(jù)湖處理系統(tǒng)的內部104
4.2.1 內部數(shù)據(jù)復制105
4.2.2 內部ELT/ETL處理107
4.2.3 關于其他交互式查詢的說明110
4.3 可擴展數(shù)據(jù)湖解決方案的注意事項110
4.3.1 選擇合適的云產品111
4.3.2 峰值容量規(guī)劃114
4.3.3 數(shù)據(jù)格式和作業(yè)配置文件116
4.4 總結117
第5章優(yōu)化云數(shù)據(jù)湖架構以提高性能118
5.1 度量性能的基礎知識118
5.1.1 性能的目標和指標120
5.1.2 度量性能121
5.1.3 優(yōu)化以提高性能122
5.2 云數(shù)據(jù)湖性能124
5.2.1 SLA、SLO和SLI124
5.2.2 示例：Klodars公司如何管理其SLA、SLO和SLI125
5.3 性能驅動因素126
5.3.1 復制作業(yè)的性能驅動因素127
5.3.2 Spark作業(yè)的性能驅動因素129
5.4 性能調優(yōu)的優(yōu)化原則和技術132
5.4.1 數(shù)據(jù)格式132
5.4.2 數(shù)據(jù)組織和分區(qū)138
5.4.3 在Apache Spark上選擇正確的配置140
5.5 減少數(shù)據(jù)傳輸開銷142
5.6 優(yōu)質產品和性能143
5.6.1 大型虛擬機案例144
5.6.2 閃存案例144
5.7 總結145
第6章深入了解數(shù)據(jù)格式146
6.1 為什么我們需要這些開放數(shù)據(jù)格式146
6.1.1 為什么我們需要存儲表格數(shù)據(jù)147
6.1.2 為什么在云數(shù)據(jù)湖中存儲表格數(shù)據(jù)是一個問題148
6.2 Delta Lake149
6.2.1 為什么開發(fā)Delta Lake149
6.2.2 Delta Lake如何工作152
6.2.3 什么時候使用Delta Lake153
6.3 Apache Iceberg154
6.3.1 為什么開發(fā)Apache Iceberg154
6.3.2 Apache Iceberg是如何工作的155
6.3.3 什么時候使用Apache Iceberg157
6.4 Apache Hudi159
6.4.1 為什么孵化Apache Hudi159
6.4.2 Apache Hudi如何工作160
6.4.3 什么時候使用Apache Hudi163
6.5 總結164
第7章架構的決策框架165
7.1 云數(shù)據(jù)湖評估166
7.2 云數(shù)據(jù)湖評估分析168
7.2.1 從零開始169
7.2.2 將現(xiàn)有數(shù)據(jù)湖或數(shù)據(jù)倉庫遷移到云169
7.2.3 改進現(xiàn)有的云數(shù)據(jù)湖170
7.3 決策框架的第1階段：評估171
7.3.1 了解客戶需求171
7.3.2 了解改進的機會172
7.3.3 了解業(yè)務驅動因素174
7.3.4 確定需求的優(yōu)先級來完成評估階段175
7.4 決策框架的第2階段：定義176
7.4.1 確定云數(shù)據(jù)湖的設計選擇178
7.4.2 規(guī)劃云數(shù)據(jù)湖項目可交付成果181
7.5 決策框架的第3階段：實施183
7.6 決策框架的第4階段：操作185
7.7 總結186
第8章數(shù)據(jù)啟迪未來的六大經驗187
8.1 第1課：關注云數(shù)據(jù)湖的工作方式和時間，而不是“如果”和
　　“為什么”188
8.2 第2課：權力越大，責任越大—數(shù)據(jù)也不例外188
8.3 第3課：客戶引領技術，而不是技術引領客戶190
8.4 第4課：改變是不可避免的，所以要做好準備192
8.5 第5課：建立同理心，分清輕重緩急192
8.6 第6課：巨大的影響不會在一夜之間發(fā)生193
8.7 總結194
附錄云數(shù)據(jù)湖決策框架模板195