大數(shù)據(jù)可視化分析建模：人人都是數(shù)據(jù)分析師

目 錄

第1章　數(shù)據(jù)分析導論 1
1.1　數(shù)據(jù)分析的基礎(chǔ)概念 1
1.1.1　商業(yè)智能 1
1.1.2　數(shù)據(jù)倉庫 1
1.1.3　數(shù)據(jù)倉庫與其他概念的關(guān)系 1
1.1.4　云計算 2
1.2　數(shù)據(jù)分析的主要流程 2
1.2.1　場景理解-明確目標，理解需求，搭建框架 2
1.2.2　數(shù)據(jù)準備-數(shù)據(jù)收集、清洗、集成等 2
1.2.3　數(shù)據(jù)處理-數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)提取、數(shù)據(jù)計算等 2
1.2.4　數(shù)據(jù)分析-結(jié)合業(yè)務，探索數(shù)據(jù)，發(fā)現(xiàn)規(guī)律 3
1.2.5　結(jié)果發(fā)布-將獲取的知識轉(zhuǎn)化成報告、大屏或者實現(xiàn)數(shù)據(jù)挖掘過程 3
1.3　數(shù)據(jù)分析的主要作用 3
1.4　數(shù)據(jù)分析的主要方法 3
1.4.1　5W2H分析方法 4
1.4.2　邏輯樹分析方法 5
1.4.3　PEST分析方法 5
1.4.4　多維度拆解分析方法 6
1.4.5　對比分析方法 6
1.5　數(shù)據(jù)分析的邏輯思維 7
1.5.1　需求梳理 7
1.5.2　維度設計 7
1.5.3　數(shù)據(jù)準備 8
1.5.4　模型創(chuàng)建 8
1.5.5　模型成效 8
1.6　數(shù)據(jù)分析的結(jié)果應用 9
1.6.1　數(shù)據(jù)可視化 9
1.6.2　數(shù)據(jù)分析報告 11
第2章　數(shù)據(jù)分析模型設計 12
2.1　思維導圖與數(shù)據(jù)建模 12
2.1.1　什么是思維導圖 12
2.1.2　思維導圖的價值 12
2.1.3　思維導圖在數(shù)據(jù)建模中的應用 12
2.1.4　常用思維導圖工具 13
2.2　數(shù)據(jù)分析模型的定義 13
2.3　數(shù)據(jù)分析模型的分類 15
2.3.1　按復雜程度分類 15
2.3.2　按適用范圍分類 15
2.3.3　按業(yè)務屬性分類 15
2.3.4　按計算方式分類 15
2.3.5　按業(yè)務場景分類 16
2.4　如何明確分析模型的應用場景 16
2.5　如何選擇和細化分析對象 17
2.6　數(shù)據(jù)分析模型創(chuàng)建的一般步驟 17
2.7　數(shù)據(jù)分析建模常見誤區(qū) 18
第3章　數(shù)據(jù)準備及工作表管理 19
3.1　大數(shù)據(jù)分析平臺應用基礎(chǔ) 19
3.1.1　平臺登錄方法 19
3.1.2　用戶賬號及管理 19
3.1.3　平臺主要功能 21
3.2　數(shù)據(jù)源準備及數(shù)據(jù)上傳 34
3.2.1　數(shù)據(jù)手動上傳 34
3.2.2　數(shù)據(jù)庫對接自動更新 37
3.2.3　數(shù)據(jù)追加和替換 42
3.3　工作表管理 44
3.3.1　創(chuàng)建工作表文件夾 44
3.3.2　工作表文件夾管理 45
3.3.3　數(shù)據(jù)預覽 45
3.3.4　字段設置和管理 47
3.3.5　工作表刪除 47
3.3.6　工作表關(guān)聯(lián)概況 48
3.3.7　數(shù)據(jù)授權(quán)和共享 49
第4章　數(shù)據(jù)可視化圖表創(chuàng)建 50
4.1　圖表類型概述 50
4.1.1　表格 50
4.1.2　成分 51
4.1.3　時間序列 54
4.1.4　頻率分布 59
4.1.5　相關(guān)性 60
4.1.6　多重數(shù)據(jù)比較 61
4.1.7　聚類趨勢圖 62
4.1.8　層次關(guān)系 64
4.1.9　位置相關(guān) 65
4.1.10　數(shù)值 66
4.2　儀表盤管理方法 68
4.2.1　新建儀表盤文件夾 69
4.2.2　新建儀表盤 69
4.2.3　儀表盤管理 71
4.2.4　儀表盤導出 71
4.3　分析圖表的創(chuàng)建方法 72
4.3.1　添加圖表 72
4.3.2　選擇數(shù)據(jù)表 73
4.3.3　圖表創(chuàng)建工作區(qū)操作 73
4.3.4　配置維度和數(shù)值 74
4.3.5　圖表名稱命名 76
4.3.6　圖表類型選擇 76
4.4　分析圖表的設置方法 77
4.4.1　圖表顏色設置 77
4.4.2　預警線設置 81
4.4.3　輔助線設置 85
4.4.4　圖內(nèi)總計設置 87
4.4.5　圖表標簽設置 87
4.4.6　縮略軸設置 88
4.4.7　圖表聯(lián)動設置 88
4.4.8　圖表篩選設置 89
4.4.9　圖表鉆取設置 96
4.4.10　圖例設置 97
4.4.11　排版設置 97
4.5　圖表數(shù)據(jù)導出 98
4.5.1　導出到Excel 98
4.5.2　導出到圖片 99
4.6　GIS地圖創(chuàng)建方法 99
4.6.1　選擇圖表類型 99
4.6.2　設置字段及坐標 100
4.6.3　設置圖層及工作表類型 100
4.6.4　拖曳字段 101
4.6.5　顏色與尺寸設置 101
4.6.6　可視化效果類型設置 101
4.7　圖表配置相關(guān)概念 102
4.7.1　維度、對比和數(shù)值的概念 102
4.7.2　鉆取、聯(lián)動和篩選的區(qū)別與聯(lián)系 103
4.7.3　同比和環(huán)比的區(qū)別與聯(lián)系 104
4.7.4　高級計算介紹 105
第5章　自主建模應用 109
5.1　通用算子基本概念 109
5.2　算子的主要特征及應用規(guī)則 109
5.3　模型創(chuàng)建 109
5.3.1　添加模型 109
5.3.2　選擇數(shù)據(jù) 110
5.3.3　模型設計 110
5.3.4　結(jié)果輸出 112
5.4　模型管理 112
5.4.1　模型搜索 112
5.4.2　模型運行 113
5.4.3　模型編輯 113
5.4.4　字段設置 114
5.4.5　數(shù)據(jù)預覽 115
5.4.6　模型保存 115
5.4.7　模型刪除 116
5.4.8　模型更新 117
5.5　單表級數(shù)據(jù)處理通用算子 119
5.5.1　通用算子-數(shù)據(jù)聚合 119
5.5.2　通用算子-數(shù)據(jù)去重 121
5.5.3　通用算子-添加字段 128
5.5.4　通用算子-輸出工作表 130
5.5.5　通用算子- SQL創(chuàng)建 131
5.5.6　通用算子-表結(jié)構(gòu)處理 133
5.5.7　通用算子- JSON解析算子 135
5.5.8　通用算子-算數(shù)運算算子 136
5.5.9　通用算子-日期處理算子 138
5.5.10　通用算子-字符串處理算子 147
5.5.11　通用算子-空值率算子 157
5.6　多表級數(shù)據(jù)處理通用算子 158
5.6.1　通用算子-左連接 158
5.6.2　通用算子-交集 160
5.6.3　通用算子-差集 162
5.6.4　通用算子-全關(guān)聯(lián) 163
5.6.5　通用算子-全部合并 165
5.7　自定義算子 167
5.7.1　自定義算子基本定義 168
5.7.2　自定義算子使用場景 169
5.7.3　自定義算子創(chuàng)建方法及步驟 169
5.7.4　自定義算子配置 171
5.7.5　自定義算子管理級授權(quán)使用 184
第6章　SQL函數(shù)在建模中的應用 188
6.1　SQL使用場景及技巧 188
6.2　SQL查詢基本語法 189
6.2.1　FROM子句 189
6.2.2　DISTINCT謂詞 189
6.2.3　用AS子句為字段取別名 189
6.2.4　WHERE子句指定查詢條件 190
6.3　數(shù)學運算函數(shù) 193
6.3.1　+函數(shù)應用演示 193
6.3.2　-函數(shù)應用演示 194
6.3.3　*函數(shù)應用演示 194
6.3.4　/函數(shù)應用演示 195
6.3.5　%函數(shù)應用演示 196
6.4　日期函數(shù) 197
6.4.1　DAY函數(shù)應用演示 197
6.4.2　MONTH函數(shù)應用演示 198
6.4.3　YEAR函數(shù)應用演示 199
6.4.4　TO_DATE函數(shù)應用演示 200
6.4.5　HOUR函數(shù)應用演示 201
6.4.6　MINUTE函數(shù)應用演示 202
6.4.7　SECOND函數(shù)應用演示 203
6.4.8　DATE_SUB函數(shù)應用演示 204
6.4.9　DATE_ADD函數(shù)應用演示 205
6.4.10　HOUR_DIFF函數(shù)應用演示 206
6.4.11　DAY_DIFF函數(shù)應用演示 207
6.4.12　YEAR_DIFF函數(shù)應用演示 208
6.4.13　FROM_UNIXTIME、UNIX_TIMESTAMP、SUBSTR混合函數(shù)應用演示 209
6.5　條件函數(shù) 210
6.5.1　IF、AND、OR、HOUR_DIFF混合函數(shù)應用演示 210
6.5.2　CASE、WHEN、HOUR_DIFF、AND混合函數(shù)應用演示 211
6.5.3　CCOALESCE函數(shù)應用演示 213
6.6　字符串函數(shù) 213
6.6.1　CONCAT函數(shù)應用演示 213
6.6.2　SUBSTR函數(shù)應用演示 214
6.6.3　STRING_SPLIT、SPLIT函數(shù)應用演示 215
6.6.4　REPLACE函數(shù)應用演示 217
6.6.5　REGEXP_REPLACE函數(shù)應用演示 217
6.6.6　LENGTH函數(shù)應用演示 218
6.6.7　UPPER函數(shù)應用演示 219
6.7　數(shù)值計算函數(shù) 220
6.7.1　RAND函數(shù)應用演示 220
6.7.2　ROUND函數(shù)應用演示 221
6.8　聚合函數(shù) 221
6.9　函數(shù)應用注意事項 222
第7章　可視化大屏創(chuàng)建 223
7.1　數(shù)據(jù)大屏和儀表盤的區(qū)別與聯(lián)系 223
7.2　數(shù)據(jù)大屏設計步驟 225
7.3　數(shù)據(jù)大屏基本功能 228
7.4　數(shù)據(jù)大屏創(chuàng)建步驟 230
7.4.1　新建普通大屏 230
7.4.2　組件樣式設置 231
7.5　數(shù)據(jù)大屏的數(shù)據(jù)調(diào)用 235
7.5.1　添加數(shù)據(jù)源 235
7.5.2　數(shù)據(jù)源管理 239
7.6　數(shù)據(jù)大屏核心參數(shù)設置 241
7.6.1　配置數(shù)據(jù) 241
7.6.2　數(shù)據(jù)處理 245
7.6.3　映射字段 247
7.6.4　數(shù)據(jù)更新 247
7.7　數(shù)據(jù)大屏應用舉例 248
7.8　創(chuàng)建大屏常見問題 248
第8章　數(shù)據(jù)分析報告制作 251
8.1　明確報告類型 251
8.2　合理選擇報告結(jié)構(gòu) 252
8.3　報告制作注意事項 255