KNIME視覺化數(shù)據(jù)分析

第1章 數(shù)據(jù)分析方法論 1
1.1 基本要求與基礎(chǔ)概念 1
1.1.1 目標(biāo)讀者 1
1.1.2 楔子 2
1.1.3 厘清誰(shuí)是數(shù)據(jù)的所有者 2
1.1.4 成為科學(xué)家還是工程師 3
1.2 方法論 4
1.2.1 你的問題是什么 4
1.2.2 問題的解空間 5
1.2.3 科學(xué)方法 6
1.2.4 “然后呢” 7
1.2.5 CRISP-DM數(shù)據(jù)挖掘的跨行業(yè)標(biāo)準(zhǔn)流程 9
1.3 后續(xù)內(nèi)容 10
第2章 KNIME使用基礎(chǔ) 12
2.1 權(quán)衡數(shù)據(jù)分析的需求與解決方案 12
2.1.1 制定實(shí)施方案 12
2.1.2 案例：一次關(guān)于工具選型的聊天 15
2.2 KNIME簡(jiǎn)介、生態(tài)圈和資源 18
2.2.1 KNIME簡(jiǎn)介 18
2.2.2 當(dāng)我們提到KNIME時(shí)，具體是指什么 20
2.2.3 KNIME 的相關(guān)資源 21
2.3 安裝KNIME及其擴(kuò)展 22
2.3.1 安裝KNIME分析平臺(tái) 22
2.3.2 啟動(dòng)KNIME 24
2.3.3 安裝KNIME擴(kuò)展 25
2.3.4 卸載KNIME擴(kuò)展 26
2.4 KNIME的使用 26
2.4.1 關(guān)于KNIME界面 26
2.4.2 KNIME使用簡(jiǎn)介 29
2.4.3 導(dǎo)入和導(dǎo)出現(xiàn)有工作流 30
2.4.4 例子服務(wù)器及Hub的使用 31
2.5 遇到問題怎么辦 34
第3章 KNIME數(shù)據(jù)分析基礎(chǔ) 36
3.1 數(shù)據(jù)來(lái)源及輪廓 36
3.1.1 了解原始數(shù)據(jù)來(lái)源 36
3.1.2 了解輪廓，進(jìn)行探索性分析 36
3.1.3 一個(gè)好例子 37
3.1.4 房?jī)r(jià)例子 38
3.2 計(jì)算機(jī)如何處理表格數(shù)據(jù) 39
3.2.1 基礎(chǔ)數(shù)據(jù)操作 39
3.2.2 展示示例數(shù)據(jù) 39
3.2.3 具體的小問題 39
3.3 基礎(chǔ)操作之讀取數(shù)據(jù)源 41
3.3.1 讀取文件 41
3.3.2 讀取數(shù)據(jù)庫(kù) 43
3.3.3 導(dǎo)入之前的數(shù)據(jù) 43
3.4 基礎(chǔ)操作之挑選（select）操作 44
3.4.1 了解完備概念 44
3.4.2 你會(huì)幾種編程語(yǔ)言 45
3.4.3 回顧之前的問題 45
3.4.4 SQL中的挑選操作 46
3.4.5 KNIME中的挑選操作 47
3.5 基礎(chǔ)操作之CASE、group by和join 49
3.5.1 條件操作、缺失值和排序 50
3.5.2 分組操作——group by 51
3.5.3 子查詢——subquery 51
3.5.4 連接操作——join 52
3.5.5 使用KNIME完成之前的問題 52
3.6 了解KNIME中的重要概念 56
3.6.1 了解路徑 56
3.6.2 了解節(jié)點(diǎn)基礎(chǔ) 59
第4章 KNIME基礎(chǔ)節(jié)點(diǎn)——數(shù)據(jù)訪問類型 64
4.1 IO節(jié)點(diǎn)集合 65
4.1.1 Read（讀）目錄下的節(jié)點(diǎn) 66
4.1.2 File Folder Utility（文件、文件夾工具）目錄下的節(jié)點(diǎn) 68
4.1.3 Other（其他）目錄下的節(jié)點(diǎn) 69
4.1.4 文件處理節(jié)點(diǎn)的補(bǔ)充說明 70
4.2 DB節(jié)點(diǎn)集合 70
4.2.1 Connection（連接）目錄下的節(jié)點(diǎn) 71
4.2.2 獲取數(shù)據(jù)的兩種模式 73
4.2.3 Query（查詢）目錄下的節(jié)點(diǎn) 75
4.2.4 Read/Write（讀/寫）目錄下的節(jié)點(diǎn) 77
4.2.5 Utility（工具）目錄下的節(jié)點(diǎn) 78
4.3 JSON、XML類型 78
4.3.1 JSON格式介紹與解析 79
4.3.2 XML格式介紹與解析 83
4.3.3 JSON與XML的相應(yīng)節(jié)點(diǎn) 84
4.4 Web相關(guān)節(jié)點(diǎn) 85
4.5 NoSQL相關(guān)節(jié)點(diǎn) 85
4.6 網(wǎng)絡(luò)數(shù)據(jù)訪問 86
4.6.1 網(wǎng)絡(luò)數(shù)據(jù)簡(jiǎn)要說明 86
4.6.2 使用GET/POST Request 節(jié)點(diǎn) 89
4.6.3 其他 91
第5章 KNIME基礎(chǔ)節(jié)點(diǎn)——轉(zhuǎn)換類型 92
5.1 Column（列）處理節(jié)點(diǎn)集合 93
5.1.1 Binning（分桶）目錄下的節(jié)點(diǎn) 93
5.1.2 Convert ＆ Replace（轉(zhuǎn)換 ＆ 替換）目錄下的節(jié)點(diǎn) 96
5.1.3 Filter（過濾）目錄下的節(jié)點(diǎn) 101
5.1.4 Split ＆ Combine（分割與組合）目錄下的節(jié)點(diǎn) 101
5.1.5 Transform（轉(zhuǎn)換）目錄下的節(jié)點(diǎn) 103
5.1.6 其他的列處理節(jié)點(diǎn) 106
5.2 Row（行）處理節(jié)點(diǎn)集合 107
5.2.1 Filter（過濾）目錄下的節(jié)點(diǎn) 107
5.2.2 Transform（轉(zhuǎn)換）目錄下的節(jié)點(diǎn) 110
5.2.3 GroupBy（分組聚合）節(jié)點(diǎn) 112
5.2.4 Pivoting（轉(zhuǎn)軸或透視）節(jié)點(diǎn) 116
5.2.5 其他行處理節(jié)點(diǎn) 119
5.3 Table（表）處理節(jié)點(diǎn)集合 121
5.4 PMML節(jié)點(diǎn)集合 121
5.5 時(shí)間數(shù)據(jù)類型相關(guān)操作 124
第6章 KNIME基礎(chǔ)節(jié)點(diǎn)——分析和數(shù)據(jù)挖掘類型 128
6.1 機(jī)器學(xué)習(xí)簡(jiǎn)述 128
6.1.1 監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí) 128
6.1.2 基本概念和約定 129
6.1.3 模型選擇、超參優(yōu)化及錯(cuò)誤分析 132
6.2 Analytics節(jié)點(diǎn)集合 133
6.2.1 學(xué)習(xí)器（Learner）和預(yù)測(cè)器（Predictor） 134
6.2.2 Feature Selection（特征選擇）節(jié)點(diǎn) 135
6.2.3 Scoring（記分）目錄下的節(jié)點(diǎn) 136
6.2.4 Statistics（統(tǒng)計(jì)）類節(jié)點(diǎn) 136
6.2.5 Distance Calculation（距離計(jì)算）類節(jié)點(diǎn) 137
6.3 探索性數(shù)據(jù)分析（EDA）練習(xí) 137
6.3.1 泰坦尼克號(hào) 137
6.3.2 數(shù)據(jù)探索 138
6.3.3 對(duì)原始數(shù)據(jù)進(jìn)行粗略觀察 138
6.3.4 進(jìn)一步觀察數(shù)據(jù) 143
6.4 簡(jiǎn)單的機(jī)器學(xué)習(xí)練習(xí)——使用KNIME中的決策樹算法 147
第7章 進(jìn)階話題——流變量與控制循環(huán)結(jié)構(gòu) 152
7.1 流變量從入門到精通 152
7.1.1 了解流變量 152
7.1.2 生成流變量 153
7.1.3 使用流變量 156
7.1.4 流變量的操作 160
7.1.5 流變量的特別使用方式 164
7.2 循環(huán)（Loop）結(jié)構(gòu) 164
7.2.1 兩種Loop End（循環(huán)結(jié)束）節(jié)點(diǎn) 166
7.2.2 遞歸循環(huán) 168
7.2.3 循環(huán)的調(diào)試 170
7.2.4 和流變量有關(guān)的循環(huán) 171
7.2.5 其他循環(huán) 172
7.3 分支（Switches）結(jié)構(gòu) 175
7.3.1 IF Switch節(jié)點(diǎn) 176
7.3.2 Java IF（Table）節(jié)點(diǎn) 177
7.3.3 CASE Switch類節(jié)點(diǎn) 177
7.3.4 Empty Table Switch（空表切換）節(jié)點(diǎn) 178
7.3.5 其他說明 179
7.4 錯(cuò)誤處理 179
7.4.1 Try…Catch結(jié)構(gòu) 179
7.4.2 舉例：循環(huán)中的Try ... Catch結(jié)構(gòu) 183
7.4.3 其他 184
第8章 進(jìn)階話題——數(shù)據(jù)可視化、模塊化與編程節(jié)點(diǎn) 185
8.1 數(shù)據(jù)可視化 185
8.1.1 數(shù)據(jù)可視化簡(jiǎn)介 185
8.1.2 KNIME中的可視化節(jié)點(diǎn)簡(jiǎn)介 188
8.1.3 以折線圖（Line Plot）為例介紹可視化相關(guān)節(jié)點(diǎn) 189
8.1.4 其他可視化圖表 195
8.1.5 通用可視化節(jié)點(diǎn)——Generic JavaScript View 195
8.2 模塊化 197
8.2.1 KNIME 模塊化簡(jiǎn)史 198
8.2.2 元節(jié)點(diǎn)（Metanode） 199
8.2.3 組件（Component） 201
8.2.4 其他建議 207
8.3 生成報(bào)告 208
8.4 Java相關(guān)節(jié)點(diǎn) 213
8.4.1 Java Snippet（simple）節(jié)點(diǎn) 213
8.4.2 Java Snippet Row Filter（Java行過濾器）節(jié)點(diǎn) 216
8.4.3 Java Snippet節(jié)點(diǎn) 217
8.5 Python相關(guān)節(jié)點(diǎn) 221
8.5.1 Python環(huán)境配置 222
8.5.2 KNIME中的Python 226
8.5.3 Python相關(guān)節(jié)點(diǎn)介紹 229
8.5.4 與Jupyter交互 231
8.5.5 Conda的常用命令 234
第9章 高級(jí)話題 235
9.1 可復(fù)現(xiàn)性與測(cè)試 235
9.2 深度學(xué)習(xí)介紹 238
9.2.1 基于Keras的深度學(xué)習(xí) 239
9.2.2 基于TensorFlow 2的深度學(xué)習(xí) 242
9.2.3 使用現(xiàn)有模型進(jìn)行預(yù)測(cè) 244
9.2.4 使用深度學(xué)習(xí)的其他方式 246
9.3 時(shí)間序列分析介紹 247
9.3.1 想要預(yù)測(cè)什么 247
9.3.2 時(shí)間圖（Time Plot） 249
9.3.3 季節(jié)圖（Seasonal Plot） 249
9.3.4 季節(jié)性子圖（Seasonal Subseries Plot） 251
9.3.5 箱形圖（Box Plot） 252
9.3.6 散點(diǎn)圖（Scatter Plot） 253
9.3.7 滯后圖（Lag Plot） 254
9.3.8 自相關(guān)圖（Auto Correlation Plot）與偏自相關(guān)圖（Partial autocorrelation
function Plot） 255
9.3.9 時(shí)間序列的組成 257
9.3.10 時(shí)間序列的預(yù)處理 258
9.3.11 趨勢(shì)（Trend）成分 260
9.3.12 季節(jié)性（Seasonal）成分 261
9.3.13 周期性（Cyclic）成分 263
9.3.14 經(jīng)典的統(tǒng)計(jì)學(xué)方法 263
9.4 擴(kuò)展開發(fā)介紹 264
9.5 （機(jī)器學(xué)習(xí)的）集成部署（Integrated Deployment） 271
9.5.1 概述 271
9.5.2 使用舉例 272
9.6 KNIME Server、Executor與Edge簡(jiǎn)介 276
9.6.1 架構(gòu)簡(jiǎn)介 276
9.6.2 功能簡(jiǎn)介 278