DM8數(shù)據(jù)中心解決方案：達夢數(shù)據(jù)交換平臺

入 門 篇
第1章 概述 2
1．1 數(shù)據(jù)交換基本概念 2
1．1．1 數(shù)據(jù)交換概念模型 2
1．1．2 數(shù)據(jù)交換技術(shù)的發(fā)展 3
1．2 數(shù)據(jù)交換體系結(jié)構(gòu) 4
1．2．1 數(shù)據(jù)交換模式 4
1．2．2 數(shù)據(jù)交換體系組成 6
1．3 達夢數(shù)據(jù)交換平臺簡介 7
1．3．1 組成及功能 7
1．3．2 技術(shù)架構(gòu) 10
1．3．3 特點 11
第2章 安裝與配置 13
2．1 安裝與卸載 13
2．1．1 Windows操作系統(tǒng)中的安裝 13
2．1．2 Linux操作系統(tǒng)中的安裝 21
2．1．3 升級安裝 23
2．1．4 卸載 24
2．1．5 常見問題與注意事項 25
2．2 系統(tǒng)配置 27
2．2．1 啟動與停止系統(tǒng)服務(wù) 27
2．2．2 服務(wù)器配置 30
2．2．3 元數(shù)據(jù)庫配置 31
2．2．4 集群配置 33
2．2．5 數(shù)據(jù)總線服務(wù)配置 34
2．2．6 Web監(jiān)控服務(wù)配置 35
2．2．7 查看許可證信息 36
2．2．8 監(jiān)聽服務(wù)器日志信息 37
2．2．9 日志參數(shù)配置 37
第3章 快速入門 38
3．1 設(shè)計器界面 38
3．1．1 設(shè)計器啟動 38
3．1．2 界面簡介 40
3．2 基本操作 40
3．2．1 設(shè)計 40
3．2．2 運行 43
3．3 入門示例 44
3．3．1 示例說明 44
3．3．2 創(chuàng)建數(shù)據(jù)源 45
3．3．3 創(chuàng)建工程 50
3．3．4 設(shè)計轉(zhuǎn)換 51
3．3．5 設(shè)計作業(yè) 62
3．3．6 查看運行日志 66
基 礎(chǔ) 篇
第4章 數(shù)據(jù)源管理 68
4．1 關(guān)系型數(shù)據(jù)庫 68
4．1．1 關(guān)系型數(shù)據(jù)庫概述 68
4．1．2 添加表 70
4．1．3 添加視圖 70
4．1．4 添加SQL查詢 71
4．1．5 表 73
4．2 文本文件 79
4．2．1 文本文件描述 79
4．2．2 文本文件選項配置說明 79
4．2．3 文本文件詳細說明 79
4．3 CSV文件 80
4．3．1 CSV文件描述 80
4．3．2 CSV文件選項配置說明 80
4．4 Excel文件 80
4．4．1 Excel文件描述 80
4．4．2 Excel文件選項配置說明 81
4．5 XML文件 81
4．5．1 XML文件描述 81
4．5．2 XML文件選項配置說明 81
4．5．3 XML文件示例描述 82
4．6 數(shù)據(jù)集文件 83
4．6．1 數(shù)據(jù)集文件描述 83
4．6．2 數(shù)據(jù)集文件選項配置說明 83
4．7 DBF文件 84
4．7．1 DBF文件描述 84
4．7．2 DBF文件選項配置說明 84
4．8 JSON文件 84
4．8．1 JSON文件描述 84
4．8．2 JSON文件選項配置說明 84
4．8．3 JSON文件示例描述 85
4．9 HDFS文件 86
4．9．1 HDFS文件描述 86
4．9．2 HDFS文件選項配置說明 86
4．10 AVRO文件 86
4．10．1 AVRO文件描述 86
4．10．2 AVRO文件選項配置說明 87
4．11 JMS文件 87
4．11．1 JMS文件描述 87
4．11．2 JMS文件選項配置說明 87
4．11．3 JMS文件示例描述 87
4．12 WebSphere MQ 89
4．12．1 WebSphere MQ描述 89
4．12．2 WebSphere MQ選項配置說明 89
4．13 Kafka 89
4．13．1 Kafka描述 89
4．13．2 Kafka選項配置說明 89
4．14 WebService 90
4．14．1 WebService描述 90
4．14．2 WebService選項配置說明 90
4．15 LDAP 90
4．15．1 LDAP描述 90
4．15．2 LDAP選項配置說明 90
4．15．3 LDAP示例描述 91
4．15．4 添加LDAP DN數(shù)據(jù)集 91
4．16 Mail數(shù)據(jù)源 91
4．16．1 Mail數(shù)據(jù)源描述 91
4．16．2 Mail數(shù)據(jù)源選項配置說明 92
4．16．3 Mail數(shù)據(jù)源示例描述 92
4．16．4 添加Mail數(shù)據(jù)集 93
4．17 MongoDB數(shù)據(jù)源 94
4．17．1 MongoDB數(shù)據(jù)源描述 94
4．17．2 MongoDB數(shù)據(jù)源選項配置說明 94
4．17．3 MongoDB數(shù)據(jù)源示例描述 94
4．17．4 添加MongoDB數(shù)據(jù)集 94
4．18 Elasticsearch數(shù)據(jù)源 95
4．18．1 Elasticsearch數(shù)據(jù)源描述 95
4．18．2 Elasticsearch數(shù)據(jù)源選項配置說明 95
4．18．3 Elasticsearch數(shù)據(jù)源示例描述 96
4．18．4 添加Elasticsearch類型 96
4．19 Hbase數(shù)據(jù)源 97
4．19．1 Hbase數(shù)據(jù)源描述 97
4．19．2 Hbase數(shù)據(jù)源選項配置說明 97
4．19．3 Hbase數(shù)據(jù)源示例描述 98
4．19．4 添加Hbase表 98
4．20 導(dǎo)出元數(shù)據(jù) 99
4．20．1 導(dǎo)出元數(shù)據(jù)描述 99
4．20．2 導(dǎo)出元數(shù)據(jù)選項配置說明 99
4．20．3 導(dǎo)出元數(shù)據(jù)示例描述 99
4．21 導(dǎo)出數(shù)據(jù) 101
4．21．1 導(dǎo)出數(shù)據(jù)描述 101
4．21．2 導(dǎo)出數(shù)據(jù)選項配置說明 101
4．21．3 導(dǎo)出數(shù)據(jù)示例描述 101
第5章 轉(zhuǎn)換 103
5．1 轉(zhuǎn)換概述 103
5．1．1 轉(zhuǎn)換功能描述 103
5．1．2 轉(zhuǎn)換選項配置說明 103
5．2 轉(zhuǎn)換通用配置 104
5．2．1 輸出配置 104
5．2．2 高級屬性配置 109
5．2．3 數(shù)據(jù)條數(shù) 111
5．2．4 文件切分 112
5．2．5 文件處理 113
5．2．6 文件選擇 114
5．2．7 自動分表 116
5．2．8 流程運行統(tǒng)計 117
5．3 數(shù)據(jù)讀取 118
5．3．1 讀取表/視圖 118
5．3．2 SQL查詢 120
5．3．3 讀取增量表 122
5．3．4 讀取文本文件 124
5．3．5 讀取CSV文件 125
5．3．6 讀取Excel文件 127
5．3．7 讀取XML文件 128
5．3．8 讀取數(shù)據(jù)集文件 129
5．3．9 讀取JMS數(shù)據(jù) 131
5．3．10 讀取WebService數(shù)據(jù) 133
5．3．11 讀取LDAP數(shù)據(jù) 134
5．3．12 讀取Mail數(shù)據(jù) 135
5．3．13 讀取隨機數(shù)據(jù) 136
5．3．14 讀取自定義數(shù)據(jù)源 138
5．3．15 讀取DBF文件 141
5．3．16 讀取JSON文件 141
5．3．17 讀取MongoDB數(shù)據(jù) 142
5．3．18 讀取WebSphere MQ數(shù)據(jù) 143
5．3．19 讀取網(wǎng)絡(luò)輸入數(shù)據(jù) 143
5．4 數(shù)據(jù)轉(zhuǎn)換 143
5．4．1 數(shù)據(jù)清洗轉(zhuǎn)換 143
5．4．2 聯(lián)合 155
5．4．3 數(shù)據(jù)集查找 157
5．4．4 數(shù)據(jù)質(zhì)量檢測 159
5．4．5 SQL腳本 159
5．4．6 設(shè)置變量 161
5．4．7 排序 162
5．4．8 刪除重復(fù)行 164
5．4．9 行數(shù)據(jù)抽樣 165
5．4．10 自定義轉(zhuǎn)換 166
5．4．11 聚合 167
5．4．12 列轉(zhuǎn)行 168
5．4．13 行轉(zhuǎn)列 170
5．4．14 系統(tǒng)命令 171
5．4．15 數(shù)據(jù)脫敏 171
5．4．16 連接 172
5．5 數(shù)據(jù)裝載 172
5．5．1 表裝載 172
5．5．2 增量表裝載 174
5．5．3 緩慢變化維表裝載 176
5．5．4 文本文件裝載 181
5．5．5 CSV文件裝載 182
5．5．6 Excel文件裝載 183
5．5．7 XML文件裝載 185
5．5．8 數(shù)據(jù)集文件裝載 186
5．5．9 JMS裝載 187
5．5．10 WebService裝載 188
5．5．11 DBF文件裝載 190
5．5．12 JSON文件裝載 191
5．5．13 MongoDB裝載 192
5．5．14 WebSphere MQ裝載 192
5．5．15 Kafka裝載 192
5．5．16 Elasticsearch裝載 193
5．5．17 網(wǎng)絡(luò)輸出 193
5．6 快速裝載 194
5．6．1 DM8快速裝載 194
5．6．2 Greenplum快速裝載 195
5．6．3 Oracle快速裝載 197
5．6．4 MySQL快速裝載 198
5．6．5 Infobright快速裝載 199
5．6．6 Mariadb快速裝載 200
5．6．7 Hive快速裝載 200
5．7 文件同步 201
5．7．1 文件源 201
5．7．2 文件目的 203
5．7．3 文件同步示例 203
第6章 作業(yè) 206
6．1 作業(yè)概述 206
6．1．1 作業(yè)功能描述 206
6．1．2 作業(yè)選項配置說明 206
6．2 作業(yè)通用配置 207
6．2．1 高級屬性 207
6．2．2 循環(huán)執(zhí)行 208
6．3 引用 209
6．3．1 引用轉(zhuǎn)換 210
6．3．2 引用作業(yè) 210
6．4 腳本 211
6．4．1 Java腳本 212
6．4．2 SQL腳本 213
6．4．3 設(shè)置變量 214
6．5 文件操作 216
6．5．1 基本文件操作 216
6．5．2 壓縮 217
6．5．3 解壓縮 218
6．5．4 遠程文件同步 219
6．6 實用工具 221
6．6．1 發(fā)送郵件 221
6．6．2 OS命令 223
6．6．3 DLL調(diào)用 224
6．6．4 Ant 225
6．6．5 休眠 227
6．6．6 數(shù)據(jù)校驗 228
6．7 系統(tǒng)維護 230
6．7．1 清除日志 230
6．7．2 刷新緩存 231
第7章 函數(shù)與變量 233
7．1 函數(shù) 233
7．1．1 函數(shù)定義 233
7．1．2 函數(shù)類型與作用域 234
7．2 變量 234
7．2．1 變量定義 234
7．2．2 變量類型與作用域 235
7．2．3 節(jié)點變量 235
7．2．4 局部變量 237
7．3 表達式 237
7．4 使用嵌入式表達式 238
7．5 數(shù)據(jù)類型 239
第8章 調(diào)度與監(jiān)控 241
8．1 調(diào)度 241
8．1．1 新建調(diào)度 241
8．1．2 設(shè)置調(diào)度 243
8．1．3 調(diào)度引擎 245
8．2 監(jiān)控 246
8．2．1 監(jiān)控后臺流程 246
8．2．2 查詢歷史日志 247
8．2．3 清除歷史日志 249
8．2．4 實時告警 250
8．2．5 歷史告警 251
8．2．6 清除告警 251
第9章 權(quán)限與版本管理 252
9．1 權(quán)限概述 252
9．1．1 功能權(quán)限 252
9．1．2 對象權(quán)限 253
9．2 角色 255
9．3 用戶 256
9．3．1 用戶概述 256
9．3．2 啟用/禁用用戶 257
9．3．3 重置密碼 257
9．4 版本管理 258
9．4．1 備份當前版本 258
9．4．2 自動備份 258
9．4．3 手動備份 259
9．4．4 查看歷史版本 259
9．4．5 清除歷史版本 260
9．4．6 還原刪除對象 261
高 級 篇
第10章 增量數(shù)據(jù)抽取 264
10．1 增量數(shù)據(jù)抽取原理 264
10．1．1 增量數(shù)據(jù)抽取方式 264
10．1．2 DMETL增量數(shù)據(jù)表 267
10．2 增量數(shù)據(jù)同步設(shè)計 269
10．2．1 添加增量數(shù)據(jù)集 269
10．2．2 配置增量表數(shù)據(jù)抽取 270
10．2．3 配置增量表數(shù)據(jù)裝載 271
10．2．4 配置“首次同步時同步基表數(shù)據(jù)”與“設(shè)為首次同步” 271
10．3 增量數(shù)據(jù)同步和增量方式配置示例 274
10．3．1 觸發(fā)器方式同步示例 274
10．3．2 其他增量方式配置示例 278
第11章 達夢數(shù)據(jù)交換集群 283
11．1 集群概述 283
11．1．1 體系結(jié)構(gòu) 283
11．1．2 集群特性 284
11．2 集群安裝配置與管理 287
11．2．1 集群安裝 287
11．2．2 集群主從節(jié)點配置 287
11．2．3 集群管理 291
11．3 轉(zhuǎn)換和作業(yè)集群配置 293
11．3．1 轉(zhuǎn)換流程消息順序 293
11．3．2 轉(zhuǎn)換組件集群配置 294
11．3．3 作業(yè)組件集群配置 295
11．3．4 組件對集群的支持 296
第12章 數(shù)據(jù)質(zhì)量檢測 297
12．1 數(shù)據(jù)質(zhì)量檢測規(guī)則管理 297
12．1．1 數(shù)據(jù)質(zhì)量規(guī)則 297
12．1．2 數(shù)據(jù)質(zhì)量視圖 298
12．2 數(shù)據(jù)質(zhì)量檢測配置 299
12．3 數(shù)據(jù)質(zhì)量檢測統(tǒng)計 304
第13章 Web監(jiān)控與數(shù)據(jù)總線 309
13．1 Web監(jiān)控 309
13．1．1 Web監(jiān)控安裝 309
13．1．2 Web監(jiān)控配置 309
13．1．3 Web監(jiān)控功能 311
13．2 數(shù)據(jù)總線 319
13．2．1 DMETL數(shù)據(jù)總線概述 319
13．2．2 基于數(shù)據(jù)總線的數(shù)據(jù)交換 320
第14章 自定義轉(zhuǎn)換和數(shù)據(jù)源開發(fā) 329
14．1 自定義轉(zhuǎn)換和數(shù)據(jù)源開發(fā)概述 329
14．2 開發(fā)環(huán)境搭建 330
14．2．1 開發(fā)環(huán)境要求 330
14．2．2 開發(fā)條件準備 331
14．3 自定義轉(zhuǎn)換開發(fā) 334
14．3．1 自定義轉(zhuǎn)換開發(fā)目標 334
14．3．2 自定義轉(zhuǎn)換開發(fā)步驟 335
14．3．3 自定義轉(zhuǎn)換應(yīng)用 343
14．4 自定義數(shù)據(jù)源開發(fā) 348
14．4．1 自定義數(shù)據(jù)源開發(fā)目標 348
14．4．2 自定義數(shù)據(jù)源開發(fā)步驟 348
14．4．3 使用自定義數(shù)據(jù)源 352
第15章 ETL接口編程 354
15．1 DMETL API概述 354
15．2 接口編程示例 355
15．2．1 數(shù)據(jù)遷移編程示例 355
15．2．2 數(shù)據(jù)操作查詢編程示例 359
15．2．3 調(diào)度操作編程示例 362
15．2．4 查詢語句修改編程示例 363
附錄A 系統(tǒng)函數(shù) 365
A．1 數(shù)學(xué)函數(shù) 365
A．2 字符串函數(shù) 369
A．3 日期時間函數(shù) 374
A．4 判斷函數(shù) 376
A．5 數(shù)據(jù)轉(zhuǎn)換函數(shù) 376
A．6 其他函數(shù) 378
附錄B 系統(tǒng)變量 381
B．1 系統(tǒng)運行變量 381
B．2 其他系統(tǒng)變量 381
附錄C 日期時間格式 382
附錄D 數(shù)字格式 385