并行數(shù)據挖掘及性能優(yōu)化：關聯(lián)規(guī)則與數(shù)據相關性分析

定　價：￥88.00

作　者：	荀亞玲著
出版社：	電子工業(yè)出版社
叢編項：	AI工程師書庫
標　簽：	暫缺

購買這本書可以去

ISBN：	9787121375828	出版時間：	2019-12-01	包裝：	平裝
開本：	16開	頁數(shù)：	224	字數(shù)：

內容簡介

　　大數(shù)據推動了各行各業(yè)的迅猛發(fā)展，各領域呈現(xiàn)出新產品、新技術、新服務和新的發(fā)展業(yè)態(tài)，但“信息豐富而知識貧乏”的現(xiàn)象仍然存在。逾越數(shù)據與知識之間的鴻溝，需要強有力的分析工具和分析方法的支撐?，F(xiàn)有的關聯(lián)規(guī)則挖掘算法，因其時空復雜性和I/O代價高，難以適應大數(shù)據分析任務?！恫⑿袛?shù)據挖掘及性能優(yōu)化：關聯(lián)規(guī)則與數(shù)據相關性分析》充分利用Hadoop、Spark等集群系統(tǒng)的強大數(shù)據處理能力，論述了支持大數(shù)據分析的關聯(lián)規(guī)則并行挖掘算法與集群系統(tǒng)性能優(yōu)化，并探討了其在智能制造領域的應用?！恫⑿袛?shù)據挖掘及性能優(yōu)化：關聯(lián)規(guī)則與數(shù)據相關性分析》可供從事數(shù)據挖掘、機器學習及并行計算等相關專業(yè)的科研人員參考，也可作為高等院校計算機、大數(shù)據專業(yè)的高年級本科生與研究生的學習參考書。

作者簡介

　　荀亞玲，女，1980年生，山西臨汾霍州人，博士，現(xiàn)任太原科技大學計算機科學與技術學院副教授。在科研方面一直從事數(shù)據挖掘和并行與分布式計算等方面的研究工作。在關聯(lián)規(guī)則挖掘、天體光譜數(shù)據挖掘技術、并行與分布式計算等領域進行了理論和應用研究，已取得了一些階段性的研究成果。先后參與了多項國家自然科學基金、國家863”高技術發(fā)展計劃基金項目子課題。主持國家青年基金項目1項（MapReduce集群環(huán)境下的恒星光譜關聯(lián)規(guī)則挖掘及性能優(yōu)化”項目（編號：61602335））。在《IEEE Transactions on Systems， Man， and Cybernetics： Systems》、《軟件學報》等國內外期刊上，已公開發(fā)表了第一作者學術論文若干，其中： SCI收錄1篇， EI收錄2篇；在《Soft Computing》、《Knowledge-Based Systems》、《軟件學報》等期刊上，合作發(fā)表了論文十余篇；此外，以第一作者撰寫的《FiDoop-DP： Data Partitioning in Frequent Itemset Mining on Hadoop Clusters》論文，已被CCF推薦的A類國際**SCI期刊《IEEE Transactions on Parallel and Distributed Systems 》，于2016年5月錄用。2016年5月，《一種基于云存儲的校園安防系統(tǒng)》獲授權國家專利，專利號：ZL 2015 2 1058772.7。

圖書目錄

目錄
第一篇基礎理論篇
第1章緒論\t3
1．1 數(shù)據挖掘\t4
1．1．1 數(shù)據挖掘的產生和定義\t4
1．1．2 數(shù)據挖掘的任務與分類\t6
1．1．3 研究前沿和發(fā)展趨勢\t8
1．2 關聯(lián)規(guī)則\t9
1．2．1 關聯(lián)規(guī)則及其分類\t9
1．2．2 關聯(lián)規(guī)則挖掘算法\t12
1．3 集群系統(tǒng)與并行計算模型\t17
1．3．1 集群系統(tǒng)\t17
1．3．2 并行計算模型\t18
1．3．3 大數(shù)據處理架構Hadoop與Spark\t21
1．4 大數(shù)據環(huán)境下的數(shù)據挖掘及應用\t27
1．4．1 大數(shù)據\t27
1．4．2 大數(shù)據挖掘及應用\t29
第2章 MapReduce集群環(huán)境下的數(shù)據放置策略\t33
2．1 引言\t34
2．2 數(shù)據放置策略的關鍵問題與度量標準\t35
2．3 數(shù)據放置策略的優(yōu)化\t37
2．3．1 MapReduce集群系統(tǒng)能耗與數(shù)據放置策略\t38
2．3．2 負載均衡的數(shù)據放置策略\t41
2．3．3 改善I/O性能與通信負載的數(shù)據放置策略\t46
2．3．4 考慮其他因素的數(shù)據放置策略\t49
2．4 數(shù)據放置策略的分析與歸納\t50
2．5 本章小結\t53
第二篇關聯(lián)規(guī)則并行挖掘及性能優(yōu)化篇
第3章壓縮后綴鏈表與并行頻繁項集挖掘算法\t61
3．1 問題提出\t62
3．2 基礎理論\t63
3．3 基于MapReduce的頻繁項集挖掘算法\t65
3．3．1 第一個MapReduce作業(yè)\t67
3．3．2 第二個MapReduce作業(yè)\t67
3．4 實驗評價\t68
3．4．1 最小支持度\t69
3．4．2 可擴展性\t70
3．4．3 加速比\t70
3．5 本章小結\t71
第4章 FIUT算法與頻繁項集并行挖掘\t73
4．1 引言\t74
4．2 FIUT算法描述\t76
4．3 FiDoop算法概述\t77
4．4 基于MapReduce的FiDoop算法\t81
4．4．1 第一個MapReduce作業(yè)\t83
4．4．2 第二個MapReduce作業(yè)\t83
4．4．3 第三個MapReduce作業(yè)\t84
4．5 實現(xiàn)細節(jié)\t87
4．5．1 負載均衡\t87
4．5．2 高維優(yōu)化\t88
4．6 FiDoop-HD算法\t90
4．7 實驗評價\t92
4．7．1 最小支持度\t93
4．7．2 負載均衡\t95
4．7．3 加速比\t96
4．7．4 可擴展性\t97
4．8 本章小結\t98
第5章 MapReduce編程模型下的約束頻繁項集并行挖掘算法\t101
5．1 問題提出\t102
5．2 約束頻繁項集挖掘算法的并行化\t103
5．3 基于MapReduce的約束頻繁項集并行挖掘\t105
5．4 基于MapReduce的約束頻繁項集并行挖掘算法（PACFP）\t108
5．4．1 并行化計數(shù)過程\t108
5．4．2 并行化CFP-Growth算法\t109
5．4．3 結果聚合\t111
5．5 負載均衡\t111
5．6 實驗結果及分析\t112
5．6．1 最小支持度\t113
5．6．2 可伸縮性\t115
5．6．3 可擴展性\t116
5．6．4 約束條件判斷的代價分析\t117
5．6．5 負載均衡\t118
5．7 本章小結\t120
第6章支持并行頻繁項集挖掘的數(shù)據劃分策略\t121
6．1 引言\t122
6．1．1 FiDoop-DP算法的研發(fā)動機\t123
6．1．2 FiDoop-DP算法要解決的數(shù)據劃分問題\t124
6．1．3 FiDoop-DP算法的基本思想\t125
6．2 并行FP-Growth算法\t126
6．3 相關工作\t128
6．3．1 MapReduce下的數(shù)據劃分\t128
6．3．2 應用系統(tǒng)相關的數(shù)據劃分\t129
6．4 問題陳述和設計目標\t131
6．4．1 基本方法與問題陳述\t131
6．4．2 設計目標\t132
6．5 數(shù)據劃分策略\t133
6．5．1 距離度量\t134
6．5．2 K-Means算法種子點的選擇\t135
6．5．3 劃分策略\t135
6．6 實現(xiàn)細節(jié)\t138
6．7 實驗評價\t143
6．7．1 種子點個數(shù)對算法的影響\t143
6．7．2 最小支持度對算法的影響\t145
6．7．3 數(shù)據特征對算法的影響\t147
6．7．4 加速比\t149
6．7．5 可擴展性\t150
6．8 本章小結\t151
第7章頻繁項集并行化過程中的重定向任務調度\t153
7．1 問題提出\t154
7．2 重定向任務調度算法\t156
7．2．1 數(shù)據本地化的重要性\t156
7．2．2 計算響應時間\t157
7．2．3 重定向任務調度算法的設計\t158
7．3 實驗結果及分析\t160
7．3．1 有效性\t160
7．3．2 可擴展性\t161
7．3．3 穩(wěn)定性\t162
7．4 本章小結\t163
第8章基于Spark內存計算的并行頻繁項集挖掘及優(yōu)化\t165
8．1 引言\t166
8．2 FP-Growth 算法的并行化分析\t167
8．3 Spark環(huán)境下的均衡FP-Growth算法\t169
8．3．1 負載均衡的分組策略\t169
8．3．2 負載均衡的FP-Growth算法并行化\t172
8．4 實驗評價\t174
8．4．1 算法執(zhí)行效率\t175
8．4．2 加速比\t176
8．4．3 可擴展性\t177
8．5 本章小結\t178
第三篇應用篇
第9章冷軋輥加工質量管理過程相關性分析\t181
9．1 引言\t182
9．2 系統(tǒng)需求與總體設計\t184
9．2．1 軋輥生產工藝流程\t184
9．2．2 冷軋輥生產質量管理特點\t186
9．2．3 系統(tǒng)的軟件體系結構及功能\t188
9．3 數(shù)據預處理及關鍵技術\t190
9．3．1 數(shù)據轉換\t190
9．3．2 數(shù)據清理\t190
9．3．3 數(shù)據離散化\t193
9．4 提取關聯(lián)規(guī)則\t195
9．5 系統(tǒng)實現(xiàn)及運行結果\t196
9．6 本章小結\t203
附錄A 冷軋輥加工數(shù)據\t205
附錄B 冷軋輥加工數(shù)據預處理格式\t207
參考文獻\t209

第一篇基礎理論篇
第1章緒論\t3
1．1 數(shù)據挖掘\t4
1．1．1 數(shù)據挖掘的產生和定義\t4
1．1．2 數(shù)據挖掘的任務與分類\t6
1．1．3 研究前沿和發(fā)展趨勢\t8
1．2 關聯(lián)規(guī)則\t9
1．2．1 關聯(lián)規(guī)則及其分類\t9
1．2．2 關聯(lián)規(guī)則挖掘算法\t12
1．3 集群系統(tǒng)與并行計算模型\t17
1．3．1 集群系統(tǒng)\t17
1．3．2 并行計算模型\t18
1．3．3 大數(shù)據處理架構Hadoop與Spark\t21
1．4 大數(shù)據環(huán)境下的數(shù)據挖掘及應用\t27
1．4．1 大數(shù)據\t27
1．4．2 大數(shù)據挖掘及應用\t29
第2章 MapReduce集群環(huán)境下的數(shù)據放置策略\t33
2．1 引言\t34
2．2 數(shù)據放置策略的關鍵問題與度量標準\t35
2．3 數(shù)據放置策略的優(yōu)化\t37
2．3．1 MapReduce集群系統(tǒng)能耗與數(shù)據放置策略\t38
2．3．2 負載均衡的數(shù)據放置策略\t41
2．3．3 改善I/O性能與通信負載的數(shù)據放置策略\t46
2．3．4 考慮其他因素的數(shù)據放置策略\t49
2．4 數(shù)據放置策略的分析與歸納\t50
2．5 本章小結\t53
第二篇關聯(lián)規(guī)則并行挖掘及性能優(yōu)化篇
第3章壓縮后綴鏈表與并行頻繁項集挖掘算法\t61
3．1 問題提出\t62
3．2 基礎理論\t63
3．3 基于MapReduce的頻繁項集挖掘算法\t65
3．3．1 第一個MapReduce作業(yè)\t67
3．3．2 第二個MapReduce作業(yè)\t67
3．4 實驗評價\t68
3．4．1 最小支持度\t69
3．4．2 可擴展性\t70
3．4．3 加速比\t70
3．5 本章小結\t71
第4章 FIUT算法與頻繁項集并行挖掘\t73
4．1 引言\t74
4．2 FIUT算法描述\t76
4．3 FiDoop算法概述\t77
4．4 基于MapReduce的FiDoop算法\t81
4．4．1 第一個MapReduce作業(yè)\t83
4．4．2 第二個MapReduce作業(yè)\t83
4．4．3 第三個MapReduce作業(yè)\t84
4．5 實現(xiàn)細節(jié)\t87
4．5．1 負載均衡\t87
4．5．2 高維優(yōu)化\t88
4．6 FiDoop-HD算法\t90
4．7 實驗評價\t92
4．7．1 最小支持度\t93
4．7．2 負載均衡\t95
4．7．3 加速比\t96
4．7．4 可擴展性\t97
4．8 本章小結\t98
第5章 MapReduce編程模型下的約束頻繁項集并行挖掘算法\t101
5．1 問題提出\t102
5．2 約束頻繁項集挖掘算法的并行化\t103
5．3 基于MapReduce的約束頻繁項集并行挖掘\t105
5．4 基于MapReduce的約束頻繁項集并行挖掘算法（PACFP）\t108
5．4．1 并行化計數(shù)過程\t108
5．4．2 并行化CFP-Growth算法\t109
5．4．3 結果聚合\t111
5．5 負載均衡\t111
5．6 實驗結果及分析\t112
5．6．1 最小支持度\t113
5．6．2 可伸縮性\t115
5．6．3 可擴展性\t116
5．6．4 約束條件判斷的代價分析\t117
5．6．5 負載均衡\t118
5．7 本章小結\t120
第6章支持并行頻繁項集挖掘的數(shù)據劃分策略\t121
6．1 引言\t122
6．1．1 FiDoop-DP算法的研發(fā)動機\t123
6．1．2 FiDoop-DP算法要解決的數(shù)據劃分問題\t124
6．1．3 FiDoop-DP算法的基本思想\t125
6．2 并行FP-Growth算法\t126
6．3 相關工作\t128
6．3．1 MapReduce下的數(shù)據劃分\t128
6．3．2 應用系統(tǒng)相關的數(shù)據劃分\t129
6．4 問題陳述和設計目標\t131
6．4．1 基本方法與問題陳述\t131
6．4．2 設計目標\t132
6．5 數(shù)據劃分策略\t133
6．5．1 距離度量\t134
6．5．2 K-Means算法種子點的選擇\t135
6．5．3 劃分策略\t135
6．6 實現(xiàn)細節(jié)\t138
6．7 實驗評價\t143
6．7．1 種子點個數(shù)對算法的影響\t143
6．7．2 最小支持度對算法的影響\t145
6．7．3 數(shù)據特征對算法的影響\t147
6．7．4 加速比\t149
6．7．5 可擴展性\t150
6．8 本章小結\t151
第7章頻繁項集并行化過程中的重定向任務調度\t153
7．1 問題提出\t154
7．2 重定向任務調度算法\t156
7．2．1 數(shù)據本地化的重要性\t156
7．2．2 計算響應時間\t157
7．2．3 重定向任務調度算法的設計\t158
7．3 實驗結果及分析\t160
7．3．1 有效性\t160
7．3．2 可擴展性\t161
7．3．3 穩(wěn)定性\t162
7．4 本章小結\t163
第8章基于Spark內存計算的并行頻繁項集挖掘及優(yōu)化\t165
8．1 引言\t166
8．2 FP-Growth 算法的并行化分析\t167
8．3 Spark環(huán)境下的均衡FP-Growth算法\t169
8．3．1 負載均衡的分組策略\t169
8．3．2 負載均衡的FP-Growth算法并行化\t172
8．4 實驗評價\t174
8．4．1 算法執(zhí)行效率\t175
8．4．2 加速比\t176
8．4．3 可擴展性\t177
8．5 本章小結\t178
第三篇應用篇
第9章冷軋輥加工質量管理過程相關性分析\t181
9．1 引言\t182
9．2 系統(tǒng)需求與總體設計\t184
9．2．1 軋輥生產工藝流程\t184
9．2．2 冷軋輥生產質量管理特點\t186
9．2．3 系統(tǒng)的軟件體系結構及功能\t188
9．3 數(shù)據預處理及關鍵技術\t190
9．3．1 數(shù)據轉換\t190
9．3．2 數(shù)據清理\t190
9．3．3 數(shù)據離散化\t193
9．4 提取關聯(lián)規(guī)則\t195
9．5 系統(tǒng)實現(xiàn)及運行結果\t196
9．6 本章小結\t203
附錄A 冷軋輥加工數(shù)據\t205
附錄B 冷軋輥加工數(shù)據預處理格式\t207
參考文獻\t209