大數(shù)據(jù)挖掘技術(shù)與應(yīng)用

1 緒論     1………………………………………………………………………………  
1.1 大數(shù)據(jù)    1………………………………………………………………………   
1.1.1 大數(shù)據(jù)概念     1……………………………………………………………   
1.1.2 大數(shù)據(jù)特征     4……………………………………………………………  
1.2 云計(jì)算與大數(shù)據(jù)挖掘    5………………………………………………………   
1.2.1 云計(jì)算     5…………………………………………………………………   
1.2.2 大數(shù)據(jù)挖掘     6……………………………………………………………  
1.3 傳統(tǒng)數(shù)據(jù)挖掘    6………………………………………………………………   
1.3.1 數(shù)據(jù)源與挖掘任務(wù)     7……………………………………………………   
1.3.2 數(shù)據(jù)挖掘方法     7…………………………………………………………   
1.3.3 數(shù)據(jù)挖掘面臨問題     9……………………………………………………  
參考文獻(xiàn)    10…………………………………………………………………………   
2 基于屬性加權(quán)和密度聚類分析     11…………………………………………………  
2.1 聚類分析技術(shù)    11………………………………………………………………   
2.1.1 數(shù)據(jù)基礎(chǔ)     11………………………………………………………………   
2.1.2 聚類分析方法     16…………………………………………………………   
2.1.3 簇的類型     16………………………………………………………………  
2.2 聚類算法    17……………………………………………………………………   
2.2.1 聚類算法分類     17…………………………………………………………   
2.2.2 聚類算法特性     19…………………………………………………………   
2.2.3 選用聚類算法參考因素     20………………………………………………   
2.2.4 聚類算法面臨的挑戰(zhàn)     21…………………………………………………  
2.3 聚類算法改進(jìn)    23………………………………………………………………   
2.3.1 聚類算法分析     23…………………………………………………………   
2.3.2 數(shù)據(jù)對象屬性加權(quán)     25……………………………………………………
2.3.3 基于屬性加權(quán)K-means算法     27…………………………………………   
2.3.4 實(shí)例驗(yàn)證算法     28…………………………………………………………  
2.4 基于密度與對象方向聚類算法    29……………………………………………   
2.4.1 算法的提出     29……………………………………………………………   
2.4.2 DENCLUE算法     30………………………………………………………   
2.4.3 算法設(shè)計(jì)     31………………………………………………………………  
2.5 CABWAD算法實(shí)現(xiàn)    36………………………………………………………   
2.5.1 數(shù)據(jù)結(jié)構(gòu)建立     36…………………………………………………………   
2.5.2 數(shù)據(jù)結(jié)構(gòu)上聚類     38………………………………………………………   
2.5.3 時(shí)間和空間復(fù)雜度     40……………………………………………………  
2.6 實(shí)驗(yàn)分析    40……………………………………………………………………   
2.6.1 準(zhǔn)確度分析     41……………………………………………………………   
2.6.2 可擴(kuò)展性分析     43…………………………………………………………  
參考文獻(xiàn)    44…………………………………………………………………………   
3 基于密度與密度可達(dá)聚類分析     46…………………………………………………  
3.1 CABWAD算法分析    46………………………………………………………   
3.1.1 算法過程分析     46…………………………………………………………   
3.1.2 兩個(gè)輸入?yún)?shù)的分析     47…………………………………………………  
3.2 算法設(shè)計(jì)與分析    50……………………………………………………………   
3.2.1 相關(guān)定義     50………………………………………………………………   
3.2.2 CADD算法設(shè)計(jì)     53………………………………………………………   
3.2.3 算法執(zhí)行過程分析     53……………………………………………………  
3.3 實(shí)驗(yàn)分析    55……………………………………………………………………   
3.3.1 不同分布形態(tài)的簇（纏繞簇）     55………………………………………   
3.3.2 不同密度的簇     56…………………………………………………………   
3.3.3 分布在不同密度噪聲中的變密度簇     57…………………………………   
3.3.4 復(fù)雜形態(tài)簇     58……………………………………………………………   
3.3.5 算法復(fù)雜度分析     59………………………………………………………  
參考文獻(xiàn)    60…………………………………………………………………………   
4 動(dòng)態(tài)增量聚類分析     62……………………………………………………………… 
 4.1 算法提出    62……………………………………………………………………
4.1.1 增量聚類算法     62…………………………………………………………   
4.1.2 CADD算法分析     64………………………………………………………   
4.1.3 抽樣技術(shù)     66………………………………………………………………  
4.2 基于密度可達(dá)的動(dòng)態(tài)增量聚類算法    67………………………………………   
4.2.1 算法設(shè)計(jì)     67………………………………………………………………   
4.2.2 算法實(shí)現(xiàn)     69………………………………………………………………   
4.2.3 算法復(fù)雜度分析     69………………………………………………………  
4.3 基于子簇特征的增量聚類算法    70……………………………………………   
4.3.1 相關(guān)定義     70………………………………………………………………   
4.3.2 算法設(shè)計(jì)     72………………………………………………………………   
4.3.3 算法實(shí)現(xiàn)     72………………………………………………………………  
4.4 實(shí)驗(yàn)分析    73……………………………………………………………………   
4.4.1 仿真動(dòng)態(tài)增量聚類     73……………………………………………………   
4.4.2 算法對比分析     77…………………………………………………………  
參考文獻(xiàn)    78…………………………………………………………………………   
5 并行聚類分析     80……………………………………………………………………  
5.1 并行計(jì)算技術(shù)    80………………………………………………………………   
5.1.1 并行計(jì)算定義     81…………………………………………………………  
 5.1.2 并行計(jì)算分類     81…………………………………………………………   
5.1.3 并行計(jì)算模型和體系結(jié)構(gòu)     82……………………………………………   
5.1.4 并行數(shù)據(jù)挖掘     85…………………………………………………………   
5.1.5 并行聚類分析     86…………………………………………………………  
5.2 并行聚類算法設(shè)計(jì)與實(shí)現(xiàn)    88…………………………………………………   
5.2.1 算法總體流程     88…………………………………………………………   
5.2.2 數(shù)據(jù)并行聚類算法     89……………………………………………………   
5.2.3 數(shù)據(jù)并行和任務(wù)并行聚類算法     90………………………………………  
5.3 實(shí)驗(yàn)分析    92……………………………………………………………………   
5.3.1 算法有效性分析     92………………………………………………………   
5.3.2 算法加速比分析     92………………………………………………………   
5.3.3 算法時(shí)間復(fù)雜度分析     93…………………………………………………  
 5.3.4 PCADD與CADD算法執(zhí)行時(shí)間對比     93………………………………  
參考文獻(xiàn)    94…………………………………………………………………………
6 高維多類型屬性數(shù)據(jù)對象聚類分析     95……………………………………………  
6.1 高維多類型屬性數(shù)據(jù)對象    95…………………………………………………   
6.1.1 高維數(shù)據(jù)處理     95…………………………………………………………   
6.1.2 多類型屬性處理     96………………………………………………………   
6.1.3 高維數(shù)據(jù)對象聚類     96……………………………………………………  
 6.1.4 多類型屬性數(shù)據(jù)對象聚類     98……………………………………………  
6.2 維度對聚類算法精度影響    99…………………………………………………   
6.2.1 高維數(shù)據(jù)聚類     99…………………………………………………………   
6.2.2 數(shù)據(jù)集與相關(guān)定義     99……………………………………………………   
6.2.3 實(shí)驗(yàn)結(jié)果及分析     100……………………………………………………  
6.3 多類型屬性數(shù)據(jù)聚類分析    103………………………………………………   
6.3.1 處理多類型數(shù)據(jù)方法     103………………………………………………   
6.3.2 聚類效果度量標(biāo)準(zhǔn)     103…………………………………………………   
6.3.3 實(shí)驗(yàn)結(jié)果及分析     104……………………………………………………  
6.4 基于屬性加權(quán)的高維數(shù)據(jù)聚類    108…………………………………………   
6.4.1 屬性加權(quán)CADD算法     108………………………………………………   
6.4.2 實(shí)驗(yàn)結(jié)果及分析     109……………………………………………………  
參考文獻(xiàn)    113…………………………………………………………………………   
7 基于密度加權(quán)模糊聚類分析     115…………………………………………………  
7.1 模糊聚類分析    115……………………………………………………………   
7.1.1 模糊聚類產(chǎn)生     115………………………………………………………   
7.1.2 模糊聚類分類     116………………………………………………………   
7.1.3 模糊聚類算法優(yōu)化     117…………………………………………………  
7.2 模糊聚類算法    118……………………………………………………………   
7.2.1 模糊簇     118………………………………………………………………   
7.2.2 HC-means聚類算法     118…………………………………………………  
 7.2.3 FC-means聚類算法     119…………………………………………………  
 7.2.4 HCM和FCM的關(guān)系     120………………………………………………   
7.2.5 FCM算法存在問題分析     121……………………………………………  
7.3 基于密度函數(shù)加權(quán)的FCM    122………………………………………………   
7.3.1 聚類算法提出     122………………………………………………………   
7.3.2 聚類算法設(shè)計(jì)     123………………………………………………………
7.3.3 實(shí)驗(yàn)結(jié)果及分析     124……………………………………………………  
參考文獻(xiàn)    132…………………………………………………………………………   
8 基于距離量化關(guān)聯(lián)規(guī)則挖掘     135…………………………………………………  
8.1 關(guān)聯(lián)規(guī)則挖掘    135……………………………………………………………   
8.1.1 關(guān)聯(lián)規(guī)則相關(guān)概念     135…………………………………………………   
8.1.2 關(guān)聯(lián)規(guī)則度量     137………………………………………………………   
8.1.3 關(guān)聯(lián)規(guī)則分類     138………………………………………………………   
8.1.4 關(guān)聯(lián)規(guī)則挖掘模型與步驟     139…………………………………………  
8.2 量化關(guān)聯(lián)規(guī)則    140……………………………………………………………   
8.2.1 量化關(guān)聯(lián)規(guī)則提出     140…………………………………………………   
8.2.2 量化關(guān)聯(lián)規(guī)則定義     143…………………………………………………   
8.2.3 算法描述     145……………………………………………………………   
8.2.4 算法分析     146……………………………………………………………  
8.3 基于距離算法設(shè)計(jì)與實(shí)現(xiàn)    148………………………………………………  
 8.3.1 算法設(shè)計(jì)     148……………………………………………………………   
8.3.2 數(shù)據(jù)預(yù)處理     149…………………………………………………………   
8.3.3 基于距離量化規(guī)則     150…………………………………………………   
8.3.4 簇間關(guān)聯(lián)度的度量     150…………………………………………………   
8.3.5 關(guān)聯(lián)度參數(shù) D    0   限定     151…………………………………………………   
8.3.6 規(guī)則的生成     153…………………………………………………………  
8.4 算法實(shí)驗(yàn)分析    153……………………………………………………………   
8.4.1 系統(tǒng)交互界面     153………………………………………………………   
8.4.2 地球化學(xué)數(shù)據(jù)分析     154…………………………………………………   
8.4.3 臨床醫(yī)學(xué)調(diào)查數(shù)據(jù)     156…………………………………………………  
參考文獻(xiàn)    156…………………………………………………………………………   
9 基于數(shù)據(jù)場的數(shù)據(jù)挖掘技術(shù)     158…………………………………………………  
9.1 數(shù)據(jù)場    158……………………………………………………………………   
9.1.1 數(shù)據(jù)場的概念     158………………………………………………………   
9.1.2 數(shù)據(jù)場主要特征     159……………………………………………………   
9.1.3 數(shù)據(jù)場表達(dá)     159…………………………………………………………  
9.2 數(shù)據(jù)場聚類算法    161…………………………………………………………
9.2.1 數(shù)據(jù)場聚類算法設(shè)計(jì)     161………………………………………………   
9.2.2 測試數(shù)據(jù)集產(chǎn)生     162……………………………………………………   
9.2.3 位場聚類實(shí)驗(yàn)     162………………………………………………………   
9.2.4 輻射場聚類實(shí)驗(yàn)     163……………………………………………………   
9.2.5 參數(shù)對數(shù)據(jù)場聚類效果影響     164………………………………………  
9.3 聚類效果實(shí)驗(yàn)分析    166………………………………………………………   
9.3.1 模擬數(shù)據(jù)分析     166………………………………………………………   
9.3.2 UCI數(shù)據(jù)集實(shí)驗(yàn)     168……………………………………………………  
9.4 基于數(shù)據(jù)場量化關(guān)聯(lián)規(guī)則挖掘    172…………………………………………   
9.4.1 常用量化關(guān)聯(lián)規(guī)則挖掘方法     172………………………………………   
9.4.2 算法相關(guān)定義     173………………………………………………………   
9.4.3 算法設(shè)計(jì)與實(shí)現(xiàn)     175……………………………………………………  
9.5 關(guān)聯(lián)規(guī)則挖掘?qū)嶒?yàn)與分析    176………………………………………………   
9.5.1 身體脂肪bodyfat數(shù)據(jù)集     176……………………………………………   
9.5.2 臨床醫(yī)學(xué)數(shù)據(jù)實(shí)驗(yàn)測試     178……………………………………………  
參考文獻(xiàn)    179…………………………………………………………………………   
10 基于MapReduce聚類分析     181…………………………………………………… 
 10.1 Hadoop開源云計(jì)算平臺    181………………………………………………   
10.1.1 MapReduce     181…………………………………………………………   
10.1.2 HDFS文件系統(tǒng)     183……………………………………………………  
 10.1.3 基于MapReduce聚類算法     184…………………………………………  
10.2 基于MapReduce K-means算法改進(jìn)    186……………………………………   
10.2.1 距離三角不等式聚類算法     186…………………………………………   
10.2.2 距離三角不等式算法設(shè)計(jì)     187…………………………………………   
10.2.3 聚類算法實(shí)驗(yàn)結(jié)果分析     189……………………………………………  
10.3 基于MapReduce CADD聚類算法    191………………………………………   
10.3.1 算法設(shè)計(jì)     191……………………………………………………………   
10.3.2 MapReduce聚類模型     192………………………………………………   
10.3.3 聚類算法實(shí)驗(yàn)結(jié)果分析     193……………………………………………  
參考文獻(xiàn)    195…………………………………………………………………………
11 數(shù)據(jù)挖掘結(jié)果可視化表達(dá)     196…………………………………………………… 
 11.1 可視化數(shù)據(jù)挖掘    196…………………………………………………………   
11.1.1 數(shù)據(jù)可視化     197…………………………………………………………   
11.1.2 數(shù)據(jù)挖掘過程可視化     198………………………………………………   
11.1.3 數(shù)據(jù)挖掘結(jié)果可視化     198………………………………………………   
11.1.4 交互式可視化數(shù)據(jù)挖掘     199……………………………………………  
11.2 數(shù)據(jù)可視化方法及分類    200…………………………………………………   
11.2.1 基于幾何的技術(shù)     200……………………………………………………   
11.2.2 面向像素的技術(shù)     202……………………………………………………   
11.2.3 基于圖標(biāo)的技術(shù)     202……………………………………………………   
11.2.4 基于層次的技術(shù)     203……………………………………………………  
11.3 可視化數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)    204………………………………………   
11.3.1 可視化挖掘系統(tǒng)     204……………………………………………………   
11.3.2 聚類結(jié)果可視化     205……………………………………………………  
 11.3.3 關(guān)聯(lián)規(guī)則結(jié)果可視化     208………………………………………………  
參考文獻(xiàn)    212…………………………………………………………………………   
12 地球化學(xué)數(shù)據(jù)挖掘（Ⅰ）     214……………………………………………………  
12.1 地球化學(xué)數(shù)據(jù)處理方法    214…………………………………………………   
12.1.1 傳統(tǒng)處理方法     214………………………………………………………   
12.1.2 數(shù)據(jù)挖掘方法     215………………………………………………………  
12.2 地球化學(xué)數(shù)據(jù)聚類分析    217…………………………………………………   
12.2.1 地球化學(xué)數(shù)據(jù)來源     217…………………………………………………   
12.2.2 區(qū)域地質(zhì)概況     217………………………………………………………   
12.2.3 聚類分析研究     221………………………………………………………   
12.2.4 靶區(qū)地球化學(xué)特征     222…………………………………………………  
12.3 區(qū)域礦產(chǎn)資源預(yù)測    225………………………………………………………   
12.3.1 地球化學(xué)異常靶區(qū)     225…………………………………………………   
12.3.2 元素組合特征分析     226…………………………………………………   
12.3.3 區(qū)域礦產(chǎn)資源預(yù)測     232…………………………………………………  
參考文獻(xiàn)    234…………………………………………………………………………
13 地球化學(xué)數(shù)據(jù)挖掘（Ⅱ）     236……………………………………………………  
13.1 區(qū)域地質(zhì)形貌    236……………………………………………………………   
13.1.1 自然地理環(huán)境     236………………………………………………………   
13.1.2 區(qū)域地質(zhì)概況     236………………………………………………………  
13.2 地球化學(xué)元素聚類分析    239…………………………………………………   
13.2.1 數(shù)據(jù)整理和建立數(shù)據(jù)庫     239……………………………………………   
13.2.2 地球化學(xué)數(shù)據(jù)聚類分析     239……………………………………………   
13.2.3 聚類結(jié)果MapGIS成圖     241……………………………………………  
13.3 地球化學(xué)元素組合特征分析    243……………………………………………   
13.3.1 靶區(qū)1～4元素組合特征     243…………………………………………   
13.3.2 靶區(qū)5元素組合特征     243………………………………………………   
13.3.3 礦產(chǎn)資源預(yù)測     244………………………………………………………  
13.4 地球化學(xué)元素模糊C-means聚類    247………………………………………   
13.4.1 某金礦區(qū)模糊C-means聚類分析     247…………………………………   
13.4.2 某錫礦區(qū)模糊C-means聚類分析     248…………………………………   
13.4.3 某采樣地區(qū)模糊C-means聚類分析     249………………………………  
參考文獻(xiàn)    250…………………………………………………………………………   
14 資源與經(jīng)濟(jì)發(fā)展關(guān)系分析     252……………………………………………………  
14.1 資源與經(jīng)濟(jì)    252………………………………………………………………   
14.1.1 礦產(chǎn)資源開發(fā)     252………………………………………………………   
14.1.2 傳統(tǒng)研究方法     253………………………………………………………  
14.2 數(shù)據(jù)源與數(shù)據(jù)預(yù)處理    256……………………………………………………   
14.2.1 數(shù)據(jù)的選取     256…………………………………………………………   
14.2.2 數(shù)據(jù)標(biāo)準(zhǔn)化     257…………………………………………………………  
14.3 聚類分析    258…………………………………………………………………   
14.3.1 資源儲量屬性     258………………………………………………………   
14.3.2 環(huán)境指標(biāo)屬性     260………………………………………………………   
14.3.3 經(jīng)濟(jì)指標(biāo)屬性     262………………………………………………………   
14.3.4 技術(shù)指標(biāo)屬性     275………………………………………………………   
14.3.5 結(jié)論與建議     278…………………………………………………………  
參考文獻(xiàn)    280…………………………………………………………………………