大數(shù)據(jù)與人工智能導(dǎo)論

1
第一章 緒論\t10
1．1日益增長的數(shù)據(jù)\t10
1．1．1大數(shù)據(jù)基本概念\t11
1．1．2大數(shù)據(jù)發(fā)展歷程\t11
1．1．3大數(shù)據(jù)的特征\t12
1．1．4大數(shù)據(jù)的基本認(rèn)識\t13
1．2人工智能\t14
1．2．1認(rèn)識人工智能\t14
1．2．2人工智能的派別與發(fā)展歷史\t14
1．2．3人工智能的現(xiàn)狀與應(yīng)用\t14
1．2．3 當(dāng)人工智能遇上大數(shù)據(jù)\t15
1．3 大數(shù)據(jù)與人工智能的機遇與挑戰(zhàn)\t16
1．3．1大數(shù)據(jù)與人工智能面臨的難題\t16
1．3．2大數(shù)據(jù)與人工智能的前景\t17
第二章 數(shù)據(jù)工程\t18
2．1數(shù)據(jù)的多樣性\t18
2．1．1數(shù)據(jù)格式的多樣性\t18
2．1．2數(shù)據(jù)來源的多樣性\t19
2．1．3數(shù)據(jù)用途的多樣性\t20
2．2數(shù)據(jù)工程的一般流程\t21
2．2．1 數(shù)據(jù)獲取\t21
2．2．2 數(shù)據(jù)存儲\t21
2．2．3 數(shù)據(jù)清洗\t21
2．2．4 數(shù)據(jù)建模\t21
2．2．5 數(shù)據(jù)處理\t22
2．3數(shù)據(jù)的獲取\t22
2．3．1數(shù)據(jù)來源\t23
2．3．2數(shù)據(jù)采集方法\t23
2．3．3 大數(shù)據(jù)采集平臺\t25
2．4數(shù)據(jù)的存儲與數(shù)據(jù)倉庫\t25
2．4．1數(shù)據(jù)存儲\t25
2．4．2數(shù)據(jù)倉庫\t26
2．5數(shù)據(jù)的預(yù)處理技術(shù)\t27
2．5．1 為什么要進行數(shù)據(jù)預(yù)處理\t27
2．5．2 數(shù)據(jù)清理\t28
2．5．3 數(shù)據(jù)集成\t29
2．5．4 數(shù)據(jù)變換\t30
2．5．5 數(shù)據(jù)規(guī)約\t30
2．6模型的構(gòu)建與評估\t31
2．6．1模型的構(gòu)建\t31
2．6．2評價指標(biāo)\t31
2．7數(shù)據(jù)的可視化\t33
2．7．1 可視化的發(fā)展\t34
2．7．2 可視化工具\t34
第三章 機器學(xué)習(xí)算法\t41
3-1機器學(xué)習(xí)緒論\t41
3．1．1 機器學(xué)習(xí)基本概念\t41
3．1．2評價標(biāo)準(zhǔn)\t43
3．1．3 機器模型的數(shù)學(xué)基礎(chǔ)\t46
3-2決策樹理論\t50
3．2．1決策樹模型\t50
3．2．2 決策樹的訓(xùn)練\t53
3．2．3 本節(jié)總結(jié)\t58
3．3 樸素貝葉斯理論\t59
3．4線性回歸\t63
3．5邏輯斯蒂回歸\t66
3．5．1二分類邏輯回歸模型\t66
3．5．2 二分類邏輯斯蒂回歸的訓(xùn)練\t68
3．5．3 softmax分類器\t71
3．5．4邏輯斯蒂回歸和softmax的應(yīng)用\t72
3．5．5本節(jié)總結(jié)\t72
3．6神經(jīng)網(wǎng)絡(luò)\t73
3．6．1生物神經(jīng)元和人工神經(jīng)元\t73
3．6．2感知機\t75
3．6．3\tBP神經(jīng)網(wǎng)絡(luò)\t77
3．6．4\tSklearn中的神經(jīng)網(wǎng)絡(luò)\t80
3．6．5本章小結(jié)\t81
3．6．6 拓展閱讀\t81
3．7支持向量機\t81
3．7．1 間隔\t82
3．7．2 支持向量機的原始形式\t84
3．7．3 支持向量機的對偶形式\t86
3．7．4特征空間的隱式映射：核函數(shù)\t87
3．7．5 支持向量機拓展\t90
3．7．6 支持向量機的應(yīng)用\t90
3．8集成學(xué)習(xí)\t91
3．8．1 基礎(chǔ)概念\t91
3．8．2 Boosting\t94
3．8．3 Bagging\t98
3．8．4 Stacking\t99
3．9聚類\t100
3．9．1聚類思想\t100
3．9．2性能計算和距離計算\t100
3．9．3原型聚類：K-means\t101
3．9．4密度聚類：DBSCAN\t103
3．9．5層次聚類\t105
3．9．6\tSklearn中的聚類\t105
3．9．7本章小結(jié)\t106
3．9．8拓展閱讀\t106
3．10降維與特征選擇\t106
3．10．1維數(shù)爆炸與降維\t106
3．10．2降維技術(shù)\t107
3．10．3特征選擇算法\t109
3．10．4 Sklearn中的降維\t112
3．10．5本章小結(jié)\t112
第四章 大數(shù)據(jù)框架\t113
4-1 Hadoop簡介\t113
4．1．1 Hadoop的由來\t113
4．1．2 MapReduce和HDFS\t114
4-2 Hadoop大數(shù)據(jù)處理框架\t115
4．2．1 HDFS組件與運行機制\t116
4．2．2 MapReduce組件與運行機制\t120
4．2．3 Yarn框架和運行機制\t122
4．2．4 Hadoop相關(guān)技術(shù)\t123
4-3 Hadoop安裝與部署\t124
4．3．1 安裝配置單機版Hadoop\t124
4．3．2 單機版WordCount程序\t128
4．3．3 安裝配置偽分布式Hadoop\t129
4-4 MapReduce編程\t135
4．4．1 MapReduce綜述\t136
4．4．2 Map階段\t136
4．4．3 shuffle階段\t137
4．4．4 Reduce階段\t138
4-5 HBase、Hive和Pig和簡介\t138
4．5．1 HBase簡介\t139
4．5．2 Hive簡介\t139
4．5．3 Pig簡介\t141
4-6 Spark簡介\t141
4．6．1 spark概述\t141
4．6．2 Spark基本概念\t142
4．6．3 spark生態(tài)系統(tǒng)\t143
4．6．4 spark組件與運行機制\t144
4-7 Spark安裝使用\t145
4．7．1 JDK安裝\t146
4．7．2 Scala安裝\t148
4．7．3 Spark安裝\t148
4．7．4 Winutils安裝\t148
4．7．5 使用Spark Shell\t149
4．7．6 Spark文件目錄\t151
4-8 Spark實例講解\t152
第五章 分布式數(shù)據(jù)挖掘算法\t153
5-1 K-Means聚類方法\t154
5．1．1 K-Means聚類算法簡介\t154
5．1．2 K-Means算法的分布式實現(xiàn)\t154
5-2 樸素貝葉斯分類算法\t160
5．2．1 樸素貝葉斯分類并行化設(shè)計思路\t160
5．2．2 樸素貝葉斯分類并行化實現(xiàn)\t161
5-3 頻繁項集挖掘算法\t166
5．3．1 Apriori頻繁項集挖掘算法簡介\t167
5．3．2 Apriori頻繁項集挖掘的并行化實現(xiàn)\t167
5-4參考資料\t172
第六章 深度學(xué)習(xí)簡介\t173
6-1從神經(jīng)網(wǎng)絡(luò)到深度神經(jīng)網(wǎng)絡(luò)\t173
6．1．1深度學(xué)習(xí)應(yīng)用\t173
6．1．2 深度神經(jīng)網(wǎng)絡(luò)的困難\t175
6-2卷積神經(jīng)網(wǎng)絡(luò)CNN\t176
6．2．1卷積神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)\t176
6．2．2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)\t177
6-3循環(huán)神經(jīng)網(wǎng)絡(luò)RNN\t182
6．3．1循環(huán)神經(jīng)網(wǎng)絡(luò)簡介\t182
6．3．2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)\t182
第七章 數(shù)據(jù)分析實例\t185
7-1 基本數(shù)據(jù)分析\t185
7．1．1數(shù)據(jù)介紹\t185
7．1．2數(shù)據(jù)導(dǎo)入與數(shù)據(jù)初識\t185
7．1．3分類\t189
7．1．4 聚類\t191
7．1．5回歸\t192
7．1．6降維\t194
7．2深度學(xué)習(xí)項目實戰(zhàn)\t195
7．2．1 Tensorflow與keras安裝部署\t196
7．2．2使用卷積神經(jīng)網(wǎng)絡(luò)進行手寫數(shù)字識別\t198
7．2．3使用LSTM進行文本情感分類\t201
附 錄\t206
A 矩陣基礎(chǔ)\t206
B 梯度下降\t209
牛頓法\t210
C 拉格朗日對偶性\t211
D python 語法知識\t213
E Java語法基礎(chǔ)介紹\t228