Python數(shù)據(jù)分析從入門到精通

第1篇 基礎篇
第1章 了解數(shù)據(jù)分析 2
1.1 什么是數(shù)據(jù)分析 2
1.2 數(shù)據(jù)分析的重要性 2
1.3 數(shù)據(jù)分析的基本流程 4
1.3.1 熟悉工具 4
1.3.2 明確目的 5
1.3.3 獲取數(shù)據(jù) 5
1.3.4 數(shù)據(jù)處理 5
1.3.5 數(shù)據(jù)分析 6
1.3.6 驗證結(jié)果 6
1.3.7 結(jié)果呈現(xiàn) 6
1.3.8 數(shù)據(jù)應用 7
1.4 數(shù)據(jù)分析常用工具 7
1.4.1 Excel工具 7
1.4.2 Python語言 7
1.5 小結(jié) 8
第2章 搭建Python數(shù)據(jù)分析環(huán)境 9
2.1 Python概述 9
2.1.1 Python簡介 9
2.1.2 Python的版本 10
2.2 搭建Python開發(fā)環(huán)境 10
2.2.1 什么是IDLE 10
2.2.2 安裝Python 10
2.2.3 使用IDLE編寫“Hello World” 14
2.2.4 配置環(huán)境變量—解決“'python'不是內(nèi)部或外部命令” 16
2.3 集成開發(fā)環(huán)境PyCharm 18
2.3.1 下載PyCharm 18
2.3.2 安裝PyCharm 20
2.3.3 運行PyCharm 21
2.3.4 創(chuàng)建工程目錄 22
2.3.5 個Python程序“Hello World” 24
2.4 數(shù)據(jù)分析標準環(huán)境Anaconda 26
2.4.1 為什么安裝Anaconda 27
2.4.2 下載Anaconda 27
2.4.3 安裝Anaconda 29
2.5 Jupyter Notebook開發(fā)工具 31
2.5.1 認識Jupyter Notebook 31
2.5.2 新建一個Jupyter Notebook文件 32
2.5.3 在Jupyter Notebook中編寫“Hello World” 32
2.6 Spyder開發(fā)工具 34
2.6.1 初識Spyder 34
2.6.2 創(chuàng)建項目 35
2.6.3 新建/重命名.py文件 36
2.6.4 創(chuàng)建個程序—月銷量分析 37
2.6.5 設置圖表顯示方式 37
2.6.6 在Spyder中安裝和卸載第三方庫 38
2.7 開發(fā)工具比較與代碼共用 39
2.7.1 開發(fā)工具比較 39
2.7.2 代碼共用 40
2.8 小結(jié) 44
第2篇 實踐篇
第3章 Pandas統(tǒng)計分析（上） 46
3.1 初識Pandas 46
3.1.1 Pandas概述 46
3.1.2 安裝Pandas 47
3.1.3 小試牛刀—輕松導入Excel數(shù)據(jù) 49
3.2 Series對象 50
3.2.1 圖解Series對象 50
3.2.2 創(chuàng)建一個Series對象 51
3.2.3 手動設置Series索引 52
3.2.4 Series的索引 52
3.2.5 獲取Series索引和值 54
3.3 DataFrame對象 54
3.3.1 圖解DataFrame對象 54
3.3.2 創(chuàng)建一個DataFrame對象 55
3.3.3 DataFrame重要屬性和函數(shù) 57
3.4 導入外部數(shù)據(jù) 58
3.4.1 導入.xls或.xlsx文件 58
3.4.2 導入.csv文件 63
3.4.3 導入.txt文本文件 64
3.4.4 導入HTML網(wǎng)頁 65
3.5 數(shù)據(jù)抽取 67
3.5.1 抽取一行數(shù)據(jù) 67
3.5.2 抽取多行數(shù)據(jù) 68
3.5.3 抽取指定列數(shù)據(jù) 69
3.5.4 抽取指定行、列數(shù)據(jù) 70
3.5.5 按指定條件抽取數(shù)據(jù) 71
3.6 數(shù)據(jù)的增加、修改和刪除 72
3.6.1 增加數(shù)據(jù) 72
3.6.2 修改數(shù)據(jù) 75
3.6.3 刪除數(shù)據(jù) 77
3.7 數(shù)據(jù)清洗 78
3.7.1 缺失值查看與處理 78
3.7.2 重復值處理 81
3.7.3 異常值的檢測與處理 82
3.8 索引設置 83
3.8.1 索引的作用 83
3.8.2 重新設置索引 83
3.8.3 設置某列為行索引 85
3.8.4 數(shù)據(jù)清洗后重新設置連續(xù)的行索引 86
3.9 數(shù)據(jù)排序與排名 87
3.9.1 數(shù)據(jù)排序 87
3.9.2 數(shù)據(jù)排名 90
3.10 小結(jié) 92
第4章 Pandas統(tǒng)計分析（下） 93
4.1 數(shù)據(jù)計算 93
4.1.1 求和（sum()函數(shù)） 93
4.1.2 求均值（mean()函數(shù)） 94
4.1.3 求值（max()函數(shù)） 95
4.1.4 求小值（min()函數(shù)） 96
4.1.5 求中位數(shù)（median()函數(shù)） 97
4.1.6 求眾數(shù)（mode()函數(shù)） 98
4.1.7 求方差（var()函數(shù)） 99
4.1.8 標準差（數(shù)據(jù)標準化std()函數(shù)） 101
4.1.9 求分位數(shù)（quantile()函數(shù)） 101
4.2 數(shù)據(jù)格式化 103
4.2.1 設置小數(shù)位數(shù) 103
4.2.2 設置百分比 104
4.2.3 設置千位分隔符 105
4.3 數(shù)據(jù)分組統(tǒng)計 106
4.3.1 分組統(tǒng)計groupby()函數(shù) 106
4.3.2 對分組數(shù)據(jù)進行迭代 108
4.3.3 對分組的某列或多列使用聚合函數(shù)（agg()函數(shù)） 109
4.3.4 通過字典和Series對象進行分組統(tǒng)計 111
4.4 數(shù)據(jù)移位 112
4.5 數(shù)據(jù)轉(zhuǎn)換 113
4.5.1 一列數(shù)據(jù)轉(zhuǎn)換為多列數(shù)據(jù) 113
4.5.2 行列轉(zhuǎn)換 116
4.5.3 DataFrame轉(zhuǎn)換為字典 118
4.5.4 DataFrame轉(zhuǎn)換為列表 119
4.5.5 DataFrame轉(zhuǎn)換為元組 119
4.5.6 Excel轉(zhuǎn)換為HTML網(wǎng)頁格式 120
4.6 數(shù)據(jù)合并 120
4.6.1 數(shù)據(jù)合并（merge()方法） 120
4.6.2 數(shù)據(jù)合并（concat()方法） 124
4.7 數(shù)據(jù)導出 126
4.7.1 導出為.xlsx文件 126
4.7.2 導出為.csv文件 128
4.7.3 導出多個Sheet 129
4.8 日期數(shù)據(jù)處理 129
4.8.1 DataFrame的日期數(shù)據(jù)轉(zhuǎn)換 129
4.8.2 dt對象的使用 131
4.8.3 獲取日期區(qū)間的數(shù)據(jù) 132
4.8.4 按不同時期統(tǒng)計并顯示數(shù)據(jù) 133
4.9 時間序列 135
4.9.1 重采樣（Resample()方法） 135
4.9.2 降采樣處理 137
4.9.3 升采樣處理 138
4.9.4 時間序列數(shù)據(jù)匯總（ohlc()函數(shù)） 139
4.9.5 移動窗口數(shù)據(jù)計算（rolling()函數(shù)） 140
4.10 綜合應用 142
4.10.1 案例1：Excel多表合并 142
4.10.2 案例2：股票行情數(shù)據(jù)分析 143
4.11 小結(jié) 144
第5章 Matplotlib可視化數(shù)據(jù)分析圖表 145
5.1 數(shù)據(jù)分析圖表的作用 145
5.2 如何選擇適合的圖表類型 146
5.3 圖表的基本組成 147
5.4 Matplotlib概述 148
5.4.1 Matplotlib簡介 148
5.4.2 安裝Matplotlib 150
5.4.3 Matplotlib圖表之初體驗 151
5.5 圖表的常用設置 152
5.5.1 基本繪圖plot()函數(shù) 152
5.5.2 設置畫布 155
5.5.3 設置坐標軸 156
5.5.4 添加文本標簽 159
5.5.5 設置標題和圖例 160
5.5.6 添加注釋 161
5.5.7 調(diào)整圖表與畫布邊緣間距 163
5.5.8 其他設置 164
5.6 常用圖表的繪制 164
5.6.1 繪制折線圖 164
5.6.2 繪制柱形圖 166
5.6.3 繪制直方圖 169
5.6.4 繪制餅形圖 170
5.6.5 繪制散點圖 174
5.6.6 繪制面積圖 176
5.6.7 繪制熱力圖 178
5.6.8 繪制箱形圖 180
5.6.9 繪制3D圖表 183
5.6.10 繪制多個子圖表 184
5.6.11 圖表的保存 189
5.7 綜合應用 189
5.7.1 案例1：雙y軸可視化數(shù)據(jù)分析圖表的實現(xiàn) 189
5.7.2 案例2：顏色漸變餅形圖的實現(xiàn) 190
5.7.3 案例3：等高線圖的實現(xiàn) 192
5.8 小結(jié) 193
第6章 Seaborn可視化數(shù)據(jù)分析圖表 194
6.1 Seaborn圖表概述 194
6.2 Seaborn圖表之初體驗 195
6.3 Seaborn圖表的基本設置 196
6.3.1 背景風格 196
6.3.2 邊框控制 197
6.4 常用圖表的繪制 197
6.4.1 繪制折線圖（relplot()函數(shù)） 197
6.4.2 繪制直方圖（displot()函數(shù)） 199
6.4.3 繪制條形圖（barplot()函數(shù)） 200
6.4.4 繪制散點圖（replot()函數(shù)） 200
6.4.5 繪制線性回歸模型（lmplot()函數(shù)） 202
6.4.6 繪制箱形圖（boxplot()函數(shù)） 202
6.4.7 繪制核密度圖（kdeplot()函數(shù)） 203
6.4.8 繪制提琴圖（violinplot()函數(shù)） 204
6.5 綜合應用 205
6.5.1 案例1：堆疊柱形圖可視化數(shù)據(jù)分析圖表的實現(xiàn) 205
6.5.2 案例2：統(tǒng)計雙色球中獎號碼熱力圖 206
6.6 小結(jié) 208
第7章 第三方可視化數(shù)據(jù)分析圖表Pyecharts 209
7.1 Pyecharts概述 209
7.1.1 Pyecharts簡介 209
7.1.2 安裝Pyecharts 210
7.1.3 繪制張圖表 211
7.2 Pyecharts圖表的組成 212
7.2.1 主題風格 212
7.2.2 圖表標題 214
7.2.3 圖例 216
7.2.4 提示框 218
7.2.5 視覺映射 220
7.2.6 工具箱 222
7.2.7 區(qū)域縮放 224
7.3 Pyecharts圖表的繪制 226
7.3.1 柱狀圖—Bar模塊 226
7.3.2 折線/面積圖—Line模塊 227
7.3.3 餅形圖—Pie模塊 229
7.3.4 箱形圖—Boxplot模塊 231
7.3.5 漣漪特效散點圖—EffectScatter模塊 232
7.3.6 詞云圖—WordCloud模塊 233
7.3.7 熱力圖—HeatMap模塊 235
7.3.8 水球圖—Liquid模塊 237
7.3.9 日歷圖—Calendar模塊 237
7.4 綜合應用 238
7.4.1 案例1：南丁格爾玫瑰圖 238
7.4.2 案例2：雙y軸可視化數(shù)據(jù)分析圖表的實現(xiàn)（柱形圖 折線圖） 240
7.4.3 案例3：餅形圖與環(huán)形圖組合圖表的實現(xiàn) 242
7.5 小結(jié) 244
第8章 圖解數(shù)組計算模塊NumPy 245
8.1 初識NumPy 245
8.1.1 NumPy概述 245
8.1.2 安裝NumPy模塊 246
8.1.3 數(shù)組相關(guān)概念 247
8.2 創(chuàng)建數(shù)組 248
8.2.1 創(chuàng)建簡單的數(shù)組 248
8.2.2 不同方式創(chuàng)建數(shù)組 250
8.2.3 從數(shù)值范圍創(chuàng)建數(shù)組 251
8.2.4 生成隨機數(shù)組 254
8.2.5 從已有的數(shù)組中創(chuàng)建數(shù)組 257
8.3 數(shù)組的基本操作 260
8.3.1 數(shù)據(jù)類型 260
8.3.2 數(shù)組運算 262
8.3.3 數(shù)組的索引和切片 265
8.3.4 數(shù)組重塑 269
8.3.5 數(shù)組的增、刪、改、查 271
8.4 NumPy矩陣的基本操作 274
8.4.1 創(chuàng)建矩陣 274
8.4.2 矩陣運算 277
8.4.3 矩陣轉(zhuǎn)換 279
8.5 NumPy常用統(tǒng)計分析函數(shù) 280
8.5.1 數(shù)學運算函數(shù) 280
8.5.2 統(tǒng)計分析函數(shù) 285
8.5.3 數(shù)組的排序 288
8.6 綜合應用 290
8.6.1 案例1：NumPy實現(xiàn)正態(tài)分布 290
8.6.2 案例2：NumPy用于圖像灰度處理 291
8.7 小結(jié) 292
第9章 數(shù)據(jù)統(tǒng)計分析案例 293
9.1 對比分析 293
9.1.1 什么是對比分析 293
9.1.2 案例：對比分析各品牌銷量表現(xiàn)TOP10 293
9.2 同比、定比和環(huán)比分析 294
9.2.1 同比、定比和環(huán)比概述 295
9.2.2 案例1：電商單品銷量同比增長情況分析 295
9.2.3 案例2：單品銷量定比分析 297
9.2.4 案例3：單品銷量環(huán)比增長情況分析 298
9.3 貢獻度分析（帕累托法則） 300
9.3.1 什么是貢獻度分析 300
9.3.2 案例：產(chǎn)品貢獻度分析 300
9.4 差異化分析 302
9.4.1 差異化概述 302
9.4.2 案例：學生成績性別差異分析 302
9.5 相關(guān)性分析 303
9.5.1 相關(guān)性概述 303
9.5.2 案例：廣告展現(xiàn)量與費用成本相關(guān)性分析 303
9.6 時間序列分析 306
9.6.1 時間序列概述 306
9.6.2 案例：年增長趨勢和季節(jié)性波動分析 306
9.7 小結(jié) 307
第3篇 高級篇
第10章 機器學習庫Scikit-Learn 310
10.1 Scikit-Learn簡介 310
10.2 安裝Scikit-Learn 310
10.3 線性模型 312
10.3.1 小二乘法回歸 312
10.3.2 嶺回歸 313
10.4 支持向量機 314
10.5 聚類 316
10.5.1 什么是聚類 316
10.5.2 聚類算法 317
10.5.3 聚類模塊 318
10.5.4 聚類數(shù)據(jù)生成器 319
10.6 小結(jié) 320
第4篇 項目篇
第11章 注冊用戶分析（MySQL版） 322
11.1 概述 322
11.2 項目效果預覽 322
11.3 項目準備 323
11.4 導入MySQL數(shù)據(jù) 323
11.4.1 Python操縱MySQL 323
11.4.2 Python連接MySQL數(shù)據(jù)庫 324
11.5 項目實現(xiàn)過程 325
11.5.1 數(shù)據(jù)準備 325
11.5.2 數(shù)據(jù)檢測 325
11.5.3 年度注冊用戶分析 326
11.5.4 新注冊用戶分析 328
11.6 小結(jié) 329
第12章 電商銷售數(shù)據(jù)分析與預測 330
12.1 概述 330
12.2 項目效果預覽 330
12.3 項目準備 331
12.4 分析方法 331
12.5 項目實現(xiàn)過程 332
12.5.1 數(shù)據(jù)處理 332
12.5.2 日期數(shù)據(jù)統(tǒng)計并顯示 332
12.5.3 銷售收入分析 333
12.5.4 銷售收入與廣告費相關(guān)性分析 334
12.5.5 銷售收入預測 337
12.5.6 預測評分 338
12.6 小結(jié) 339
第13章 二手房房價分析與預測 340
13.1 概述 340
13.2 項目效果預覽 340
13.3 項目準備 342
13.4 圖表工具模塊 342
13.4.1 繪制餅形圖 342
13.4.2 繪制折線圖 343
13.4.3 繪制條形圖 344
13.5 項目實現(xiàn)過程 345
13.5.1 數(shù)據(jù)清洗 345
13.5.2 區(qū)域二手房均價分析 346
13.5.3 區(qū)域二手房數(shù)據(jù)及占比分析 347
13.5.4 全市二手房裝修程度分析 348
13.5.5 熱門戶型均價分析 350
13.5.6 二手房房價預測 350
13.6 小結(jié) 354
第14章 客戶價值分析 355
14.1 概述 355
14.2 項目效果預覽 355
14.3 項目準備 356
14.4 分析方法 357
14.4.1 RFM模型 357
14.4.2 聚類 358
14.5 項目實現(xiàn)過程 358
14.5.1 準備工作 358
14.5.2 數(shù)據(jù)抽取 358
14.5.3 數(shù)據(jù)探索分析 358
14.5.4 計算RFM值 359
14.5.5 數(shù)據(jù)轉(zhuǎn)換 360
14.5.6 客戶聚類 360
14.5.7 標記客戶類別 362
14.6 客戶價值結(jié)果分析 363
14.7 小結(jié) 364