Python數(shù)據(jù)分析與可視化項目實戰(zhàn)

第1章  電影產(chǎn)業(yè)市場數(shù)據(jù)分析和可視化系統(tǒng)(Flask FastAPI Vue Echarts) 1
1.1  電影產(chǎn)業(yè)介紹 2
1.2  電影市場的需求分析 2
1.2.1  市場需要高質(zhì)量作品 2
1.2.2  國內(nèi)電影市場的變化 3
1.3  系統(tǒng)架構(gòu) 3
1.4  準備數(shù)據(jù) 4
1.5  后端數(shù)據(jù)分析模塊 5
1.5.1  后端系統(tǒng)配置 5
1.5.2  注冊FastAPI訪問 6
1.5.3  URL錯誤處理 9
1.5.4  后端數(shù)據(jù)分析 11
1.5.5  后端主文件 15
1.5.6  日志處理 16
1.6  前端數(shù)據(jù)可視化模塊 18
1.6.1  前端系統(tǒng)配置 18
1.6.2  前臺主頁 19
1.6.3  電影時長占比圖 28
1.6.4  電影上映年份趨勢圖 33
1.6.5  各國及地區(qū)電影出產(chǎn)量統(tǒng)計圖 37
1.6.6  電影類別排行統(tǒng)計圖 41
1.6.7  電影語言使用統(tǒng)計圖 46
1.6.8  各國及地區(qū)電影評分展示統(tǒng)計圖 52
第2章  電商客戶數(shù)據(jù)分析和可視化系統(tǒng)(Jupyter Notebook Scikit-Learn Matplotlib Pandas) 59
2.1  電商行業(yè)發(fā)展介紹 60
2.1.1  國內(nèi)電商市場現(xiàn)狀分析 60
2.1.2  電商行業(yè)發(fā)展趨勢介紹 60
2.2  需求分析 61
2.2.1  電商的商業(yè)模式 61
2.2.2  核心指標需求分析 62
2.2.3  指標體系需求分析 63
2.2.4  數(shù)據(jù)分析方法 65
2.2.5  電商平臺“人”的指標思維導(dǎo)圖 66
2.3  系統(tǒng)架構(gòu) 66
2.4  準備數(shù)據(jù) 67
2.5  數(shù)據(jù)分析 68
2.5.1  數(shù)據(jù)清洗 68
2.5.2  數(shù)據(jù)分析 73
2.5.3  數(shù)據(jù)建模 78
第3章  房產(chǎn)信息數(shù)據(jù)分析和可視化系統(tǒng)(網(wǎng)絡(luò)爬蟲 MySQL pylab實現(xiàn)) 85
3.1  背景介紹 86
3.1.1  行業(yè)發(fā)展現(xiàn)狀 86
3.1.2  房地產(chǎn)行業(yè)市場調(diào)查 86
3.2  需求分析 87
3.3  系統(tǒng)架構(gòu) 87
3.4  系統(tǒng)設(shè)置 88
3.4.1  選擇版本 88
3.4.2  保存日志信息 89
3.4.3  設(shè)置創(chuàng)建的文件名 89
3.4.4  設(shè)置爬取城市 91
3.4.5  處理區(qū)縣信息 93
3.4.6  處理日期和時間 95
3.5  破解反爬機制 95
3.5.1  定義爬蟲基類 96
3.5.2  瀏覽器用戶代理 97
3.5.3  在線IP代理 98
3.6  爬蟲爬取信息 99
3.6.1  設(shè)置解析元素 99
3.6.2  爬取二手房信息 99
3.6.3  爬取樓盤信息 103
3.6.4  爬取小區(qū)信息 107
3.6.5  爬取租房信息 110
3.7  數(shù)據(jù)可視化 115
3.7.1  爬取數(shù)據(jù)并保存到數(shù)據(jù)庫 115
3.7.2  可視化濟南市房價最貴的4個小區(qū) 120
3.7.3  可視化濟南市主要地區(qū)的房價均價 121
3.7.4  可視化濟南市主要地區(qū)的房源數(shù)量 123
3.7.5  可視化濟南市各區(qū)的房源數(shù)量所占百分比 124
第4章  城市智能交通數(shù)據(jù)分析和可視化系統(tǒng)(Pandas Matplotlib Numpy) 127
4.1  背景介紹 128
4.2  需求分析 128
4.2.1  城市交通存在的問題 128
4.2.2  智能交通建設(shè)的必要性 129
4.2.3  項目目標 130
4.3  系統(tǒng)架構(gòu) 131
4.4  從CSV文件讀取數(shù)據(jù) 132
4.4.1  讀取并顯示CSV文件中的前3條騎行數(shù)據(jù) 132
4.4.2  讀取并顯示CSV文件中指定列的數(shù)據(jù) 134
4.4.3  用統(tǒng)計圖可視化CSV文件中的數(shù)據(jù) 135
4.4.4  選擇指定數(shù)據(jù) 136
4.5  日期相關(guān)操作 142
4.5.1  統(tǒng)計每個月的騎行數(shù)據(jù) 142
4.5.2  展示某街道前5天的騎行數(shù)據(jù)信息 143
4.5.3  統(tǒng)計周一到周日每天的數(shù)據(jù) 145
4.5.4  使用Matplotlib圖表可視化展示統(tǒng)計數(shù)據(jù) 146
第5章  NBA球星技術(shù)統(tǒng)計信息數(shù)據(jù)分析和可視化系統(tǒng)(網(wǎng)絡(luò)爬蟲 Referer反爬 JSON Matplotlib Pandas) 149
5.1  背景介紹 150
5.1.1  NBA介紹 150
5.1.2  NBA的全球化 150
5.2  需求分析 151
5.3  系統(tǒng)架構(gòu) 151
5.4  球員特征可視化 152
5.4.1  爬取球員得分信息 152
5.4.2  球員數(shù)據(jù)聚類分析 155
5.5  球員數(shù)據(jù)可視化雷達圖 161
5.5.1  分析季后賽杜蘭特的數(shù)據(jù) 161
5.5.2  分析季后賽庫里的數(shù)據(jù) 166
5.6  球星命中數(shù)據(jù)信息可視化 167
5.6.1  繪制籃球場 168
5.6.2  爬取球星庫里的投籃信息：Referer反爬 171
5.6.3  庫里投籃信息的可視化 174
5.6.4  杜蘭特投籃信息的可視化 175
第6章  股票數(shù)據(jù)分析和可視化系統(tǒng)(網(wǎng)絡(luò)爬蟲 Selenium TuShare Matplotlib Scikit-Learn) 177
6.1  背景介紹 178
6.2  需求分析 178
6.2.1  股票歷史數(shù)據(jù)分析的目的與意義 178
6.2.2  股票數(shù)據(jù)分析 179
6.3  系統(tǒng)架構(gòu) 179
6.4  爬取股票實時漲幅榜信息 180
6.4.1  準備Selenium環(huán)境 180
6.4.2  爬取數(shù)據(jù) 181
6.4.3  獲取指定股票所屬行業(yè)信息 182
6.4.4  獲取漲幅榜和跌幅榜信息 183
6.4.5  將漲幅榜前10和跌幅榜前10股票數(shù)據(jù)保存到Excel文件 184
6.5  AI選股系統(tǒng) 186
6.5.1  準備TuShare 186
6.5.2  跟蹤熱點板塊 187
6.5.3  數(shù)據(jù)建模和評估分析 199
第7章  民宿信息數(shù)據(jù)分析和可視化系統(tǒng)(網(wǎng)絡(luò)爬蟲 Django Echarts可視化) 219
7.1  背景介紹 220
7.2  系統(tǒng)架構(gòu) 221
7.3  爬蟲爬取信息 221
7.3.1  系統(tǒng)配置 221
7.3.2  Item處理 222
7.3.3  具體爬蟲 223
7.3.4  破解反爬字體加密 232
7.3.5  下載器中間件 235
7.3.6  保存爬蟲信息 239
7.4  數(shù)據(jù)可視化 244
7.4.1  數(shù)據(jù)庫設(shè)計 244
7.4.2  登錄驗證表單 247
7.4.3  視圖顯示 248
第8章  足球數(shù)據(jù)可視化分析和機器學(xué)習(xí)預(yù)測系統(tǒng)(Matplotlib Pandas Seaborn Scikit-Learn實現(xiàn)) 259
8.1  歐洲足球五大聯(lián)賽 260
8.2  系統(tǒng)架構(gòu) 261
8.3  準備數(shù)據(jù) 261
8.4  數(shù)據(jù)可視化分析 262
8.4.1  事件收集 262
8.4.2  射門數(shù)據(jù)可視化 266
8.4.3  球隊和球員數(shù)據(jù)可視化 268
8.4.4  聯(lián)賽數(shù)據(jù)可視化 275
8.4.5  巴塞羅那隊的進球數(shù)據(jù)百分比餅圖 279
8.4.6  紅牌和黃牌數(shù)據(jù)可視化 280
8.4.7  進球數(shù)據(jù)可視化 285
8.4.8  梅西和C羅的數(shù)據(jù)可視化 292
8.4.9  五大聯(lián)賽的球員數(shù)量可視化 295
8.5  比賽預(yù)測 296
8.5.1  讀取數(shù)據(jù) 296
8.5.2  清洗數(shù)據(jù) 299
8.5.3  邏輯回歸算法 300
8.5.4  梯度提升模型 301
8.5.5  隨機森林 302
8.5.6  深度學(xué)習(xí) 303
第9章  網(wǎng)絡(luò)輿情數(shù)據(jù)分析和可視化系統(tǒng)(Scikit-Learn Tornado Celery FastAPI Pandas Vue) 305
9.1  系統(tǒng)介紹 306
9.1.1  輿情數(shù)據(jù)分析的意義 306
9.1.2  輿情熱度分析 306
9.2  架構(gòu)設(shè)計 307
9.2.1  模塊分析 307
9.2.2  系統(tǒng)架構(gòu) 308
9.3  微博爬蟲 309
9.3.1  系統(tǒng)配置 309
9.3.2  批量賬號模擬登錄 309
9.3.3  爬取信息 311
9.4  系統(tǒng)后端 322
9.4.1  系統(tǒng)配置 322
9.4.2  數(shù)據(jù)結(jié)構(gòu)設(shè)計 323
9.4.3  數(shù)據(jù)處理 327
9.4.4  微博話題分析 334
9.5  系統(tǒng)前端 341
9.5.1  API導(dǎo)航 341
9.5.2  博文詳情 342