Python爬蟲、數(shù)據(jù)分析與可視化：工具詳解與案例實戰(zhàn)

前言
第1章 Python編程基礎1
1.1 搭建Python開發(fā)環(huán)境1
1.1.1 安裝Python解釋器1
1.1.2 安裝Python第三方開發(fā)包2
1.1.3 在PyCharm里新建項目和文件3
1.1.4 在PyCharm里更換Python解釋器5
1.2 實踐Python基本語法5
1.2.1 針對基本數(shù)據(jù)類型的操作6
1.2.2 針對字符串的操作7
1.2.3 多行注釋與引入中文8
1.2.4 條件分支語句9
1.2.5 循環(huán)操作語句9
1.2.6 break和continue的用法10
1.2.7 格式化輸出語句11
1.3 定義和調用函數(shù)11
1.4 return的重要性——函數(shù)的遞歸調用12
1.5 熟悉函數(shù)的特殊寫法13
1.5.1 函數(shù)作為參數(shù)14
1.5.2 函數(shù)作為返回結果14
1.5.3 匿名函數(shù)15
1.6 本章小結15
第2章 Python的數(shù)據(jù)結構16
2.1 列表16
2.1.1 定義列表16
2.1.2 在列表中增、刪、改元素17
2.1.3 列表的切片操作18
2.1.4 遍歷列表19
2.1.5 列表的常見用法19
2.2 元組20
2.2.1 創(chuàng)建和使用元組20
2.2.2 元組的常見用法21
2.3 集合22
2.3.1 創(chuàng)建和使用集合22
2.3.2 針對集合的常用數(shù)據(jù)操作23
2.4 字典23
2.4.1 創(chuàng)建和使用字典24
2.4.2 增加、刪除和修改字典中的元素24
2.4.3 遍歷字典25
2.5 針對數(shù)據(jù)結構的通用性操作25
2.5.1 通過map方法實現(xiàn)序列的映射25
2.5.2 filter方法與數(shù)據(jù)篩選26
2.5.3 通過reduce方法實現(xiàn)累計效果27
2.5.4 通過sorted方法排序對象27
2.6 本章小結28
第3章 Python面向對象編程29
3.1 什么是面向對象思想29
3.2 封裝特性30
3.2.1 創(chuàng)建類并在類里封裝屬性和方法30
3.2.2 類方法的個參數(shù)必須指向實例31
3.2.3 私有屬性的典型錯誤用法31
3.2.4 了解其他常用魔術方法33
3.2.5 從私有屬性和私有方法體會封裝特性34
3.3 繼承特性35
3.3.1 繼承的語法和使用場景35
3.3.2 子類無法使用父類的私有屬性和方法36
3.3.3 受保護的屬性和方法37
3.3.4 多重繼承與組合模式38
3.4 多態(tài)特性40
3.4.1 以迭代器為例來理解多態(tài)40
3.4.2 可變參數(shù)與方法重載41
3.4.3 整合使用多態(tài)和繼承42
3.5 模塊、包以及第三方庫43
3.5.1 通過import重用現(xiàn)有模塊中的功能43
3.5.2 自定義包和使用包43
3.5.3 引入并使用第三方庫44
3.6 本章小結45
第4章 異常處理機制與文件讀寫46
4.1 通過try…except…finally處理異常46
4.1.1 處理異常的try…except從句46
4.1.2 使用異常處理類47
4.1.3 同時處理多個異常48
4.1.4 在處理異常時引入else代碼塊49
4.1.5 引入finally從句50
4.2 raise與except的整合使用51
4.2.1 通過raise拋出異常51
4.2.2 自定義異常且與except整合使用51
4.3 異常處理的實踐經(jīng)驗52
4.3.1 盡可能縮小try的代碼塊53
4.3.2 用專業(yè)的異常處理類針對性地處理異常53
4.3.3 拿到異常別忽視54
4.3.4 合理確定異常的影響范圍54
4.4 在讀寫文件案例中使用異常機制55
4.4.1 通過os.path獲取目錄和文件屬性55
4.4.2 以只讀模式打開文件56
4.4.3 逐行讀取文件58
4.4.4 通過write寫文件59
4.4.5 以添加的方式寫文件59
4.4.6 讀寫csv文件60
4.5 本章小結61
第5章 NumPy數(shù)組處理62
5.1 NumPy庫的基礎數(shù)據(jù)結構：ndarray對象62
5.1.1 通過array方法創(chuàng)建ndarray62
5.1.2 ndarray的dtype屬性63
5.1.3 創(chuàng)建全0或全1的ndarray64
5.2 NumPy庫的常用操作65
5.2.1 通過arange方法創(chuàng)建序列數(shù)組65
5.2.2 針對ndarray的數(shù)學運算66
5.2.3 常用的科學計算函數(shù)67
5.2.4 常用的聚合統(tǒng)計函數(shù)68
5.2.5 遍歷ndarray數(shù)組69
5.3 針對ndarray的索引和切片操作69
5.3.1 索引操作69
5.3.2 布爾索引與條件過濾70
5.3.3 切片操作與共享內存70
5.3.4 通過copy函數(shù)創(chuàng)建副本72
5.4 本章小結72
第6章 Pandas數(shù)據(jù)清洗73
6.1 以一維方式存儲數(shù)據(jù)的Series對象73
6.1.1 Series的常規(guī)操作74
6.1.2 創(chuàng)建并使用Series索引75
6.1.3 獲取Series里的切片數(shù)據(jù)76
6.1.4 通過布爾Series獲取滿足條件的元素78
6.1.5 遍歷Series數(shù)據(jù)78
6.2 以表格格式存儲數(shù)據(jù)的DataFrame對象79
6.2.1 DataFrame對象的常規(guī)用法79
6.2.2 通過loc、iloc和ix提取數(shù)據(jù)81
6.2.3 遍歷DataFrame里的數(shù)據(jù)82
6.3 面向DataFrame的常用數(shù)據(jù)分析方法82
6.3.1 對DataFrame數(shù)據(jù)進行排序83
6.3.2 以列為單位進行運算83
6.3.3 增加和刪除列84
6.3.4 過濾和重設數(shù)據(jù)85
6.3.5 在DataFrame中進行數(shù)據(jù)統(tǒng)計分析85
6.3.6 衡量變量間關聯(lián)程度的corr方法86
6.4 Pandas與各類文件的交互87
6.4.1 DataFrame數(shù)據(jù)與csv文件的相互轉換87
6.4.2 NaN與缺失值處理89
6.4.3 DataFrame數(shù)據(jù)與Excel文件的相互轉換90
6.4.4 DataFrame數(shù)據(jù)與json文件的相互轉換91
6.5 本章小結92
第7章 Matplotlib數(shù)據(jù)可視化93
7.1 通過Matplotlib繪制各類圖形93
7.1.1 繪制折線圖93
7.1.2 繪圖時的通用屬性參數(shù)94
7.1.3 繪制柱狀圖95
7.1.4 繪制餅圖97
7.1.5 繪制直方圖98
7.2 設置坐標的技巧99
7.2.1 設置x和y坐標標簽文字并展示中文99
7.2.2 設置坐標的范圍100
7.2.3 設置坐標的主刻度和次刻度101
7.2.4 設置并旋轉坐標刻度文字102
7.3 增加可視化美觀效果103
7.3.1 設置圖例104
7.3.2 設置中文標題105
7.3.3 設置網(wǎng)格效果106
7.4 設置多圖和子圖效果107
7.4.1 通過figure對象同時繪制多張圖107
7.4.2 通過add_subplot方法繪制子圖108
7.4.3 通過subplot方法繪制子圖109
7.4.4 子圖共享x坐標軸110
7.4.5 在大圖里繪制子圖112
7.5 繪制高級圖表113
7.5.1 繪制散點圖113
7.5.2 繪制熱圖114
7.5.3 繪制等值線圖115
7.6 通過mplot3d繪制三維圖形116
7.6.1 繪制三維曲線圖116
7.6.2 繪制三維散點圖117
7.6.3 繪制三維柱狀圖118
7.7 本章小結119
第8章 通過網(wǎng)絡爬蟲獲取數(shù)據(jù)120
8.1 和爬蟲有關的HTTP120
8.1.1 基于HTTP的請求處理流程120
8.1.2 HTTP請求頭包含操作系統(tǒng)和瀏覽器信息122
8.1.3 Post和Get請求方法122
8.1.4 HTTP常見的狀態(tài)碼122
8.2 通過Urllib庫獲取網(wǎng)頁信息123
8.2.1 通過request爬取網(wǎng)頁123
8.2.2 設置超時時間124
8.2.3 用URLError處理網(wǎng)絡異常124
8.2.4 設置header屬性來模擬瀏覽器發(fā)送請求125
8.3 通過BeautifulSoup提取頁面信息125
8.3.1 安裝BeautifulSoup庫125
8.3.2 用Tag提取HTML元素和屬性126
8.3.3 用NavigableString提取元素值127
8.3.4 用Comment提取注釋127
8.3.5 制定規(guī)則搜索指定的內容128
8.4 通過正則表達式截取信息130
8.4.1 查找指定字符串130
8.4.2 用通用字符來模糊匹配130
8.4.3 通過原子表來定義匹配規(guī)則131
8.4.4 用findall按匹配規(guī)則截取內容132
8.5 用Scrapy爬取博客園文章信息134
8.5.1 通過Scrapy命令創(chuàng)建爬蟲項目134
8.5.2 明確爬取目標，制定爬取規(guī)則134
8.5.3 在Item模塊里定義數(shù)據(jù)模型136
8.5.4 生成爬蟲文件，定義爬取動作136
8.5.5 在pipelines文件里定義數(shù)據(jù)存儲方式137
8.5.6 啟動爬蟲程序，觀察運行效果138
8.6 本章小結139
第9章 數(shù)據(jù)分析的常用方法140
9.1 準備并存儲數(shù)據(jù)140
9.1.1 用Pandas_datareader庫獲取數(shù)據(jù)140
9.1.2 以csv和Excel格式存儲數(shù)據(jù)141
9.1.3 準備MySQL環(huán)境142
9.1.4 在MySQL里存儲數(shù)據(jù)142
9.1.5 從數(shù)據(jù)表里讀取數(shù)據(jù)145
9.2 描述性統(tǒng)計146
9.2.1 平均數(shù)、中位數(shù)和百分位數(shù)146
9.2.2 用箱狀圖展示分位數(shù)147
9.2.3 統(tǒng)計極差、方差和標準差148
9.3 基于時間序列的統(tǒng)計方法148
9.3.1 用rolling方法計算移動平均值148
9.3.2 基于時間序列的自相關性分析149
9.3.3 基于時間序列的偏自相關性分析151
9.3.4 用熱力圖分析不同時間序列的相關性152
9.4 概率分析方法與推斷統(tǒng)計154
9.4.1 分析收盤價，繪制小提琴圖154
9.4.2 用直方圖來擬合正態(tài)分布效果155
9.4.3 驗證序列是否滿足正態(tài)分布156
9.4.4 參數(shù)估計方法157
9.4.5 顯著性驗證158
9.5 回歸分析方法159
9.5.1 構建一元線性回歸模型159
9.5.2 以多元線性回歸模型預測股價162
9.6 本章小結1