Python數(shù)據(jù)分析從入門到精通

目錄

前言

第1章 Python語言基礎1
1.1 Python語言介紹1
1.1.1 Python語言的地位1
1.1.2 Python語言的優(yōu)點2
1.2 安裝Python3
1.2.1 在Windows系統(tǒng)中下載并安裝
Python3
1.2.2 在MacOS系統(tǒng)中下載并安裝
Python6
1.2.3 在Linux系統(tǒng)中下載并安裝
Python6
1.3 Python開發(fā)工具介紹7
1.3.1 使用Python自帶的開發(fā)工具
IDLE7
1.3.2 使用流行工具PyCharm7
1.4 認識第一段Python程序11
1.4.1 使用IDLE編碼并運行11
1.4.2 使用命令行方式運行Python
程序12
1.4.3 使用交互式方式運行Python
程序12
1.4.4 使用PyCharm實現(xiàn)第一個Python
程序13
第2章 處理網(wǎng)絡數(shù)據(jù)17
2.1 處理HTML和XML數(shù)據(jù)17
2.1.1 解析XML數(shù)據(jù)17
2.1.2 使用庫beautiful soup解析數(shù)據(jù)25
2.1.3 使用庫bleach解析數(shù)據(jù)27
2.1.4 使用庫cssutils解析數(shù)據(jù)29
2.1.5 使用庫html5lib解析數(shù)據(jù)31
2.1.6 使用庫markupsafe解析數(shù)據(jù)31
2.1.7 使用庫pyquery解析數(shù)據(jù)32
2.2 處理HTTP 數(shù)據(jù)34
2.2.1 使用內(nèi)置的http包處理數(shù)據(jù)34
2.2.2 使用庫requests處理數(shù)據(jù)36
2.2.3 使用庫httplib2處理數(shù)據(jù)37
2.2.4 使用庫urllib3處理數(shù)據(jù)41
2.3 處理URL 數(shù)據(jù)44
2.3.1 使用urllib包44
2.3.2 使用庫furl處理數(shù)據(jù)47
2.3.3 使用庫purl處理數(shù)據(jù)48
2.3.4 使用庫webargs處理數(shù)據(jù)50
2.4 爬取新聞保存到XML文件并分析
特征關系50
2.4.1 爬蟲抓取數(shù)據(jù)51
2.4.2 使用Stanford CoreNLP提取XML
數(shù)據(jù)的特征關系52
第3章 網(wǎng)絡爬蟲實戰(zhàn)54
3.1 網(wǎng)絡爬蟲基礎54
3.2 開發(fā)簡單的網(wǎng)絡爬蟲應用程序55
3.2.1 爬蟲抓取某高校教師信息55
3.2.2 抓取某吧的信息59
3.2.3 抓取XX百科64
3.2.4 爬蟲抓取某網(wǎng)站的信息并保存到
本地68
3.3 使用爬蟲框架Scrapy70
3.3.1 Scrapy框架基礎71
3.3.2 搭建Scrapy環(huán)境72
3.3.3 創(chuàng)建第一個Scrapy項目72
3.3.4 抓取某電影網(wǎng)的熱門電影信息76
3.3.5 抓取某網(wǎng)站中的照片并保存到
本地81
3.3.6 抓取某網(wǎng)站中的主播照片并保存到
本地82
第4章 處理特殊文本格式84
4.1 使用tablib模塊84
4.1.1 基本用法84
4.1.2 操作數(shù)據(jù)集中的指定行和列86
4.1.3 刪除并導出不同格式的數(shù)據(jù)87
4.1.4 生成一個Excel文件88
4.1.5 處理多個數(shù)據(jù)集89
4.1.6 使用標簽過濾數(shù)據(jù)92
4.1.7 分離表格中的數(shù)據(jù)92
4.2 使用openpyxl處理Office
文件93
4.2.1 openpyxl基礎93
4.2.2 使用openpyxl讀取Excel文件的
數(shù)據(jù)96
4.2.3 將4組數(shù)據(jù)導入Excel文件96
4.2.4 在Excel文件中檢索某關鍵字
數(shù)據(jù)98
4.2.5 將數(shù)據(jù)導入Excel文件并生成一個
圖表99
4.3 使用pyexcel處理Office
文件100
4.3.1 使用pyexcel讀取并寫入CSV
文件100
4.3.2 使用pyexcel讀取指定Excel文件中
每個單元格數(shù)據(jù)101
4.3.3 按列讀取并顯示指定Excel文件中
每個單元格數(shù)據(jù)102
4.3.4 讀取顯示Excel文件中的所有
數(shù)據(jù)102
4.3.5 將3組數(shù)據(jù)導入新建的Excel
文件103
4.3.6 以多種方式獲取Excel數(shù)據(jù)104
4.3.7 將數(shù)據(jù)分別導入Excel文件和SQLite
數(shù)據(jù)庫105
4.3.8 在Flask Web項目中使用pyexcel處理
數(shù)據(jù)106
4.4 使用python-docx處理Office
文件109
4.4.1 使用python-docx處理Office文件的
流程109
4.4.2 創(chuàng)建Word文檔110
4.4.3 在Word中插入圖片110
4.4.4 創(chuàng)建結構文檔112
4.4.5 讀取Word文檔114
4.5 使用xlrd和xlwt讀寫Excel115
4.5.1 使用庫xlrd115
4.5.2 使用庫xlwt117
4.6 使用xlsxwriter操作Excel
文件118
4.6.1 使用庫xlsxwriter的基本流程118
4.6.2 創(chuàng)建一個表格118
4.6.3 設置表格樣式120
4.6.4 向Excel文件中插入圖像122
4.6.5 向Excel文件中插入數(shù)據(jù)并繪制
柱狀圖123
4.6.6 向Excel文件中插入數(shù)據(jù)并繪制
散點圖125
4.6.7 向Excel文件中插入數(shù)據(jù)并繪制
柱狀圖和餅狀圖126
第5章 使用數(shù)據(jù)庫保存數(shù)據(jù)129
5.1 操作SQLite3數(shù)據(jù)庫129
5.1.1 sqlite3模塊介紹129
5.1.2 使用sqlite3模塊操作SQLite3
數(shù)據(jù)庫130
5.1.3 使用Flask+ SQLite3+ ECharts2實現(xiàn)
降水數(shù)據(jù)可視化系統(tǒng)132
5.2 操作MySQL數(shù)據(jù)庫138
5.2.1 搭建PyMySQL環(huán)境138
5.2.2 實現(xiàn)數(shù)據(jù)庫連接139
5.2.3 創(chuàng)建數(shù)據(jù)庫表140
5.2.4 爬取XX站用戶信息并保存到
MySQL數(shù)據(jù)庫141
5.3 使用MariaDB數(shù)據(jù)庫145
5.3.1 搭建MariaDB數(shù)據(jù)庫環(huán)境145
5.3.2 在Python程序中使用MariaDB
數(shù)據(jù)庫148
5.4 使用MongoDB數(shù)據(jù)庫150
5.4.1 搭建MongoDB環(huán)境150
5.4.2 在Python程序中使用MongoDB
數(shù)據(jù)庫151
5.5 使用ORM操作數(shù)據(jù)庫154
5.5.1 Python和ORM154
5.5.2 使用SQLAlchemy155
5.5.3 使用mongoengine160
第6章 操作處理CSV文件163
6.1 內(nèi)置CSV模塊介紹163
6.1.1 內(nèi)置成員163
6.1.2 操作CSV文件165
6.1.3 提取CSV數(shù)據(jù)并保存到MySQL
數(shù)據(jù)庫172
6.1.4 提取CSV數(shù)據(jù)并保存到SQLite
數(shù)據(jù)庫176
6.2 爬取圖書信息并保存為CSV
文件178
6.2.1 實例介紹178
6.2.2 具體實現(xiàn)178
6.3 使用CSV文件保存Scrapy抓取的
數(shù)據(jù)181
6.3.1 搭建Scrap