數(shù)據(jù)清洗

目 錄

前言
第1章 數(shù)據(jù)清洗基礎(chǔ)
11 數(shù)據(jù)清洗概述
111 數(shù)據(jù)清洗的定義
112 數(shù)據(jù)清洗的對(duì)象
113 數(shù)據(jù)清洗的原理
114 數(shù)據(jù)清洗的評(píng)估
115 數(shù)據(jù)清洗的框架模型
116 數(shù)據(jù)清洗研究與應(yīng)用展望
117 數(shù)據(jù)清洗的行業(yè)發(fā)展
12 數(shù)據(jù)標(biāo)準(zhǔn)化
121 數(shù)據(jù)標(biāo)準(zhǔn)化簡(jiǎn)介
122 數(shù)據(jù)標(biāo)準(zhǔn)化方法
123 數(shù)據(jù)標(biāo)準(zhǔn)化的實(shí)例
13 數(shù)據(jù)清洗的常用工具
14 實(shí)訓(xùn)1 安裝和運(yùn)行Kettle
15 實(shí)訓(xùn)2 安裝和運(yùn)行OpenRefine
16 實(shí)訓(xùn)3 安裝和運(yùn)行Python 3
17 小結(jié)
習(xí)題1
第2章 數(shù)據(jù)清洗方法
21 數(shù)據(jù)質(zhì)量
211 數(shù)據(jù)質(zhì)量的定義
212 數(shù)據(jù)質(zhì)量中的常見(jiàn)術(shù)語(yǔ)
22 數(shù)據(jù)預(yù)處理
221 數(shù)據(jù)預(yù)處理簡(jiǎn)介
222 數(shù)據(jù)預(yù)處理方法
23 數(shù)據(jù)清洗方法
231 數(shù)據(jù)缺失值的處理方法
232 噪聲數(shù)據(jù)的處理方法
233 冗余數(shù)據(jù)的處理方法
234 數(shù)據(jù)格式與內(nèi)容的處理方法
24 數(shù)據(jù)清洗中的統(tǒng)計(jì)學(xué)基礎(chǔ)
25 實(shí)訓(xùn)1 找出離群點(diǎn)
26 實(shí)訓(xùn)2 找出統(tǒng)計(jì)對(duì)象
27 實(shí)訓(xùn)3 找出數(shù)據(jù)清洗的步驟
28 實(shí)訓(xùn)4 找出異常數(shù)據(jù)
29 小結(jié)
習(xí)題2
第3章 文件類型
31 文件格式
311 文件格式概述
312 Windows中常見(jiàn)的文件格式
32 數(shù)據(jù)類型與字符編碼
321 數(shù)據(jù)類型概述
322 字符編碼
323 用Python讀取文件
324 數(shù)據(jù)轉(zhuǎn)換
33 數(shù)據(jù)轉(zhuǎn)換的實(shí)現(xiàn)
331 用Python生成與讀取CSV文件
332 用Python讀取與轉(zhuǎn)換JSON文件
34 實(shí)訓(xùn)1 將XML文件轉(zhuǎn)換為JSON文件
35 實(shí)訓(xùn)2 將JSON文件轉(zhuǎn)換為CSV文件
36 小結(jié)
習(xí)題3
第4章 數(shù)據(jù)采集與抽取
41 數(shù)據(jù)采集概述
411 了解數(shù)據(jù)采集
412 日志數(shù)據(jù)采集與處理的常見(jiàn)方法
413 數(shù)據(jù)采集平臺(tái)
414 數(shù)據(jù)采集工具
42 網(wǎng)頁(yè)數(shù)據(jù)采集與實(shí)現(xiàn)
421 網(wǎng)絡(luò)爬蟲(chóng)概述
422 網(wǎng)頁(yè)數(shù)據(jù)采集的實(shí)現(xiàn)
43 數(shù)據(jù)抽取
431 數(shù)據(jù)抽取概述
432 文本數(shù)據(jù)抽取
433 網(wǎng)頁(yè)數(shù)據(jù)抽取
44 實(shí)訓(xùn)1 使用Kettle抽取本地XML文件
45 實(shí)訓(xùn)2 使用Kettle抽取CSV數(shù)據(jù)并輸出為文本文件
46 小結(jié)
習(xí)題4
第5章 Excel數(shù)據(jù)清洗與轉(zhuǎn)換
51 Excel數(shù)據(jù)清洗概述
511 Excel簡(jiǎn)介
512 Excel數(shù)據(jù)清洗與轉(zhuǎn)換方法
52 Excel數(shù)據(jù)清洗與轉(zhuǎn)換的實(shí)現(xiàn)
521 常用數(shù)據(jù)分析函數(shù)介紹
522 刪除重復(fù)行
523 文本查找和替換
524 數(shù)據(jù)替換
525 字符串截取
526 字母大小寫(xiě)轉(zhuǎn)換
527 刪除空格和非打印字符
528 數(shù)字和數(shù)字符號(hào)的轉(zhuǎn)換
529 日期和時(shí)間處理
5210 合并和拆分列
5211 數(shù)據(jù)的轉(zhuǎn)置
5212 數(shù)據(jù)查詢和引用
53 實(shí)訓(xùn)1 清洗簡(jiǎn)單數(shù)據(jù)
54 實(shí)訓(xùn)2 清洗復(fù)雜數(shù)據(jù)
55 小結(jié)
習(xí)題5
第6章 ETL數(shù)據(jù)清洗與轉(zhuǎn)換
61 數(shù)據(jù)倉(cāng)庫(kù)與ETL
611 數(shù)據(jù)倉(cāng)庫(kù)
612 ETL概述
62 Kettle數(shù)據(jù)清洗與轉(zhuǎn)換基礎(chǔ)
621 Kettle數(shù)據(jù)清洗
622 Kettle數(shù)據(jù)轉(zhuǎn)換
63 Kettle數(shù)據(jù)倉(cāng)庫(kù)高級(jí)應(yīng)用
64 實(shí)訓(xùn)1 在Kettle中識(shí)別流的最后一行并寫(xiě)入日志
65 實(shí)訓(xùn)2 在Kettle中用正則表達(dá)式清洗數(shù)據(jù)
66 實(shí)訓(xùn)3 使用Kettle過(guò)濾數(shù)據(jù)表
67 實(shí)訓(xùn)4 使用Kettle生成隨機(jī)數(shù)并相加
68 小結(jié)
習(xí)題6
第7章 Python數(shù)據(jù)清洗
71 Python數(shù)據(jù)清洗基礎(chǔ)
711 Python語(yǔ)言基礎(chǔ)
712 Python數(shù)據(jù)清洗所用庫(kù)
72 數(shù)據(jù)讀寫(xiě)、選擇、整理和描述
721 從CSV文件讀取數(shù)據(jù)
722 寫(xiě)入數(shù)據(jù)到CSV文件
723 數(shù)據(jù)整理和描述
73 數(shù)據(jù)分組、分割、合并和變形
731 數(shù)據(jù)分組
732 數(shù)據(jù)分割
733 數(shù)據(jù)合并
734 數(shù)據(jù)變形
74 缺失值、異常值和重復(fù)值處理
741 缺失值處理
742 異常值檢測(cè)和過(guò)濾
743 移除重復(fù)數(shù)據(jù)
75 時(shí)間序列處理
751　Python的日期與時(shí)間工具
752 Pandas時(shí)間序列數(shù)據(jù)結(jié)構(gòu)
76　字符串處理
761　Python字符串方法列表
762 Python正則表達(dá)式
763 Pandas的字符串方法
77 實(shí)訓(xùn)1 清洗企業(yè)員工信息
78 實(shí)訓(xùn)2 清洗在校生飲酒消費(fèi)數(shù)據(jù)
79 小結(jié)
習(xí)題7
第8章 R語(yǔ)言數(shù)據(jù)清洗
81 R語(yǔ)言簡(jiǎn)介
82 R語(yǔ)言基礎(chǔ)
821 R語(yǔ)言運(yùn)算符號(hào)
822 R語(yǔ)言數(shù)據(jù)類型
83 R語(yǔ)言datatable數(shù)據(jù)包
831 datatable數(shù)據(jù)包介紹
832 創(chuàng)建datatable對(duì)象