大數(shù)據(jù)分析及應用項目教程（Spark SQL）

定　價：￥55.00

作　者：	許慧
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	暫缺

ISBN：	9787121463631	出版時間：	2023-09-01	包裝：	平裝
開本：	16開	頁數(shù)：	1	字數(shù)：

內容簡介

　　本書以項目任務為載體串聯(lián)知識與技能，介紹基于 Spark SQL 技術的大數(shù)據(jù)分析方法，培養(yǎng) 學習者使用 Spark SQL 技術解決實際數(shù)據(jù)分析問題的能力，主要內容有大數(shù)據(jù)分析概述、實踐環(huán) 境準備、學生信息處理分析、房產大數(shù)據(jù)分析與探索、電商大數(shù)據(jù)分析與探索、Zepplin 數(shù)據(jù)可視化。在實現(xiàn)任務的過程中詳細闡述了 Scala 語言基礎、Spark SQL 編程分析、Spark SQL 數(shù)據(jù)分析與探索、數(shù)據(jù)可視化等知識。本書適合作為高等職業(yè)院校計算機、大數(shù)據(jù)、人工智能及相關專業(yè)的教材或參考書，也可以作為數(shù)據(jù)分析人員的參考書。

作者簡介

　　許慧（1991.10―），女，浙江大學空天信息技術碩士，衢州職業(yè)技術學院專職教師，從事大數(shù)據(jù)技術教學和科研工作。2022年主持\"浙江省高等學校課程思政示范課程項目”《大數(shù)據(jù)集群環(huán)境搭建實訓》課程建設項目。主持\"衢州職業(yè)技術學院課程思政示范課程項目”《大數(shù)據(jù)挖掘與分析》課程建設。主持2019年衢州市指導性科技計劃項目\"基于大數(shù)據(jù)的衢州電商客戶數(shù)據(jù)信息安全技術研究”。

圖書目錄

第 1 章大數(shù)據(jù)分析概述 ..........................................................................................1
任務 1.1 關于大數(shù)據(jù)分析............................................................................................. 1
情境導入 ........................................................................................................ 1
學習目標和要求 ............................................................................................ 1
1.1.1 什么是大數(shù)據(jù)分析 ............................................................................ 2
1.1.2 大數(shù)據(jù)分析工具 ................................................................................ 5
1.1.3 大數(shù)據(jù)分析可視化 ............................................................................ 8
任務 1.2 認識 Spark SQL ............................................................................................. 8
情境導入 ........................................................................................................ 8
學習目標和要求 ............................................................................................ 8
1.2.1 Spark SQL 的背景簡介 ..................................................................... 9
1.2.2 Spark SQL 的運行原理 ................................................................... 10
腦圖小結......................................................................................................................... 14
章節(jié)練習......................................................................................................................... 16
第 2 章實踐環(huán)境準備 ...........................................................................................17
任務 2.1 Hadoop 集群環(huán)境搭建 ................................................................................. 17
情境導入 ...................................................................................................... 17
學習目標和要求 .......................................................................................... 18
2.1.1 環(huán)境準備 .......................................................................................... 18
2.1.2 安裝 Hadoop..................................................................................... 35
2.1.3 啟動 Hadoop 集群............................................................................ 45
2.1.4 運行經典案例 wordcount ................................................................ 48
任務 2.2 Spark 集群部署與使用 ................................................................................ 50
情境導入 ...................................................................................................... 50
學習目標和要求 .......................................................................................... 50
2.2.1 安裝 Spark ........................................................................................ 50
2.2.2 啟動 Spark ........................................................................................ 54
2.2.3 Spark 集群測試 ................................................................................ 56
任務 2.3 安裝 Scala ..................................................................................................... 60
情境導入 ...................................................................................................... 60
學習目標和要求 .......................................................................................... 60
2.3.1 下載 Scala 安裝包............................................................................ 61
2.3.2 Scala 安裝配置................................................................................. 61
腦圖小結......................................................................................................................... 62
章節(jié)練習......................................................................................................................... 63
第 3 章學生信息處理分析 ....................................................................................65
任務 3.1 班級基本情況分析....................................................................................... 66
情境導入 ...................................................................................................... 66
學習目標和要求 .......................................................................................... 66
3.1.1 學生所屬班級和男女生數(shù)量 .......................................................... 67
3.1.2 以班級為單位整理學生信息 .......................................................... 84
任務 3.2 學生基本情況分析....................................................................................... 96
情境導入 ...................................................................................................... 96
學習目標和要求 .......................................................................................... 96
3.2.1 學生特長情況分析 .......................................................................... 96
3.2.2 學生成績情況分析 ........................................................................ 102
腦圖小結....................................................................................................................... 105
章節(jié)練習....................................................................................................................... 106
第 4 章房產大數(shù)據(jù)分析與探索 ...........................................................................108
任務 4.1 某房產公司銷售人員業(yè)績分析............................................................... 108
情境導入 .................................................................................................... 108
學習目標和要求 ........................................................................................ 110
4.1.1 數(shù)據(jù)集處理 .................................................................................... 110
4.1.2 數(shù)據(jù)操作分析 ................................................................................ 116
任務 4.2 某城市近年房產銷售狀況分析................................................................. 131
情境導入 .................................................................................................... 131
學習目標和要求 ........................................................................................ 132
4.2.1 數(shù)據(jù)準備 ........................................................................................ 132
4.2.2 數(shù)據(jù)探索與分析 ............................................................................ 134
4.2.3 總結分析 ........................................................................................ 139
腦圖小結....................................................................................................................... 139
章節(jié)練習....................................................................................................................... 140
第 5 章電商大數(shù)據(jù)分析與索 ...........................................................................141
任務 5.1 “女裝電子商務評論”數(shù)據(jù)分析........................................................ 141
情境導入 .................................................................................................... 141
學習目標和要求 ........................................................................................ 142
5.1.1 數(shù)據(jù)準備 ..................................................................................... 142
5.1.2 數(shù)據(jù)清洗 ..................................................................................... 152
5.1.3 數(shù)據(jù)轉換 ..................................................................................... 157
5.1.4 數(shù)據(jù)分析 ........................................................................................ 162
5.1.5 數(shù)據(jù)輸出 ........................................................................................ 171
任務 5.2 “在線銷售訂單”數(shù)據(jù)分析..................................................................... 173
情境導入 .................................................................................................... 173
學習目標和要求 ........................................................................................ 174
5.2.1 數(shù)據(jù)查詢操作 ................................................................................ 174
5.2.2 數(shù)據(jù)分析探索 ................................................................................ 184
腦圖小結....................................................................................................................... 191
章節(jié)練習....................................................................................................................... 192
第 6 章 Zeppelin 數(shù)據(jù)可視化 ............................................................................193
任務 6.1 Zeppelin 安裝與部署.................................................................................. 193
情境導入 .................................................................................................... 193
學習目標和要求 ........................................................................................ 193
6.1.1 下載安裝包 .................................................................................... 194
6.1.2 安裝配置 ........................................................................................ 195
6.1.3 測試運行 Zeppelin ......................................................................... 199
任務 6.2 “女裝電子商務評論”數(shù)據(jù)可視化......................................................... 203
情境導入 .................................................................................................... 203
學習目標和要求 ........................................................................................ 204
6.2.1 加載數(shù)據(jù)注冊視圖 ........................................................................ 204
6.2.2 執(zhí)行 SQL 數(shù)據(jù)可視化................................................................... 208
任務 6.3 “在線銷售訂單”數(shù)據(jù)可視化................................................................. 212
情境導入 .................................................................................................... 212
學習目標和要求 ........................................................................................ 213
執(zhí)行 Spark SQL 數(shù)據(jù)可視化 .................................................................... 213
腦圖小結....................................................................................................................... 216
章節(jié)練習....................................................................................................................... 216