-
内容大纲
本书以大数据分析应用岗位职业能力递进为主线,较为全面地介绍了Spark大数据技术的相关知识。全书共7章,内容包括Spark生态圈中的Spark Core、Spark SQL、Spark Streaming、GraphX、MLlib等组件,以及海量离线数据的处理、基于历史数据的交互式查询、基于实时数据流的大数据处理、图计算、机器学习等知识点循序渐进地展开介绍。本书以Spark Core、Spark SQL、Spark Streaming相关知识为重点,GraphX、MLlib等组件作为扩展性知识来介绍,书结合岗位胜任能力配套多个企业级实战案例与课后习题,帮助学习者更好地理解和巩固所学知识,熟练应用相关技术,提升专业能力和综合能力,为学习者技术提升和职业发展打下良好基础。
本书可以作为高等职业院校大数据技术、人工智能技术应用、软件技术等相关专业教材,也可以作为从事大数据处理与分析相关技术人员的参考用书。 -
作者介绍
-
目录
第1章 专业认知能力培养:走进Spark
新手上路1.1:认知Spark
1.1.1 Spark的发展历程
1.1.2 Spark的特点
1.1.3 Spark技术栈
1.1.4 Spark术语
1.1.5 Spark的应用场景
循序渐进1.2:了解Spark的运行架构与运行模式
1.2.1 Spark的运行架构
1.2.2 Spark的运行模式及运行流程
1.2.3 Spark核心概念RDD
渐入佳境1.3:掌握Spark在不同模式下的环境搭建
1.3.1 Spark本地单机模式环境搭建
1.3.2 Spark单机伪分布模式环境搭建实战演练
1.4 企业级项目环境搭建
Spark完全分布模式环境搭建
归纳总结
勤学苦练
第2章 专业规范能力培养:立足Scala
新手上路2.1:认知Scala
2.1.1 Scala简介
2.1.2 Scala特性
2.1.3 Scala环境配置及安装
2.1.4 Scala环境的运行
新手上路2.2:变量和数据类型
2.2.1 注释
2.2.2 常量和变量
2.2.3 标识符和关键字
2.2.4 数据类型
2.2.5 数据类型转换
2.2.6 Scala输出
新手上路2.3:运算符和流程控制
2.3.1 算术运算符
2.3.2 关系运算符
2.3.3 逻辑运算符
2.3.4 赋值运算符
2.3.5 位运算符
2.3.6 运算符优先级
2.3.7 流程控制
循序渐进2.4:函数式编程
2.4.1 函数的定义
2.4.2 函数基本语法
2.4.3 函数和方法的区别
2.4.4 函数至简原则
2.4.5 匿名函数
2.4.6 高阶函数
2.4.7 函数柯里化
循序渐进2.5:面向对象编程
2.5.1 包
2.5.2 类和对象
2.5.3 封装
2.5.4 继承
2.5.5 抽象类
2.5.6 伴生对象
2.5.7 特质
循序渐进2.6:数据集合与文件操作
2.6.1 集合简介
2.6.2 数组
2.6.3 列表
2.6.4 Set集合
2.6.5 Map集合
2.6.6 元组
2.6.7 文件操作
实战演练2.7:智慧交通车牌分类识别
2.7.1 函数识别车牌所在地
2.7.2 统计太原市车牌数量
2.7.3 根据车牌所在地对车牌数据分组
2.7.4 车牌所在地信息查询程序
归纳总结
勤学苦练
第3章 岗位核心能力培养:聚焦Spark Core
新手上路3.1:认知Spark核心数据集RDD
3.1.1 RDD简介
3.1.2 RDD的特点
新手上路3.2:掌握RDD的创建
3.2.1 借助内存中的集合数据创建RDD
3.2.2 从外部存储创建RDD
循序渐进3.3:掌握RDD的算子操作
3.3.1 算子的概念与作用
3.3.2 转换算子的操作与使用
3.3.3 键-值对类型RDD算子的操作与使用
3.3.4 行动算子的操作与使用
循序渐进3.4:掌握RDD的文件操作
3.4.1 JSON格式文件的读取与存储
3.4.2 SequenceFile格式文件的存储与读取
渐入佳境3.5:了解IntelliJ IDEA如何开发Spark程序
3.5.1 下载与安装IntelliJ IDEA
3.5.2 Scala插件的安装与使用
3.5.3 IntelliJ IDEA运行Spark程序
实战演练3.6:智慧交通道路卡口车流量分析
3.6.1 数据获取与数据解释
3.6.2 项目编程环境搭建
3.6.3 交通道路卡口车流量排名分析
3.6.4 交通道路卡口车辆超速违章分析
归纳总结
勤学苦练
第4章 岗位拓展能力培养:夯实Spark SQL
新手上路4.1:初识Spark SQI
4.1.1 Spark SQL简介
4.1.2 Spark SQL特点
4.1.3 Spark SQL的Spark Shell交互
循序渐进4.2:掌握Spark SQL核心编程模型DataFrame
4.2.1 DataFrame简介
4.2.2 DataFrame的创建
4.2.3 DataFrame的相关操作
渐入佳境4.3:熟悉Spark SQL扩展编程模型Dataset
4.3.1 Dataset简介
4.3.2 Dataset的创建
实战演练4.4:在线教育数据分析
4.4.1 数据获取与数据解释
4.4.2 用户学习行为习惯分析
4.4.3 视频课程点击量排行分析
4.4.4 视频课程分类排行推荐
归纳总结
勤学苦练
第5章 岗位综合能力培养:锤炼Spark Streaming
新手上路5.1:初识Spark Streaming
5.1.1 Spark Streaming概述
5.1.2 Spark Streaming特点
5.1.3 Spark Streaming工作原理
循序渐进5.2:掌握DStream编程模型
5.2.1 DStream简介
5.2.2 DStream创建
渐入佳境5.3:熟悉DStream的相关操作
5.3.1 DStream的转换操作
5.3.2 DStream的窗口操作
5.3.3 DStream的输出函数
实战演练5.4:电商网站广告点击分析
5.4.1 项目环境搭建
5.4.2 项目数据解释
5.4.3 电商网站广告点击黑名单
5.4.4 电商网站热门广告排行
归纳总结
勤学苦练
第6章 职业发展能力培养:进阶Spark GraphX图计算新手上路
6.1:初识Spark GraphX
6.1.1 图计算的概念与应用
6.1.2 Spark GraphX的概念
6.1.3 Spark GraphX的特性
循序渐进6.2:掌握GraphX编程模型
6.2.1 属性图的构建
6.2.2 图的查询操作
6.2.3 图的数据与结构转换操作
6.2.4 图的关联与聚合操作
实战演练6.3:构建用户购物行为网络井分析用户行为
6.3.1 用户购物行为网络的构建
6.3.2 商品的用户购物行为次数排名
6.3.3 用户不同购物行为次数统计
归纳总结
勤学苦练
第7章 职业发展能力培养:进阶Spark MLlib算法库新手上路
7.1:初识Spark MLlib
7.1.1 什么是机器学习
7.1.2 机器学习算法
7.1.3 Spark机器学习库MLlib
7.1.4 MLlib数据类型
循序渐进7.2:MLlib算法介绍
7.2.1 协同过滤算法简介
7.2.2 协同过滤算法分类
7.2.3 MLlib中的协同过滤
实战演练7.3:商品智能推荐
7.3.1 数据准备
7.3.2 模型构建
7.3.3 实战实现
归纳总结
勤学苦练
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...