-
内容大纲
本书共5章,包括大数据技术及实训学习概述、大数据离线处理开发实践、大数据实时处理开发实践、大数据交互式OLAP多维分析开发实践、大数据可视化应用开发实践,系统介绍离线处理、实时处理、交互式OLAP多维分析、可视化应用开发的基础理论知识和工程实践方法。本书在基本概念、基本原理和操作方法的基础上,突出工程应用,结合中国移动梧桐大数据平台,以中国移动的真实大数据分析工程为案例,详细讲解通过在线实训平台实现大数据处理开发的过程,力图做到基础理论知识成体系、结构与条理清晰、内容精炼,工程实践联系实际、重点突出、实操性强。
本书可作为数据科学与大数据技术、计算机科学与技术、软件工程、人工智能、网络空间安全、金融科技等专业大数据课程的教材;可供零基础大数据技术学习者使用;适合有经验的软件工程师使用,可帮助其掌握大数据综合工程实践的技术路线,更好地将相关知识运用于实际工作;可提各行各业致力于使用大数据技术快速推动本行业数字化转型的相关科技人员参考。 -
作者介绍
-
目录
第1章 大数据技术及实训学习概述
1.1 大数据技术概述
1.1.1 大数据概念与大数据技术发展历史简述
1.1.2 数据要素与数字经济发展趋势
1.2 大数据平台架构
1.2.1 大数据平台概述
1.2.2 大数据离线处理架构
1.2.3 大数据实时处理架构
1.2.4 大数据交互式OLAP多维分析架构
1.2.5 大数据可视化应用架构
1.2.6 大数据工程学习技能树
1.3 大数据开发案例实训学习介绍
1.3.1 梧桐·鸿鹄大数据实训平台介绍
1.3.2 梧桐·鸿鹄大数据实训开发案例介绍
1.3.3 梧桐·鸿鹄校企合作平台介绍
1.4 本章小结
1.5 习题
第2章 大数据离线处理开发实践
2.1 大数据离线批处理技术栈
2.1.1 大数据离线批处理应用场景
2.1.2 大数据离线批处理技术栈演进
2.2 分布式文件系统HDFS
2.2.1 HDFS体系框架及基本原理
2.2.2 HDFS操作实践
2.3 分布式计算框梁MapReduce
2.3.1 MapReduce基木原理
2.3.2 MapReduce
2.3.3 Map任务和Reduce任务与HDFS的配合
2.3.4 MapReduce运行机制
2.3.5 MapReduce操作实践
2.4 分布式资源管理组件YARN
2.4.1 YARN资源调度框架产生的背景
2.4.2 YARN的基本原理
2.4.3 YARN的作业调度
2.5 分布式内存计算框架Spark
2.5.1 Spark体系框架及基本原理
2.5.2 Spark RDD及Spark算子知识
2.5.3 Spark操作实践一Scala语言
2.6 金融行业“羊毛党”识别案例实践
2.6.1 “羊毛党”识别需求背景概述
2.6.2 “羊毛党”识别基础理论概述
2.6.3 “羊毛党”识别数据方案设计
2.6.4 基于梧桐·鸿鹄大数据实训平台的“羊毛党”识别实践
2.7 本章小结
2.8 习题
第3章 大数据实时处理开发实践
3.1 大数据实时处理技术栈
3.1.1 大数据实时处理应用场景
3.1.2 大数据实时处理技术栈演进
3.2 分布式消息系统Kafka
3.2.1 Kafka体系框架及基本原理
3.2.2 Kafka操作实践
3.3 分布式实时处理Spark Streaming
3.3.1 Spark Streaming基本原理
3.3.2 Spark Streaming操作实践
3.4 分布式实时处理Flink
3.4.1 Flink体系框梁及基本原理
3.4.2 Flink DataStream知识
3.4.3 Flink操作实践
3.5 高速道路及服务区拥堵洞察案例实践
3.5.1 高速道路及服务区拥堵洞察背景概述
3.5.2 高速道路及服务区拥堵人数数据方案设计
3.5.3 基于梧桐·鸿鹄大数据实训平台的高速道路用户速度和服务区人数的计算
3.5.4 高速用户和服务区实时数据的应用
3.6 本章小结
3.7 习题
第4章 大数据交互式OLAP多维分析开发实践
4.1 大数据交五式分析技术栈
4.1.1 大数据交互式分析应用场景
4.1.2 数据仓库基本概念
4.1.3 多维数据模型与多维数据分析
4.1.4 OLAP与数据立方体
4.1.5 大数据交互式分析技术栈演进
4.2 分布式数据仓库Hive
4.2.1 Hive体系框架及基本原理
4.2.2 Hive在数据仓库中的应用
4.3 Hive SQL操作实践
4.3.1 Hive SQL:数据定义
4.3.2 Hive SQL:数据导人
4.3.3 Hive SQL:数据查询
4.4 分布式计算框架Spark SQL
4.4.1 Spark SQL简介
4.4.2 Spark SQL原理
4.4.3 Spark SQL操作实践
4.5 分布式计算框架Flink关系型API
4.5.1 Flink的关系型API概述及实现原理
4.5.2 Flink SQL操作实践
4.6 大数据交互武OLAP多维分析案例实践
4.6.1 大数据交互武OLAP多维分析需求背景概述
4.6.2 大数据交互式OLAP多维分析数据方案设计
4.6.3 基于梧桐·鸿鹄大数据实训平台的案例实践
4.7 本章小结
4.8 习题
第5章 大数据可视化应用开发实践
5.1 基于Java Web的大数据可视化应用技术栈
5.1.1 大数据可视化应用场景
5.1.2 大数据可视化应用技术栈
5.2 开源大数据可视化应用介绍
5.2.1 开源大数据可视化系统简介
5.2.2 系统架构
5.2.3 系统界面
5.3 开源大数据可视化工具部署及核心代码分析
5.3.1 搭建后端开发环境
5.3.2 搭建前端开发环境
5.3.3 前后端核心代码逻辑
5.4 “园区务工人员洞察”可视化分析案例应用
5.4.1 “园区务工人员洞察”用户识别需求背景概述
5.4.2 “园区务工人员洞察”用户识别数据方案设计
5.4.3 基于梧桐·鸿鹄大数据实训平台的“园区务工人员洞察”用户识别实践
5.5 “园区务工人员洞察”可视化数据大屏案例应用
5.5.1 分析数据导人
5.5.2 数据大屏设计
5.5.3 数据大屏发布
5.6 本章小结
5.7 习题
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...