-
内容大纲
本书主要围绕Hadoop及其生态系统中的各种工具展开讲解,重点介绍大数据分析处理的整体流程,剖析每个环节中所使用的不同组件的技术原理和特点。本书内容共分为七个模块:模块一为大数据基础概述,主要讲述大数据的概念、来源、应用场景、大数据时代的机遇和挑战等相关内容;模块二至模块六以Hadoop生态系统为基础,系统地讲解了分布式文件系统HDFS、分布式计算框架MapReduce、分布式资源管理器YARN、分布式NoSQL数据库HBase、分布式数据仓库Hive、数据采集系统Flume和分布式发布订阅消息系统Kafka,每一个模块均附有大量的实训内容,操作指导步骤详细,以方便读者掌握相关知识;模块七为大数据日志分析综合项目案例,通过案例将前面模块所学的内容融会贯通,以方便读者掌握大数据开发的核心流程。
本书由深圳市讯方技术股份有限公司与重庆机电职业技术大学共同编写,并以新时代中国特色社会主义思想为思政面,每个模块均融入思政元素,内容丰富、概念清晰,可作为大数据相关专业的教材,也可作为大数据领域技术人员及编程爱好者的参考用书。 -
作者介绍
-
目录
模块一 大数据基础概述
1.1 大数据的概念和价值
1.2 大数据的来源
1.3 大数据的应用场景
1.4 大数据时代的机遇和挑战
1.5 Hadoop及其生态系统简介
1.6 大数据行业的人才需求状况
知识巩固
模块二 Hadoop分布式文件系统HDFS
2.1 HDFS概述及基本概念
2.1.1 HDFS概述
2.1.2 HDFS的基本概念
2.2 HDFS的系统架构与适用场景
2.2.1 HDFS的系统架构
2.2.2 HDFS的适用场景
2.3 HDFS的操作方式
2.3.1 常用Shell命令
2.3.2 HDFS的数据写入流程
2.3.3 HDFS的数据读取流程
2.4 HDFS的关键特性
2.4.1 HDFS的架构设计特性
2.4.2 HDFS的高可用性
2.4.3 元数据持久化
2.4.4 HDFS的联邦存储机制
2.4.5 HDFS的数据副本机制
2.4.6 HDFS的数据存储策略
2.4.7 HDFS的数据完整性保障
2.4.8 HDFS的其他关键特性
技能实训
实训2.1 基础实训环境准备
实训2.2 HDFS的安装部署与配置
实训2.3 HDFS的读写API操作
知识巩固
模块三 分布式计算框架MapReduce和分布式资源管理器YARN
3.1 MapReduce和YARN概述
3.1.1 MapReduce概述
3.1.2 YARN概述
3.2 MapReduce和YARN的工作过程与架构
3.2.1 MapReduce的基本工作过程
3.2.2 Shuffle过程
3.2.3 YARN的组件架构
3.2.4 MapReduce on YARN任务调度流程
3.2.5 YARN RM的HA方案
3.3 YARN的资源管理和任务调度
3.3.1 资源管理及分配模型
3.3.2 调度器的介绍
3.3.3 Capacity调度器的特点与管理
3.3.4 Fair调度器的特点与管理
3.3.5 Capacity调度器与Fair调度器的对比与选型
技能实训
实训3.1 YARN集群的部署
实训3.2 单词计数(WordCount)程序的编写
知识巩固
模块四 分布式NoSQL数据库HBase
4.1 HBase概述
4.1.1 HBase简介
4.1.2 HBase与RDB的对比
4.1.3 HBase的应用场景
4.1.4 行存储与列存储
4.1.5 Key-Value存储模型
4.2 HBase的架构
4.2.1 HBase架构介绍
4.2.2 Master
4.2.3 RegionServer
4.2.4 Region
4.2.5 ColumnFamily
4.2.6 各个组件之间的逻辑关系
4.3 HBase的关键流程
4.3.1 写流程
4.3.2 读流程
技能实训
实训4.1 HBase的安装与配置
实训4.2 HBase命令行之Shell操作
实训4.3 HBase的API操作
知识巩固
模块五 分布式数据仓库Hive
5.1 Hive概述
5.1.1 数据仓库的概念及特点
5.1.2 Hive的概念与HiveQL简介
5.1.3 Hive的应用场景
5.1.4 Hive与传统数据仓库比较
5.1.5 Hive的优缺点
5.2 Hive的架构原理
5.2.1 Hive的架构
5.2.2 Hive的存储模型与数据模型
5.2.3 Hive的存储格式
5.3 Hive的基本操作
5.4 HiveQL的应用
5.4.1 数据定义语言(DDL)讲解
5.4.2 数据操纵语言(DML)讲解
5.4.3 数据查询语言(DQL)讲解
技能实训
实训5.1 Hive的安装与部署
实训5.2 数据定义操作的具体实现
实训5.3 数据操纵操作的具体实现
实训5.4 查询操作的具体实现
知识巩固
模块六 Hadoop其他大数据生态组件
6.1 数据采集系统Flume
6.1.1 Flume简介及其架构
6.1.2 Flume的关键特性
6.2 分布式发布订阅消息系统Kafka
6.2.1 Kafka简介
6.2.2 Kafka的架构与功能
6.2.3 Kafka的常用命令
技能实训
实训6.1 Flume的安装与部署
实训6.2 用Flume采集数据到HDFS
实训6.3 Kafka集群部署
实训6.4 发布订阅消息系统Kafka的具体实现
知识巩固
模块七 大数据日志分析综合项目案例
7.1 项目准备
7.2 项目实施
7.3 项目总结
知识巩固
附录1 搭建虚拟机环境
附录2 大数据常用管理脚本
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...