-
内容大纲
本书为高等职业教育计算机类新形态——工作手册式教材,内容包括基础环境的搭建与配置,Hadoop完全分布式集群的搭建与运行,Hadoop核心组件的应用案例,Hive组件的安装、配置与应用,Zookeeper的安装、配置与应用,HBase的安装、配置与应用,Sqoop 组件的安装、配置与应用,Flume组件的安装、配置与应用,Kafka的安装、配置与应用,Spark的安装、配置与应用,广电大数据用户画像。本书采用项目式设计,以项目学习目标、任务描述、任务分析和任务实施作为立体化工作指南。本书由校企联合开发,融合了大数据平台运维的“1+X”技能考证、大数据运维工程师岗位证书考试等内容,从实用出发,通俗易懂,难度适宜,便于开展理论实践一体化、岗课赛证融通教学。本书配有电子教学课件、微课视频、项目素材(代码和数据等)和考试题库等数字资源。
本书可以作为高职院校大数据技术、软件技术、计算机应用技术等专业学生的课程教材,帮助学生系统学习专业技能:也可以作为准备参加职业技能大赛和职业技能等级证书考试学生的参考书,帮助学生提高需要掌握的基本技能;还可以作为有一定基础的在职技术人员的工作手册。 -
作者介绍
-
目录
项目1 基础环境的搭建与配置
任务1.1 搭建虚拟机
1.1.1 安装虚拟机软件
1.1.2 安装master节点虚拟机
1.1.3 配置master节点的网络
1.1.4 克隆slave节点
任务1.2 配置连接工具
1.2.1 测试Windows操作系统连接虚拟机
1.2.2 使用Xshell工具
1.2.3 使用Xftp工具
任务1.3 配置Hadoop平台基础环境
1.3.1 设置服务器的主机名
1.3.2 关闭并禁用防火墙
1.3.3 修改主机IP地址映射文件
1.3.4 配置SSH免密登录
1.3.5 设置集群时间同步
1.3.6 安装Java环境
项目总结
项目2 Hadoop完全分布式的搭建与运行
任务2.1 搭建Hadoop完全分布式集群
任务2.2 运行Hadoop集群
2.2.1 格式化NameNode
2.2.2 启动和关闭Hadoop集群
2.2.3 使用浏览器查看节点状态
项目总结
项目3 Hadoop核心组件的应用案例
任务3.1 Hadoop Java API读取序列化日志文件
3.1.1 配置开发环境
3.1.2 创建Maven工程
3.1.3 读取序列化文件
任务3.2 预测M电影网站用户性别
3.2.1 获取数据
3.2.2 数据变换
3.2.3 数据清洗
3.2.4 划分数据集
3.2.5 实现用户性别聚类
项目总结
项目4 Hive组件的安装、配置与应用
任务4.1 安装与配置MySQL数据库
4.1.1 安装MySQL数据库
4.1.2 配置MySQL数据库
任务4.2 安装与配置Hive组件
4.2.1 安装Hive组件
4.2.2 配置Hive环境
4.2.3 初始化Hive数据库
任务4.3 Hive Shell的基本操作
4.3.1 启动Hive
4.3.2 操作Hive数据库
4.3.3 操作Hive内部表
任务4.4 统计分析餐饮数据
4.4.1 数据说明
4.4.2 创建表并导入数据
4.4.3 统计分析任务实现
项目总结
项目5 ZooKeeper的安装、配置与应用
任务5.1 分布式搭建部署与管理ZooKeeper
5.1.1 在master节点上安装ZooKeeper组件
5.1.2 在master节点上配置ZooKeeper组件
5.1.3 在slave节点上安装与配置ZooKeeper组件
5.1.4 管理ZooKeeper服务
任务5.2 监控服务器上下线动态
5.2.1 创建Maven工程并连接ZooKeeper集群
5.2.2 任务实现
项目总结
项目6 HBase的安装、配置与应用
任务6.1 安装与配置HBase
6.1.1 在master节点上安装HBase组件
6.1.2 在master节点上修改配置文件
6.1.3 在slave节点上安装HBase组件
6.1.4 启动HBase集群
任务6.2 HBase Shell的基本操作
6.2.1 应用HBase Shell
6.2.2 操作HBase表
6.2.3 操作HBase数据
任务6.3 设计手游信息的数据存储
6.3.1 设计表结构
6.3.2 创建表结构
6.3.3 设计业务逻辑
项目总结
项目7 Sqoop组件的安装、配置与应用
任务7.1 安装与配置Sqoop组件
7.1.1 安装Sqoop组件
7.1.2 修改Sqoop组件配置文件
7.1.3 测试Sqoop组件的安装情况
任务7.2 Sqoop组件的导入与导出应用操作
7.2.1 准备MySQL数据库数据
7.2.2 在Hive中准备表
7.2.3 将MySQL数据库中的数据导入Hive
7.2.4 将MySQL数据库中的数据导入HDFS
7.2.5 从Hive中导出数据至MySQL数据库
任务7.3 查询与传输用户日志数据
7.3.1 查询MySQL数据库的用户日志数据表中的记录数
7.3.2 增量导入MySQL数据库中的用户日志数据至Hive
7.3.3 导出Hive中的浏览信息筛选结果至MySQL数据库
项目总结
项目8 Flume组件的安装、配置与应用
任务8.1 安装与配置Flume组件
8.1.1 安装Flume组件
8.1.2 配置Flume组件
8.1.3 创建代理配置文件
8.1.4 启动Flume并传输数据
8.1.5 查看Flume传输的文件数据
任务8.2 广告日志数据采集系统
8.2.1 采集系统日志数据
8.2.2 采集广告曝光日志数据
项目总结
项目9 Kafka的安装、配置与应用
任务9.1 安装与配置Kafka
9.1.1 在master节点上安装与配置Kafka组件
9.1.2 在slave节点上安装Kafka组件
9.1.3 管理Kafka服务
9.1.4 演示Kafka分布式发布订阅消息
任务9.2 实时传输广告日志数据
9.2.1 创建脚本文件
9.2.2 创建Kafka主题
9.2.3 Flume采集日志
项目总结
项目10 Spark的安装、配置与应用
任务10.1 安装与配置Scala
10.1.1 在master节点上安装Scala
10.1.2 在slave节点上安装Scala
10.1.3 测试Scala的安装情况
任务10.2 安装与配置Spark组件
10.2.1 在master节点上安装Spark组件
10.2.2 修改Spark配置文件
10.2.3 在slave节点上安装Spark组件
10.2.4 运行Spark集群
任务10.3 应用举例spark-shell
10.3.1 上传数据文件
10.3.2 运行spark-shell单词统计程序
任务10.4 聚类分析超市客户
10.4.1 安装Scala插件
10.4.2 配置Spark运行环境
10.4.3 探索数据与构建特征
10.4.4 保存数据至Hive
10.4.5 构建K-means聚类模型
项目总结
项目11 广电大数据用户画像
任务11.1 说明与存储数据
任务11.2 数据探索与数据预处理
11.2.1 总体概述
11.2.2 探索异常数据
11.2.3 探索主要业务数据
11.2.4 探索标签阈值
11.2.5 数据预处理
任务11.3 构建SVM预测模型与用户画像
11.3.1 构建特征列和标签列数据
11.3.2 构建SVM模型、评价模型效果并预测用户是否挽留
11.3.3 构建用户画像
项目总结
附录A 选用组件版本列表
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...