-
内容大纲
本教材的体系结构及知识点的分布按照学习思维逻辑由浅入深、循序渐进、以学代教的模式编排,编者建议学者按照项目编排顺序学习和开展实训,这样有利于较为全面地了解大数据技术及应用。本教材共9个项目,主要内容安排如下:
项目1主要从理论方面介绍了大数据的基本特征、大数据的影响、大数据处理的基本流程以及大数据与云计算、物联网的关系。介绍了Hadoop生态系统中主要组件的功能以及Hadoop在各个行业中的应用。
项目2完成了在VirtualBox下安装Ubuntu操作系统、Ubuntu的网络配置,以及安装和配置FTP软件FileZilla,利用FileZilla软件在Windows系统和Linux系统之间传输文件。
项目3完成了Hadoop在虚拟机环境下的单机模式安装和伪分布模式安装,并介绍了伪分布模式下的单词统计实例。
项目4介绍了HDFS的工作原理以及文件操作,通过读文件、写文件、判断文件是否存在三个案例的学习完成在Eclipse中编写程序、编译程序、部署程序。
项目5介绍了HBase基本概念、体系架构,接着完成了单机模式和伪分布模式的安装与配置,最后完成Eclipse环境中HBase Java API编程环境的配置以及使用Java API提供的类实现数据库存储管理。
项目6主要通过MapReduce编程模型的学习,完成英语单词统计和气象数据分析,深刻理解并学会运用MapReduce系统。
项目7通过Hive的学习学会建数据库和表、管理数据库和表、Hive数据导入和导出等相关操作。最后完成Hive在交易数据统计分析中的应用。
项目8首先介绍了Flume的安装与配置以及利用Flume将日志采集到HDFS,然后介绍了Sqoop的功能以及利用Sqoop实现了关系数据库MySQL与Hadoop生态系统HDFS和Hive之间数据相互迁移。
项目9介绍了数据可视化的概念和常用工具等,然后通过Echarts绘制简单图表示例的介绍引领读者一步一步绘制未来一周气温变化图和网站访问量统计图。 -
作者介绍
-
目录
项目1 大数据概述
任务1 初识大数据
1.1.1 大数据的基本特征
1.1.2 大数据的影响
1.1.3 大数据处理的基本流程
1.1.4 大数据与云计算、物联网的关系
任务2 认识Hadoop生态系统
1.2.1 Hadoop生态系统
1.2.2 Hadoop行业应用案例
项目小结
课后练习
项目2 Linux操作系统的安装及常用命令
任务1 安装及配置Linux虚拟机
2.1.1 创建Linux虚拟机
2.1.2 搭建FTP远程连接虚拟机
2.1.3 在虚拟机上安装软件
任务2 Linux系统常用命令
2.2.1 熟练使用文件目录类命令
2.2.2 熟练使用vim编辑器
项目小结
课后练习
项目3 Hadoop集群部署
任务1 Hadoop安装与配置
3.1.1 创建hadoop用户
3.1.2 安装SSH,配置SSH无密码登录
3.1.3 安装Java环境
3.1.4 单机模式安装
3.1.5 伪分布模式安装
任务2 Hadoop的启动和测试
任务3 Hadoop伪分布模式实例
项目小结
课后练习
项目4 HDFS基础操作
任务1 认识HDFS
4.1.1 HDFS工作原理
4.1.2 HDFS常用命令
任务2 上传文件到HDFS目录
4.2.1 HDFS中新建目录
4.2.2 3:传和下载文件
4.2.3 查看文件内容
4.2.4 删除文件或目录
任务3 编写HDFS程序
4.3.1 读取HDFS文件
4.3.2 向HDFS中写入文件
4.3.3 判断文件是否存在
项目小结
课后练习
项目5 HBase数据库的安装与应用
任务1 认识HBase
5.1.1 HBase简介
5.1.2 HBase基本概念
5.1.3 HBase体系架构
任务2 HBase开发环境安装与配置
5.2.1 单机模式安装与配置
5.2.2 伪分布模式安装与配置
任务3 使用HBase Shell管理分布式数据库
5.3.1 HBase Shell命令简介
5.3.2 HBase Shell的使用
任务4 HBase编程
5.4.1 开发HBase应用程序
5.4.2 HBase编程实现数据存储管理
项目小结
课后练习
项目6 MapReduce应用开发
任务1 认识MapReduce编程模型
6.1.1 MapReduce概念
6.1.2 MapReduce编程模型
6.1.3 MapReduce数据类型
任务2 使用Eclipse创建MapReduce工程
6.2.1 下栽安装Hadoop-Eclipse-Plugin插件
6.2.2 配置MapReduce环境
6.2.3 在Eclipse中操作HDFS中的文件
任务3 MapReduce实现英语单词统计
任务4 MapReduce实现气象数据分析
项目小结
课后练习
项目7 Hive数据仓库
任务1 认识Hive
7.1.1 Hive简介
7.1.2 Hive架构设计
7.1.3 Hive与传统关系数据库的对比
任务2 Hive安装与配置
任务3 Hive Shell操作
7.3.1 Hive的数据类型
7.3.2 Hive基本操作
任务4 Hive交易数据统计实战
项目小结
课后练习
项目8 Flume和Sqoop的安装与使用
任务1 认识F1ume
8.1.1 Flome相关概念
8.1.2 Flume架构
8.1.3 Flume常用的类型
8.1.4 F1ume常用操作命令
任务2 Flume环境搭建
8.2.1 Flume安装与配置
8.2.2 Flume采集日志信息到HDFS
任务3 安装Sqoop
任务4 使用Sqoop实现数据迁移
8.4.1 Sqoop命令介绍
8.4.2 使用Sqoop将数据从MySQL导入HDFS
8.4.3 使用Sqoop将数据从HDFS导出MySQL
8.4.4 使用Sqoop将数据从MySQL导入Hive
项目小结
课后练习
项目9 数据可视化技术
任务1 数据可视化简介
9.1.1 数据可视化概述
9.1.2 数据可视化常用工具
任务2 使用ECharts绘制图表
9.2.1 ECharts图表制作示例
9.2.2 绘制未来一周气温变化图
9.2.3 绘制网站访问南丁格尔图
项目小结
课后练习
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...