-
内容大纲
董西成著的这本《大数据技术体系详解(原理架构与实践)》是一部系统、深度讲解大数据技术栈的著作,从数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析5个层次讲解了整个大数据技术体系中所有核心技术的原理、架构与实践。不仅能让读者从宏观上全面认识整个大数据系统,而且能让读者从微观上深入理解各种大数据技术的细节。
本书将以数据在大数据系统中的生命周期为线索,一共16章,分为6个部分:
第一部分(第l章):慨述
主要介绍企业级大数据技术框架、技术实现方案和架构,包括Google的大数据技术栈和以Hadoop和Spark为代表的开源技术栈。
第二部分(第2~4章):数据收集
讲解大数据收集相关技术,主要涉及关系型数据收集工具sqoop与canel,非关系型数据收集系统Flume以及分布式消息队列Kafka。
第三部分(第5~7章):数据存储
讲解大数据存储相关技术,涉及数据存储格式、分布式文件系统以及分布式数据库三部分,包括Thrift、Protobuf、Avro、HDFS和HBase等。
第四部分(第8~9章):分布式协调与资源管理
讲解资源管理和服务协调相关技术,涉及资源管理和调度系统YARN以及资源协调系统z00keeper。
第五部分(第10~13章):汁算引擎
讲解计算引擎相关技术,涉及批处理、交互式处理以及流式实时处理三类引擎,包括MapReduce、Spark、Impala/Presto、Storm等常用技术。
第六部分(第14~16章):数据分析
讲解数据分析相关技术,涉及基于数据分析的语言HQL与SQL,大数据统一编程模型及机器学习库等。 -
作者介绍
董西成,资深大数据技术实践者和研究者,对大数据基础架构有非常深刻的认识和理解,有着丰富的实践经验。熟悉常见的开源大数据解决方案,包括Hadoop和spark生态系统等,擅长底层分布式系统的优化和开发。撰写了大量Had00p和spark等大数据相关的技术文章并分享在自己的博客上,由于文章技术含量高,所以非常受欢迎。 出版有大数据领域负有盛名的专著:《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》和《Had00p技术内幕:深入解析YARN架构设计与实现原理》。 微信公众账号:hadoopl23(大量关于大数据最新资讯和干货分享) -
目录
前言
第一部分 概述篇
第1章 企业级大数据技术体系概述
1.1 大数据系统产生背景及应用场景
1.1.1 产生背景
1.1.2 常见大数据应用场景
1.2 企业级大数据技术框架
1.2.1 数据收集层
1.2.2 数据存储层
1.2.3 资源管理与服务协调层
1.2.4 计算引擎层
1.2.5 数据分析层
1.2.6 数据可视化层
1.3 企业级大数据技术实现方案
1.3.1 Google大数据技术栈
1.3.2 Hadoop与Spark开源大数据技术栈
1.4 大数据架构:Lambda Architecture
1.5 Hadoop与Spark版本选择及安装部署
1.5.1 Hadoop与Spark版本选择
1.5.2 Hadoop与Spark安装部署
1.6 小结
1.7 本章问题
第二部分 数据收集篇
第2章 关系型数据的收集
2.1 Sqoop概述
2.1.1 设计动机
2.1.2 Sqoop基本思想及特点
2.2 Sqoop基本架构
2.2.1 Sqoop1基本架构
2.2.2 Sqoop2基本架构
2.2.3 Sqoop1与Sqoop2对比
2.3 Sqoop使用方式
2.3.1 Sqoop1使用方式
2.3.2 Sqoop2使用方式
2.4 数据增量收集CDC
2.4.1 CDC动机与应用场景
2.4.2 CDC开源实现Canal
2.4.3 多机房数据同步系统Otter
2.5 小结
2.6 本章问题
……
第3章 非关系型数据的收集
第4章 分布式消息队列Kafka
第三部分 数据存储篇
第5章 数据序列化与文件存储格式
第6章 分布式文件系统
第7章 分布式结构化存储系统
第四部分 分布式协调与资源管理篇
第8章 分布式协调服务ZooKeeper
第9章 资源管理与调度系统YARN
第五部分 大数据计算引擎篇
第10章 批处理引擎MapReduce
第11章 DAG计算引擎Spark
第12章 交互式计算引擎
第13章 流式实时计算引擎
第六部分 数据分析篇
第14章 数据分析语言HQL与SQL
第15章 大数据统一编程模型
第16章 大数据机器学习库
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...