-
内容大纲
本书旨在帮助读者从零开始快速掌握Flink的基本原理与核心功能。本书首先介绍了Flink的基本原理和安装部署,并对Flink中的一些核心API进行了详细分析。然后配套对应的案例分析,分别使用Java代码和Scala代码实现案例。最后通过两个项目演示了Flink在实际工作中的一些应用场景,帮助读者快速掌握Flink开发。
学习本书需要大家具备一些大数据的基础知识,比如Hadoop、Kafka、Redis、Elasticsearch等框架的基本安装和使用。本书也适合对大数据实时计算感兴趣的读者阅读。 -
作者介绍
徐葳,专注于大数据技术方向,属于国内较早一批从事大数据的开发者,拥有10年以上互联网公司软件研发经验。 曾任职于北京猎豹移动、中科院大数据技术研究院等企业。 曾为移动研究院、平安寿险、中信银行、花旗银行、中移在线等企业进行大数据技术培训。 -
目录
第1章 Flink概述
1.1 Flink原理分析
1.2 Flink架构分析
1.3 Flink基本组件
1.4 Flink流处理(Streaming)与批处理(Batch)
1.5 Flink典型应用场景分析
1.6 流式计算框架对比
1.7 工作中如何选择实时计算框架
第2章 Flink快速入门
2.1 Flink开发环境分析
2.1.1 开发工具推荐
2.1.2 Flink程序依赖配置
2.2 Flink程序开发步骤
2.3 Flink流处理(Streaming)案例开发
2.3.1 Java代码开发
2.3.2 Scala代码开发
2.3.3 执行程序
2.4 Flink批处理(Batch)案例开发
2.4.1 Java代码开发
2.4.2 Scala代码开发
2.4.3 执行程序
第3章 Flink的安装和部署
3.1 Flink本地模式
3.2 Flink集群模式
3.2.1 Standalone模式
3.2.2 Flink on Yarn模式
3.2.3 yarn-session.sh命令分析
3.2.4 Flink run命令分析
3.3 Flink代码生成JAR包
3.4 Flink HA的介绍和使用
3.4.1 Flink HA
3.4.2 Flink Standalone集群的HA安装和配置
3.4.3 Flink on Yarn集群HA的安装和配置
3.5 Flink Scala Shell
第4章 Flink常用API详解
4.1 Flink API的抽象级别分析
4.2 Flink DataStream的常用API
4.2.1 DataSource
4.2.2 Transformation
4.2.3 Sink
4.3 Flink DataSet的常用API分析
4.3.1 DataSource
4.3.2 Transformation
4.3.3 Sink
4.4 Flink Table API和SQL的分析及使用
4.4.1 Table API和SQL的基本使用
4.4.2 DataStream、DataSet和Table之间的转换
4.4.3 Table API和SQL的案例
4.5 Flink支持的DataType分析
4.6 Flink序列化分析
第5章 Flink高级功能的使用
5.1 Flink Broadcast
5.2 Flink Accumulator
5.3 Flink Broadcast和Accumulator的区别
5.4 Flink Distributed Cache
第6章 Flink State管理与恢复
6.1 State
6.1.1 Keyed State
6.1.2 Operator State
6.2 State的容错
6.3 CheckPoint
6.4 StateBackend
6.5 Restart Strategy
6.6 SavePoint
第7章 Flink窗口详解
7.1 Window
7.2 Window的使用
7.2.1 Time Window
7.2.2 Count Window
7.2.3 自定义Window
7.3 Window聚合分类
7.3.1 增量聚合
7.3.2 全量聚合
第8章 Flink Time详解
8.1 Time
8.2 Flink如何处理乱序数据
8.2.1 Watermark
8.2.2 Watermark的生成方式
8.3 EventTime+Watermark解决乱序数据的案例详解
8.3.1 实现Watermark的相关代码
8.3.2 通过数据跟踪Watermark的时间
8.3.3 利用Watermark+Window处理乱序数据
8.3.4 Late Element的处理方式
8.3.5 在多并行度下的Watermark应用
8.3.6 With Periodic Watermarks案例总结
第9章 Flink并行度详解
9.1 Flink并行度
9.2 TaskManager和Slot
9.3 并行度的设置
9.3.1 并行度设置之Operator Level
9.3.2 并行度设置之Execution Environment Level
9.3.3 并行度设置之Client Level
9.3.4 并行度设置之System Level
9.4 并行度案例分析
第10章 Flink Kafka Connector详解
10.1 Kafka Connector
10.2 Kafka Consumer
10.2.1 Kafka Consumer消费策略设置
10.2.2 Kafka Consumer的容错
10.2.3 动态加载Topic
10.2.4 Kafka Consumer Offset自动提交
10.3 Kafka Producer
10.3.1 Kafka Producer的使用
10.3.2 Kafka Producer的容错
第11章 Flink实战项目开发
11.1 实时数据清洗(实时ETL)
11.1.1 需求分析
11.1.2 项目架构设计
11.1.3 项目代码实现
11.2 实时数据报表
11.2.1 需求分析
11.2.2 项目架构设计
11.2.3 项目代码实现
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...