Stream Processing with Apache Flink
Stream Processing with Apache Flink - Fundamentals,Implementation,and Operation of Streaming Applications
应用Apache Flink进行流式处理 - 流式应用的架构、实现和操作
作者： Fabian Hueske (费比安 韦斯克)， Vasiliki Kalavri (瓦西利基 卡拉夫里)
如果是相对Flink有跟深入的了解，除了查看官方文档和源码外，这里推荐可以看下这本书，如果支持原版的可以网上查询购买，书籍详细信息可访问 OREILLY 官网 Books & Videos。后续有时间我可能会更新书中比较重要和精彩的部分的翻译吧。先释放出这本书的目录，大家可以参考这本书的目录对相应的知识点进行了解和学习。
书中源码可以访问 GitHub streaming-with-flink
| catalogue | 目录 |
|---|---|
| 1. Preface | 前言 |
| a. What You Will Learn in This Book | 你将在本书中学到什么 |
| b. Conventions Used in This Book | 本书中使用的约定 |
| c. Using Code Examples | 使用代码示例 |
| d. O’Reilly Online Learning | O’Reilly在线学习 |
| e. How to Contact Us | 如何联系我们 |
| f. Acknowledgments | 致谢 |
| 2. 1. Introduction to Stateful Stream Processing | 有状态流处理简介 |
| a. Traditional Data Infrastructures | 传统数据基础架构 |
| i. Transactional Processing | 事务性处理 |
| ii. Analytical Processing | 分析处理 |
| b. Stateful Stream Processing | 有状态的流处理 |
| i. Event-Driven Applications | 事件驱动的应用程序 |
| ii. Data Pipelines | 数据管道 |
| iii. Streaming Analytics | 流式分析 |
| c. The Evolution of Open Source Stream Processing | 开源流处理的演进 |
| i. A Bit of History | 一点历史 |
| d. A Quick Look at Flink | 快速浏览Flink |
| i. Running Your First Flink Application | 运行您的第一个Flink应用程序 |
| e. Summary | 小结 |
| 3. 2. Stream Processing Fundamentals | 流处理基础 |
| a. Introduction to Dataflow Programming | Dataflow编程简介 |
| i. Dataflow Graphs | 数据流图 |
| ii. Data Parallelism and Task Parallelism | 数据并行与Task并行 |
| iii. Data Exchange Strategies | 数据交换策略 |
| b. Processing Streams in Parallel | 并行处理流 |
| i. Latency and Throughput | 延迟和吞吐量 |
| ii. Operations on Data Streams | 数据流上的Operation |
| c. Time Semantics | 时间语义 |
| i. What Does One Minute Mean in Stream Processing? | 流处理中的一分钟意味着什么？ |
| ii. Processing Time | 处理时间 |
| iii. Event Time | 事件时间 |
| iv. Watermarks | 水位线 |
| v. Processing Time Versus Event Time | 处理时间与事件时间 |
| d. State and Consistency Models | 状态和一致性模型 |
| i. Task Failures | 任务失败 |
| ii. Result Guarantees | 结果保证 |
| e. Summary | 小结 |
| 4. 3. The Architecture of Apache Flink | Apache Flink的体系结构 |
| a. System Architecture | 系统架构 |
| i. Components of a Flink Setup | Flink设置的组件 |
| ii. Application Deployment | 应用程序部署 |
| iii. Task Execution | Task执行 |
| iv. Highly Available Setup | 高度可用的设置 |
| b. Data Transfer in Flink | Flink中的数据传输 |
| i. Credit-Based Flow Control | 基于信用的流量控制 |
| ii. Task Chaining | Task链 |
| c. Event-Time Processing | 事件时间处理 |
| i. Timestamps | 时间戳 |
| ii. Watermarks | 水位线 |
| iii. Watermark Propagation and Event Time | 水位线传播和事件时间 |
| iv. Timestamp Assignment and Watermark Generation | 时间戳分配和水位线生成 |
| d. State Management | 状态管理 |
| i. Operator State | Operator状态 |
| ii. Keyed State | Keyed状态 |
| iii. State Backends | 状态后端 |
| iv. Scaling Stateful Operators | 扩展有状态的Operator |
| e. Checkpoints, Savepoints, and State Recovery | Checkpoints、Savepoints和状态恢复 |
| i. Consistent Checkpoints | 一致的Checkpoint |
| ii. Recovery from a Consistent Checkpoint | 从一致的Checkpoint恢复 |
| iii. Flink’s Checkpointing Algorithm | Flink的Checkpoint算法 |
| iv. Performace Implications of Checkpointing | Checkpoint的性能影响 |
| v. Savepoints | Savepoint |
| f. Summary | 小节 |
| 5. 4. Setting Up a Development Environment for Apache Flink | 为Apache Flink设置开发环境 |
| a. Required Software | 软件要求 |
| b. Run and Debug Flink Applications in an IDE | 在IDE中运行和调试Flink应用程序 |
| i. Import the Book’s Examples in an IDE | 在IDE中导入Book的示例 |
| ii. Run Flink Applications in an IDE | 在IDE中运行Flink应用程序 |
| iii. Debug Flink Applications in an IDE | 在IDE中调试Flink应用程序 |
| c. Bootstrap a Flink Maven Project | 引导Flink Maven项目 |
| d. Summary | 小节 |
| 6. 5. The DataStream API (v1.7) | DataStream API（v1.7） |
| a. Hello, Flink! | Hello, Flink! |
| i. Set Up the Execution Environment | 设置执行环境 |
| ii. Read an Input Stream | 读取输入流 |
| iii. Apply Transformations | 应用转换 |
| iv. Output the Result | 输出结果 |
| v. Execute | 执行 |
| b. Transformations | 转换 |
| i. Basic Transformations | 基本转换 |
| ii. KeyedStream Transformations | KeyedStream转换 |
| iii. Multistream Transformations | 多流转换 |
| iv. Distribution Transformations | 分布变换 |
| c. Setting the Parallelism | 设置并行度 |
| d. Types | 类型 |
| i. Supported Data Types | 支持的数据类型 |
| ii. Creating Type Information for Data Types | 为数据类型创建类型信息 |
| iii. Explicitly Providing Type Information | 明确提供类型信息 |
| e. Defining Keys and Referencing Fields | 定义key和引用字段 |
| i. Field Positions | 字段位置 |
| ii. Field Expressions | 字段表达 |
| iii. Key Selectors | key选择器 |
| f. Implementing Functions | 实现Functions |
| i. Function Classes | Functions类 |
| ii. Lambda Functions | Lambda函数 |
| iii. Rich Functions | 符函数 |
| g. Including External and Flink Dependencies | 包括外部和Flink依赖项 |
| h. Summary | 小节 |
| 7. 6. Time-Based and Window Operators | 基于时间和窗口的Operator |
| a. Configuring Time Characteristics | 配置时间特征 |
| i. Assigning Timestamps and Generating Watermarks | 分配时间戳和生成Watermark |
| ii. Watermarks, Latency, and Completeness | 水位线、延迟和完整性 |
| b. Process Functions | 处理Functions |
| i. TimerService and Timers | TimerService和定时器 |
| ii. Emitting to Side Outputs | 发射到侧面输出 |
| iii. CoProcessFunction | CoProcessFunction |
| c. Window Operators | 窗口Operator |
| i. Defining Window Operators | 定义窗口Operator |
| ii. Built-in Window Assigners | 内置窗口分配器 |
| iii. Applying Functions on Windows | 在Windows上应用功能 |
| iv. Customizing Window Operators | 自定义窗口运算符 |
| d. Joining Streams on Time | 按时加入Streams |
| i. Interval Join | 间隔加入 |
| ii. Window Join | 窗口加入 |
| e. Handling Late Data | 处理迟到的数据 |
| i. Dropping Late Events | 放弃迟到的事件 |
| ii. Redirecting Late Events | 重定向延迟事件 |
| iii. Updating Results by Including Late Events | 通过包含延迟事件来更新结果 |
| f. Summary | 小节 |
| 8. 7. Stateful Operators and Applications | 有状态的Operator和应用 |
| a. Implementing Stateful Functions | 实现有状态的函数 |
| i. Declaring Keyed State at RuntimeContext | 在RuntimeContext中声明keyed状态 |
| ii. Implementing Operator List State with the ListCheckpointed Interface | 使用ListCheckpointed接口实现Operator列表状态 |
| iii. Using Connected Broadcast State | 使用连接广播状态 |
| iv. Using the CheckpointedFunction Interface | 使用CheckpointedFunction接口 |
| v. Receiving Notifications About Completed Checkpoints | 接收有关已完成Checkpoint的通知 |
| b. Enabling Failure Recovery for Stateful Applications | 为有状态应用程序启用故障恢复 |
| c. Ensuring the Maintainability of Stateful Applications | 确保有状态应用的可维护性 |
| i. Specifying Unique Operator Identifiers | 指定唯一的Operator标识符 |
| ii. Defining the Maximum Parallelism of Keyed State Operators | 定义keyed状态算子的最大并行性 |
| d. Performance and Robustness of Stateful Applications | 状态应用的性能和稳健性 |
| i. Choosing a State Backend | 选择状态后端 |
| ii. Choosing a State Primitive | 选择状态原始 |
| iii. Preventing Leaking State | 防止泄漏状态 |
| e. Evolving Stateful Applications | 不断发展的有状态应用 |
| i. Updating an Application without Modifying Existing State | 更新应用程序而不修改现有状态 |
| ii. Removing State from an Application | 从应用程序中删除状态 |
| iii. Modifying the State of an Operator | 修改Operator的状态 |
| f. Queryable State | 可查询状态 |
| i. Architecture and Enabling Queryable State | 架构和启用可查询状态 |
| ii. Exposing Queryable State | 公开可查询状态 |
| iii. Querying State from External Applications | 从外部应用程序查询状态 |
| g. Summary | 小节 |
| 9. 8. Reading from and Writing to External Systems | 读写外部系统 |
| a. Application Consistency Guarantees | 应用程序一致性保证 |
| i. Idempotent Writes | 幂等性写 |
| ii. Transactional Writes | 事务性写 |
| b. Provided Connectors | 提供连接器 |
| i. Apache Kafka Source Connector | Apache Kafka源连接器 |
| ii. Apache Kafka Sink Connector | Apache Kafka Sink连接器 |
| iii. Filesystem Source Connector | 文件系统源连接器 |
| iv. Filesystem Sink Connector | 文件系统Sink连接器 |
| v. Apache Cassandra Sink Connector | Apache Cassandra Sink连接器 |
| c. Implementing a Custom Source Function | 实现自定义源方法 |
| i. Resettable Source Functions | 可复位的源功能 |
| ii. Source Functions, Timestamps, and Watermarks | 源函数，时间戳和水位线 |
| d. Implementing a Custom Sink Function | 实现自定义Sink功能 |
| i. Idempotent Sink Connectors | 幂等性Sink连接器 |
| ii. Transactional Sink Connectors | 事务性Sink连接器 |
| e. Asynchronously Accessing External Systems | 异步访问外部系统 |
| f. Summary | 小节 |
| 10. 9. Setting Up Flink for Streaming Applications | 为流式应用程序设置Flink |
| a. Deployment Modes | 部署模式 |
| i. Standalone Cluster | 独立群集 |
| ii. Docker | Docker |
| iii. Apache Hadoop YARN | Apache Hadoop YARN |
| iv. Kubernetes | Kubernetes |
| b. Highly Available Setups | 高可用的设置 |
| i. HA Standalone Setup | HA独立安装程序 |
| ii. HA YARN Setup | HA YARN设置 |
| iii. HA Kubernetes Setup | HA Kubernetes设置 |
| c. Integration with Hadoop Components | 与Hadoop组件集成 |
| d. Filesystem Configuration | 文件系统配置 |
| e. System Configuration | 系统配置 |
| i. Java and Classloading | Java和类加载 |
| ii. CPU | CPU |
| iii. Main Memory and Network Buffers | 主存储器和网络缓冲器 |
| iv. Disk Storage | 磁盘存储 |
| v. Checkpointing and State Backends | Checkpoint和状态后端 |
| vi. Security | 安全 |
| f. Summary | 小节 |
| 11. 10. Operating Flink and Streaming Applications | 运行Flink和流式应用程序 |
| a. Running and Managing Streaming Applications | 运行和管理流应用程序 |
| i. Savepoints | Savepoint |
| ii. Managing Applications with the Command-Line Client | 使用命令行客户端管理应用程序 |
| iii. Managing Applications with the REST API | 使用REST API管理应用程序 |
| iv. Bundling and Deploying Applications in Containers | 在容器中捆绑和部署应用程序 |
| b. Controlling Task Scheduling | 控制Task调度 |
| i. Controlling Task Chaining | 控制Task链 |
| ii. Defining Slot-Sharing Groups | 定义Slot共享组 |
| c. Tuning Checkpointing and Recovery | 调整Checkpoint和恢复 |
| i. Configuring Checkpointing | 配置Checkpoint |
| ii. Configuring State Backends | 配置状态后端 |
| iii. Configuring Recovery | 配置恢复 |
| d. Monitoring Flink Clusters and Applications | 监控Flink群集和应用程序 |
| i. Flink Web UI | Flink Web UI |
| ii. Metric System | Metric系统 |
| iii. Monitoring Latency | 监控延迟 |
| e. Configuring the Logging Behavior | 配置日志记录行为 |
| f. Summary | 小节 |
| 12. 11. Where to Go from Here? | 下一步？ |
| a. The Rest of the Flink Ecosystem | Flink生态系统的其余部分 |
| i. The DataSet API for Batch Processing | 用于批处理的DataSet API |
| ii. Table API and SQL for Relational Analysis | 用于关系分析的Table API和SQL |
| iii. FlinkCEP for Complex Event Processing and Pattern Matching | FlinkCEP用于复杂事件处理和模式匹配 |
| iv. Gelly for Graph Processing | 用于图处理的Gelly |
| b. A Welcoming Community | 欢迎的社区 |
| 13. Index | 索引 |
1. Preface （前言 ）
a. What You Will Learn in This Book（你将在本书中学到什么）
本书将向您介绍使用Apache Flink进行流式处理时需要了解的所有内容。 它由11章组成，希望能够讲述一个连贯的故事。 虽然有些章节是描述性的，旨在介绍高级设计概念，但其他章节则更具实际操作性并包含许多代码示例。
虽然我们打算在编写本书时以章节顺序阅读本书，但熟悉章节内容的读者可能希望跳过它。 其他人对立即编写Flink代码感兴趣可能需要先阅读实用章节。 在下文中，我们将简要介绍每章的内容，以便您可以直接跳转到您最感兴趣的章节。
-
第1章概述了有状态流处理，数据处理应用程序体系结构，应用程序设计以及流处理相对于传统方法的好处。 它还简要介绍了在本地Flink实例上运行第一个流应用程序的情况。
-
第2章讨论了流处理的基本概念和挑战，独立于Flink。
-
第3章介绍了Flink的系统架构和内部构件。 它讨论了流式应用程序中的分布式体系结构，时间和状态处理，以及Flink的容错机制。
-
第4章介绍如何设置开发和调试Flink应用程序的环境。
-
第5章介绍了Flink的DataStream API的基础知识。您将学习如何实现DataStream应用程序以及支持哪些流转换，函数和数据类型。
-
第6章讨论DataStream API的基于时间的operator。这包括窗口operator和基于时间的连接以及在流应用程序中处理时间时提供最大灵活性的过程函数。
-
第7章解释了如何实现有状态函数并讨论了有关该主题的所有内容，例如状态函数的性能，健壮性和演变。它还显示了如何使用Flink的可查询状态。
-
第8章介绍了Flink最常用的源和Sink连接器。它讨论了Flink的端到端应用程序一致性方法，以及如何实现自定义连接器从外部系统中提取数据和向外部系统发送数据。
-
第9章讨论如何在各种环境中设置和配置Flink集群。
-
第10章介绍了全天候运行的流应用程序的操作，监视和维护。
-
最后第11章包含可用于提问，参加Flink相关事件以及了解Flink当前如何使用的资源。