Apache NiFi学习及使用的记录

Apache NiFi是什么？
一个易用、强大、可靠的数据处理与分发系统
传统的数据流解决方案往往会遇到以下的挑战：
系统错误，包括网络错误、硬盘错误、软件崩溃，甚至是人为错误，造成了数据流处理的不稳定性；
数据访问超过处理能力，当数据处理模块有某一瓶颈时，往往不能够及时处理到达的数据；
系统之间的发展进度不一致，从而经常需要在生产系统中进行新数据流的添加与已有数据流的修改，并且这些改动需要更加迅速的实现；
安全性，系统与系统之间，系统与用户之间的交互必须是安全、可信的；
随着大数据技术的发展，数据流处理技术比以往显得更加重要，并对其在应对复杂性与适配性方面提出了更高的要求。而NiFi就是为解决以上的问题而创建的。
NiFi的特性：
1、可视化命令与控制：
数据流的处理有时非常复杂，因此提供一个可视化的数据流展现与编辑功能，使得用户在编辑和处理数据流时更加直观，从而提升使用效率。当用户在数据流上做出修改时，这个更改将立即在实际中产生作用。并且，用户在进行局部修改时，不需要停止整个流处理过程。
2、保证交付
NiFi的一个核心理念为：即使在非常高的规模与压力环境下，保证数据的交付也是必须的。这是通过有效利用定制化的持续预写日志和内容仓库技术做到的。它们一起被设计，以支持非常高的交换速率，和高效的导入速度，并通过写时拷贝技术而发挥传统硬盘的优势。
3、数据回压
NiFi提供所有队列数据的缓存，并且在队列达到指定限制或者超时的时候，能够提供数据回压。
4、高扩展性
NiFi最初就被设计成可扩展的，数据流处理程序能够以可预测和可重复的模式执行。
服务装载模式：Processors、ControllerServices、Reporting Tasks、Prioritizers，以上服务可以单独部署。
对于任何基于组件的系统，随着规模的扩张，组件之间的依赖会越来越错综复杂。为了解决这个问题，NiFi通过提供自定义类装载器模型，来确保每个扩展组件之间的约束关系被限制在非常有限的程度。因此，在创建扩展组件时，就不用再过多关注其是否会与其他组件产生冲突。
5、优先级队列：
NiFi允许设置一个或多个优先级方案，用于数据如何在队列中被检索。默认情况下，是先进先出的处理策略。也可以设置成后进先出、最大先出，或者其他的处理策略。可以为每一个connection配置队列的优先级。
6、流式QoS保障
7、数据跟踪：
NiFi自动记录、索引对于数据流的每个操作日志，并可以把可用的跟踪数据作为对象在系统中传输。这些信息能够在系统故障诊断、优化等其他场景中发挥重要作用
8、记录/恢复细粒度的历史数据
NiFi的内容存储库被设计成历史滚动缓冲区的角色。数据仅仅在超时或者空间不足时被从内容存储库中删除。此项功能与数据跟踪功能一起，可以提供一项非常有用的基础功能，即用户能够对中间过程的内容进行下载和回放。
9、流程模板
由于数据流是高度面向模式的，并且在解决一个问题时会有多种不同的方式，能够共享一些好的通用处理模板将对用户会有很大的帮助。模板功能允许用户构建、发布设计模板，并共享给其他人。
10、安全性：
系统间，NiFi可以通过双向SSL进行数据加密。并且可以允许在发送与接收端使用共享秘钥，及其他机制对数据流进行加密与解密。
用户与系统间，NiFi允许双向SSL鉴定，并且提供可插入授权模式，因此可以控制用户的登录权限（例如：只读权限、数据流管理者、系统管理员）
关键概念
NiFi的设计概念与流式编程模型（FlowBased Programming，FBP）的主要概念相似，以下是两者相似概念的对应关系表与注释。对于理解NiFi的实现机制具有帮助
FlowFile:
一个FlowFile代表每个被系统处理的数据对象，一个FlowFile由两部分组成：属性和内容。内容是数据本身，属性是与数据相关的key-value的键值对，用于描述数据
FlowFile Processor
Processor是NiFi的组件，可以用来创建、发送、接受、转换、路由、割裂、合并、处理FlowFiles。在用户建立数据流时，Processor是最重要的组成部分
Connection
提供Processors之间的连接，用来定义Processors之间的执行关系，并允许不同Processors之间以不同的速度进行交互
Flow Controller（调度）
其负责维护Processors之间的关联信息，并且管理所有进程对于线程的使用、分配
Process Group
一个特定集合的Processors与它们之间的连接关系形成一个Process Group，其定义了从接受端口接受数据到通过发送端口发送数据之间，整个数据流的处理过程。并可以通过简单组合其它的部件来创建新的部件

单机架构：