Linux下搭建kafka环境
来源官方文档：http://kafka.apache.org/quickstart
安装环境：
CentOS Linux release 7.3
kafka_2.12-2.3.0.tgz
kafka下载地址： https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.12-2.3.0.tgz
注意地方：
kafka_2.12-2.3.0.tgz 用官方的文档教程把例子跑了 一遍，在CentOS 7.3系统可以正常运行，但是在CentOS 6.3里就执行不成功，建立主题的命令始终失败：“'bootstrap-server' is not a recognized option”，原因未知。
步骤1：下载程式码
下载 2.3.0版本并解压缩。
| 1个 2 |
|
步骤2：启动服务器
Kafka使用ZooKeeper，因此如果您还没有，请先启动ZooKeeper服务器。您可以使用kafka随附的便利脚本来获取快速且肮脏的单节点ZooKeeper实例。
| 1个 2 3 |
|
现在启动Kafka服务器：
| 1个 2 3 4 |
|
步骤3：建立主题
让我们用一个分区和一个副本创建一个名为“ test”的主题：
| 1个 |
|
现在，如果我们运行list topic命令，便可以看到该主题：
| 1个 2 |
|
或者，除了手动创建主题外，还可以将代理配置为在发布不存在的主题时自动创建主题。
第4步：发送一些消息
Kafka带有一个命令行客户端，它将从文件或标准输入中获取输入，并将其作为消息发送到Kafka集群。默认情况下，每行将作为单独的消息发送。
运行生产者，然后在控制台中键入一些消息以发送到服务器。
| 1个 2 3 |
|
步骤5：启动消费者
Kafka还有一个命令行使用者，它将消息转储到标准输出。
| 1个 2 3 |
|
如果上面的每个命令都在不同的终端上运行，那么您现在应该能够在生产者终端中键入消息，并看到它们出现在消费者终端中。
所有的命令行工具都有其他选项。在不带参数的情况下运行该命令将显示用法信息，并对其进行详细记录。
步骤6：建立多经纪商丛集
到目前为止，我们一直在与单一经纪人竞争，但这并不有趣。对于Kafka来说，单个代理只是一个大小为1的集群，因此除了启动更多的代理实例之外，没有什么太大的变化。但是，只是为了感受一下，让我们将集群扩展到三个节点（仍然全部在本地计算机上）。
首先，我们为每个代理创建一个配置文件（在Windows上，使用copy命令代替）：
| 1个 2 |
|
现在编辑这些新文件并设置以下属性：
| 1个 2 3 4 5 6 7 8 9 |
|
该broker.id属性是集群中每个节点的唯一且永久的名称。我们只需要覆盖端口和日志目录，这是因为我们都在同一台计算机上运行它们，并且希望所有代理都不要试图在同一端口上注册或覆盖彼此的数据。
我们已经有Zookeeper并启动了单个节点，因此我们只需要启动两个新节点：
| 1个 2 3 4 |
|
现在，创建一个具有三个复制因子的新主题：
| 1个 |
|
好的，但是现在有了集群，我们如何知道哪个经纪人在做什么？要查看该命令，请运行“描述主题”命令：
| 1个 2 3 |
|
这是输出的说明。第一行给出了所有分区的摘要，每一行都给出了有关一个分区的信息。由于该主题只有一个分区，因此只有一行。
- “领导者”是负责给定分区的所有读取和写入的节点。每个节点将成为分区的随机选择部分的领导者。
- “副本”是为该分区复制日志的节点列表，无论它们是引导者还是当前处于活动状态。
- “ isr”是“同步”副本的集合。这是副本列表的子集，当前仍处于活动状态并追随领导者。
请注意，在我的示例中，节点1是主题唯一分区的领导者。
我们可以在创建的原始主题上运行相同的命令，以查看其位置：
| 1个 2 3 |
|
因此，这里没有任何惊喜-原始主题没有副本，并且位于服务器0上，这是我们创建集群时群集中的唯一服务器。
让我们向我们的新主题发布一些消息：
| 1个 2 3 4 5 |
|
现在让我们使用这些消息：
| 1个 2 3 4 5 |
|
现在让我们测试一下容错能力。经纪人1扮演领导者的角色，所以让我们杀死它：
| 1个 2 3 |
|
在Windows上使用：
| 1个 2 3 4 |
|
领导权已切换到关注者之一，并且节点1不再位于同步副本集中：
| 1个 2 3 |
|
但是，即使最初进行写操作的领导者已经下线，消息仍然可以使用：
| 1个 2 3 4 5 |
|
步骤7：使用Kafka Connect导入/导出数据
从控制台写入数据并将其写回到控制台是一个方便的起点，但是您可能要使用其他来源的数据或将数据从Kafka导出到其他系统。对于许多系统，可以使用Kafka Connect导入或导出数据，而无需编写自定义集成代码。
Kafka Connect是Kafka附带的工具，用于将数据导入和导出到Kafka。它是运行连接器的可扩展工具，该 连接器实现用于与外部系统进行交互的自定义逻辑。在此快速入门中，我们将看到如何使用简单的连接器运行Kafka Connect，该连接器将数据从文件导入到Kafka主题，并将数据从Kafka主题导出到文件。
首先，我们将从创建一些种子数据开始进行测试：
| 1个 |
|
或在Windows上：
| 1个 2 |
|
接下来，我们将启动两个以独立模式运行的连接器，这意味着它们将在单个本地专用进程中运行。我们提供了三个配置文件作为参数。第一个始终是Kafka Connect流程的配置，其中包含通用配置，例如要连接的Kafka代理和数据的序列化格式。其余配置文件均指定要创建的连接器。这些文件包括唯一的连接器名称，要实例化的连接器类，以及连接器所需的任何其他配置。
| 1个 |
|
这些示例配置文件（随Kafka一起提供）使用您之前启动的默认本地集群配置，并创建两个连接器：第一个是源连接器，它从输入文件中读取行并将每个行生成到Kafka主题，第二个是宿连接器。从Kafka主题读取消息，并在输出文件中将它们作为一行显示。
在启动过程中，您将看到许多日志消息，其中包括一些表明正在实例化连接器的消息。Kafka Connect流程启动后，源连接器应开始从test.txt主题中读取行并将其生成到主题connect-test，而接收器连接器应开始从主题中读取消息connect-test 并将其写入文件test.sink.txt。我们可以通过检查输出文件的内容来验证数据已通过整个管道传递：
| 1个 2 3 |
|
请注意，数据存储在Kafka主题中connect-test，因此我们也可以运行控制台使用者以查看该主题中的数据（或使用自定义使用者代码进行处理）：
| 1个 2 3 4 |
|
连接器继续处理数据，因此我们可以将数据添加到文件中，并查看它在管道中的移动情况：
| 1个 |
|
您应该看到该行出现在控制台使用者输出和接收器文件中。
步骤8：使用Kafka Streams处理数据
Kafka Streams是用于构建关键任务实时应用程序和微服务的客户端库，其中输入和/或输出数据存储在Kafka集群中。Kafka Streams结合了在客户端编写和部署标准Java和Scala应用程序的简便性以及Kafka服务器端集群技术的优势，使这些应用程序具有高度可伸缩性，弹性，容错性，分布式等等。此快速入门示例将演示如何运行此库中编码的流应用程序。