Apache Pulsar 之 Python Function

作者 | 冉小龙

审校 | Anonymitaet

编辑 | Susan + Anonymitaet

阅读本文需要约 6 分钟。

image

导读：在 Apache Pulsar 之 Java Function 实践篇我们介绍了如何在本地快速编写并部署自己的 Java Function，这篇文章将向大家介绍如何在本地快速部署并运行 Python Function。

Function 系列的第一篇介绍了 Pulsar Functions 的实现有两种方式，一种是 Plugin 的形式，一种是 SDK 的形式。

Python 和 Java 都属于 Plugin 的实现形式，所以他们的部署、运行以及内部实现的原理都很相似，都是动态加载用户编写好的 user code file，将其内嵌到对应的 instance file 中，作为 Function 运行的一部分，最后将一个完整的 instance file 提交给 Function Worker 来做相应的处理，所以 Apache Pulsar 之 Java Function 实践篇中提到的加载 user code file 的原理在这里同样适用。

编写 Python Function

Python Function 代码示例：

from pulsar import Function

The classic ExclamationFunction that appends an exclamation at the end

of the input

class ExclamationFunction(Function):
def init(self):
pass

def process(self, input, context):
    return input + '!'

在上述代码示例中，我们首先从 Pulsar 中导入 Function 模块：from pulsar import Function，当用户编写自己的 user code file 时，继承 Function class，并实现 process() 方法。

process() 主要有两个参数: input 代表用户的输入，context 代表 Pulsar Function 对外暴露给用户的一个接口，用户可以根据提供的 context 对象，获取 Python Function 中的属性。

部署 Python Function

部署 Python Function 包含以下 3 个步骤：

1. 安装 Python client。

Python Function 的实现依赖于 Python client，所以在部署 Python Function 之前，需要安装相应版本的 Python client。

在 Python Function 中，你可以使用如下命令，安装指定版本的 Python client：

pip install python-client==2.3.0

2. 启动 Pulsar。

Pulsar Function 相当于 Pulsar 的计算单元，其本质是交给 Pulsar broker 去做相应的处理，所以在运行 Pulsar Function 之前，我们需要先运行 Pulsar，具体运行的方式参照 Apache Pulsar 之 Java Function实践篇部署 standalone Pulsar 的模块。

当启动 Docker image 之后，首先使用 docker cp 将所需要的 Python file 拷贝到 Pulsar 的 Docker image 内。之后执行:

docker exec -it [CONTAINER ID] /bin/bash

3. 启动 Function 实例。

进入容器内部。bin 目录存放了所有运行 Pulsar 相关的命令，Pulsar Function 的相关命令托管在 pulsar-admin 之下，所以我们可以使用 ./bin/pulsar-admin 来快速启动一个 Function 的实例。

在完成启动之前，Function 运行还需要一些必要的参数列表，Apache Pulsar 之 Java Function实践篇的部署 Java Function 章节对每一个参数做了详细的解释，下面我们主要说明 Python Function 与 Java Function 在参数列表中有哪些异同，具体如下：

相同点

• functions

• localrun/create

• inputs

• output

• tenant

• namespace

• name

• classname

以上参数属于运行 Pulsar Function 的必要参数，包括之后将介绍到的 Go Function 也是同理。需要特别说明的是，inputs 是复数，output 是单数，这说明在 Function 中，我们允许有多个 topics 作为 Function 的输入，但是输出只能有一个。

不同点

• --py

为了区分不同语言的 Function，用户可以根据语言来指定不同的 Function。在 Java 中，使用 --jar 指定需要运行的 jar 包，Python 中通过 --py 指定具体需要运行的 Python Function 文件。

启动 Python Function

完整启动 Python Function 的命令示例如下：

./bin/pulsar-admin functions
localrun/create
--py [your python function path]
--inputs [input topics]
--output [output topic]
--tenant [default:public]
--namespace [default:default]
--name [custom unique python function name]
--calssname [your python function name]

在启动之后，所有辅助命令与 Java Function 均相同，可以使用以下命令查看细节。

./bin/pulsar-admin functions

更多关于 Pulsar 的干货和动态分享，请关注 StreamNative 和 ApachePulsar 微信公众号。