Spark云化架构演进的实践和探索

常见术语

• Kubernetes：K8s，是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化
• Yarn：hadoop 2.0 引入的 集群资源管理系统 。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配
• Spark：基于内存计算的通用大规模数据处理框架
• Livy：通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行

“不良”动机

自2018年2月28日发布Spark v2.3.0起，即可在Kubernetes上运行Spark。我们现在用的版本是v2.4.3，当然，与类似Hadoop的集群上众所周知的Yarn设置相比仍然缺乏很多。 对应于官方文档用户，可以通过spark-submit CLI脚本在Kubernetes上运行Spark。 实际上，它是唯一内置在Apache Spark Kubernetes相关功能以及某些配置选项中的功能。 Apache文档中的调试建议太差，无法轻松使用，并且仅适用于基于控制台的工具。 调度程序集成也不可用，这使得在Kubernetes上开箱即用Spark来设置便捷的管道变得非常棘手。 反过来，基于Yarn的Hadoop群集具有所有UI，代理，调度程序和API，会让数据RD更愉快的工作。

So what~

引用猪场的一张图

另一方面，使用与Yarn相反的Kubernetes集群具有明显的好处（2019年7月比较）：

• Price：比较Azure Cloud上的类似群集设置，可以发现AKS比HDInsight Spark便宜35％。
• Scale：Cloud中的Kubernetes集群支持弹性自动扩展，并具有非常酷的相关功能，例如：Nodepools。 反之，Hadoop集群的扩展速度远远没有那么快，可以手动或自动完成（2019年7月预览）。
• Integrations：我们可以在包装在Docker容器中的Kubernetes集群中运行任何工作负载。至少我还没见过写过Yarn App的人。
• Support：我们无法完全控制Cloud提供的群集设置，并且通常在发行后的几个月内没有可用的最新版本的软件。但是，使用Kubernetes，我们完全可以自己构建映像。
• Other Kuebernetes pros：具有Helm的CI / CD，可一键单击即可使用的监视堆栈，获得了广泛的欢迎和社区支持。当然还有HYPE诸如此类的优秀工具。

当我们了解Kubernetes的优势之后，那就开始干，尝试提高 Spark on K8s可行性吧。

设计理念

基于Spark on K8s解决方案的核心是Apache Livy。 Apache Livy是一项服务，可通过REST接口轻松与Spark集群进行交互。 它受到Apache Incubator社区和Azure HDInsight团队的支持，该团队将其置于Yarn群集设置中的一等公民（你懂的），进行了诸多工业设计的集成，诸如多用户支持、端到端安全、HTTPS/SSL、基于SASL认证的RPC通信机制、失败恢复等企业级关键特性。
当然缺点也是很明显的 ，Livy设计的初衷就为Yarn编写的，庆幸的是，2019年4月10日，Apache Incubator社区声明全面支持Spark on K8s。

K8s上Livy的架构与Yarn相同

Livy服务器只是包装了与Spark集群交互的所有逻辑，并提供了简单的REST接口。

具体实施

1. 搭建K8s集群

网上教程多如牛毛，过程省略... 建议1.14及以上版本，2019最新k8s集群搭建教程 (centos k8s 搭建)

2. 制作Livy-server镜像

清单列表

2.1 Livy.conf

livy.conf

livy配置，注意要制定master节点指向 k8s的master节点，用来对接K8s的api-server

2.2 Dockerfile

Dockerfile

2.3 Livy.yaml

--- 预留10000~10010服务端口，不考虑资源情况下，理论上可以最大并发11个driver
apiVersion: v1
kind: Service
metadata:
  name: livy-server
  namespace: default
spec:
  type: NodePort
  selector:
      app: livy-server
  ports:
  - name: http
    protocol: TCP
    nodePort: 31988
    port: 31988
    targetPort: 31988
  - name: rpc0
    protocol: TCP
    nodePort: 31839
    port: 10000
    targetPort: 10000
  - name: rpc1
    protocol: TCP
    nodePort: 31612
    port: 10001
    targetPort: 10001
  - name: rpc2
    protocol: TCP
    nodePort: 31228
    port: 10002
    targetPort: 10002
  - name: rpc3
    protocol: TCP
    nodePort: 31477
    port: 10003
    targetPort: 10003
  - name: rpc4
    protocol: TCP
    nodePort: 31384
    port: 10004
    targetPort: 10004
  - name: rpc5
    protocol: TCP
    nodePort: 31003
    port: 10005
    targetPort: 10005
  - name: rpc6
    protocol: TCP
    nodePort: 31842
    port: 10006
    targetPort: 10006
  - name: rpc7
    protocol: TCP
    nodePort: 31795
    port: 10007
    targetPort: 10007
  - name: rpc8
    protocol: TCP
    nodePort: 31703
    port: 10008
    targetPort: 10008
  - name: rpc9
    protocol: TCP
    nodePort: 31930
    port: 10009
    targetPort: 10009
  - name: rpc10
    protocol: TCP
    nodePort: 31068
    port: 10010
    targetPort: 10010

---
apiVersion: apps/v1
kind: ReplicaSet
metadata:
  name: livy-server
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: livy-server
  template:
    metadata:
      labels:
        app: livy-server
    spec:
      hostname: livy-server
      serviceAccount: spark
      serviceAccountName: spark
      containers:
      - name: livy-server
        image: 10.102.0.21:5000/spark/livyserver:0.7.0b
        securityContext:
          privileged: true
          runAsUser: 0
        resources:
           limits:
             cpu: "2"
             memory: 2Gi
           requests:
             cpu: 200m
             memory: 512Mi 
        ports:
        - containerPort: 31988

3. livy-server盘它

查看livy-spark的pod

image.png

3.1 提交一个batch任务

image.png

可看出id为28的batch任务已创建，状态为starting

3.2 查看某个batch任务

image.png

可看出任务在pending中

3.3 任务完成

image.png

image.png

在livy的GUI界面上可以看到求圆周率的任务已完成，并且通过接口看到任务状态为success

未完待续

上面只是Spark云化服务的基础部分，为了达到工业级的Spark云化服务平台，我们还有很多事情要做，如安全认证中间件、缓存中间件、分布式消息队列、多存储源混合（数据湖支持，多类型存储）等等。

image.png

最后引用一张我心中完美的Spark as Service的架构图

摘自于网易严选大数据架构演进