NeonIO 云原生存储简介与应用

作者简介：杨兴祥，QingStor 顾问软件工程师，2012 年开始先后在创新科、华为从事存储相关的开发工作，在分布式存储领域有丰富的开发经验，目前负责 QingStor NeonIO 云原生存储的开发工作。

NeonIO 是什么

NeonIO 是一款支持容器化部署的企业级分布式块存储系统，能够给 Kubernetes 平台上提供动态创建（dynamic provisioning）持久存储卷（persistent volume）的能力，支持 clone、snapshot、resstore、resize 等功能。

NeonIO 架构图

NeonIO 架构如图上所示。

zk/etcd：提供集群发现、分布式协调、选 master 等服务；
mysql：提供元数据存储服务，如 PV 存储卷的元数据；
center：提供逻辑管理服务，如创建 PV 卷，快照；
monitor：提供监控服务，能够把采集监控指标暴露给 Prometheus；
store：存储服务，处理应用 IO 的功能；
portal：提供 UI 界面服务；
CSI：提供 csi 的标准 IO 接入服务；

NeonIO 特点

易用性

(1) 组件容器化：服务组件、CSI、Portal 容器化。

(2) 支持 CSI：提供标准的 IO 接入能力，可静态、动态创建 PV。

(3) UI 界面，运维方便：

存储运维操作界面化、告警、监控可视管理；
有基于 PV 粒度的性能监控，如 IOPS、吞吐量，可以快速定位到热点 PV；
有基于 PV 粒度的 Qos，能够保证用户高优先级的服务质量；

(4) 与云原生高度融合：

支持 Prometheus，通过 ServiceMonitor 把 NeonIO 的采集指标暴露给 Prometheus、Grafana，进行图形化展示；
同时 UI 界面可与 Prometheus 对接，展示其他云原生监控的指标，如 node-exporter 的磁盘 IO 负载、带宽等；
平台化的运维方式，存储的扩容、升级、灾难恢复运维操作、只需要 k8s 的一些命令即可完成，不需要额外掌握过多的存储相关的运维知识；
服务发现、分布式协调支持 etcd、元数据的管理，使用 CRD 的方式；

(5) 一键式部署：helm install neonio ./neonio -- namespace kube-system。
(6) 部署简单灵活：和 Rook-Ceph 对比：

功能	NeonIO	Rook-Ceph
Quick Start	总共 4 步: 1.检查确保有可给供 neonio 的设备； 2.检查是否已经安装 QBD； 3.添加 helm repo； 4.安装部署：helm install neonio ./neonio --namespace kube-system	总共 5 步: 1.检查确保有可给供 ceph 的设备； 2.检查是否已经安装 RBD； 3.apt-get install -y lvm2； 4.下载代码：git clone --single-branch --branch master https://github.com/rook/rook.git 5.cd rook/cluster/examples/kubernetes/ceph kubectl create -f crds.yaml -f common.yaml -f operator.yaml kubectl create -f cluster.yaml
单机 all-in-one	helm install neonio ./neonio --namespace kube-system --set sc.rep_count=1 --set center.servers=1 --	cd rook/cluster/examples/kubernetes/ceph kubectl create -f crds.yaml -f common.yaml -f operator.yaml kubectl create -f cluster-test.yaml 使用区别与集群部署时的另一个配置cluster-test.yaml进行部署，不能做到配置共用
节点规划部署	通过对对应节点打 label	通过修改 cluster.yaml，需要配置节点 IP 配置那些服务
RDMA/TCP	helm install neonio ./neonio --namespace kube-system --set store.type=RDMA	ceph 本身支持 RDMA，rook-ceph 不支持
管理、存储网络分离/共有	helm install neonio ./neonio --namespace kube-system --set store.port=eth0 --set rep_port.port=eth1	ceph 本身 pubic、cluster 网口的分离公用，rook-ceph 适配复杂

高性能

(1) 全闪的分布式存储架构

集群中所有节点共同承担压力，IO 性能随着节点增加而线性增长；
存储介质支持 NVME SSD；
支持 RDMA：通过高速的 RDMA 技术将节点连接；

(2) 极短的 IO 路径：抛弃文件系统，自研元数据管理系统，使 IO 路径极短

(3) 使用 HostNetwork 网络模式

好处：

Store CSI Pod 使用 HostNetwork，直接使用物理网络，减少网络层次；
管理网络、前端网络、数据同步网络分离，避免网络竞争；

高可用

(1) 服务组件可靠性与可用性

管理服务默认使用3副本Pod,副本数可以配置，推荐使用 3/5 副本，任何一 Pod 因故障无法提供服务，还有其他 Pod 提供服务；
使用探针检测 Pod 服务是否可用，是否存活，检测到 Pod 服务部可用剔除组件服务，检测到 Pod down 掉后重启 Pod，使其重新启动服务；

(2) 数据的可靠性与可用性

Volume 分片为 Shard；
每个 Shard 独立选择存储位置；
每个 Shard 的 3 个副本存储在不同的物理节点上；
写入时同步写入 3 个副本，强一致；
读取时只从主副本读；
副本数按 volume 可配；

敏捷性

(1) Pod 跨节点重建高效：2000PV 的挂载/卸载 16s。

(2) 批量创建 PV 能力：2000PV 的创建 5min。

NeonIO 性能表现

测试平台：NeonIO 超融合一体机集群（3 个节点，192.168.101.174 - 192.168.101.176）。

注意：所有测试均使用 NVMe SSD，卷大小 = 1TiB。性能工具：https://github.com/leeliu/dbench

图中黄色表示的是 NeonIO，第一张图纵坐标是 IOPS，第二张图纵坐标是毫秒，从结果来看，无论是单副本还是 3 副本，NeonIO 在 IOPS、时延都有明显的优势。

NeonIO 应用场景

Devops 场景：批量快速创建/销毁 PV 能力，2000PV 创建 5min。
数据库场景：WEB 网站后端数据库 MySQL 等提供稳定的持久化存储，提供高 IOPS、低时延。
大数据应用分析场景：提供超大容量，PV 可扩容到 100TB。
计算和存储分离部署场景：k8s 集群 1 部署 neonio，k8s 集群 2 通过 CSI 使用 k8s 集群1的neonio存储。