在阿里云ACK部署Milvus生产集群的坑
在阿里云ACK部署Milvus生产集群的坑
因工作需要，需在阿里云ACK部署Milvus生产集群，但依照官方文档 Install Milvus Cluster with Milvus Operator 安装的时候，遇到几个坑，在此记录下。
一、准备工作
1.1 准备资源
可先参考 Environment Checklist for Milvus Milvus on Kubernetes 在云上购买和配置相关的资源。
本人购买的云资源是
- ACK托管版
- K8S版本 1.24.6-aliyun.1
- 3台 16vCPU 32GB ecs.c6e.4xlarge
- 1台 64vCPU 64GB ecs.ic5.16xlarge
因为读多写少，主要是查询任务，计划是3台16核32G的ECS用于部署QueryNode外的所有负载，先部署1台64核64G用作QueryNode，后续有需求再横向扩展。
1.2 配置存储类
这些配置并不在Milvus的安装文档内，但不执行的话，后续安装过程会出错。创建好ACK资源后，在阿里云控制台创建新的存储类，主要是指定type和zoneId。我的配置如下：
存储卷类型 云盘
存储驱动 CSI
参数添加 key是"type"，值是"cloud_essd"，key是"zoneId"，值是"cn-shanghai-g"
回收策略 和 绑定模式 可用默认的
type指定cloud_essd的原因是这是性能最好的云盘类型，但需要特别注意节点的主机所支持的存储是否支持pvc要求的类型，否则会导致负载启动不成功的问题，一直在容器创建状态。
指定zoneId是因为有时候pvc自动创建的pv有可能跑到其他可用区去，进而造成pod一直在 Pending 状态，提示node affinity conflict。类似“0/13 nodes are available: 2 node(s) were unschedulable, 3 node(s) had volume node affinity conflict, 8 node(s) didn’t match Pod’s node affinity/selector.”这样的报错。这时候你查看pv的yaml会发现pv的zoneId和pod所在的节点不在一个可用区。
创建完成后，执行
kubectl patch storageclass {你创建的存储类的名称，不需要花括弧} -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
可执行kubectl get sc验证。
参考文档：
- 云盘存储卷概述
- 使用云盘动态存储卷
- 实例规格族
二、安装 Milvus
安装过程基本上按照教程即可，但我希望Milvus单独使用节点池里面的所有节点，不希望和其他负载共享，所以会配置节点亲和性。我的亲和性配置是：3台16vCPU 32GB ECS的节点池，设置节点标签，键:“milvus”，值:“components”，1台64vCPU 64GB ECS的节点池，设置节点标签 键:“milvus”，值:“querynode”。
2.1 安装 cert-manager
参考 Install cert-manager
遇到不能访问github.com，也可先在别的机器下载再复制过来。 安装后，会出现新的命名空间"cert-manager"。确认安装成功后，在阿里云控制台更改cert-manager命名空间下负载的节点亲和性，设置为必须满足，标签名是""milvus:，操作符: “In”，标签值:“components”。
2.2 安装 Milvus Operator
参考 Install Milvus Operator
安装后，会出现新的命名空间"milvus-operator"。确认安装成功后，在阿里云控制台更改milvus-operator命名空间下负载的节点亲和性，同样设置为必须满足，标签名是""milvus:，操作符: “In”，标签值:“components”。
2.3 安装 Milvus cluster
参考 Install a Milvus cluster！
创建新的命名空间 milvus，并切换到新的命名空间kubectl config set-context $(kubectl config current-context) --namespace=milvus。下载官方的"milvus_cluster_default.yaml"并修改，配置如下：
apiVersion: milvus.io/v1beta1
kind: Milvus
metadata:
name: my-release
labels:
app: milvus
spec:
mode: cluster
dependencies: {}
components:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: milvus
operator: In
values:
- components
dataCoord:
replicas: 1
dataNode:
replicas: 1
indexNode:
replicas: 1
proxy:
replicas: 1
indexCoord:
replicas: 1
queryNode:
replicas: 1
resources:
limits:
cpu: '60'
requests:
cpu: '60'
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: milvus
operator: In
values:
- querynode
rootCoord:
replicas: 1
config: {}
配置的重点在于明确各个负载的副本数，并特别设置了queryNode的节点亲和性，资源占用与限制，因为承载queryNode的节点是64核，所以cpu设置为60，如果你的机器不是64核，此处需修改。yaml也明确了query node的副本数，横向扩展时，可以修改此处，并重新kubectl apply。
而后执行安装kubectl apply -f ./milvus_cluster_default_modify.yaml，稍等一会儿kubectl get pods，会发现etcd无法启动成功，这是因为官方设置etcd的PVC总量是10G，而阿里云essd，需要至少20G才能初始化。修改etcd的yaml文件，将storage由原来的10Gi改为20Gi，部分yaml代码如下：
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 20Gi
storageClassName: alicloud-disk-essd-shanghai-g
volumeMode: Filesystem
依次 kubectl apply 修改三个etcd的pvc总量，而后pv可成功初始化，etcd亦可成功运行。所有pod成功启动后，更改milvus 命名空间下所有有状态负载的节点亲和性。到这里，milvus本身就安装好了。
这里注意下，milvus自身的组件是带"my-release-milvus-"前缀的，且都在无状态负载下，不要手动修改这些组件的包括亲和性、资源限制在内的任何配置，因为修改了也没用，如果刚没修改，可在"milvus_cluster_default_modify.yaml"修改，并重新kubectl apply -f ./milvus_cluster_default_modify.yaml
2.4 创建 Milvus 连接端口
在阿里云ACK控制台->网络->服务中创建服务，配置如下：
类型 负载均衡 私网访问 标准型I（slb.s2.small）
关联 my-release-milvus-proxy
外部流量策略 Local
端口映射 19530 和 9091
外部流量策略，需要关注下网络插件类型，如果是 Terway ，选择 Local 亲测没问题。如果是 Flannel ，出现连接不上的情况，可选择 Cluster 试试看。
2.5 测试
可在 官方 Hello Milvus 代码 ，下载并测试milvus是否可以正常连接并使用。
注意下，Milvus的身份验证功能需要手动配置开启，默认是无用户名密码也可连接，即使你设置了用户名和密码。参考 身份验证
查看原文