【Apache Doris】Manager极致丝滑地运维管理
【Apache Doris】Manager极致丝滑地运维管理
- 1.标准VS可视化运维管理
- 2. 环境信息
-
- 2.1.硬件信息
- 2.2.软件信息
- 3.前置准备
-
- 3.1.安装包准备
- 3.2.文档手册准备
- 4.集群初始化
-
- 4.1.系统参数预设
- 4.2.Manager部署
- 4.3.新集群部署
- 4.4 监控告警
-
- 4.4.1 监控
- 4.4.2 告警
- 5. 集群升级
-
- 5.1 新包准备
- 5.2 一键升级
- 5.3 结果验收
- 6. 集群扩所容
-
- 6.1 一键扩容
- 6.2 一键缩容
- 7. 多集群管理
-
- 7.1 新建/接管集群
- 7.2 环境配置
- 7.3 节点配置
- 8. 总结
1.标准VS可视化运维管理
标准化运维管理，首先得自己手动在集群的每台节点上去分发包、并解压；然后分别对FE和BE进行配置初始化（FE主要修改IP和JAVA目录，BE主要修改IP、JAVA目录和存储路径配置）。
做完上面的包分发及配置初始化后，还需分别到对应节点去启动FE、BE和Broker进程，如果节点较多需要考虑写脚本分发命令或借助外部运维平台简化。其中BE和Broker可以直接把进程全部拉起，然后通过Client逐个Add加入集群即可，但FE集群有类似Zookeeper的选举机制，所以非第一个FE节点第一次启动时、还得注意加–helper命令。
初始化完集群后，如果想做可视化监控得另外集成Prometheus和Grafana，如果要做告警管理可能还得另外部署夜莺N9E。这一套组合拳下来，运维管理体系算是基本完成了，但是天都夜màma了。
可视化运维管理（Cluster Manager for Apache Doris，简称 Doris Manager，再简称 Manager），它让使用者有了更多的时间钓鱼、消化饼 and 早点回家。
Manager能够快速拉起一套又一套的Doris/SelectDB集群，集成了监控告警、集群巡检和WebUI等模块，提供了集群启停、扩缩容和升级等常规运维操作可视化的快捷入口，能够极大地提高运维管理效率，且使用起来也非常顺畅。
接下来一起来纵享Manager的丝滑体验吧！
2. 环境信息
2.1.硬件信息
- 内存：48C
- CPU：256G
- CPU架构：X86_64
2.2.软件信息
- Doris: 2.0.2
- SelectDB：2.0.2
- Manager：23.10.3
- 系统：CentOS
3.前置准备
官方专项微信群公告中应有尽有，还没有进群的小伙伴们可私a拉你！
3.1.安装包准备
- manager下载地址：https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/23.10.3/doris-manager-23.10.3-x64-bin.tar.gz
- doris/selected安装包下载地址：
- doris: https://doris.apache.org/zh-CN/download/
- selectdb: https://cn.selectdb.com/download/core
本次新建集群以selectdb为例，接管集群以doris为例。
3.2.文档手册准备
1. 部署手册：
https://selectdb.feishu.cn/docx/AJNcdaDuboVfJTx1KVBc6Adwnpe?from=from_copylin
2. 使用指南：
https://selectdb.feishu.cn/docx/QSt5dexQTorAkNxLaRCcMNncnmc?from=from_copylin
3. FAQ 文档：
https://selectdb.feishu.cn/docx/AdaudiDKQovS7SxQwhucrUg7nPd?from=from_copylink
4. WebUI文档：
https://cn.selectdb.com/docs/enterprise/enterprise-core-guide/selectdb-webui-guide
5. 问题收集与反馈：
https://selectdb.feishu.cn/share/base/form/shrcnose8DHPBSoCX68hMU5nPOb
4.集群初始化
4.1.系统参数预设
- 交换分区（swap）未关闭，请打开终端窗口， 输入以下命令以禁用交换分区：
sudo swapoff -a
- 最大打开文件数小于65535，请打开终端窗口，输入以下命令：
sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
sudo sysctl -p
- 虚拟内存区域数量不符合要求，请打开终端窗口，输入以下命令：
sudo sysctl -w vm.max_map_count=2000000
- 机器时钟一致（各节点之间的时差默认需小于5秒）
4.2.Manager部署
1）创建一个用于Manager的目录
mkdir manager
cd manager
2）上传准备的Manager和SelectDB包
3） 解压Manager包
tar -zxvf doris-manager-23.10.3-x64-bin.tar.gz
Manager安装包目录说明
deps // Doris Manager 管控依赖组件
alertmanager // 告警工具
grafana // 监控看板工具
jdk // jdk依赖包
prometheus // 监控指标存储工具
dorisctrl // Doris Manager 管控组件
bin // 启停脚本
conf // 配置文件
lib // 服务二进制
webserver // Doris Manager Web 服务组件，这是网页入口服务，需要手工启动
bin // 启停脚本
conf // 配置文件
config-tool // Doris Manager 服务管理工具
inspection // 巡检脚本
lib // 服务二进制
static // 前端静态文件
4）配置web服务（可选）
不配置时，默认会将web服务的元数据存放在一个h2内置小数据库。
vim webserver/conf/manager.conf
manager.conf如下：
# Doris Manager Web服务组件监听的端口
MANAGER_PORT=8004
# 服务依赖的数据库类型: mysql或者h2。默认为h2。
DB_TYPE=mysql
# 如果数据库类型为h2，默认的数据存储路径为webserver目录下的data路径，
# 用户也可以指定自定义的绝对路径
DATA_PATH=
# 如果数据库类型为mysql，配置mysql数据库的访问地址
DB_HOST=127.0.0.0
# 配置mysql数据库的访问端口
DB_PORT=3306
# 配置mysql数据库的访问用户
DB_USER=root
# 配置mysql数据库的访问用户密码
DB_PASS=root
# 配置mysql数据库的访问Database名称，需要提前创建
DB_DBNAME=manager
5）启动web服务
sh ./webserver/bin/start.sh
由于本次是用Mysql作为Manager元数据库，当服务正常启动后、对应的db下也会自动初始化相关表。
同时会起相应的进程doris-manager.jar。
6.）访问web服务
直接通过浏览器输入URL——http://{Web服务机器IP}:{Web服务端口}，比如http://127.0.0.0:8004
7）初始化Manager管理员账号密码
8）配置服务组件部署信息
根据自己环境填写，如果暂时用不到监控告警模块可以选择[关闭]；填写后点击【启动Doris Manager】。当前没有开启监控告警服务，后续可以重新打开。
9）部署服务组件
点击【启动Doris Manager】后 ，提示正在启动 Doris Manager。
启动成功后，提示用户进入 Doris Manager，即Managerbu部署完成 ：
4.3.新集群部署
1）新建集群
填写自定义的集群名称、选择部署版本（会根据填写的包路径自动识别）以及数据库root用户密码后，点击【下一步】。
2）节点配置
根据集群节点信息填写后点击【部署集群】即可。
3）开始部署
部署成功后，提示用户进入集群：
进入集群，如下所示，即新集群部署完成：
4.4 监控告警
由于Manager部署流程中关闭了监控告警服务、故不会在左侧栏显示监控告警的入口，如下可重新开启监控告警。
4.4.1 监控
Manager 监控模块集成了丰富的监控指标，相较于自己搭建Prometheus和Grafana去做监控指标可视化，大开方便之门。
4.4.2 告警
Manager 告警模块支持邮箱、企业微信、飞书和钉钉群等方式发送告警通知，不会让你错过任何一条异常告警信息，非常贴心。
至此，集群初始化完成。通过Manager来体验下常用的集群升级、集群扩所容以及多集群管理场景吧。
5. 集群升级
5.1 新包准备
准备好新版本的包与之前的包放在同一级目录下。
5.2 一键升级
Manager中选择【集群升级】。
选择目标版本，这里用的是SelectDB 2.0.3 rc04作为升级的目标版本，之后直接点点即可。
5.3 结果验收
点击右上角可查看当前的版本，核验无误【立即验收】。
6. 集群扩所容
6.1 一键扩容
以BE为例，选择【BE扩容】。
可以单独扩容一个节点、也可以选择【批量添加节点】，之后直接点点即可。
扩容结果查看。
6.2 一键缩容
以刚刚扩容的BE为例，选择【BE缩容】。
确定需要下线缩容的BE节点【选择下线】，之后直接点点即可。
缩容结果查看。
7. 多集群管理
Manager支持同时管理多套集群。在已有一套集群的情况下，可以继续新建集群或者接管现有集群。本次以接管集群为例，接管现有的Doris 2.0.2集群。
7.1 新建/接管集群
7.2 环境配置
自定义集群名称，选择【接管现有集群】。
7.3 节点配置
填写FE的IP/HTTP端口/JDBC端口以及节点用户名/密码/SSH端口后，Manager会自动识别待接管集群的FE和BE节点信息。
之后直接点【接管集群】即可自动接管完成。
8. 总结
一个字总结：丝滑！
两个字总结：极致丝滑！！
【Apache Doris】Manager极致丝滑地运维管理 分享至此结束，体验过程中若遇到问题欢迎留言交流