大数据应用之 --- apache doris 集群安装部署

大数据应用之 — apache doris 集群

apache doris

集群规划

节点	服务
lsyk01	FE(LEADER)
lsyk02	FE(FOLLOWER)、BE、BROKER
lsyk03	FE(OBSERVER)、BE、BROKER
lsyk04	BE、BROKER

解压

tar -xzvf apache-doris-1.0.0-incubating-bin.tar.gz -C /opt/
mv apache-doris-1.0.0-incubating-bin doris

配置FE

#创建 fe 元数据存储的目录
mkdir -p /opt/doris/doris-meta

#配置FE
vi /opt/doris/fe/conf/fe.conf
#配置文件中指定元数据路径：
meta_dir=/opt/doris/doris-meta
# 修改绑定 ip（每台机器修改成自己的 ip）
priority_networks=192.168.126.31/24

# 配置环境变量
vi /etc/profile
#添加如下内容
export DORIS_HOME=/opt/doris
export PATH=$PATH:$DORIS_HOME/fe/bin:$DORIS_HOME/be/bin

#启动fe
start_fe.sh --daemon

#关闭fe
stop_fe.sh

或者 http://lsyk01:8030

或者登录

http://lsyk01:8030/api/bootstrap

配置BE

1. 配置及分发doris到be节点

#创建data目录
mkdir -p /opt/doris/data1
mkdir -p /opt/doris/data2
mkdir -p /opt/doris/data3

#配置be
vi /opt/doris/be/conf/be.conf
#配置文件中指定数据存放路径：
storage_root_path=/opt/doris/data1;/opt/doris/data2;/opt/doris/data3
#修改绑定 ip（每台机器修改成自己的 ip）
priority_networks=192.168.126.31/24
#更快的导入速度,默认为2
flush_thread_num_per_store=5
#修改 BE 的配置文件 be.conf 添加以下配置项，重启BE，以获得更好的查询性能
enable_storage_vectorization=true
enable_low_cardinality_optimize=true


scp -r /opt/doris lsyk02:/opt/
scp -r /opt/doris lsyk03:/opt/
scp -r /opt/doris lsyk04:/opt/

scp /etc/profile lsyk02:/etc/
scp /etc/profile lsyk03:/etc/
scp /etc/profile lsyk04:/etc/
scp /etc/profile lsyk05:/etc/

2. 配置be节点的绑定ip

vi /opt/doris/be/conf/be.conf
#修改绑定 ip（每台机器修改成自己的 ip）
priority_networks=192.168.126.32/24

配置集群

1. 启动fe并添加be

#启动fe
start_fe.sh --daemon

#mysql连接fe
mysql -hlsyk01 -P9030 -uroot

#无密码，确认即可
#在客户端设置root密码
SET PASSWORD FOR 'root' = PASSWORD('fa');

#退出再次登录即可
mysql -hlsyk01 -P9030 -uroot -pfa

#添加 BE
mysql> ALTER SYSTEM ADD BACKEND "lsyk02:9050";
mysql> ALTER SYSTEM ADD BACKEND "lsyk03:9050";
mysql> ALTER SYSTEM ADD BACKEND "lsyk04:9050";

2. 启动 BE

#每个be节点都执行进行启动
/opt/doris/be/bin/start_be.sh --daemon

#查看be状态
mysql -hlsyk01 -P9030 -uroot -pfa
mysql> SHOW PROC '/backends' \G;

​ 或者： http://lsyk02:8040/api/health