Doris实践（一）——Doris编译安装及环境准备

一、编译：

1.Docker 准备

参照菜鸟教程安装在本地安装docker，我用的是macOS系统，直接下载Edge版本的docker。

2.下载 Docker 镜像

docker pull apachedoris/doris-dev:build-env

我是直接下载的官方提供的doris的编译环境

需要按照Doris版本运行对应命令下载对应docker镜像

镜像版本	commit id	doris 版本
apachedoris/doris-dev:build-env	before ff0dd0d	0.8.x, 0.9.x
apachedoris/doris-dev:build-env-1.1	ff0dd0d	0.10.x, 0.11.x
apachedoris/doris-dev:build-env-1.2	4ef5a8c	0.12.x - 0.14.0
apache/incubator-doris:build-env-1.3	ad67dd3 or later	后续的发布版本

运行如下命令检查下载的docker镜像

docker images

3.Doris源码下载

下载源码>>点击“下载”>>选择需要的版本现在我们下载0.11.0版本的源码，并在本地解压

4.挂载编译

#/your/local/incubator-doris-DORIS-x.x.x-release/  本地incubator-doris-DORIS-x.x.x-release路径
#/root/incubator-doris-DORIS-x.x.x-release/ docker镜像挂载路径，这样进入后就可以直接进入到源码包中运行sh build.sh编译即可
docker run -it -v /your/local/incubator-doris-DORIS-x.x.x-release/:/root/incubator-doris-DORIS-x.x.x-release/ apachedoris/doris-dev:build-env-1.1
#编译生成doris，编译后be和fe安装包在生成的output/目录下，如果要安装broker需要单独编译。
sh build.sh
#编译broker,编译后broker安装包在生成的output/目录下
cd $DORIS_HOME/fs_broker/apache_hdfs_broker
sh build.sh

5.编译后压缩

编译后压缩zip包，并复制到本地

#docker压缩
cd /root/incubator-doris-DORIS-x.x.x-release
zip -r output.zip ./output
cd /root/incubator-doris-DORIS-x.x.x-release/fs_broker
zip -r output.zip ./output
#退出docker
exit
#从docker复制到本地【04a83d4b3014】镜像名称:/docker文件路径，复制到本地路径/Users/iyunxiao/Desktop
docker cp 04a83d4b3014:/root/doris.zip /Users/iyunxiao/Desktop

二、安装

1、部署

直接在Doris-Install-Wiki中按照3.部署部署Doris

请使用Doris-Install-Wiki安装
在/home/hadoop/创建doris目录，解压到/home/hadoop/doris目录

tar -zxvf ./datas/apache-doris-0.11.0-incubating-src.tar.gz -C ../doris

2、配置FE：

1、配置文件为 conf/fe.conf。
其中注意：meta_dir：元数据存放位置。默认在 fe/doris-meta/下。需手动创建该目录。

mkdir doris-meta

2、fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 2GB，建议生产环境调整至 8G 以上。
3、在fe/conf/fe.conf中修改端口，建议将8080以下的端口（8080以下基本为系统端口对外不可见）都改为8080以上的端口或者直接在原有端口的基础上在端口前加1，如8030改为18030
4、设置网络安全组将fe/conf/fe.conf中的priority_networks=10.1.3.0/24，改为priority_networks=hostname/24
5、修改fe.conf文件中元数据目录

3、启动FE

sh bin/start_fe.sh --daemon

FE进程启动进入后台执行。日志默认存放在 fe/log/目录下。如启动失败，可以通过查看 fe/log/fe.log或者fe/log/fe.out查看错误信息。

4、配置BE

1、配置be/conf/be.conf
在be/conf/be.conf中修改端口，建议将8080以下的端口（8080以下基本为系统端口对外不可见）都改为8080以上的端口或者直接在原有端口的基础上在端口前加1，如8030改为18030
2、设置网络安全组将be/conf/be.conf 中的priority_networks=10.1.3.0/24，改为priority_networks=hostname/24
3、修改 be/conf/be.conf。主要是配置storage_root_path：数据存放目录。默认在be/storage下，需要手动创建该目录。多个路径之间使用 ; 分隔（最后一个目录后不要加 ;）。

4、将mysql中的执行脚本mysql软连接到$DORIS_HOME/目录下执行

#映射mysql
30:ln -s /home/hadoop/mysql/current/bin/mysql /home/hadoop/doris/
31-35:ln -s /home/hadoop/mysql/mysql/bin/mysql /home/hadoop/doris/
#进入mysql添加角色，host为leaderhost，port为 fe/conf/fe.conf 中的 query_port；
./mysql -h host -P port -uroot
./mysql -h 172.16.0.35 -P 9030 -uroot

#添加BACKEND，ALTER SYSTEM ADD BACKEND "host:port";其中 host 为 BE 所在节点 ip；port 为 be/conf/be.conf 中的 heartbeat_service_port。
ALTER SYSTEM ADD BACKEND "172.16.0.30:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.31:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.32:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.33:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.34:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.35:9050";
#添加OBSERVER，ALTER SYSTEM ADD FOLLOWER "host:port";或ALTER SYSTEM ADD OBSERVER "host:port";其中 host 为 Follower 或 Observer 所在节点 ip，port 为其配置文件 fe.conf 中的 edit_log_port。
ALTER SYSTEM ADD OBSERVER "172.16.0.34:9010";
ALTER SYSTEM ADD FOLLOWER "172.16.0.33:9010";
#在Follower节点和Observer节点启动，host为leaderhost，port 为其配置文件 fe.conf 中的 edit_log_port。
./bin/start_fe.sh --helper host:port --daemon
#可以查看当前已加入集群的 FE 及其对应角色。
SHOW PROC ‘/frontends’; 

5、启动be

#启动backend节点
sh bin/start_be.sh --daemon

#查看BE
SHOW PROC ‘/backend’; 

6、编译broker

笔者用到的版本可能不太稳定，需要单独编译broker

1、编译broker，在doris源码包中找到fs_broker目录，$Doris_release_dir/fs_broker/apache_hdfs_broker下执行

./build.sh

2、编译完成后将$Doris_release_dir/fs_broker/apache_hdfs_broker中的output目录下安装包拷贝到本地并上传到各节点，按照如上理论配置即可
3、需要配置apache_hdfs_broker.conf文件中的broker_ipc_port配置

7、在mysql中添加角色

#doris/be/be/bin执行
./mysql -h 172.16.0.35 -P 9030 -uroot

#添加broker信息
ALTER SYSTEM ADD BROKER broker_33_34_35 "172.16.0.33:18000","172.16.0.34:18000","172.16.0.35:18000";
ALTER SYSTEM ADD BROKER broker_33 "172.16.0.33:18000";
ALTER SYSTEM ADD BROKER broker_34 "172.16.0.34:18000";
ALTER SYSTEM ADD BROKER broker_35 "172.16.0.35:18000";
#其中 host 为 Broker 所在节点 ip；port 为 Broker 配置文件中的 broker_ipc_port。

8、启动broker

#各broker节点启动
sh bin/start_broker.sh --daemon

节点查看 http://172.16.0.35:18030/
组成fe_leaderhostname:fe_http_port用户root或admin，没有密码

三、写在最后

笔者也是第一次进行调研安装，仅再次分享个人安装经验。仅为大家提供经验。主要教程建议以官网为主。