doris编译安装部署

编译

# 下载
wget http://archive.apache.org/dist/incubator/doris/0.12.0-incubating/apache-doris-0.12.0-incubating-src.tar.gz

# 解压缩
tar -zxvf apache-doris-0.12.0-incubating-src.tar.gz
mv apache-doris-0.12.0-incubating-src doris12

# 修改yum源
vi /etc/yum.repos.d/o17.repo

[ol7_software_collections]
name=Software Collection packages for Oracle Linux 7 ($basearch)
baseurl=http://yum.oracle.com/repo/OracleLinux/OL7/SoftwareCollections/$basearch/
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-oracle
gpgcheck=0
enabled=1

# 软件准备
sudo yum groupinstall 'Development Tools' && sudo yum install maven cmake byacc flex automake libtool bison binutils-devel zip unzip ncurses-devel curl git wget python2 glibc-static libstdc++-static java-1.8.0-openjdk
sudo yum install centos-release-scl
sudo yum install devtoolset-10
scl enable devtoolset-10 bash

# 开始编译
cd doris12
./build.sh

找不到boost_1_64_0.tar.gz报错

vi $DORIS_HOME/thirdparty/vars.sh 
找到boost，修改配置如下：
# boost
BOOST_DOWNLOAD="https://boostorg.jfrog.io/ui/native/main/release/1.64.0/source/boost_1_64_0.tar.gz"
BOOST_NAME=boost_1_64_0.tar.gz
BOOST_SOURCE=boost_1_64_0
BOOST_MD5SUM="319c6ffbbeccc366f14bb68767a6db79"

找不到Datatables.zip报错

vi $DORIS_HOME/thirdparty/vars.sh 
找到datatables, bootstrap 3 and jQuery 3，修改配置如下：
# datatables, bootstrap 3 and jQuery 3
DATATABLES_DOWNLOAD="https://datatables.net/download/builder?bs-3.3.7/jq-3.6.0/dt-1.11.2"
DATATABLES_NAME="DataTables.zip"
DATATABLES_SOURCE="DataTables-1.10.23"
DATATABLES_MD5SUM="a14c1b316ebca9fafa282b7435d1c62b"

编译完成后，产出文件在 output/ 目录中

基本概念

• Frontend

1. FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个 GB 不等。
2. FE 角色分为 Follower 和 Observer（Leader 为 Follower 组中选举出来的一种角色）。
3. FE 节点数据至少为1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时，可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。
4. Follower 的数量必须为奇数，Observer 数量随意。
5. 根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。

• Backend

1. BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量 * 3（3副本）计算，然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。
2. 一台机器上可以部署多个 BE 实例，但是只能部署一个 FE。如果需要 3 副本数据，那么至少需要 3 台机器各部署一个 BE 实例（而不是1台机器部署3个BE实例）。多个FE所在服务器的时钟必须保持一致（允许最多5秒的时钟偏差）

部署

• 集群规划

  doris1	doris2	doris3
  FE(Leader)	FE(Follower)	FE(OBserver)
  BE	BE	BE
  broker	broker	broker

• 所需组件

  • JDK8
  • MySQL5.7

手动部署

# 首先把output拷贝到固定位置
mv /opt/module/incubator-doris/output/ /opt/module/doris12/
cd /opt/module/doris12/

# FE
# 1.配置元数据存储路径
cd fe
vi conf/fe.conf
meta_dir = /opt/module/doris12/doris-meta
# 2.创建元数据存储路径
mkdir /opt/module/doris12/doris-meta
# 3.启动FE
sh bin/start_fe.sh --daemon
# 4.查看进程
jps
3764 Jps
2940 PaloFe

# BE
# 1.配置数据存储路径
cd ../be
vi conf/be.conf
storage_root_path=/opt/module/doris12/doris_storage1;/opt/module/doris12/doris_storage2
# 2.创建数据存储路径
mkdir /opt/module/doris12/doris_storage1
mkdir /opt/module/doris12/doris_storage1

# BE注册
# 1.使用客户端访问doris fe节点
mysql -htest1 -P 9030 -uroot
# 2.注册be节点
ALTER SYSTEM ADD BACKEND "test1:9050";
ALTER SYSTEM ADD BACKEND "test2:9050";
ALTER SYSTEM ADD BACKEND "test3:9050";

# BE启动
# 1.传输到其他节点
scp -r /opt/moudle/doris12 root@test2:/opt/moudle
scp -r /opt/moudle/doris12 root@test3:/opt/moudle
cd /opt/moudle/doris12/be
# 2.启动
sh bin/start_be.sh --daemon

# 查看be状态 在注册be节点的mysql连接上执行
SHOW PROC '/backends'   
Alive列为true即可
+-----------+-----------------+-----------------+----------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------+---------------------+
| BackendId | Cluster         | IP              | HostName | HeartbeatPort | BePort | HttpPort | BrpcPort | LastStartTime       | LastHeartbeat       | Alive | SystemDecommissioned | ClusterDecommissioned | TabletNum | DataUsedCapacity | AvailCapacity | TotalCapacity | UsedPct | MaxDiskUsedPct | ErrMsg | Version             |
+-----------+-----------------+-----------------+----------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------+---------------------+
| 10008     | default_cluster | 192.168.110.100 | test1    | 9050          | 9060   | 9080     | 8060     | 2021-09-27 14:14:52 | 2021-09-27 14:17:32 | true  | false                | false                 | 0         | .000             | 9.584 GB      | 35.592 GB     | 73.07 % | 73.07 %        |        | 0.12.0-rc03-Unknown |
| 11001     | default_cluster | 192.168.110.101 | test2    | 9050          | 9060   | 9080     | 8060     | 2021-09-27 14:16:07 | 2021-09-27 14:17:32 | true  | false                | false                 | 0         | .000             | 9.584 GB      | 35.592 GB     | 73.07 % | 73.07 %        |        | 0.12.0-rc03-Unknown |
| 11002     | default_cluster | 192.168.110.102 | test3    | 9050          | 9060   | 9080     | 8060     | 2021-09-27 14:16:07 | 2021-09-27 14:17:32 | true  | false                | false                 | 0         | .000             | 9.584 GB      | 35.592 GB     | 73.07 % | 73.07 %        |        | 0.12.0-rc03-Unknown |
+-----------+-----------------+-----------------+----------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------+---------------------+

访问ip:8030 用户名为root 密码为空