doris 1.x 安装与配置

首先别费劲了, 如下ip和host都是替换过的.

诚然, 官方给了安装配置手册, 但有些地方也很模糊, 那这篇文章就诞生了! 你就说nb不!

1、下载

wget https://dist.apache.org/repos/dist/release/incubator/doris/1.0/1.0.0-incubating/apache-doris-1.0.0-incubating-bin.tar.gz

规划:

fe leader:  sz-master.albaidu.com
fe follower:sz-bigdata01.albaidu.com
fe follower:sz-bigdata02.albaidu.com
fe observer:sz-bigdata03.albaidu.com

be: sz-bigdata01.albaidu.com
be: sz-bigdata02.albaidu.com
be: sz-bigdata03.albaidu.com

broker: sz-bigdata01.albaidu.com
broker: sz-bigdata02.albaidu.com
broker: sz-bigdata03.albaidu.com

2、fe.conf 配置

meta_dir = /home/disk2/doris/fe/doris-meta
priority_networks = 100.13.200.0/24
注意: 配置priority_networks可以通过命令 ip a进行查看当前ip段

创建目录:
mkdir /home/disk1/doris/fe/doris-meta -p

3、be.conf

storage_root_path = /home/disk1/doris/be/doris.HDD,200;/home/disk2/doris/be/doris.HDD
priority_networks = 100.13.200.0/24

创建目录:
mkdir /home/disk1/doris/be/doris -p
mkdir /home/disk2/doris/be/doris -p

4、配置环境变量

vim /etc/profile.d/doris.sh

export DORIS_HOME=Doris根目录 # 例如/opt/doris
export PATH=$PATH:$DORIS_HOME/fe/bin:$DORIS_HOME/be/bin

# 保存并source
source /etc/profile.d/doris.sh

5、同步到其他节点

scp -r apache-doris-1.0.0-incubating-bin [email protected]:/root/tools
scp -r apache-doris-1.0.0-incubating-bin [email protected]:/root/tools
scp -r apache-doris-1.0.0-incubating-bin [email protected]:/root/tools
同时也配置环境变量,如上面/etc/profile.d/doris.sh

6、启动 FE 和 BE 并注册 BE 至 FE

start_fe.sh --daemon
验证: jps, 如果有PaloFe进程,则启动成功!

start_be.sh --daemon
验证: ps -ef | grep palo_be, 如果有palo_be路径进程,则启动成功!

7、注册be

1) mysql client客户端登录fe:
mysql -uroot -p -hsz-master.albaidu.com -P9030 密码默认为空
host为FE所在节点ip；port为fe.conf中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030

2) 修改密码：
SET PASSWORD FOR 'root' = PASSWORD('root@**2*');

3) fe添加be节点:
host为BE所在节点ip,port为be.conf中的heartbeat_service_port,

ALTER SYSTEM ADD BACKEND "sz-master.albaidu.com:9050";
ALTER SYSTEM ADD BACKEND "sz-bigdata01.albaidu.com:9050";
ALTER SYSTEM ADD BACKEND "sz-bigdata02.albaidu.com:9050";
ALTER SYSTEM ADD BACKEND "sz-bigdata03.albaidu.com:9050";

查看be： show proc '/backends' \G   或 show backends;
确保be状态(isAlive 列应为 true)

drop be语法：
ALTER SYSTEM DECOMMISSION BACKEND "sz-bigdata03.albaidu.com:9050";

8、broker服务安装配置

1) *-site.xml
删除原来的 hdfs-site.xml 将自己hadoop的core-site.xml和hdfs-site.xml 放到 /opt/doris/apache_hdfs_broker/conf 目录下

2)配置apache_hdfs_broker.conf
# the thrift rpc port
broker_ipc_port = 8100

3)启动
bin/start_broker.sh --daemon
验证: jps, 如果有BrokerBootstrap进程,则启动成功!

4) 添加Broker
mysql -uroot -p -hsz-master.albaidu.com -P9030

host 为 Broker 所在节点 ip；port 为 Broker 配置文件中的 broker_ipc_port
# ALTER SYSTEM ADD BROKER broker_name "host1:port1","host2:port2",...;

ALTER SYSTEM ADD BROKER broker_proxy "sz-bigdata01.albaidu.com:8100","sz-bigdata02.albaidu.com:8100","sz-bigdata03.albaidu.com:8100";

mysql> show proc '/brokers';
+--------------+--------------+----------------------------------------------+------+-------+---------------------+---------------------+--------+
| Name         | IP           | HostName                                     | Port | Alive | LastStartTime       | LastUpdateTime      | ErrMsg |
+--------------+--------------+----------------------------------------------+------+-------+---------------------+---------------------+--------+
| broker_proxy | 100.13.200.70 | sz-bigdata03.albaidu.com | 8100 | true  | 2022-06-04 15:46:54 | 2022-06-04 15:48:24 |        |
| broker_proxy | 100.13.200.68 | sz-bigdata01.albaidu.com | 8100 | true  | 2022-06-04 15:46:54 | 2022-06-04 15:48:24 |        |
| broker_proxy | 100.13.200.69 | sz-bigdata02.albaidu.com | 8100 | true  | 2022-06-04 15:46:54 | 2022-06-04 15:48:24 |        |
+--------------+--------------+----------------------------------------------+------+-------+---------------------+---------------------+--------+

确保Broker状态(isAlive 列应为 true)

9、FE高可用

        FE 分为 Leader，Follower 和 Observer 三种角色。 默认一个集群，只能有一个 Leader，可以有多个 Follower 和 Observer。其中 Leader 和 Follower 组成一个 Paxos 选择组，如果 Leader 宕机，则剩下的 Follower 会自动选出新的 Leader，保证写入高可用。Observer 同步 Leader 的数据，但是不参加选举。如果只部署一个 FE，则 FE 默认就是 Leader。第一个启动的 FE 自动成为 Leader，上面输出可以看到IsMaster: true。在此基础上，可以添加若干 Follower 和 Observer。

1).启动
(注:启动后 show proc '/frontends' ;的错误信息ErrMsg:java.net.ConnectException: Connection refused (Connection refused)就消失了)
host 为 Leader 所在节点 ip, port 为 Leader 的配置文件 fe.conf 中的 edit_log_port。–helper 参数仅在 follower 和 observer 第一次启动时才需要
leader fe:
    sh bin/start_fe.sh --daemon
Follower: (–helper参数第一次启动时才需要)
    # sh bin/start_fe.sh --helper leader_host:port --daemon
    sh bin/start_fe.sh --helper sz-master.albaidu.com:9010 --daemon 
Observer: (–helper参数第一次启动时才需要)
    # sh bin/start_fe.sh --helper leader_host:port --daemon
    sh bin/start_fe.sh --helper sz-master.albaidu.com:9010 --daemon 

后续再启动就不用--helper参数了

2).添加Follower/Observer
(注:先配置或者先启动fe服务都是一样的,会先报错,都启动和配置好了异常就消失了)
命令:
Follower:
    ALTER SYSTEM ADD FOLLOWER "host1:port1";
Observer:
    ALTER SYSTEM ADD OBSERVER "host1:port2";
host 为fe中role为Follower或Observer所在节点ip，port为其配置文件fe.conf中的 edit_log_port,如果端口没改，默认是9010

mysql -uroot  -p -hsz-master.albaidu.com -P 9030 
配置:
Follower:

ALTER SYSTEM ADD FOLLOWER "sz-bigdata01.albaidu.com:9010";
ALTER SYSTEM ADD FOLLOWER "sz-bigdata02.albaidu.com:9010";

Observer:

ALTER SYSTEM ADD OBSERVER "sz-bigdata03.albaidu.com:9010";

3) 查看服务
show proc '/frontends'; 或 show frontends;

mysql> show proc '/frontends' ;
+----------------------------------+---------------+----------------------------------------------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+--------------------+------------------+
| Name                             | IP            | HostName                                     | EditLogPort | HttpPort | QueryPort | RpcPort | Role     | IsMaster | ClusterId  | Join | Alive | ReplayedJournalId | LastHeartbeat       | IsHelper | ErrMsg | Version            | CurrentConnected |
+----------------------------------+---------------+----------------------------------------------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+--------------------+------------------+
| 100.13.200.68_9010_1654331097550  | 100.13.200.68  | sz-bigdata01.albaidu.com | 9010        | 8030     | 9030      | 9020    | FOLLOWER | false    | 1196100538 | true | true  | 2843              | 2022-06-04 16:40:37 | true     |        | 1.0.0-rc03-Unknown | No               |
| 100.13.200.70_9010_1654331559967  | 100.13.200.70  | sz-bigdata03.albaidu.com | 9010        | 8030     | 9030      | 9020    | OBSERVER | false    | 1196100538 | true | true  | 2843              | 2022-06-04 16:40:37 | false    |        | 1.0.0-rc03-Unknown | No               |
| 100.13.200.69_9010_1654331741153  | 100.13.200.69  | sz-bigdata02.albaidu.com | 9010        | 8030     | 9030      | 9020    | FOLLOWER | false    | 1196100538 | true | true  | 2843              | 2022-06-04 16:40:37 | true     |        | 1.0.0-rc03-Unknown | No               |
| 100.13.200.180_9010_1654322593403 | 100.13.200.180 | sz-master.albaidu.com    | 9010        | 8030     | 9030      | 9020    | FOLLOWER | true     | 1196100538 | true | true  | 2844              | 2022-06-04 16:40:37 | true     |        | 1.0.0-rc03-Unknown | Yes              |
+----------------------------------+---------------+----------------------------------------------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+--------------------+------------------+

4) drop fe语法:
mysql> alter system DROP FOLLOWER "sz-bigdata03.albaidu.com:9010";

10、Apache Doris Web UI访问

默认使用 Http 协议进行 WebUI 访问，在浏览器输入以下格式地址访问
http://FE_IP:FE_HTTP_PORT(默认8030)

11、查询执行的统计

通过Mysql命令，将FE上的Report的开关打开
mysql> set is_report_success=true;
访问这台机器的fe的web地址(注意,访问其它fe实例不行), 则在[QueryProfile]可查看执行的sql, 根据查询id可查看查询概要.

12、broker导入数据

help load;
show load;

LOAD LABEL db_data.monitor_core_api_786_di
(
    DATA INFILE("hdfs://bd-bigdata02.albaidu.com:8090/data/doris/broker/*")
    INTO TABLE monitor_core_api_786_di
    PARTITION (p20220605)
    COLUMNS TERMINATED BY ","
    (event_day, app_key, host_name, os_name, network,js_version,page_path,api_name,error_pv)
)
WITH BROKER broker_proxy 
(
    "username"="work",
    "password"=""
)
PROPERTIES
(
    "timeout"="3600",
    "max_filter_ratio"="0.1"
);

13、审计日志

https://www.wenjiangs.com/doc/748adn5y
官方文档
该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中，以方便用户通过 SQL 对审计日志进行查看和分析。
1)下载源码
master分支: https://github.com/apache/incubator-doris
2) AuditLoader 配置
auditloader plugin的配置位于${DORIS}/fe_plugins/auditloader/src/main/assembly/.
打开 plugin.conf 进行配置。配置项说明参见注释。如下:

 frontend_host_port=127.0.0.1:8030
 database=doris_audit_db__
 table=doris_audit_tbl__
 user=root
 password=

3)编译
    在 Doris 代码目录下执行 sh build_plugin.sh 后，会在 fe_plugins/output 目录下得到 auditloader.zip 文件。
4)部署
拷贝auditloader.zip到所有 FE 机器任意固定目录下(所有fe机器的这个路径要相同),
mysql client登录fe执行:

-- 创建库表
create database doris_audit_db__;
create table doris_audit_tbl__(...) // 具体见官网;

-- 插件安装
mysql> show plugins;
mysql> help install plugin;
mysql> install plugin from "/root/tools/apache-doris-1.0.0-incubating-bin/fe/plugins/auditloader.zip"; // 机器本地任意位置,或者是http地址
mysql> show plugins;

5) 验证
执行一个sql命令, 然后查询上面的表:
select * from doris_audit_db__.doris_audit_tbl__;

14、监控

  - job_name: "doris_job"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["sz-master.albaidu.com:8030","sz-bigdata01.albaidu.com:8030","sz-bigdata02.albaidu.com:8030","sz-bigdata03.albaidu.com:8030"]
        labels:
          group: fe

      - targets: ["sz-master.albaidu.com:8040","sz-bigdata01.albaidu.com:8040","sz-bigdata02.albaidu.com:8040","sz-bigdata03.albaidu.com:8040"]
        labels:
          group: be

参考文档:
1) 官网
2) https://www.wenjiangs.com/doc/4zprve4d