Apache Doris

1.Doris 简介
1.1 Doris 概述
Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后，
更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一
业务最大可达到上百 TB。
Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）
分析型（OLAP）数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。
Apache Doris 的分布式架构非常简洁，易于运维，并且可以支持 10PB 以上的超大数据集。
Apache Doris 可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。

1.2OLAP和OLTP

• 联机事务处理OLTP(On-Line Transaction Processing)
￮ 公司业务系统使用数据库的场景，针对业务系统数据库有大量随机的增删改查
￮ 高并发
￮ 速度要快
￮ 支持事务

• 联机分析处理OLAP(On-Line Analytical Processing)
￮ 公司的数据分析使用数据库的场景，对已经生成好的数据进行统计分析
￮ 一次操作都是针对的整个数据集
￮ 只有查这个动作，不会去增删改
￮ 查询的响应速度相对慢点也能接受
￮ 并发量要求不是太高

OLAP和OLTP比较
OLTP OLAP
数据源 仅包含当前运行日常业务数据 整合来自多个来源的数据，包括OLTP和外部来源
目的 面向应用,面向业务,支撑事务 面向主题，面向分析，支持分析决策
焦点 当下 主要面向过去，面向历史(实时数仓除外)
任务 增删改查 主要是用于读，select查询，写操作很少
响应时间 毫秒 秒，分钟，小时，天，这些取决于数据量和查询的复杂程度
数据量 小数据,MB,GB 大数据，TP,PB
常见的开源OLAP引擎
开源OLAP引擎 优点 缺点 技术融合成本 易用性 使用场景 运维成本 引擎类型
ClickHouse
列式存储
单极性彪悍
保留明细数据 分布式集群在线扩展支持不佳
运维成本极高 高
非标协议接口
全面
高 纯列存OLAP

Druid
实时数据摄入
列式存储和位图索引
多租户和高并发
OLAP性能分场景表现差异大
使用门槛高
仅支持聚合查询 高
非标协议接口
局限 高 MOLAP

TiDB
HTAP混合数据库
同时支持明细和聚合查询
高度兼容mysql 非列式存储
OLAP能力不足
低
SQL标准
全面
低
纯列存OLAP

Kylin
与计算引擎，可以对数据一次聚合多次查询
支持数据规模超大
易用性强，支持标准sql
性能强，查询数据快
需要依赖hadoop生态
仅支持聚合查·询
不支持adhoc查询
不支持join和对数据的更新
高
SQL标准
局限
高
MOLAP

Doris
GooleMesa+Apache Impa+ORCFile/Parquet
主键更新
支持Rollup Table
高并发和高通图的Ad-hoc查询
支持聚合+明细数据查询
无外部系统依赖 成熟度不够
低
兼容mysql访问协议
全面
低
HOLAP

1.3使用场景
• 报表分析
￮ 实时看板 （Dashboards）
￮ 面向企业内部分析师和管理者的报表
￮ 面向用户或者客户的高并发报表分析（Customer Facing Analytics）。比如面向网站主的站点分析、面向广告主的广告报表，并发通常要求成千上万的 QPS ，查询延时要求毫秒级响应。著名的电商公司京东在广告报表中使用 Apache Doris ，每天写入 100 亿行数据，查询并发 QPS 上万，99 分位的查询延时 150ms。
• 即席查询（Ad-hoc Query）：面向分析师的自助分析，查询模式不固定，要求较高的吞吐。小米公司基于 Doris 构建了增长分析平台（Growing Analytics，GA），利用用户行为数据对业务进行增长分析，平均查询延时 10s，95 分位的查询延时 30s 以内，每天的 SQL 查询量为数万条。
• 统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。海底捞基于 Doris 构建的统一数仓，替换了原来由 Spark、Hive、Hbase、Phoenix 组成的旧架构，架构大大简化。
• 数据湖联邦查询：通过外表的方式联邦分析位于 Hive、Hudi 中的数据，在避免数据拷贝的前提下，查询性能大幅提升
1.4优势

1.5架构
Doris 的架构很简洁，只设 FE(Frontend)前端进程、BE(Backend)后端进程两种角色、两个后台的服务进程，不依赖于外部组件，方便部署和运维，FE、BE 都可在线性扩展。

1. FE（Frontend）：存储、维护集群元数据；负责接收、解析查询请求，规划查询计划,调度查询执行，返回查询结果。主要有三个角色：
   ￮ Leader 和 Follower：主要是用来达到元数据的高可用，保证单节点宕机的情况下,元数据能够实时地在线恢复，而不影响整个服务。
   ￮ Observer：用来扩展查询节点，同时起到元数据备份的作用。如果在发现集群压力非常大的情况下，需要去扩展整个查询的能力，那么可以加 observer 的节点。observer 不参与任何的写入，只参与读取。
2. BE（Backend）：负责物理数据的存储和计算；依据 FE 生成的物理计划，分布式地执行查询。数据的可靠性由 BE 保证，BE 会对整个数据存储多副本或者是三副本。副本数可根据需求动态调整。
3. MySQL Client:Doris 借助 MySQL 协议，用户使用任意 MySQL 的 ODBC/JDBC 以及 MySQL 的客户端，都可以直接访问 Doris。
4. Broker:一个独立的无状态进程。封装了文件系统接口，提供 Doris 读取远端存储系统中文件的能力，包括 HDFS，S3，BOS 等。

1.6默认端口
实例名称 端口名称 默认端口 通讯方向 说明
BE be_port 9060 FE–>BE BE 上 thrift server 的端口,用于接收来自 FE 的请求
BE webserver_port 8040 BE<–>FE BE 上的 http server 端口
BE heartbeat_service_port 9050 FE–>BE BE 上心跳服务端口,用于接收来自 FE 的心跳
BE brpc_prot* 8060 FE<–>BE,BE<–>BE BE 上的 brpc 端口,用于 BE 之间通信
FE http_port 8030 FE<–>FE ,用户<–> FE FE 上的 http_server 端口
FE rpc_port 9020 BE–>FE ,FE<–>FE FE 上 thirft server 端口
FE query_port 9030 用户<–> FE FE 上的 mysql server 端口
FE edit_log_port 9010 FE<–>FE FE 上 bdbje 之间通信用的端口
Broker broker_ipc_port 8000 FE–>BROKER,BE–>BROKER Broker 上的 thrift server,用于接收请求
2.安装
2.1安装前准备
• Linux 操作系统版本需求

点击图片可查看完整电子表格
• 软件需求

点击图片可查看完整电子表格
• 测试环境硬件配置需求

点击图片可查看完整电子表格
• 生产环境硬件配置需求

点击图片可查看完整电子表格
• 操作系统环境要求
设置系统最大文件打开句柄数 ==>启动一个程序的时候，打开文件的数量就是句柄数
Plain Text
1.打开文件
security /sɪˈkjʊərəti/
vi /etc/security/limits.conf
2.在文件最后添加下面几行信息(注意* 也要赋值进去)

• soft nofile 65535
• hard nofile 65535
• soft nproc 65535
• hard nproc 65535

ulimit -n 65535 临时生效

修改完文件后需要重新启动虚拟机
重启永久生效，也可以用 。

如果不修改这个句柄数大于等于60000，回头启动doris的be节点的时候就会报如下的错
File descriptor number is less than 60000. Please use (ulimit -n) to set a value equal or greater than 60000
W1120 18:14:20.934705 3437 storage_engine.cpp:188] check fd number failed, error: Internal error: file descriptors limit is too small
W1120 18:14:20.934713 3437 storage_engine.cpp:102] open engine failed, error: Internal error: file descriptors limit is too small
F1120 18:14:20.935087 3437 doris_main.cpp:404] fail to open StorageEngine, res=file descriptors limit is too small
时钟同步
Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。
Shell
如何时间同步？？
首先安装 ntpdate

ntpdate是一个向互联网上的时间服务器进行时间同步的软件

[root@doitedu01 doris]# yum install ntpdate -y

然后开始三台机器自己同步时间

[root@node01 ~]# ntpdate ntp.sjtu.edu.cn

美国标准技术院时间服务器：time.nist.gov（192.43.244.18）
上海交通大学网络中心NTP服务器地址：ntp.sjtu.edu.cn（202.120.2.101）
中国国家授时中心服务器地址：cn.pool.ntp.org（210.72.145.44）

将当前时间写入bios，这样才能永久生效不变，不然reboot后还会恢复到原来的时间

clock -w
关闭交换分区（swap）
交换分区是linux用来当做虚拟内存用的磁盘分区；
linux可以把一块磁盘分区当做内存来使用（虚拟内存、交换分区）；
Linux使用交换分区会给Doris带来很严重的性能问题，建议在安装之前禁用交换分区；
Shell
1、查看 Linux 当前 Swap 分区
free -m
2、关闭 Swap 分区
swapoff -a

[root@doitedu01 app]# free -m
total used free shared buff/cache available
Mem: 5840 997 4176 9 666 4604
Swap: 6015 0 6015
[root@doitedu01 app]# swapoff -a

3.验证是否关闭成功
[root@doitedu01 app]# free -m
total used free shared buff/cache available
Mem: 5840 933 4235 9 671 4667
Swap: 0 0 0

注意事项：

1. FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个GB 不等。
2. BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量* 3（3 副本）计算，然后再预留额外 40%的空间用作后台 compaction 以及一些中间数据的存放。
3. 一台机器上可以部署多个 BE 实例，但是只能部署一个 FE。如果需要 3 副本数 据，那么至少需要 3 台机器各部署一个 BE 实例（而不是 1 台机器部署 3 个 BE 实例）。多 个 FE 所在服务器的时钟必须保持一致（允许最多 5 秒的时钟偏差）
4. 测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定了整体查询延迟。
5. 所有部署节点关闭 Swap。
6. FE 节点数据至少为 1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时,可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。
7. Follower 的数量必须为奇数，Observer 数量随意。
8. 根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。
9. Broker 是用于访问外部数据源（如 HDFS）的进程。通常，在每台机器上部署一个 broker 实例即可。
   2.2安装FE
10. 去官网下载源码包，官网地址：https://doris.apache.org

根据自己的配置选择性点击下载

当然你也可以选择历史版本下载

2. 上传到linux
3. 解压
4. 修改配置文件
   Shell
   – 去自己的路劲中找到fe.conf文件
   vi /opt/app/doris/fe/conf/fe.conf
   #配置文件中指定元数据路径： 注意这个文件夹要自己创建
   meta_dir = /opt/data/dorisdata/doris-meta
   #修改绑定 ip（每台机器修改成自己的 ip）
   priority_networks = 192.168.17.0/24
5. 分发集群
   Shell
   [root@doitedu01 app]# for i in 2 3

do
scp /et/profile linux0$i:/etc/profilescp-r/opt/app/doris/linux0$i:/opt/app/
done

6. 启动
   Shell
   进入到fe的bin目录下执行
   [root@doitedu01 bin]# ./start_fe.sh --daemon

生产环境强烈建议单独指定目录不要放在 Doris 安装目录下，最好是单独的磁盘（如果有 SSD 最好）。
如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定，才能正确识别。
JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。
2.3安装BE

进入到be的conf目录下修改配置文件

Shell
vi be.conf

#配置文件中指定数据存放路径：
storage_root_path = /opt/data/dorisdata/bedata

#修改绑定 ip（每台机器修改成自己的 ip）
priority_networks = 192.168.17.0/24

注意事项：
storage_root_path 默认在 be/storage 下，需要手动创建该目录。多个路径之间使用英文状
态的分号;分隔（最后一个目录后不要加）。
可以通过路径区别存储目录的介质，HDD 或 SSD。可以添加容量限制在每个路径的末
尾，通过英文状态逗号，隔开，如：
storage_root_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD,10;/home/disk2/doris
说明：
/home/disk1/doris.HDD,50，表示存储限制为 50GB，HDD;
/home/disk2/doris.SSD,10，存储限制为 10GB，SSD；
/home/disk2/doris，存储限制为磁盘最大容量，默认为 HDD

关于Centos 添加新硬盘，分区格式化、挂载硬盘文档：
Centos 添加新硬盘，分区格式化、挂载硬盘

这样就好了嘛？不是哦
因为FE和BE两个都是单独的个体，所以他俩相互间还不认识，就需要我们通过mysql的客户端将他们建立起联系
如果没有装mysql的家伙，记得先装mysql
安装mysql
使用 MySQL Client 连接 FE
SQL
mysql -h doitedu01 -P 9030 -uroot

这个只是用了mysql的客户端去连接doris的fe，不是启动的mysql哦！！！并且第一次进去的话，是不需要密码的
解释：
-h 连接地址
-P 端口号
-u 账号
-p 密码

–这个可以设置可以不设置啦，正常生产过程中都会设置一个相对比较复杂的密码，学习的时候就无所谓了
–如果想设置，下面的命令就可以
SET PASSWORD FOR ‘root’ = PASSWORD(‘123456’);
fe启动完成后可以查看fe的运行状态
SQL
SHOW PROC ‘/frontends’\G;
添加 BE 节点
SQL
ALTER SYSTEM ADD BACKEND “doitedu01:9050”;
ALTER SYSTEM ADD BACKEND “doitedu02:9050”;
ALTER SYSTEM ADD BACKEND “doitedu03:9050”;
查看 BE 状态
SQL
SHOW PROC ‘/backends’;

Alive 为 false 表示该 BE 节点还是死的
添加环境变量

Shell
#doris_fe
export DORIS_FE_HOME=/opt/app/doris1.1.4/fe
export PATH=$PATH:$DORIS_FE_HOME/bin

#doris_be
export DORIS_BE_HOME=/opt/app/doris1.1.4/be
export PATH=$PATH:$DORIS_BE_HOME/bin
启动BE
SQL
启动 BE（每个节点）
/opt/app/doris/be/bin/start_be.sh --daemon

启动后再次查看BE的节点
mysql -h doitedu01 -P 9030 -uroot -p 123456
SHOW PROC ‘/backends’;
Alive 为 true 表示该 BE 节点存活。
2.4部署 FS_Broker（可选）
Broker 以插件的形式，独立于 Doris 部署。如果需要从第三方存储系统导入数据，需要部署相应的 Broker，默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。
直接启动就可以啦！！！没想到吧骚年
启动 Broker
SQL
/opt/app/doris/fe/apache_hdfs_broker/bin/start_broker.sh --daemon
使用 mysql-client 连接启动的 FE，执行以下命令：
SQL
mysql -h doitedu01 -P 9030 -uroot -p 123456
ALTER SYSTEM ADD BROKER broker_name “doitedu01:8000”,“doitedu02:8000”,“doitedu03:8000”;

当然你也可以一个个的加，并且 broker_name 这只是一个名字，可以自己取
查看 Broker 状态
SQL
使用 mysql-client 连接任一已启动的 FE，执行以下命令查看 Broker 状态：
SHOW PROC “/brokers”;