Doris基本概念介绍

文章目录

    • 简介
    • 使用
      • 数据模型
        • aggregate 模型
        • Unique 模型
        • Duplicate 模式
      • 数据划分
        • Partition
        • Bucket
      • 创建库、表

简介

  • Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景
  • 基于此,Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
  • Apache Doris 最早是诞生于百度广告报表业务的 Palo 项目,2017 年正式对外开源,2018 年 7 月由百度捐赠给 Apache 基金会进行孵化,之后在 Apache 导师的指导下由孵化器项目管理委员会成员进行孵化和运营。目前 Apache Doris 社区已经聚集了来自不同行业数百家企业的 400 余位贡献者,并且每月活跃贡献者人数也超过 100 位。 2022 年 6 月,Apache Doris 成功从 Apache 孵化器毕业,正式成为 Apache 顶级项目(Top-Level Project,TLP)
  • Apache Doris 如今在中国乃至全球范围内都拥有着广泛的用户群体,截止目前, Apache Doris 已经在全球超过 2000 家企业的生产环境中得到应用,在中国市值或估值排行前 50 的互联网公司中,有超过 80% 长期使用 Apache Doris,包括百度、美团、小米、京东、字节跳动、腾讯、网易、快手、微博、贝壳等。同时在一些传统行业如金融、能源、制造、电信等领域也有着丰富的应用。-基于 Apache Doris 可以构建统一实时数仓。
  • 中文文档地址:https://doris.apache.org/zh-CN/docs/get-starting/quick-start

使用

数据模型

  • 在 Doris 中,数据以表(Table)的形式进行逻辑上的描述
  • 一张表包括行(Row)和列(Column)。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段
  • Column 可以分为两大类:Key 和 Value。从业务角度看,Key 和 Value 可以分别对应维度列和指标列
  • Doris 的数据模型主要分为3类: Aggregate,Unique,Duplicate
aggregate 模型
  • 表中的列按照是否设置了 AggregationType,分为 Key (维度列) 和 Value(指标列)
  • 当我们导入数据时,对于 Key 列相同的行会聚合成一行,而 Value 列会按照设置的 AggregationType 进行聚合
  • 有以下四种聚合方式:
    • SUM:求和,多行的 Value 进行累加。
    • REPLACE:替代,下一批数据中的 Value 会替换之前导入过的行中的 Value。
    • MAX:保留最大值。
    • MIN:保留最小值。
  • 当向表中插入数据时,聚合函数会起作用,经过聚合,Doris 中最终只会存储聚合后的数据
  • 注意:明细数据会丢失,用户不能够再查询到聚合前的明细数据了
  • AGGREGATE KEY 数据模型中,所有没有指定聚合方式(SUM、REPLACE、MAX、MIN)的列视为 Key 列。而其余则为 Value 列
  • 字段定义时遵循以下建议:
    • Key 列必须在所有 Value 列之前
    • 尽量选择整型类型。因为整型类型的计算和查找效率远高于字符串
    • 对于不同长度的整型类型的选择原则,遵循 够用即可
    • 对于 VARCHAR 和 STRING 类型的长度,遵循 够用即可
    • 所有列的总字节长度(包括 Key 和 Value)不能超过 100KB
  • 示例:
DROP TABLE IF EXISTS signal.performance_stats_aggregate;
CREATE TABLE IF NOT EXISTS signal.performance_stats_aggregate
(
    `time_stamp` DATETIME NOT NULL COMMENT "雷达上报时间",
    `region_id` INT NOT NULL COMMENT '路口所属区域编号',
    `intersection_number` INT NOT NULL COMMENT "路口ID",
    `detector_nbr` VARCHAR(16) NOT NULL COMMENT "设备编号",
    `approach` TINYINT NOT NULL COMMENT "进口:0-南向SB,1-西南向SW,2-西向WB,3-西北向NW,4-北向NB,5-东北向NE,6-东向EB,7-东南向SE,9-其他OTHER",
    `movement` TINYINT NOT NULL COMMENT "流向:1-直行THROUGH,2-左转LEFT,3-右转RIGHT,4-掉头U_TURN,5-直左TL,6-直右TR,7-三向TLR,8-左右LR,9-直掉UT_TURN,10-左掉UL_TURN,99-其他OTHER",
    `lane_nbr` TINYINT NOT NULL COMMENT "车道号",
    `detector_zone_nbr` TINYINT REPLACE_IF_NOT_NULL COMMENT '检测区域(线)编号',
    `detector_coil_nbr` TINYINT REPLACE_IF_NOT_NULL COMMENT '线圈编号',
    `stats_period` SMALLINT REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '单位:秒',
    `traffic_flow` SMALLINT REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '总流量',
    `avg_speed` Float REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '平均速度:单位:Km/h',
    `time_share` Float REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '时间占有率:单位:%',
    `density` Float REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '空间占有率:单位:%',
    `time_headway` Float REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '车头时距 单位:s',
    `space_headway` Float REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '车头间距 单位:m',
    `queue_length` Float REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '最大排队长度:单位:米',
    `stops` Float REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '平均停车次数单位:次',
    `delay` Float REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '平均延误单位:s',
    `travel_time` Float REPLACE_IF_NOT_NULL DEFAULT "0" COMMENT '平均旅行时间:单位:s(只计算进口道,出口道默认0)'
)
AGGREGATE KEY(`time_stamp`, `region_id`, `intersection_number` ,`detector_nbr`, `approach`, `movement`, `lane_nbr`)
DISTRIBUTED BY HASH(`region_id`, `intersection_number`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
Unique 模型
  • 在某些多维分析场景下,用户更关注的是如何保证 Key 的唯一性,即如何获得 Primary Key 唯一性约束。因此引入了 Unique 的数据模型
  • 该模型本质上是聚合模型的一个特例,也是一种简化的表结构表示方式
  • Unique 模型完全可以用聚合模型中的REPLACE方式替代。其内部的实现方式和数据存储方式也完全一样
  • 示例:
DROP TABLE IF EXISTS signal.traffic_event_unique;
CREATE TABLE IF NOT EXISTS signal.traffic_event_unique
(
    `time_stamp` DATETIME(3) NOT NULL COMMENT "事件状态开始时间",
    `region_id` INT NOT NULL COMMENT '路口所属区域编号',
    `intersection_number` INT NOT NULL COMMENT "路口ID",
    `detector_nbr` VARCHAR(16) NOT NULL COMMENT "设备编号",
    `approach` TINYINT NOT NULL COMMENT "进口:0-南向SB,2-西向WB,4-北向NB,6-东向EB,9-其他OTHER",
    `lane_nbr` TINYINT NOT NULL DEFAULT "0" COMMENT "车道号(部分事件不关联车道赋0)",
    `event_code` TINYINT NOT NULL COMMENT '事件码: 1-拥堵TRAFFIC_CONGESTION,2-逆行REVERSE_DRIVE,3-溢出OVERFLOW,4-排队超限QUEUE_OVERRUN,5-路口锁死LOCKED,99-其他',
    `event_status` TINYINT NOT NULL  COMMENT '事件状态:1-交通事件,2-事件恢复',
    `end_time` DATETIME COMMENT "事件结束时间",
    `duration` SMALLINT DEFAULT "0" COMMENT "事件状态持续时间"
)
UNIQUE KEY(`time_stamp`, `region_id`, `intersection_number`, `detector_nbr`, `approach`, `lane_nbr`, `event_code`, `event_status`)
DISTRIBUTED BY HASH(`region_id`, `intersection_number`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1",
"enable_unique_key_merge_on_write" = "true"
);

Duplicate 模式
  • 在某些多维分析场景下,数据既没有主键,也没有聚合需求。因此,引入 Duplicate 数据模型来满足这类需求
  • 这种数据模型区别于 Aggregate和Unique模型。数据完全按照导入文件中的数据进行存储,不会有任何聚合
  • 即使两行数据完全相同,也都会保留。 而在建表语句中指定的 DUPLICATE KEY,只是用来指明底层数据按照那些列进行排序
  • 示例
DROP TABLE IF EXISTS signal.radar_fault_duplicate;
CREATE TABLE IF NOT EXISTS signal.radar_fault_duplicate
(
    `time_stamp` DATETIME(3) NOT NULL COMMENT "雷达上报时间",
    `region_id` INT NOT NULL COMMENT '路口所属区域编号',
    `intersection_number` INT NOT NULL COMMENT "路口ID",
    `detector_nbr` VARCHAR(16) NOT NULL COMMENT "设备编号",
    `fault_type` VARCHAR(16) COMMENT '故障类型',
    `fault_code` VARCHAR(16) COMMENT '故障码',
)
DUPLICATE KEY(`time_stamp`, `region_id`, `intersection_number`)
DISTRIBUTED BY HASH(`region_id`,`intersection_number`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);

数据划分

  • 在 Doris 的存储引擎中,用户数据被水平划分为若干个数据分片(Tablet,也称作数据分桶)
  • 每个 Tablet 包含若干数据行。各个 Tablet 之间的数据没有交集,并且在物理上是独立存储的
  • 多个 Tablet 在逻辑上归属于不同的分区(Partition)。一个 Tablet 只属于一个 Partition。而一个 Partition 包含若干个 Tablet
  • 因为 Tablet 在物理上是独立存储的,所以可以视为 Partition 在物理上也是独立。Tablet 是数据移动、复制等操作的最小物理存储单元
  • 若干个 Partition 组成一个 Table。Partition 可以视为是逻辑上最小的管理单元。数据的导入与删除,都可以或仅能针对一个 Partition 进行
  • Doris 的建表是一个同步命令,SQL执行完成即返回结果,命令返回成功即表示建表成功
Partition
  • Doris 支持两层的数据划分。第一层是 Partition,支持 Range 和 List 的划分方式
  • Range 是范围,列通常为时间列,以方便的管理新旧数据
  • List分区列支持 BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME, CHAR, VARCHAR 数据类型,分区值为枚举值。只有当数据为目标分区枚举值其中之一时,才可以命中分区。
  • Partition 列可以指定一列或多列,分区列必须为 KEY 列
  • 不论分区列是什么类型,在写分区值时,都需要加双引号。分区数量理论上没有上限
  • 当不使用 Partition 建表时,系统会自动生成一个和表名同名的,全值范围的Partition。该 Partition 对用户不可见,并且不可删改
  • 创建分区时不可添加范围重叠的分区
  • 也可以仅使用一层分区。使用一层分区时,只支持 Bucket 划分
Bucket
  • Doris 支持两层的数据划分,第二层是 Bucket(Tablet),仅支持 Hash 的划分方式
  • 如果使用了 Partition,则 DISTRIBUTED ... 语句描述的是数据在各个分区内的划分规则。如果不使用 Partition,则描述的是对整个表的数据的划分规则。
  • 分桶列可以是多列,Aggregate 和 Unique 模型必须为 Key 列,Duplicate 模型可以是 key 列和 value 列。分桶列可以和 Partition 列相同或不同。
  • 分桶列的选择,是在 查询吞吐 和 查询并发 之间的一种权衡:
    • 如果选择多个分桶列,则数据分布更均匀。如果一个查询条件不包含所有分桶列的等值条件,那么该查询会触发所有分桶同时扫描,这样查询的吞吐会增加,单个查询的延迟随之降低。这个方式适合大吞吐低并发的查询场景。
    • 如果仅选择一个或少数分桶列,则对应的点查询可以仅触发一个分桶扫描。此时,当多个点查询并发时,这些查询有较大的概率分别触发不同的分桶扫描,各个查询之间的IO影响较小(尤其当不同桶分布在不同磁盘上时),所以这种方式适合高并发的点查询场景。
  • AutoBucket: 根据数据量,计算分桶数。 对于分区表,可以根据历史分区的数据量、机器数、盘数,确定一个分桶。
  • 分桶的数量理论上没有上限

创建库、表

  1. 创建一个数据库
create database demo;
  1. 创建数据表
use demo;

CREATE TABLE IF NOT EXISTS demo.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);

你可能感兴趣的:(大数据开发,学习,笔记,doris)