Doris数仓

Apache Doris (五十五）： Doris Join类型 - Colocation Join

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.ColocationJoin原理
IT贫道·2023-12-28 13:43

Apache Doris 详细教程（一）

1、Doris简介1.1、doris概述ApacheDoris由百度大数据部研发（之前叫百度Palo，2018年贡献到Apache社区后，更名为Doris），在百度内部，有超过200个产品线在使用，部署机器超过
白鸽呀·2023-12-28 12:09

数据仓库 基本信息

数据仓库基本理论数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。
许一世流年 绝不嵩手 cium·2023-12-28 11:46

ETL项目实战--学习笔记

Extract，数据抽取=>抽取的是其他数据源中的数据T:Transform，数据转换=>将数据转换为统一的格式,消除异常值,缺失值,对于错误的逻辑进行修改L:Load，数据加载=>将不同数据源的数据处理后加载到数仓或者输出到指定位置
祈愿lucky·2023-12-28 11:46

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
yoku酱·2023-12-27 19:34

Flink实时电商数仓之Doris框架（七）

Doris框架大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。
十七✧ᐦ̤·2023-12-27 16:47

DataFunSummit：2023年数据湖架构峰会-核心PPT资料下载

面对如此大规模的数据，无论是分析型场景、流批一体、增量数仓都得益于湖仓一体等数据湖技术的发展而变得越来越容易解决。从核心架构、性能优化、湖仓一体、最佳实践等方面带来数据湖的最新技术和内容实践经验总结。
百家峰会·2023-12-27 16:03

从报表需求到报表开发的流程

报表开发背后涉及到需求调研和数仓开发的支持。二、目标梳理从报表需求提出到报表需求实现整个生
qq_36120059·2023-12-27 12:55

基于Kettle和帆软Finereport的血缘解析

开发人员排查数据质量问题步骤：首先和业务人员对接了解是哪里数据不准确，要定位是哪张报表，然后查看报表后面数据来源，然后一路排查数仓。往往定位到数据问题耗时比较高，开发断层导致找到相关任务比较难。
qq_36120059·2023-12-27 12:55

浅谈数据仓库运营

二、目标提高数据仓库存储性能和开发质量以及数据质量三、数据运营指标3.1开发质量表名规范性：检验数据库表名是否按照数仓表名规范，表名是否按照词根翻译字段名规范性：检验表字段名是否按照词根中文进行翻译字段类型规范性
qq_36120059·2023-12-27 12:53

电商数据分析-03-电商数据采集

第1章数据仓库概念数据仓库规划1.1数仓搭建我们这里所说的数据仓库，是基于大数据体系的，里面包含标签类目，区别于传统的数据仓库。下面我们来将这张图分解，逐个做简要分析。
IT从业者张某某·2023-12-27 11:14

电商数据分析-02-电商业务介绍及表结构

参考电商业务简介大数据项目之电商数仓、电商业务简介、电商业务流程、电商常识、业务数据介绍、电商业务表、后台管理系统可以把excel复制为markdown的网站举个例子:1.1电商业务流程电商的业务流程可以以一个普通用户的浏览足迹为例进行说明
IT从业者张某某·2023-12-27 11:14

数据库开发常见面试题

ORACLE和kettle1、DeleteTruncateDrop区别2、DML、DDL3、经常使用到得函数4、KETTLE内存溢出解决方案5、kettle中黄色的锁，绿色的对勾，红色的停止代表的意思6、数仓架构
'接受现实'·2023-12-27 06:54

hive学习笔记

一、Hive基本概念1.1hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567
不爱吃鱼的馋猫·2023-12-27 06:05

doris基本操作，08-实战，索引

简述目前的Doris支持两类索引内建的智能索引，包括前缀索引和ZoneMap索引。用户创建的二级索引，包括BloomFilter索引和Bitmap倒排索引。
车前猛跑·2023-12-27 05:17

doris数据模型，06-Aggregate（聚合模型）

聚合模型的特点将表中的列分为Key和Value。Key是数据的维度列，比如时间，地区等等。key相同时会发生聚合。Value是数据的指标列，比如点击量，花费等等。每个指标列还会有自己的聚合函数，如：sum，min，max，bitmap_union等。数据会根据维度列进行分组，并对指标列进行聚合。在3中机制下会发生聚合：导入数据（insert，load等）BE内部Compaction时查询数据预聚合
车前猛跑·2023-12-27 05:47

doris数据模型，07-Duplicate模型

概念DuplicateKey模型，导入数据时不会产生聚合，源数据不失真。被指定为DuplicateKey的字段用来指示底层数据按照该字段排序。如：对于日志分析，不在意多几条，少几条数据，只关心排序，这时候DuplicateKey模型就有用武之地了。createtableifnotexiststest_db.example_log(`log_time`datetimenotnullcomment"日
车前猛跑·2023-12-27 05:47

doris基本操作，03-导入数据-Broker Load

因为Doris表里的数据是有序的，所以Brokerload在导入数据的时是要利用doris集群资源对数据进行排序，相对于Sparkload来完成海量历史数据迁移，对Doris的集群资源占用要比较大，这种方式是在用户没有
车前猛跑·2023-12-27 05:46

D35 2组阿德doris+《写作这回事》读书笔记

书名：《写作这回事——创作生涯回忆录》时间：7月8日~7月14日作者简介：StephenKing美国当代恐怖小说大师，畅销书作家，代表作有《魔女嘉莉》《肖申克的救赎》等，2003获得国家书奖终身成就奖书籍简介：在车祸恢复期间，完成的一部经验谈和回忆录形式的小说，从如何长成一名作家、工具箱、论写作、论生活这几个角度为我们阐释了关于写作的奥秘我最喜欢的部分：作者的文字特别与众不同，没有教条式的理论指导
阿德doris·2023-12-26 20:49

大数据实战项目 -- 实时数仓

文章目录一、实时数据1.1日志采集器1.1日志生成器1.3日志分发器1.4采集流脚本二、实时采集2.1项目搭建2.2Kafka数据获取2.3Redis数据去重2.4ES数据存储2.5精准一次性消费2.6Kibana可视化配置2.7发布数据接口三、实时监控3.1Canal3.1.1配置MySQL3.1.2安装canal3.2CanalODS层数据分流3.3Maxwell3.4MaxwellODS层数
L小Ray想有腮·2023-12-26 18:53

电商数仓笔记7_数据仓库系统（数仓搭建-DWD层，数仓搭建-DWS层，数仓搭建-DWT层，数仓搭建-ADS层）

电商数仓一、数仓搭建-DWD层1、DWD层（用户行为日志）（1）日志解析思路（2）get_json_object函数使用（3）启动日志表（4）页面日志表（5）动作日志表（6）曝光日志表（7）错误日志表（
明灭18·2023-12-26 17:47

电商数仓笔记6_数据仓库系统（数仓搭建-ODS层，数仓搭建-DIM层）

电商数仓一、数仓搭建-ODS层1、ODS层（用户行为数据）（1）创建日志表ods_log（2）Shell中单引号和双引号区别（3）ODS层日志表加载数据脚本2、ODS层（业务数据）（1）ODS层业务表首日数据装载脚本
明灭18·2023-12-26 17:17

四、电商数据仓库系统——第5章 数据仓库设计

5.1数据仓库分层规划优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。5.2数据仓库构建流程以下是构建数据仓库的完整流程。
怕被各位卷死·2023-12-26 17:47

电商数仓项目----笔记七(数仓DIM层)

所谓的维度层其实就是分析数据的角度，维度层保存的表其实是分析数据的角度，比如：--性别，年龄，品牌，品类这层的表主要用于统计分析，因此DIM层的数据存储格式为orc列式存储+snappy压缩（时间短）orc列式存储的好处：查询的时候不需要扫描全部的数据，而只需要读取每次查询涉及的列，这样可以将I/O消耗降低N倍，另外可以保存每一列的统计信息(min、max、sum等)，实现部分的谓词下推。由于每一
zmx_messi·2023-12-26 17:16

Flink电商实时数仓（六）

交易域支付成功事务事实表从topic_db业务数据中筛选支付成功的数据从dwd_trade_order_detail主题中读取订单事实数据、LookUp字典表关联三张表形成支付成功宽表写入Kafka支付成功主题执行步骤设置ttl，通过Intervaljoin实现左右流的状态管理获取下单明细数据：用户必然要先下单才有可能支付成功，因此支付成功明细数据集必然是订单明细数据集的子集。要注意：Interv
十七✧ᐦ̤·2023-12-26 07:25

打造绿色计算数智动力 HashData 入选“绿色计算最具价值解决方案”

酷克数据（HashData）作为国内云原生数仓领军企业，受邀参加本次大会，为观众呈现了HashData云数仓的技
HashData酷克数据·2023-12-26 00:53

创新铸就卓越 HashData再度荣获 IT168技术卓越奖

12月20日，由国内专业数据库及架构技术社区ITPUB、IT垂直门户IT168联合主办的“2023技术卓越奖”评选结果正式揭晓，酷克数据基于云原生架构打造的HashData云数仓，凭借创新的技术架构、强大的性能表现
HashData酷克数据·2023-12-26 00:53

为什么Apache Doris适合做大数据的复杂计算，MySQL不适合？

为什么ApacheDoris适合做大数据的复杂计算，MySQL不适合？一、背景说明二、DB架构差异三、数据结构差异四、存储结构差异五、总结一、背景说明经常有小伙伴发出这类直击灵魂的疑问：Q：“为什么ApacheDoris适合做大数据的复杂计算，MySQL不适合？”A：“因为ApacheDoris是OLAP，MySQL是OLTP啊！”Q：“SO？”A：“因为一个是AP场景的DB，一个是TP场景的DB
乙真仙人·2023-12-25 15:32

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
浪尖聊大数据-浪尖·2023-12-25 10:45

Flink实时电商数仓（五）

FlinkSQL的joinRegularjoin普通join，两条流的数据都时存放在内存的状态中，如果两条流数据都很大，对内存压力很大。IntervalJoin:适合两条流到达时间有先后关系的；一条流的存活时间短，一条流的存活时间长。LookupJoin：适合主流特别大，从流特别小的情况；主流数据没到达一条，就会去查询从流的每一条数据。主流数据不存储在内存中。语法：主流使用时必须有处理时间，pro
十七✧ᐦ̤·2023-12-25 02:27

Flink电商实时数仓（四）

日志数据结构业务数据：数据都是MySQL中的表格数据,使用FlinkSQL处理日志数据：分为page页面日志（页面信息，曝光信息，动作信息，报错信息）和启动日志（启动信息，报错信息），使用FlinkStreamAPI处理五种日志数据：“start”;启动信息“err”;错误信息“display”;曝光信息“action”;动作信息“page”;页面信息"actions":[{"action_id"
十七✧ᐦ̤·2023-12-25 02:57

【黑马甄选离线数仓day10_会员主题域开发_DWS和ADS层】

day10_会员主题域开发会员主题_DWS和ADS层DWS层开发门店会员分类天表:维度指标:指标：新增注册会员数、累计注册会员数、新增消费会员数、累计消费会员数、新增复购会员数、累计复购会员数、活跃会员数、沉睡会员数、会员消费金额维度:时间维度（天、周、月）​涉及表:门店会员分类天表​表字段的组成:维度字段+指标结果字段建表语句:CREATETABLEIFNOTEXISTSdws.dws_mem_
LKL1026·2023-12-25 01:58

2019-05-23

其他时间都在编写法院数仓重构项目建设方案。下午王伟离职，涉及到薪资结算不合理问题，他很生气，我建议他不要纠结这些小事，他貌似也没听进去。下午听了一个讲健康安全的课程，感觉很实用。晚11点半就寝。
bigtian·2023-12-24 15:11

电商数仓项目----笔记六(数仓ODS层)

ODS层的设计要点如下：（1）ODS层的表结构设计依托于从业务系统同步过来的数据结构。（2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip。（3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。同样的，需要将用户行为数据表和业务数据表放到ODS层。日志表DROPTABLEIFEXISTSods_log_inc;CREATEEXTERNA
zmx_messi·2023-12-24 12:38

电商数仓项目----笔记五(数仓架构和建模)

ODS：数据源DWD：加工数据DWS：统计数据ADS：分析数据DIM：维度层（大家都有可能用得上的部分）ER模型数据仓库之父BillInmon提出的建模方法是从全企业的高度，用实体关系（EntityRelationship，ER）模型来描述企业业务，并用规范化的方式表示出来，在范式理论上符合3NF。1）实体关系模型实体关系模型将复杂的数据抽象为两个概念——实体和关系。实体表示一个对象，例如学生、班
zmx_messi·2023-12-24 11:35

基于Hue，Dolphinscheduler，HIVE分析数据仓库层级实现及项目需求案例实践分析

目录一、数仓各个层级及作用1，ODS层（OperationDataStore-源数据层）2，DW层（DataWarehouse-数据仓库层）(1)DWD(DataWarehouseDetail-明细数据层
Len°·2023-12-24 11:32

Apache Doris 系列： 入门篇-创建数据表

本文档我们介绍Doris怎么创建表及其他的相关操作。
张家锋·2023-12-24 09:14

技本功|Hive优化之监控（三）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的技能。
云掣YUNCHE·2023-12-24 03:15

技本功|Hive优化之Spark执行引擎参数调优（二）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。
云掣YUNCHE·2023-12-24 03:44

【大数据】Doris 的集群规划和环境准备

Doris的集群规划和环境准备1.1环境要求1.1Linux操作系统版本需求1.2软件需求1.2硬件要求1.3节点规划1.4通信端口1.5IP地址绑定Doris作为一款开源的MPP架构OLAP数据库，能够运行在绝大多数主流的商用服务器上
G皮T·2023-12-24 03:11

【大数据】Doris 架构

Doris架构Doris的架构很简洁，只设FE（Frontend）、BE（Backend）两种角色、两个进程，不依赖于外部组件，方便部署和运维，FE、BE都可线性扩展。
G皮T·2023-12-24 03:41

#安奇复盘#年终场合穿搭法 - 草稿

西安洋葱阅读读书会第15期图片发自App本期主题：时尚穿搭时间：201901月05日13:00-18:00地点：内外·美学培训室组织者：Doris参与者：SARA、Doris、小陶、吴婷、榴莲糖、莲若兰
安奇_7d41·2023-12-23 20:00

【数仓_01】用户行为采集平台

1、数仓基础知识1.1描述1.2需求分析1.3选型考虑因素1.4项目流程设计1.5具体版本1.6集群规模2、用户行为数据生成2.1目标数据2.2埋点3、模拟数据3.1使用说明3.2集群日志生成脚本4、用户行为数据采集模块
温欣2030·2023-12-23 10:43

【flink】基于flink全量同步postgres表到doris

在不借助第三方组件的进行数据同步时，doris支持采用外部表进行insertselect的方式进行导入，但是不适用于数据量大的表，除非自己手动做分片进行多次导入。
矛始·2023-12-23 10:53

CloudCanal x Debezium 打造实时数据流动新范式

CloudCanal近期实现了从Kafka消费Debezium格式数据，将其同步到StarRocks、Doris、Elasticsearch、MongoDB、ClickHouse等12种数据库和数仓，补全其数据到达能力
ClouGence·2023-12-22 16:48

Hive的联级（cascade）- 修改分区表的字段类型或者增加新字段

一、问题描述踩坑：数仓的分区表，由于需求需要，要把int类型的字段改为bigint，我直接执行的以下语句：altertabletable_namechangecolumn字段字段bigint;出现的问题
大数据点滴·2023-12-22 14:34

数据仓库-数据治理小厂实践

一、简介数据治理贯穿数仓中数据的整个生命周期，从数据的产生、加载、清洗、计算，再到数据展示、应用，每个阶段都需要对数据进行治理，像有些比较大的企业都是有自己的数据治理平台或者会开发一些便捷的平台，对于没有平台的公司
大数据点滴·2023-12-22 14:03

一文读懂云原生一体化数仓

简介：阿里云云原生一体化数仓产品技术深度解读。
阿里云云栖号·2023-12-22 07:19

Impala 基于hive的交互式实时分析工具(二) 概念及原理介绍

impala和hive的区别概括：hive是【基于hadoop】的适合【离线批处理复杂sql分析的数仓工具】，impala是【基于hive】的适合【实时交互简单sql的数仓工具】执行计划1.hive：hive
章云邰·2023-12-22 01:34

本地数仓项目(三）—— 数据可视化和任务调度

1背景本文基于《本地数据仓库项目(一)——数仓搭建详细流程》和《本地数仓项目(二)——搭建系统业务数仓详细流程》数据为依托，实现数据可视化和任务调度2构造可视化数据在mysql中新建ads_uv_count
不以物喜2020·2023-12-21 21:37
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他