Doris(Incuba 第4页

Flink实时电商数仓（九）

用户注册汇总表需求分析统计各窗口的注册用户数，写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入

十七✧ᐦ̤·2023-12-30 11:16

Flink实时电商数仓之DWS层

org.apache.dorisflink-doris-connector-1.17com.janeluoikanalyzer测试代码如下：publicclassIkUtil{publicsta

十七✧ᐦ̤·2023-12-29 17:19

Hive和Spark生产集群搭建（spark on doris）

1.环境准备1.1版本选择序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005MySQL-8.0.31mysqlDataxDataxDataxDataxDataxDataxSpark-3.3.1SparkSparkSparkSparkSparkHive-3.1.3HiveHive1.2主要组件官网hive官网：https://hive.

tuoluzhe8521·2023-12-28 23:56

doris-升级版本

一、简介doris可以进行平滑升级，详情可根据官网查看安装包下载地址：github,界面二、升级步骤1.原数据备份将FE-Master节点的doris-meta目录进行完整备份！

与数据交流的路上·2023-12-28 18:14

doris-修改be的存储路径

一、背景因为之前的BE的数据目录在机械盘上，性能太低，打算换到SSD盘，在不改变端口且没有多余机器的情况下，更改磁盘存储位置相对来说比较方便，因为业务尚没有正常使用，所以操作起来更方便重点：非常不推荐这种方式更改，如无必要，不要采取该方式二、具体操作1.备份数据数据量少的时候可以用mysqldump,数据量大的时候可以选择其他方式，详情见官网mysqldump-h192.168.1.1-P9030

与数据交流的路上·2023-12-28 18:14

Flink开发利器StreamX

在目前云原生架构的普及和湖仓一体化的大背景下，我们已经确定了将Doris作为离线数据仓库，将TiDB(目前已经应用于生产)作为实时数据平台，同时因为Doris具有onMySQL的odbc能力，所以又可以对外部数据库资源进行整合

Apache StreamPark·2023-12-28 15:34

Apache Doris (五十五）： Doris Join类型 - Colocation Join

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.ColocationJoin原理

IT贫道·2023-12-28 13:43

Apache Doris 详细教程（一）

1、Doris简介1.1、doris概述ApacheDoris由百度大数据部研发（之前叫百度Palo，2018年贡献到Apache社区后，更名为Doris），在百度内部，有超过200个产品线在使用，部署机器超过

白鸽呀·2023-12-28 12:09

Flink实时电商数仓之Doris框架（七）

Doris框架大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。

十七✧ᐦ̤·2023-12-27 16:47

doris基本操作，08-实战，索引

简述目前的Doris支持两类索引内建的智能索引，包括前缀索引和ZoneMap索引。用户创建的二级索引，包括BloomFilter索引和Bitmap倒排索引。

车前猛跑·2023-12-27 05:17

doris数据模型，06-Aggregate（聚合模型）

聚合模型的特点将表中的列分为Key和Value。Key是数据的维度列，比如时间，地区等等。key相同时会发生聚合。Value是数据的指标列，比如点击量，花费等等。每个指标列还会有自己的聚合函数，如：sum，min，max，bitmap_union等。数据会根据维度列进行分组，并对指标列进行聚合。在3中机制下会发生聚合：导入数据（insert，load等）BE内部Compaction时查询数据预聚合

车前猛跑·2023-12-27 05:47

doris数据模型，07-Duplicate模型

概念DuplicateKey模型，导入数据时不会产生聚合，源数据不失真。被指定为DuplicateKey的字段用来指示底层数据按照该字段排序。如：对于日志分析，不在意多几条，少几条数据，只关心排序，这时候DuplicateKey模型就有用武之地了。createtableifnotexiststest_db.example_log(`log_time`datetimenotnullcomment"日

车前猛跑·2023-12-27 05:47

doris基本操作，03-导入数据-Broker Load

因为Doris表里的数据是有序的，所以Brokerload在导入数据的时是要利用doris集群资源对数据进行排序，相对于Sparkload来完成海量历史数据迁移，对Doris的集群资源占用要比较大，这种方式是在用户没有

车前猛跑·2023-12-27 05:46

D35 2组阿德doris+《写作这回事》读书笔记

书名：《写作这回事——创作生涯回忆录》时间：7月8日~7月14日作者简介：StephenKing美国当代恐怖小说大师，畅销书作家，代表作有《魔女嘉莉》《肖申克的救赎》等，2003获得国家书奖终身成就奖书籍简介：在车祸恢复期间，完成的一部经验谈和回忆录形式的小说，从如何长成一名作家、工具箱、论写作、论生活这几个角度为我们阐释了关于写作的奥秘我最喜欢的部分：作者的文字特别与众不同，没有教条式的理论指导

阿德doris·2023-12-26 20:49

为什么Apache Doris适合做大数据的复杂计算，MySQL不适合？

为什么ApacheDoris适合做大数据的复杂计算，MySQL不适合？一、背景说明二、DB架构差异三、数据结构差异四、存储结构差异五、总结一、背景说明经常有小伙伴发出这类直击灵魂的疑问：Q：“为什么ApacheDoris适合做大数据的复杂计算，MySQL不适合？”A：“因为ApacheDoris是OLAP，MySQL是OLTP啊！”Q：“SO？”A：“因为一个是AP场景的DB，一个是TP场景的DB

乙真仙人·2023-12-25 15:32

Apache Doris 系列：入门篇-创建数据表

本文档我们介绍Doris怎么创建表及其他的相关操作。

张家锋·2023-12-24 09:14

【大数据】Doris 的集群规划和环境准备

Doris的集群规划和环境准备1.1环境要求1.1Linux操作系统版本需求1.2软件需求1.2硬件要求1.3节点规划1.4通信端口1.5IP地址绑定Doris作为一款开源的MPP架构OLAP数据库，能够运行在绝大多数主流的商用服务器上

G皮T·2023-12-24 03:11

【大数据】Doris 架构

Doris架构Doris的架构很简洁，只设FE（Frontend）、BE（Backend）两种角色、两个进程，不依赖于外部组件，方便部署和运维，FE、BE都可线性扩展。

G皮T·2023-12-24 03:41

#安奇复盘#年终场合穿搭法 - 草稿

西安洋葱阅读读书会第15期图片发自App本期主题：时尚穿搭时间：201901月05日13:00-18:00地点：内外·美学培训室组织者：Doris参与者：SARA、Doris、小陶、吴婷、榴莲糖、莲若兰

安奇_7d41·2023-12-23 20:00

【flink】基于flink全量同步postgres表到doris

在不借助第三方组件的进行数据同步时，doris支持采用外部表进行insertselect的方式进行导入，但是不适用于数据量大的表，除非自己手动做分片进行多次导入。

矛始·2023-12-23 10:53

CloudCanal x Debezium 打造实时数据流动新范式

CloudCanal近期实现了从Kafka消费Debezium格式数据，将其同步到StarRocks、Doris、Elasticsearch、MongoDB、ClickHouse等12种数据库和数仓，补全其数据到达能力

ClouGence·2023-12-22 16:48

Tapdata Cloud 场景通关系列：数据入湖仓之 MySQL → Doris，极简架构，更实时、更简便

【前言】作为中国的“Fivetran/Airbyte”,TapdataCloud自去年发布云版公测以来，吸引了近万名用户的注册使用。应社区用户上生产系统的要求，TapdataCloud3.0将正式推出商业版服务，提供对生产系统的SLA支撑。Tapdata目前专注在实时数据同步和集成领域，核心场景包括以下几大类：实时数据库同步，如Oracle→Oracle,Oracle→MySQL,MySQL→My

Tapdata 钛铂数据·2023-12-21 13:24

Flink cdc3.0同步实例（动态变更表结构、分库分表同步）

文章目录前言准备flink环境docker构建mysql、doris环境数据准备通过FlinkCDCcli提交任务整库同步同步变更路由变更路由表结构不一致无法同步结尾前言最近FlinkCDC3.0发布，

yyoc97·2023-12-20 23:39

2018-12-01

加油doris！

Dorisyoung·2023-12-19 19:12

Day2+8组+83号Doris周+《学习力》

都说“理想很丰满，现实很骨感”，我们都想成为一个有思想，有目标，行动力强的人，可是，骨感的现实像把照妖镜一样，把我们显得那么苍白无力。迅速提高行动力，是我迫不及待的需要，而如何提高，《学习力》这本书改变了我以往的看法。☞旧知一直认为，行动力强就是指自己做成了了不起的大事。可是哪有那么多的大事去做呢？平凡如我，怎样改变呢？☞新知十个简单好用的方法，迅速提升行动力，而拥有无与伦比的人生并没有想象的那么

木词·2023-12-19 16:00

Apache Doris 2.0.3 版本正式发布

亲爱的社区小伙伴们，ApacheDoris2.0.3版本已于2023年12月14日正式发布，该版本对复杂数据类型、统计信息收集、倒排索引、数据湖分析、分布式副本管理等多个功能进行了优化，欢迎大家下载体验。此外，由衷感谢104位贡献者，他们为ApacheDoris2.0.3版本提交了超过1000个功能优化项以及问题修复，为性能及稳定性提升做出重要贡献。GitHub下载：Releases·apache

SelectDB技术团队·2023-12-19 14:20

Apache Doris 在奇富科技的统一 OLAP 场景探索实践

使用Doris

SelectDB技术团队·2023-12-19 12:54

laravel5.5 里面如果想要使用自定义的数据库连接器

由于项目里面使用到了doris，虽然doris支持mysql协议，但是如果直接把他当mysql使用是行不通的，因为doris并不支持mysql的一些option和mode设置，然后就会一直报错：SQLSTATE

SHUIPING_YANG·2023-12-18 15:56

D017 2组阿德doris+《吉田医生哈佛求学记》读书笔记

阅读时间：6:00阅读内容：用自己的规则，把时间密度提高到最大在这一章中作者再一次打破了我对时间的认知。很多时候我们都会说自己要做的事情太多了，时间怎么都不够用。但其实在我对比了那些伟大的，为社会创造了很多美好的人之后，我发现我真的没那么忙。例如之前我们看到的张萌萌姐，她每天又那么多事情，她全都能做到。吉田医生也是一样，她要工作，要准备留学，要育儿，她是怎样做到的呢？说到底是我的时间管理没做好。没

阿德doris·2023-12-17 16:39

【StarRocks-1.简介】

一、简介:starRocks起源于开源软件Doris,其相对Doris的社区环境，starRcoks有商业团队维护、快速版本迭代和dockerHub高支持,让我在生产环境中更加偏向于starRocks，

万琛·2023-12-16 13:52

Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库

背景介绍ApacheDoris是一个基于MPP架构的易于使用，高性能和实时的分析数据库，以其极高的速度和易用性而闻名。海量数据下返回查询结果仅需亚秒级响应时间，不仅可以支持高并发点查询场景，还可以支持高通量复杂分析场景。这些都使得ApacheDoris成为报表分析、即席查询、统一数据仓库和数据湖查询加速等场景的理想工具。在ApacheDoris上，用户可以构建各种应用，如用户行为分析、AB测试平台

码农小旋风·2023-12-16 11:51

代立冬：基于Apache Doris+SeaTunnel 实现多源实时数据仓库解决方案探索实践

大家好，我是白鲸开源的联合创始人代立冬，同时担任ApacheDolphinScheduler的PMCchair和SeaTunnel的PMC。作为ApacheFoundation的成员和孵化器导师，我积极参与推动多个开源项目的发展，帮助它们通过孵化器成长为Apache的顶级项目。今天的分享的主题其实还是从开源到商业，ApacheSeaTunnel本身就是做数据同步软件，也经历过Apache孵化器的孵

SeaTunnel·2023-12-16 00:56

Flink CDC--MySQL

FlinkCDC–MySQLFlinkCDCMySQL版本单表CDC目标：利用Flink将MySQL增量数据同步到Doris执行流程第一步：操作数据库构建表，并加入数据mysql-uroot-pupdateusersetHost

清盏涂墨衣·2023-12-15 09:59

Flink 读写Doris

FlinkDorisConnector可以支持通过Flink操作（读取、插入、修改、删除）Doris中存储的数据。

shangjg3·2023-12-06 08:49

Doris数据备份及恢复

Doris支持将当前数据以文件的形式，通过broker备份到远端存储系统中。之后可以通过恢复命令，从远端存储系统中将数据恢复到任意Doris集群。

shangjg3·2023-12-06 08:48

Spark读写Doris数据

1准备Spark环境创建maven工程，编写pom.xml文件 4.0.0

shangjg3·2023-12-06 08:48

Doris 集成 ElasticSearch

Doris-On-ES将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案：（1）ES中的多index分布式Join查询（2）Doris

shangjg3·2023-12-06 08:14

Apache Doris 在某工商信息商业查询平台的湖仓一体建设实践

本文导读：信息服务行业可以提供多样化、便捷、高效、安全的信息化服务，为个人及商业决策提供了重要支撑与参考。本文以某工商信息商业查询平台为例，介绍其从传统Lambda架构到基于DorisMulti-Catalog的湖仓一体架构演进历程。同时通过一系列实践，展示了如何保证数据的准确性和实时性，以及如何高效地处理和分析大规模数据，为信息服务行业提供了有价值的参考思路，有助于推动整个行业的发展和创新。作者

SelectDB技术团队·2023-12-06 05:37

DOT Recapping Sharing -Doris

23rd-24thJun2018DivisionWDOTRecapSharing:-Doris1.Deardirectors,whentherearethehardtimes,alwaysrememberWHY.Beingatoastmastersfor2years

裸熊兜Doris·2023-12-05 15:19

大数据的技术栈-逐步完善

hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris

刘文钊1·2023-12-04 20:12

月度产品更新（11月）：数据同步功能上线，配置更简单

更新快速预览新增&优化功能：新增【数据同步】新增【变量动态依赖】优化【日志操作】新增连接器：邮政速递EMSWhale帷幄websocket黑湖小工单百世快递应用更新：小红书金蝶云星空有赞自建快手小店抖店doris

白鹅�·2023-12-04 16:04

Apache Doris 详细教程（三）

7、监控和报警Doris可以使用Prometheus和Grafana进行监控和采集，官网下载最新版即可。

白鸽呀·2023-12-04 07:09

Apache Doris 详细教程（二）

5、doris的查询语法5.1、doris查询语法整体结构SELECT[ALL|DISTINCT|DISTINCTROW]--对查询字段的结果是否需要去重，还是全部保留等参数select_expr[,select_expr

白鸽呀·2023-12-04 06:38

长安汽车基于 Apache Doris 的车联网数据分析平台建设实践

导读：随着消费者更安全、更舒适、更便捷的驾驶体验需求不断增长，汽车智能化已成必然趋势。长安汽车智能化研究院作为长安汽车集团有限责任公司旗下的研发机构，专注于汽车智能化技术的创新与研究。为满足各业务部门的数据分析需求，长安汽车基于ApacheDoris升级了车联网数据分析平台，支撑单日百亿级别数据实时处理，并实现十亿级别数据查询秒级响应，为长安汽车在提升用户用车体验、实时预警车辆故障、保证车辆安全驾

SelectDB技术团队·2023-12-04 03:11

多场景下 3-11 倍性能提升，Apache Doris 1.2 新版本性能揭秘！

自ApacheDoris1.1.0版本发布距今已经有数月之久，在这一期间，我们重新思考并确立了社区新版本发布的流程，正式引入了LTS（Long-TermSupport，长周期支持）版本的概念，在1.1.x系列版本中不再引入大的功能Feature、仅提供问题修复和稳定性改进，力求满足更多社区用户在稳定性方面的高要求。值得高兴的是，这一行动已经有了明显的成效，目前1.1.x系列最新版本的稳定性经受了众

SelectDB技术团队·2023-12-04 02:03

Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。

hf200012·2023-12-03 16:07

Doris 数据导入四：Binlog Load 方式

BinlogLoad提供了一种使Doris增量同步用户在Mysql数据库的对数据更新操作的CDC（ChangeDataCapture）功能。1适用场景INSERT/UPDATE/DELETE支持。

shangjg3·2023-12-03 06:38

Doris 数据导入三：Routine Load 方式

例行导入（RoutineLoad）功能为用户提供了一种自动从指定数据源进行数据导入的功能。1适用场景当前仅支持从Kafka系统进行例行导入，使用限制：（1）支持无认证的Kafka访问，以及通过SSL方式认证的Kafka集群。（2）支持的消息格式为csv,json文本格式。csv每一个message为一行，且行尾不包含换行符。（3）默认支持Kafka0.10.0.0（含）以上版本。如果要使用Kafk

shangjg3·2023-12-03 06:01

解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘

你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、Spark和Flink等工具来编写SQL查询。

Light Gao·2023-12-03 06:21

docker踩坑记录：docker容器创建doris容器间无法通讯问题

背景：开发大数据平台，使用doris作为数据仓储，使用docker做集群部署，先进行开发环境搭建，环境为BE1;FE1，原来使用官方例子，但是官方例子是创建了一个bridge使用172.20.80.0/

Alaia.·2023-12-02 14:47

推荐频道

Doris(Incuba