Doris(Incuba

doris - 数仓 拉链表 按天全量打宽表性能优化

数仓拉链表按天全量打宽性能优化现状描述优化优化参数现状描述1、业务历史数据可以变更2、拉链表按天打宽3、拉链表模型分区字段设计不合理，通用的过滤字段没有作为分区分桶字段4、拉链表表数据量略大、模型数据分区不合理和服务器资源限制，计算任务执行超时【3-4年，用户数：132W】5、基于拉链表打宽后的天表行转列【最多列达到300列】，sum(casewhen…end)，没有提前过滤数据优化1、完善模型设
cg6·2023-06-17 01:03

Storm设计一个Topology用来统计单词的TopN的实例

相关依赖包(1)输入：search.maven.org网址，在其中找到storm的核心依赖(2)将核心依赖添加到pom.xml文件中com.github.aloomaiostorm-core0.9.2-incuba
正居明阳·2023-06-16 22:39

大数据Doris（三十八）：Spark Load 导入Hive数据

SparkLoad导入Hive数据一、SparkLoad导入Hive非分区表数据1、在node3hive客户端，准备向Hive表加载的数据2、启动Hive，在Hive客户端创建Hive表并加载数据3、在Doris
Lansonli·2023-06-16 22:35

如何基于 Apache Doris 构建简易高效的用户行为分析平台？

用户行为分析是企业了解用户的重要方式之一，可以从点击、登录、观看、跳出、下单购买等多维角度还原用户动态使用场景和用户体验，通过对用户行为埋点数据进行分析，可以详细、清楚地了解用户的行为习惯，从中发现用户使用产品的规律，以用于精确营销、产品优化，从而驱动业务实现增长。随着数字化转型进程的不断推进，用户行为分析平台在企业内部扮演的角色愈发重要，如何进一步挖掘用户行为数据价值，也成为了当下各企业不断努力
·2023-06-16 18:47

doris常用命令

ALTERTABLEdb.tbDROPCOLUMNcol添加字段ALTERTABLEdb.tbADDCOLUMNcolint(11)DEFAULT‘0’comment‘’AFTERother_col;doris
左林右李02·2023-06-16 18:04

需要加强的地方，记录一下

基础知识目前想学的：JVM、并发编程、反射、计网、设计模式技术栈Java、MySQL、Redis、ES、Zookeeper、Kafka、Netty、Dubbo、ClickHouse、Doris、、大数据方向
FanZheGOGOGO·2023-06-16 16:06

Spring boot 操作doris

1.启动doris1.1一台fe三台be[root@node01bin]#./start_fe.sh--daemon[root@node01bin]#.
wudl5566·2023-06-16 15:04

doris部署集群时遇到的问题

doris部署时，遇到了两个问题，一个是两个服务器时钟不一致问题；还有一个是在启动dorisFE端时，解析了服务器另一个ip地址，通过ipaddr命令可以看到本服务器有两个ip地址，192.16.48.4
鲸落ж·2023-06-16 13:26

Apache Doris 社区所有贡献者来领礼品啦！

2022年6月16日，全球最大的开源软件基金会宣布，ApacheDoris正式从Apache孵化器毕业，成为顶级项目！在整个孵化期间，因为拥有一群热爱开源、热爱ApacheDoris的优秀开发者，才让ApacheDoris取得了今天的成就：累计发布Release版本8次Contributor增长至338人每月活跃贡献者接近100人提交PR数量超过6000GithubStar数量突破4.4k社区用户
·2023-06-15 11:20

大数据Doris（四十一）：Routine Load严格模式和导入案例

文章目录RoutineLoad严格模式和导入案例一、严格模式二、严格模式导入Kafka数据到DorisRoutineLoad严格模式和导入案例
Lansonli·2023-06-15 06:28

一文揭秘高效稳定的 Apache Doris 内存管理机制

作者：SelectDB高级研发工程师、ApacheDorisCommitter邹新一背景ApacheDoris作为基于MPP架构的OLAP数据库，数据从磁盘加载到内存后，会在算子间流式传递并计算，在内存中存储计算的中间结果，这种方式减少了频繁的磁盘I/O操作，充分利用多机多核的并行计算能力，可在性能上呈现巨大优势。在面临内存资源消耗巨大的复杂计算和大规模作业时，有效的内存分配、统计、管控对于系统的
·2023-06-14 18:20

Doris数仓的4大特点

01-极简架构Doris从设计上来说，融合了GoogleMesa的数据存储模型、Apache的ORCFile存储格式、ApacheImpala查询引擎和MySQL交互协议，是一个拥有先进技术和先进架构的领先设计产品
000X000·2023-06-14 11:35

Doris集成Spark读写的简单示例

Doris集成Spark读写的简单示例文章目录Doris集成Spark读写的简单示例0、写在前面1、SparkDorisConnector介绍2、基本示例2.1提前准备表和数据2.2新建项目2.3使用SQL
WHYBIGDATA·2023-06-14 11:16

Apache Doris :Rollup 物化视图

整理了一下目前开启虚拟机需要用到的程序,包括MySQL,Hadoop,Linux,hive,Doris3.5RollupROLLUP在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。
All996·2023-06-14 10:22

2020年 DORIS本周运势重要提醒（5.11-5.17）

PS:12星座运势是天象对12星座的整体影响，可参考上升星座为主，太阳星座为辅。想了解个人运势，需要个人的出生年月日时制作星盘来分析，更多详情请添加VX：Every-ying本周是回炉重造重新历练的一周5.11太阳金牛座六分海王星双鱼座&土星在水瓶座开始逆行座这一天太阳与海王星的互动让我们增添了更多的灵感，对于从事灵性，艺术工作的人来说，是一个学习的好机会。同时土星开始了为期4个多月的逆行，从水瓶
莹丘丘的记录课堂·2023-06-13 21:43

Apache Doris 在小米亿级用户行为分析平台的实践｜最佳实践

导读：过去3年时间里，ApacheDoris已经在小米内部得到了广泛的应用，支持了集团数据看板、广告投放/广告BI、新零售、用户行为分析、A/B实验平台、天星数科、小米有品、用户画像、小米造车等小米内部数十个业务，并且在小米内部形成了一套以ApacheDoris为核心的数据生态。本文将为大家分享小米用户行为分析平台基于ApacheDoris向量化版本的改造实践，包括数据存储架构和查询服务架构的演进
·2023-06-13 19:22

小米 A/B 实验场景基于 Apache Doris 的查询提速优化实践

经过一系列基于Doris的性能优化和测试，A/B实验场景查询性能的提升超过了我们的预期。希望本次分享可以给有需要的朋友提供一些参考。
·2023-06-13 19:21

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在
·2023-06-13 19:11

大数据Doris（四十）：Routine Load基本原理和语法介绍

基本原理和语法介绍一、基本原理二、RoutineLoad语法RoutineLoad基本原理和语法介绍例行导入（RoutineLoad）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到Doris
Lansonli·2023-06-13 07:24

亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践

本文导读：ApacheDoris助力荔枝微课构建了规范的、计算统一的实时数仓平台，目前ApacheDoris已经支撑了荔枝微课内部90%以上的业务场景，整体可达到毫秒级的查询响应，数据时效性完成T+1到分钟级的提升，开发效率更是实现了50%的增长，满足了各业务场景需求、实现降本提效，深得十方融海各数据部门高度认可。作者：陈城，数据中台组组长深圳十方融海科技有限公司成立于2016年，是一家数字职业在
·2023-06-12 14:30

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）

Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统概述背景ApacheDoris官方地址https://doris.apache.org/ApacheDorisGitHub
李自提·2023-06-10 18:30

MPP分析性数据库之Doris

####Doris介绍ApacheDoris是一个现代化的MPP分析性数据库产品。仅需要亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。
勇者1108·2023-06-10 18:28

Doris、Clickhouse、Tidb三者对比

序号对比维度类别DorisClickhouseTiDB1总体架构Share-Nothing是是是2列存是是是3架构内置分布式协议进行元数据同步Master/Follower/Observer节点类型依赖ZooKeeper进行DDL和Replica同步开源分布式NewSQL数据库Master/Slave4事务性事务保证数据ACID100万以内原子性，DDL无事务保证事务保证数据ACID5数据规模单集
卢子墨·2023-06-10 18:55

【数据库】Apache Doris : 一个开源 MPP 数据库的架构与实践

文章目录Doris背景介绍一、Doris二、Doris定位适用场景&案例介绍一、适用场景二、具体案例Doris整体架构一、Doris整体架构二、Doris数据分布三、Doris的使用方式Doris关键技术一
逆流°只是风景-bjhxcc·2023-06-10 18:22

Doris学习笔记

我们导入一张表它在doris里实际存储为：具体流程为：前两条记录属于是一个key（user_id、date、age的值一
风中追风FF·2023-06-10 11:28

大数据Doris（三十七）：Spark Load导入HDFS数据

文章目录SparkLoad导入HDFS数据一、准备HDFS数据二、创建Doris表三、创建SparkLoad导入任务
Lansonli·2023-06-10 10:12

doris---物化视图及pv、uv案例实现

物化视图就是查询结果预先存储起来的特殊的表。物化视图的出现主要是为了满足用户，既能对原始明细数据的任意维度分析，也能快速的对固定维度进行分析查询优势1.可以复用预计算的结果来提高查询效率==>空间换时间2.自动实时的维护物化视图表中的结果数据，无需额外人工成本(自动维护会有计算资源的开销)3.查询时，会自动选择最优物化视图物化视图VSRollup-明细模型表下，rollup和物化视图的差别：物化视
咚动咚·2023-06-09 23:33

doris---Rollup

Rollup表的好处：和基表共用一个表名，doris会根据具体的查询逻辑选择合适的数据源(合适的表)来计算结果对于基表中数据的增删改，rollup表会自动更新同步3.5.2Agg
咚动咚·2023-06-09 23:03

应用实践 | 物易云通基于 Apache Doris 的实时数据仓库建设

导读：物易云通目前已成为国内产融供应链运营服务平台的领军企业之一，平台年交易额超过200亿元，随着公司业务的快速发展，对数据计算分析的时效要求也越来越高。经数据团队的调研对比，于2021年引入了ApacheDoris作为实时数据仓库。实战过程中获得一些经验，在此分享给大家。作者｜物易云通/司机宝大数据负责人吴凡业务背景武汉物易云通网络科技有限公司成立于2015年6月，总部位于湖北省武汉市东湖高新区
大数据技术架构·2023-06-09 10:46

Doris数据仓库介绍

目录一、Doris简介二、Doris的定位三、产品定位四、Doris的整体架构五、Doris的数据分布六、Doris的关键性技术6.1数据可靠性6.2易于维护6.3ROLLUP表七、Doris的数据模型
海阔天空_81·2023-06-09 10:45

Apache Doris 2.0 冷热分离快速体验

概述对于任何一种数据库类软件来说，无论其基于传统数据库模型还是基于分布式结构，作为核心的永远是数据本身。而数据的生命周期，则体现在CRUD操作（创建、查询、更新、删除）上。任何一条数据从其生成的时刻开始，数据价值随着时间的推移而逐渐降低，直至成为无用数据，最终删除。作为使用数据的主体用户，对于各种数据的需求程度是不同的，人们往往对重要的数据有更高效、稳定的访问需求；而对于不重要的数据则没有这么高的
hf200012·2023-06-09 10:08

[2.0快速体验]Apache Doris 2.0 日志分析快速体验

1.概述应用程序、服务器、云基础设施、IoT和移动设备、DevOps、微服务架构—最重要的业务和IT发展趋势帮助我们以前所未有的方式优化运维和客户体验。但这些趋势也导致由机器生成的数据出现爆炸式成长，其中包括日志和指标等，例如，用户交易、客户行为、传感器活动、机器行为和安全威胁等。这些数据十分复杂，但同时也最为重要，因为它们包含关于IT、安全和业务的运维情报。日志分析涉及到对由您的IT系统和技术基
hf200012·2023-06-09 10:08

[2.0快速体验]Apache Doris 2.0 弹性计算节点快速体验

1.概览我们都知道Doris目前是一个典型的Share-Nothing的架构，Doris通过绑定数据和计算资源在同一个节点获得非常好的性能表现.但随着Doris计算引擎性能持续提高,越来越多的用户也开始选择使用
hf200012·2023-06-09 10:08

同程数科基于 Apache Doris 的数据仓库建设

本文详细讲述了架构1.0到2.0的演进过程及Doris的应用实践，希望对大家有所帮助。作者｜同程数科大数据高级工程师王星业务背景业务介绍同程数科是同程集团旗下的旅游产业金融服务
hf200012·2023-06-09 10:38

打破数据孤岛，Apache Doris 助力纵腾集团快速构建流批一体数仓架构｜最佳实践

福建纵腾网络有限公司（简称“纵腾集团”）成立于2009年，以“全球跨境电商基础设施服务商”为企业定位，聚焦跨境仓储与物流，为全球跨境电商商户、出口贸易企业、出海品牌商提供海外仓储、商业专线物流、定制化物流等一体化物流解决方案，旗下拥有谷仓海外仓、云途物流、WORLDTECH等知名品牌。作者｜纵腾集团数据技术架构师张彬华随着纵腾集团业务的快速发展，各产品线提出的数据需求越发严格，而早期基于多套CDH
hf200012·2023-06-09 10:04

Doris bitmap人群圈选案例

构建标签表CREATETABLE`user_label`(`label_name`varchar(20)NULLCOMMENT'标签名称',`label_version`datetimeNULLCOMMENT'标签版本号',`label_type`varchar(10)NULLCOMMENT'标签类型data-double-int-string',`label_value`varchar(100)
wangleigiser·2023-06-09 05:58

Doris ROLLUP使用

AGGREGATEKEY模型CREATETABLEIFNOTEXISTStest.aggregate_test1(`user_id`LARGEINTNOTNULLCOMMENT"用户id",`city`VARCHAR(20)COMMENT"所在城市",`date`DATENOTNULLCOMMENT"数据插入时间",`age`SMALLINTCOMMENT"用户年龄",`last_date`DAT
wangleigiser·2023-06-09 05:58

Doris动态表使用快速入门实战

1.动态表构功能概述半结构化数据，是介于结构化和非结构化之间的数据。和普通纯文本相比，半结构化数据具有一定的结构性。和结构化数据相比，其结构变化复杂，我们又不能方便的使用结构化的方式去描述它。半结构的数据中通常即包括数据本身，也包括数据结构的描述。比如场景的有JSON、XML，他们即包含数据，也包含数据的描述（元数据信息），具体半结构化特征如下：数据结构自描述：结构与数据相融合在一起，一条数据即包
wangleigiser·2023-06-09 05:52

Doris半结构化数据分析（倒排索引使用）快速入门

1.背景ApacheDoris2.0基于ApacheDoris向量化MPP引擎，增加了倒排索引和半结构化JSON数据支持，更好地满足日志存储、检索、分析需求。与基于ES的日志存储方案相比，有如下优势：性价比提升：存储成本降低50%以上，写入速度提升2倍以上支持复杂数据分析：支持多种JOIN、复杂子查询、Hive数据湖外表，支持标准SQL数据管理更简单：支持标准SQLDDLschemachange，
wangleigiser·2023-06-09 05:22

Doris---索引

前缀索引doris中，对于前缀索引有如下约束：他的索引键最大长度是36个字节当他遇到了varchar数据类型的时候，即使没有超过36个字节，也会自动截断示例1:以下表中我们定义了:user_id,age
华..·2023-06-09 02:10

Doris----Rollup表分析及案例实现

ROLLUP在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。之前的聚合模型:用户id数据插入时间城市年龄性别最后一次访问的时间该用户的总消费额该用户的最大停留时长该用户的最小停留时长100002017/10/2北京1002017/10/0208:00:0065152100002017/10/2北京2002017/10/0208:00:0065152100002017/10/2
华..·2023-06-09 02:40

Doris---数据表设计

doris中的列分为两类：key列和value列key列在doris中有两种作用：聚合表模型中，key是聚合和排序的依据其他表模型中，key是排序依据2分区与分桶partition（分区）：是在逻辑上将一张表按行
华..·2023-06-09 02:39

Doris-----Aggregate 聚合模型及案例实现

Aggregate模型是相同key的数据进行自动聚合的表模型。表中的列按照是否设置了AggregationType，分为Key（维度列）和Value（指标列），没有设置AggregationType的称为Key，设置了AggregationType的称为Value。当我们导入数据时，对于Key列相同的行会聚合成一行，而Value列会按照设置的AggregationType进行聚合。Aggregat
华..·2023-06-09 02:09

【Doris】利用Flink-CDC和flink-doris-connector技术实现Mysql数据全量或增量同步至Doris

简介FlinkCDC：解决了传统数据库实时同步的痛点，该技术抛弃了其他第三方组件（例如Kafka等），能够实时读取Mysqlmaster节点全量和增量数据，能够捕获所有数据的变化，同时它完全与业务解耦，运维也及其简单。具体介绍请参考：Flink_CDC搭建及简单使用及flink-cdc-connectors。ApacheDoris：它是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得
九层之台起于累土·2023-06-08 23:20

从 Elasticsearch 到 Apache Doris，10 倍性价比的新一代日志存储分析平台

日志数据的处理与分析是最典型的大数据分析场景之一，过去业内以Elasticsearch和GrafanaLoki为代表的两类架构难以同时兼顾高吞吐实时写入、低成本海量存储、实时文本检索的需求。ApacheDoris借鉴了信息检索的核心技术，在存储引擎上实现了面向AP场景优化的高性能倒排索引，对于字符串类型的全文检索和普通数值、日期等类型的等值、范围检索具有更高效的支持，相较于Elasticsearc
000X000·2023-06-08 22:35

从零开始的力扣刷题记录-第四十七天

两个列表的最小索引总和-简单1893.检查是否区域内所有整数都被覆盖-简单1779.找到最近的有相同X或Y坐标的点-简单45.跳跃游戏II-中等总结599.两个列表的最小索引总和-简单题目描述：假设Andy和Doris
渊微指玄·2023-06-08 19:28

Apache Doris 冷热分层技术如何实现存储成本降低 70%？

在数据分析的实际场景中，冷热数据往往面临着不同的查询频次及响应速度要求。例如在电商订单场景中，用户经常访问近6个月的订单，时间较久远的订单访问次数非常少；在行为分析场景中，需支持近期流量数据的高频查询且时效性要求高，但为了保证历史数据随时可查，往往要求数据保存周期更为久远；在日志分析场景中，历史数据的访问频次很低，但需长时间备份以保证后续的审计和回溯的工作...往往历史数据的应用价值会随着时间推移
·2023-06-08 16:31

doris索引

目前Doris主要支持两类索引：-内建的智能索引：包括前缀索引和ZoneMap索引。-用户创建的二级索引：包括BloomFilter索引和Bitmap倒排索引。
今夕何夕9720·2023-06-08 15:58

Doris之rollup上卷及物化视图

Rollup表的好处：和基表共用一个表名，doris会根据具体的查询逻辑选择合适的数据源(合适的表)来计算结果对于基表中数据的增删改，rollup表会自动更新同步1.Aggregate模型中的
今夕何夕9720·2023-06-08 15:58

Doris节点扩容及数据表

扩容和缩容上篇文章简单讲了doris的安装，本章分享的是doris中fe和be节点的扩容缩容以及doris的数据表1、FE扩容和缩容使用MySQL登录客户端后，可以使用sql命令查看FE状态，目前就一台
今夕何夕9720·2023-06-08 15:57
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他