Doris物化视图

大数据Doris（四十三）：kafka 简单json格式数据导入到Doris

文章目录kafka简单json格式数据导入到Doris一、创建Doris表二、创建Kafkatopic三、创建Ro
Lansonli·2023-06-17 14:39

使用Apache SeaTunnel进行数据库同步（MySQL to MySQL）

目前，大数据体系里有各种各样的数据引擎，有大数据生态的Hadoop、Hive、Kudu、Kafka、HDFS，也有泛大数据库体系的MongoDB、Redis、ClickHouse、Doris，更有云上的
猿敲月下码·2023-06-17 10:50

sql优化-json字符串数组解析优化-doris

sql优化-json字符串数组解析优化-dorisdata字段数据样式：[{“key”:“pen_id”,“value”:“754284934366130203”},{“key”:“distance_fault”,“value”:“[0,0,0,0,0,0,0,0,0,0]”},{“key”:“camera_0_fault”,“value”:“[0,0,0,0,0,0,0,0,0,0]”},{“k
cg6·2023-06-17 01:33

doris - 数仓 拉链表 按天全量打宽表性能优化

数仓拉链表按天全量打宽性能优化现状描述优化优化参数现状描述1、业务历史数据可以变更2、拉链表按天打宽3、拉链表模型分区字段设计不合理，通用的过滤字段没有作为分区分桶字段4、拉链表表数据量略大、模型数据分区不合理和服务器资源限制，计算任务执行超时【3-4年，用户数：132W】5、基于拉链表打宽后的天表行转列【最多列达到300列】，sum(casewhen…end)，没有提前过滤数据优化1、完善模型设
cg6·2023-06-17 01:03

大数据Doris（三十八）：Spark Load 导入Hive数据

SparkLoad导入Hive数据一、SparkLoad导入Hive非分区表数据1、在node3hive客户端，准备向Hive表加载的数据2、启动Hive，在Hive客户端创建Hive表并加载数据3、在Doris
Lansonli·2023-06-16 22:35

如何基于 Apache Doris 构建简易高效的用户行为分析平台？

用户行为分析是企业了解用户的重要方式之一，可以从点击、登录、观看、跳出、下单购买等多维角度还原用户动态使用场景和用户体验，通过对用户行为埋点数据进行分析，可以详细、清楚地了解用户的行为习惯，从中发现用户使用产品的规律，以用于精确营销、产品优化，从而驱动业务实现增长。随着数字化转型进程的不断推进，用户行为分析平台在企业内部扮演的角色愈发重要，如何进一步挖掘用户行为数据价值，也成为了当下各企业不断努力
·2023-06-16 18:47

doris常用命令

ALTERTABLEdb.tbDROPCOLUMNcol添加字段ALTERTABLEdb.tbADDCOLUMNcolint(11)DEFAULT‘0’comment‘’AFTERother_col;doris
左林右李02·2023-06-16 18:04

需要加强的地方，记录一下

基础知识目前想学的：JVM、并发编程、反射、计网、设计模式技术栈Java、MySQL、Redis、ES、Zookeeper、Kafka、Netty、Dubbo、ClickHouse、Doris、、大数据方向
FanZheGOGOGO·2023-06-16 16:06

Spring boot 操作doris

1.启动doris1.1一台fe三台be[root@node01bin]#./start_fe.sh--daemon[root@node01bin]#.
wudl5566·2023-06-16 15:04

doris部署集群时遇到的问题

doris部署时，遇到了两个问题，一个是两个服务器时钟不一致问题；还有一个是在启动dorisFE端时，解析了服务器另一个ip地址，通过ipaddr命令可以看到本服务器有两个ip地址，192.16.48.4
鲸落ж·2023-06-16 13:26

Oracle-第四章-DDL数据定义语言

四、DDL数据定义语言数据定义语言：定义、修改或删除数据库对象数据库对象：表，索引，约束，同义词，数据链，表空间，作业，序列，视图，物化视图，函数，过程，包，触发器本部分的操作在PL/SQLDeveloper
小猪宝宝哦·2023-06-15 18:17

Apache Doris 社区所有贡献者来领礼品啦！

2022年6月16日，全球最大的开源软件基金会宣布，ApacheDoris正式从Apache孵化器毕业，成为顶级项目！在整个孵化期间，因为拥有一群热爱开源、热爱ApacheDoris的优秀开发者，才让ApacheDoris取得了今天的成就：累计发布Release版本8次Contributor增长至338人每月活跃贡献者接近100人提交PR数量超过6000GithubStar数量突破4.4k社区用户
·2023-06-15 11:20

大数据Doris（四十一）：Routine Load严格模式和导入案例

文章目录RoutineLoad严格模式和导入案例一、严格模式二、严格模式导入Kafka数据到DorisRoutineLoad严格模式和导入案例
Lansonli·2023-06-15 06:28

一文揭秘高效稳定的 Apache Doris 内存管理机制

作者：SelectDB高级研发工程师、ApacheDorisCommitter邹新一背景ApacheDoris作为基于MPP架构的OLAP数据库，数据从磁盘加载到内存后，会在算子间流式传递并计算，在内存中存储计算的中间结果，这种方式减少了频繁的磁盘I/O操作，充分利用多机多核的并行计算能力，可在性能上呈现巨大优势。在面临内存资源消耗巨大的复杂计算和大规模作业时，有效的内存分配、统计、管控对于系统的
·2023-06-14 18:20

Doris数仓的4大特点

01-极简架构Doris从设计上来说，融合了GoogleMesa的数据存储模型、Apache的ORCFile存储格式、ApacheImpala查询引擎和MySQL交互协议，是一个拥有先进技术和先进架构的领先设计产品
000X000·2023-06-14 11:35

Doris集成Spark读写的简单示例

Doris集成Spark读写的简单示例文章目录Doris集成Spark读写的简单示例0、写在前面1、SparkDorisConnector介绍2、基本示例2.1提前准备表和数据2.2新建项目2.3使用SQL
WHYBIGDATA·2023-06-14 11:16

Hbase-- 03

③建立索引和物化视图需要花费大量的时间和资源。④面对查询需求，数据库必须被大量膨胀才能满足需求。列式数据库的特性
All996·2023-06-14 10:53

Apache Doris :Rollup 物化视图

整理了一下目前开启虚拟机需要用到的程序,包括MySQL,Hadoop,Linux,hive,Doris3.5RollupROLLUP在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。
All996·2023-06-14 10:22

2020年 DORIS本周运势重要提醒（5.11-5.17）

PS:12星座运势是天象对12星座的整体影响，可参考上升星座为主，太阳星座为辅。想了解个人运势，需要个人的出生年月日时制作星盘来分析，更多详情请添加VX：Every-ying本周是回炉重造重新历练的一周5.11太阳金牛座六分海王星双鱼座&土星在水瓶座开始逆行座这一天太阳与海王星的互动让我们增添了更多的灵感，对于从事灵性，艺术工作的人来说，是一个学习的好机会。同时土星开始了为期4个多月的逆行，从水瓶
莹丘丘的记录课堂·2023-06-13 21:43

Apache Doris 在小米亿级用户行为分析平台的实践｜最佳实践

导读：过去3年时间里，ApacheDoris已经在小米内部得到了广泛的应用，支持了集团数据看板、广告投放/广告BI、新零售、用户行为分析、A/B实验平台、天星数科、小米有品、用户画像、小米造车等小米内部数十个业务，并且在小米内部形成了一套以ApacheDoris为核心的数据生态。本文将为大家分享小米用户行为分析平台基于ApacheDoris向量化版本的改造实践，包括数据存储架构和查询服务架构的演进
·2023-06-13 19:22

小米 A/B 实验场景基于 Apache Doris 的查询提速优化实践

经过一系列基于Doris的性能优化和测试，A/B实验场景查询性能的提升超过了我们的预期。希望本次分享可以给有需要的朋友提供一些参考。
·2023-06-13 19:21

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在
·2023-06-13 19:11

MaxCompute 发布“物化视图智能推荐”，CU算力节省14%

阿里云MaxCompute在飞天发布时刻推出了“物化视图智能推荐”功能，这一功能的发布将节省CU算力14%，进一步提升了MaxCompute在大数据计算能力方面的领先地位。
·2023-06-13 10:08

大数据Doris（四十）：Routine Load基本原理和语法介绍

基本原理和语法介绍一、基本原理二、RoutineLoad语法RoutineLoad基本原理和语法介绍例行导入（RoutineLoad）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到Doris
Lansonli·2023-06-13 07:24

亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践

本文导读：ApacheDoris助力荔枝微课构建了规范的、计算统一的实时数仓平台，目前ApacheDoris已经支撑了荔枝微课内部90%以上的业务场景，整体可达到毫秒级的查询响应，数据时效性完成T+1到分钟级的提升，开发效率更是实现了50%的增长，满足了各业务场景需求、实现降本提效，深得十方融海各数据部门高度认可。作者：陈城，数据中台组组长深圳十方融海科技有限公司成立于2016年，是一家数字职业在
·2023-06-12 14:30

12、Hive优化-文件存储格式和压缩格式优化与job执行优化（执行计划、MR属性、join、优化器、谓词下推和数据倾斜优化）详细介绍及示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:11

10、hive综合示例：数据多分隔符（正则RegexSerDe）、url解析、行列转换常用函数（case when、union、concat和explode）详细使用示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:10

11、hive综合应用示例：json解析、窗口函数应用（连续登录、级联累加、topN）、拉链表应用

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:10

13、java api访问hive操作示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:40

7、hive shell客户端与属性配置、内置运算符、函数（内置运算符与自定义UDF运算符）

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:39

9、hive的explode、Lateral View侧视图、聚合函数、窗口函数、抽样函数使用详解

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:39

5、hive的load、insert、事务表使用详解及示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:08

6、hive的select（GROUP BY、ORDER BY、CLUSTER BY、SORT BY、LIMIT、union、CTE）、join使用详解及示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:08

8、hive的关系运算、逻辑预算、数学运算、数值运算、日期函数、条件函数和字符串函数的语法与使用示例详解

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:08

3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:07

4、hive的使用示例详解-事务表、视图、物化视图、DDL(数据库、表以及分区)管理详细操作

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:07

1、apache-hive-3.1.2简介及部署（三种部署方式-内嵌模式、本地模式和远程模式）及验证详解

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:37

2、hive相关概念详解--架构、读写文件机制、数据存储

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:35

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）

Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统概述背景ApacheDoris官方地址https://doris.apache.org/ApacheDorisGitHub
李自提·2023-06-10 18:30

MPP分析性数据库之Doris

####Doris介绍ApacheDoris是一个现代化的MPP分析性数据库产品。仅需要亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。
勇者1108·2023-06-10 18:28

Doris、Clickhouse、Tidb三者对比

序号对比维度类别DorisClickhouseTiDB1总体架构Share-Nothing是是是2列存是是是3架构内置分布式协议进行元数据同步Master/Follower/Observer节点类型依赖ZooKeeper进行DDL和Replica同步开源分布式NewSQL数据库Master/Slave4事务性事务保证数据ACID100万以内原子性，DDL无事务保证事务保证数据ACID5数据规模单集
卢子墨·2023-06-10 18:55

【数据库】Apache Doris : 一个开源 MPP 数据库的架构与实践

文章目录Doris背景介绍一、Doris二、Doris定位适用场景&案例介绍一、适用场景二、具体案例Doris整体架构一、Doris整体架构二、Doris数据分布三、Doris的使用方式Doris关键技术一
逆流°只是风景-bjhxcc·2023-06-10 18:22

Doris学习笔记

我们导入一张表它在doris里实际存储为：具体流程为：前两条记录属于是一个key（user_id、date、age的值一
风中追风FF·2023-06-10 11:28

大数据Doris（三十七）：Spark Load导入HDFS数据

文章目录SparkLoad导入HDFS数据一、准备HDFS数据二、创建Doris表三、创建SparkLoad导入任务
Lansonli·2023-06-10 10:12

doris---物化视图及pv、uv案例实现

物化视图就是查询结果预先存储起来的特殊的表。
咚动咚·2023-06-09 23:33

doris---Rollup

Rollup表的好处：和基表共用一个表名，doris会根据具体的查询逻辑选择合适的数据源(合适的表)来计算结果对于基表中数据的增删改，rollup表会自动更新同步3.5.2Agg
咚动咚·2023-06-09 23:03

浅谈 ByteHouse Projection 优化实践

预聚合是OLAP系统中常用的一种优化手段，在通过在加载数据时就进行部分聚合计算，生成聚合后的中间表或视图，从而在查询时直接使用这些预先计算好的聚合结果，提高查询性能，实现这种预聚合方法大多都使用物化视图来实现
字节数据平台·2023-06-09 21:55

直播｜StarRocks 3.0 极速统一的湖仓新范式

全新升级的StarRocks3.0：通过存算分离架构，帮助用户降低存储成本、提升计算弹性通过数据湖分析、物化视图等特性简化湖仓融合，实现极速统一湖仓分析通过新的RBAC权限框架，实现湖仓数据的统一管理4
StarRocks_labs·2023-06-09 13:11

应用实践 | 物易云通基于 Apache Doris 的实时数据仓库建设

导读：物易云通目前已成为国内产融供应链运营服务平台的领军企业之一，平台年交易额超过200亿元，随着公司业务的快速发展，对数据计算分析的时效要求也越来越高。经数据团队的调研对比，于2021年引入了ApacheDoris作为实时数据仓库。实战过程中获得一些经验，在此分享给大家。作者｜物易云通/司机宝大数据负责人吴凡业务背景武汉物易云通网络科技有限公司成立于2015年6月，总部位于湖北省武汉市东湖高新区
大数据技术架构·2023-06-09 10:46

Doris数据仓库介绍

目录一、Doris简介二、Doris的定位三、产品定位四、Doris的整体架构五、Doris的数据分布六、Doris的关键性技术6.1数据可靠性6.2易于维护6.3ROLLUP表七、Doris的数据模型
海阔天空_81·2023-06-09 10:45
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他