Doris动态分区

Flink 统计接入的数据量-滚动窗口和状态的使用

1、概述在生产场景值，经常需要和上游、下游对数，离线场景可以直接groupby再count，但是实时场景中，如果使用kafka作为中间件，中间经过几个job的过滤转化后，再对照像Doris或Clickhouse
猫猫爱吃小鱼粮·2023-11-03 17:37

Doris分区表使用

一、动态分区官网链接动态分区是在Doris0.12版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。目前实现了动态添加分区及动态删除分区的功能。
有语忆语·2023-11-03 13:54

Apache Doris 系列：基础篇-创建动态分区表

文章目录动态分区的重要参数使用案例查看分区插入和查看数据动态分区的重要参数dynamic_partition.enable是否启用动态分区true|false,默认为true,即启用动态分区dynamic_partition.time_unit
修破立生·2023-11-03 00:31

doris表唯一模型如何自由选择字段删除数据

Doris唯一模型，只能根据首个字段（主键位）删除数据。并且条件值要写死具体值。。有时为了满足需求，不得不把表做出复制模型。但是，一定要删除唯一模型的数据还是办法的。
斑鸠同学·2023-11-03 00:29

Doris--数据表基本概念和字段类型

文章目录1.doris表基本概念1.1.1Row&Column1.1.2Partition&Tablet2.doris字段类型1.doris表基本概念在Doris中，数据都以关系表（Table）的形式进行逻辑上的描述
韩家小志·2023-11-03 00:58

Apache Doris (二十) ：Doris 索引详细内容

目录1.前缀索引2.Bitmap索引2.1Bitmap位图索引原理2.2Bitmap位图索引语法
IT贫道·2023-11-03 00:27

大数据Doris（十五）：Doris表的字段类型

文章目录Doris表的字段类型一、TINYINT数据类型二、SMALLINT数据类型三、INT数据类型
Lansonli·2023-11-03 00:54

【文档笔记】doris数据仓库-数据表设计：数据模型及数据划分

数据表设计：数据模型及数据划分一、Doris的数据模型在Doris中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row即用户的一行数据。
KevinBrain·2023-11-03 00:54

Apache Doris (二十六）：Doris 数据导入(四）Broker Load -2 案例及注意事项

目录1.BrockerLoad案例1.1导入HDFS数据到Doris表1.2通配符导入HDFS数据，并指定列顺序
IT贫道·2023-11-02 12:46

分布式数据库Apache Doris HA集群部署

哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️
IT邦德·2023-11-02 12:13

Doris：物化视图

自动匹物化视图4.1.总数据量4.2.可以使用EXPLAIN检查sql是否使用物化视图4.3.统计各省年度数据4.4.统计某年各月数据物化视图是将预先计算（根据定义好的SELECT语句）好的数据集，存储在Doris
m0_37559973·2023-11-02 08:26

Apache Doris系列之：深入认识实时分析型数据库Apache Doris

ApacheDoris系列之：深入认识实时分析型数据库ApacheDoris一、什么是ApacheDoris二、ApacheDoris优势三、ApacheDoris1.1Release四、ApacheDoris下载链接一、什么是ApacheDorisApacheDoris是一个基于MPP的现代化、高性能、实时的分析型数据库，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询
最笨的羊羊·2023-11-01 18:55

Doris SQL日志审计部署，以及sql收集输出kafka，后续血缘分析

1，介绍Doris的审计日志插件是一个可选插件。
黄瓜炖啤酒鸭·2023-11-01 18:19

最佳实战｜Apache Doris SQL日志审计功能

一.功能介绍SQL日志审计是一个可插拔的插件，旨在将logs/fe.audit.log中的sql查询信息记录到doris集群中，方便用户对sql进行分析。
spark大数据玩家·2023-11-01 18:49

基于Apache doris的元数据管理系统

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星这里我们要先搞懂什么是元数据？元数据和数据的区别是什么？
hf200012·2023-11-01 18:45

Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询

1.概览这篇教程将展示如何使用FlinkCDC+Iceberg+Doris构建实时湖仓一体的联邦查询分析，Doris1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，
hf200012·2023-11-01 18:45

峰会倒计时 3 天！互联网与文娱论坛演讲亮点预告！

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-11-01 18:13

本周六，Apache Doris 年度技术盛会相约北京！

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-11-01 18:13

与创新者同行，Doris Summit Asia 2023 线下技术峰会圆满落幕！

10月21日，由飞轮科技主办、阿里云与腾讯云联合主办的ApacheDoris社区首届线下技术峰会DorisSummitAsia2023在一片热潮中落下帷幕。本届峰会以「与创新者同行」为主题，设置主论坛和智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱4个平行论坛，来自美团、银联商务、中国邮政储蓄银行、阿里云、腾讯、小米、华为、网易、平安、众安保险、无锡锡商银行、中国联通、中国电信、爱
SelectDB技术团队·2023-11-01 18:13

查询平均提速 700%，奇安信基于 Apache Doris 升级日志安全分析系统

本文导读：数智时代的到来使网络安全成为了不可忽视的重要领域。奇安信作为一家领先的网络安全解决方案领军者，致力于为企业提供先进全面的网络安全保护，其日志分析系统在网络安全中发挥着关键作用，通过对运行日志数据的深入分析，能够对漏洞和异常行为生成关键见解，帮助企业建立有效的防御策略。本文将深入探讨奇安信在网络安全与日志分析解决方案的关键优势，了解基于ApacheDoris构建的全新一体化日志存储分析平台
SelectDB技术团队·2023-11-01 18:39

Doris中tablet节点分布不均匀问题

问题描述Doris集群有3个BE和1个FE节点，一个机器上同时部署了FE和BE。在Doris中创建一张表，这张表默认就一个分区，按照“车牌号”字段做分桶，默认桶副本数为3。
IT贫道·2023-11-01 10:58

Apache Doris (四十九）： Doris表结构变更-动态分区(1)

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-11-01 10:58

Apache Doris (五十）： Doris表结构变更-动态分区(2)

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-11-01 10:19

技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once精准接入

本篇文档将演示如何使用ApacheDorisFlinkConnector结合FlinkCDC以及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效接入，并实现ExactlyOnce。一、概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据
Apache Flink·2023-10-31 20:03

【遇见Doris】Spark Doris Connector的最佳实践

Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注Doris官方公众号。公众号后台回复“1222”立即get现场录像及嘉宾PPT。
ApacheDoris·2023-10-31 20:32

生态扩展Spark Doris Connector

生态扩展SparkDorisConnectordoris官网去查找相匹配的sparkspark的安装：tar-zxvfspark-3.1.2-bin-hadoop3.2.tgzmvspark-3.1.2-bin-hadoop3.2/opt/sparkspark环境配置：vim/etc/profileexportSPARK_HOME=/opt/sparkexportPATH=$PATH:$SPARK
墨卿风竹·2023-10-31 20:30

Apache Doris在蜀海供应链的实践

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星概述最早接触doris是在2020年初，当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架
hf200012·2023-10-31 20:59

一个人可能走得更快，但一群人会走得更远[Doris 社区的访谈]

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星「社区人物志」是ApacheDoris社区推出的系列专栏，我们关注每一个对Doris做出过贡献的Contributor
hf200012·2023-10-31 20:59

生态扩展：Flink Doris Connector

生态扩展：FlinkDorisConnector官网地址：https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connectorflink
墨卿风竹·2023-10-31 20:56

Apache Doris (四十七）： Doris表结构变更-Schema变更

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-31 07:52

Apache Doris (四十八）： Doris表结构变更-替换表

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-31 07:17

Doris扩容缩容

一、FE扩缩容Doris集群FE分为三个角色：Leader、Follower、Observer，默认只有一个Leader和多个Follower和Observer，当Leader宕机后，Followr会参与选举
爱过java·2023-10-30 10:06

Doris开发手记2：用SIMD指令优化存储层的热点代码

最近一直在进行Doris的向量化计算引擎的开发工作，在进行CPU热点排查时，发现了存储层上出现的CPU热点问题。于是尝试通过SIMD的指令优化了这部分的CPU热点代码，取得了较好的性能优化效果。
LeeHappen·2023-10-30 07:28

一文教你玩转 Apache Doris 分区分桶新功能｜新版本揭秘

数据分片（Sharding）是分布式数据库分而治之(DivideAndConquer)这一设计思想的体现。过去的单机数据库在大数据量下往往面临存储和IO的限制，而分布式数据库则通过数据划分的规则，将数据打散分布至不同的机器或节点上，形成分布式存储，因此突破了单机存储空间和IO的瓶颈、使库表数据量可以无限拓展。数据分片主要有范围分片或哈希分片这两种方式，而在实际数据库的实现中，往往呈现为分区和分桶两
hf200012·2023-10-30 06:58

分布式数据库Apache Doris简易体验

哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️
IT邦德·2023-10-30 06:24

Kafka消费者-代码示例和参数设置

订阅的主题2.反序列化规则3.消费之属性-集群地址4.消费者属性-消费者组ID（如果不设置，会有默认的，但是默认的不方便管理）5.消费之属性-offset重置规则，如earliest/latest…6.动态分区检测
向天再借两厘米·2023-10-29 14:24

Hive如何处理大量小文件

小文件是如何产生的动态分区插入数据的时候，会产生大量的小文件，从而导致map数量的暴增数据源本身就包含有大量的小文件reduce个数越多，生成的小文件也越多小文件的危害从HIVE角度来看的话呢，小文件越多
liuzx32·2023-10-29 12:20

doris Table[xxxx]‘s state is not NORMAL. Do not allow doing ALTER ops问题

问题：doris建好表后对表结构进行修改，使用alter语句修改，但多个alter执行就会报Table[xxxx]'sstateisnotNORMAL.DonotallowdoingALTERops。
今朝花落悲颜色·2023-10-29 08:09

doris修改列名

1.Doris是否支持修改列名？在1.2.0版本之后,开启"light_schema_change"="true"选项时，可以支持修改列名。
今朝花落悲颜色·2023-10-29 08:39

Apache Doris (七) ：Doris分布式部署（四） BE扩缩容

目录1.BE扩容（创建BE与FE关系）2.BE缩容3.BE扩缩容注意问题进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！
IT贫道·2023-10-28 17:35

墨天轮访谈 | SelectDB 衣国垒：Apache Doris（incubating）1.0版本特性解析与未来规划

分享嘉宾：衣国垒ApacheDorisCommitter、SelectDB联合创始人&CTO整理：墨天轮社区导读大家好，我是来自ApacheDoris社区的衣国垒，也是SelectDB的联合创始人，今天为大家分享的内容是《ApacheDoris（incubating）1.0版本特性解析与未来规划》。ApacheDoris介绍1、ApacheDoris发展历程ApacheDoris（incubati
MoMoSQL666·2023-10-28 17:02

下一代实时数据库：Apache Doris 【四】扩容缩容

2.5扩容和缩容Doris可以很方便的扩容和缩容FE、BE、Broker实例。2.5.1FE扩容和缩容可以通过将FE扩容至3个以上节点来实现FE的高可用。
大模型Maynor·2023-10-28 17:32

《Python编程：从入门到实践》组织列表课后习题：宴会名单

names=['Sally','Jason','Doris','Aimee']print(names[0]+"wou
甜茸·2023-10-28 16:38

Flink将数据写入MySQL(JDBC)

一、写在前面在实际的生产环境中，我们经常会把Flink处理的数据写入MySQL、Doris等数据库中，下面以MySQL为例，使用JDBC的方式将Flink的数据实时数据写入MySQL。
文文鑫·2023-10-28 13:19

基于Apache doris怎么构建数据中台(一)-什么是数据中台

这是数据中台系列的第一篇文章，主要阐述数据中台概念，从技术和业务视觉看数据中台及数据中台要解决的问题1.什么是数据中台数据是从业务系统产生的，而业务系统也需要数据分析的结果，那么是否可以把业务系统的数据存储和计算能力抽离，由单独的数据处理平台提供存储和计算能力？这样不仅可以简化业务系统的复杂性，还可以让各个系统采用更合适的技术，专注做本身擅长的事。这个专用的数据处理平台即数据中台。数据中台是一个用
张家锋·2023-10-28 10:09

Centos7 编译安装Doris与测试

Centos7编译安装DorisDB与测试安装只介绍docke模式下载https://github.com/DorisDB/incubator-doris安装docker测试过实体机编译，问题过多，所以改为
ciqingloveless·2023-10-28 09:11

1.OLAP 技术选型 Apache Kylin、Apache Doris、Clickhouse对比

文章目录一、功能对比二、其他对比三、使用场景一、功能对比支持用Y表示，不支持用N表示，支持的不好用B表示功能ApacheKylinApacheDorisClickhouse标准SQLYYYMysql协议NYN离线导入YYY实时导入YYY聚合查询YYY明细查询BYYAdhoc查询NYY点更新NYN并发YBB分区数据原子重导YNN二、其他对比对比项ApacheKylinApacheDorisClick
终回首·2023-10-28 08:27

clickhouse、Doris、Kylin对比

clickhouseClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，是基于MPP架构的分布式ROLAP（RelationalOLAP）分析引擎主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告，可以支持任意指标、任意维度并秒级给出反馈。最大的特色是高性能的向量化执行引擎，而且功能丰富、可靠性高。OLAP（On-L
大地你王哥·2023-10-28 08:53

文件系统(五) — 图解虚拟文件系统结构

最近一直忙于基于android的动态分区的方案和virtualA/B方案通过rust重写升级的框架，里面有将IO子系统的框架学习了，主要是基于deviceMapper的用法和实现原理，只是学习了基本的原理和如何使用
奇小葩·2023-10-28 05:58

sparksql动态分区数超上限报错

sethive.exec.dynamic.partition=true;(查看语句：sethive.exec.dynamic.partition;)sethive.exec.dynamic.partition.mode=nonstrict;注：该属性默认是strict，即限制模式，避免全部分区字段都是动态的。应该必须至少一个分区字段是指定有值即静态的，且必须放在最前面。设置为nonstrict之后
小战牛·2023-10-28 03:48
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他