Doris动态分区

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

摘要：本文整理自SelectDB资深大数据研发专家王磊，在FFA2022实时湖仓专场的分享。本篇内容主要分为四个部分：实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上，分析一下传统的数据架构。从图中可以看到，数据分为实时数据流和离线数据流。在实时数据部分，通过Binlo
Apache Flink·2023-10-20 00:33

Apache Doris && Kafka

KafkaKafka入门到精通。Kafka硬件配置选择Kafka生产者KafkaBrokerKafka消费者Kafka总体针对Kafka3.0.0Kafka传统定义：分布式的基于发布订阅的消息队列MessageQueue。主要应用于大数据实时处理领域。最新的定义：新的开源的分布式事件流平台EventStreamingPlatform。用于数据管道流分析数据集成和关键任务的应用。消息队列应用场景：缓
wqy19941008·2023-10-20 00:03

Apache Doris使用总结

前提：已有多年大数据经验，熟悉多种架构，与其他框架类比后总结的doris一些特性，新手勿入1.Doris基础学习中文官网:https://doris.apache.org/zh-CN/docs/dev/
这个程序猿可太秀了·2023-10-20 00:32

Apache Doris 入门教程05：数据模型

数据模型本文主要从逻辑层面，描述Doris的数据模型，以帮助用户更好的使用Doris应对不同的业务场景。基本概念在Doris中，数据以表（Table）的形式进行逻辑上的描述。
sunjian286·2023-10-20 00:01

Apache Doris (四十四）： Doris数据更新与删除 - Delete 数据删除

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-20 00:59

Apache Doris (二十五）：Doris 数据导入(三）Broker Load-1

ApacheDoris架构中除了有BE和FE进程之外，还可以部署Broker可选进程，主要用于支持Doris读写远端存储上的文件和目录。例如：ApacheHDF
IT贫道·2023-10-20 00:28

Apache Doris (十二) ：数据存储模型之Unique数据存储模型

目录1.读时合并2.写时合并进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！在某些多维分析场景下，用户更关注的是如何保证Key的唯一性，即如何获得PrimaryKey唯一性约束。因此，我们引入了Unique数据模型，该模型可以根据相同的PrimaryKey来保留后插入的数据，确保数据的唯一&#x
IT贫道·2023-10-20 00:58

Apache Doris (十九) ：Doris Properties 配置项及Engine选择

目录一、Properties配置项二、关于ENGINE进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！一、Properties配置项在创建表时，可以指定properties设置表属性，目前支持以下属性：
IT贫道·2023-10-20 00:58

Apache Doris 02|导入数据遇到的问题

1、brokerload数据导入失败loadlabelexample_db.stuscore(datainfile("hdfs://devtest4.com:50070/tmp/testdata/stuscore.txt")intotablestuscore)withbroker'broker_name'("username"="root","password"="");查看数据导入状态。show
爱吃鱼的荔果果·2023-10-20 00:55

Apache Doris ODBC外表之Postgresql使用指南

今天是2022年阳历新年第一天，祝大家元旦快乐，这也是2022年第一篇文章，后续会给大家带来更多关于Doris的文章，同时也希望Doris2022年起飞，顺利从Apache孵化器毕业成顶级项目，给大家带来更快
hf200012·2023-10-20 00:25

Apache doris 1.2.0 release

亲爱的社区小伙伴们，再一次经历数月的等候后，我们很高兴地宣布，ApacheDoris于2022年12月7日迎来1.2.0Release版本的正式发布！有近118位Contributor为ApacheDoris提交了超2400项优化和修复，感谢每一位让ApacheDoris更好的你！自从社区正式确立LTS版本管理机制后，在1.1.x系列版本中不再合入大的功能，仅提供问题修复和稳定性改进，力求满足更多
hf200012·2023-10-20 00:25

Apache Doris Routine Load数据导入使用方法

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星1.概要Routineload功能为用户提供了一种自动从指定数据源进行数据导入的功能。
hf200012·2023-10-20 00:24

Apache Doris基础

FE又分为Leader、Follwer和Observer三种角色，默认一个Doris集群中只能有一个Leader，可以有多个Follwer和Observer。
Devops_Andre·2023-10-20 00:23

Apache Doris (四十五）： Doris数据更新与删除 - Sequence 列

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.基本原理
IT贫道·2023-10-20 00:22

【无标题】

可以使用动态分区或者预先定义的静态分区来实现。优化Join操作：数据倾斜常出现在Join操作中，可以通过以下方式进行优化：增加Jo
Young_IT·2023-10-19 22:13

os 分段存储管理方式

为了能更好地适应不同大小的用户程序要求，存储管理方式又从固定分区分配，发展到动态分区分配。为了能更好地提高内存的利用率，进而又从连续分配方式发展到离散分配方式﹣分页存储管理方式。
Alkali！·2023-10-19 06:15

第四章 存储器管理（3）——基本分段存储管理方式

4.4、基本分段存储管理方式如果说推动存储管理方式从固定分区到动态分区分配，进而又发展到分页存储管理方式的主要动力，是提高内存利用率，那么，引入分段存储管理方式的目的，则主要是为了满足用户(程序员)在编程和使用上多方面的要求
Web客栈·2023-10-19 06:38

Doris对接消费kafka数据方案实现

本篇主要讲述消费kafka中的数据同步到Doris中。
HD0do(迪答数据)·2023-10-19 04:44

Flink1.15.4+flinkcdc+Dinky0.7.3+Mysql5.7+Doris1.2.1实现实时同步

download/qq_37247664/88192279Dinky0.7.3:https://download.csdn.net/download/qq_37247664/88192354flinkcdc+doris
向大之路·2023-10-19 02:49

Apache Doris 系列： 基础篇-单独更新一列

数据模型选择数据表使用Aggregate聚合模型需要更新的字段使用关键字REPLACE_IF_NOT_NULL举例建表CREATETABLEIFNOTEXISTStest.expamle_tbl2(`user_id`LARGEINTNOTNULLCOMMENT"用户id",`date`DATENOTNULLCOMMENT"数据灌入日期时间",`city`VARCHAR(20)COMMENT"用户所
修破立生·2023-10-18 21:26

Apache Doris 系列： 基础篇-Flink SQL写入Doris

简介本文介绍FlinkSQL如何流式写入ApacheDoris，分为一下几个部分：FlinkDorisconnectorDorisFE节点配置FlinkSQL写DorisFlinkDorisconnectorFlinkDorisconnector本质是通过StreamLoad来时实现数据的查询和写入功能。支持二阶段提交，可实现ExatlyOnce的写入。DorisFE节点配置1）需在apache-
修破立生·2023-10-18 21:25

Apache Doris 系列： 基础篇-Routine Load

简介RoutineLoad支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到Doris中。
修破立生·2023-10-18 21:25

Apache Doris 系列： 基础篇-创建数据表

本文介绍Doris怎么创建表及其他的相关操作。连接Doris部署完成Doris之后，可以通过任意MySQL客户端来连接Doris。
修破立生·2023-10-18 21:55

Apache Doris 系列： 基础篇-Stream Load

文章目录简介StreamLoad的API地址例子简介StreamLoad提供HTTPAPI提交数据导入任务，支持本地数据文件(csv,json)的导入。特点：同步导入保证数据原子性，导入一批数据时，要么全部成功，要么全部失败StreamLoad的API地址http://fe_host:http_port/api/{db}/{table}/_stream_loadfe_hostFE节点的IP地址ht
修破立生·2023-10-18 21:55

Apache Doris 入门教程24：查询和导入性能分析

查询分析Doris提供了一个图形化的命令以帮助用户更方便的分析一个具体的查询或导入。本文介绍如何使用该功能。查询计划树SQL是一个描述性语言，用户通过一个SQL来描述想获取的数据。
sunjian286·2023-10-18 21:23

Apache Doris 入门教程19：数据更新及删除

批量删除目前Doris支持BrokerLoad，RoutineLoad，StreamLoad等多种导入方式，对于数据的删除目前只能通过delete语句进行删除，使用delete语句的方式删除时，每执行一次
sunjian286·2023-10-18 21:23

Apache Doris (四十一）： RESOTRE数据恢复

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.RESTORE数据恢复原理
IT贫道·2023-10-18 21:50

Apache Doris (四十二）： RECOVER数据删除恢复

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-18 21:50

Apache Doris (四十）： BACKUP数据备份

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-18 21:20

Apache Doris (二十四）：Doris 数据导入(二）Binlog Load

目录1.基本原理2.Canal原理及配置2.1Canal同步MySQL数据原理2.2开启MySQLbinlog
IT贫道·2023-10-18 21:19

应用实践｜Lifewit 数据平台基于Apache Doris的建设实践

导读：近几年随着跨境电商行业的快速发展，Lifewit业务达到近十倍的增长，原先的痛点已经严重影响到用户的数据使用体验。技术端需要随着业务的飞速发展不断升级迭代适应业务的增长。Lifewit规划了从旧数据架构进化成目前基于ApacheDoris构建的轻量级业财一体化数据平台，来系统化地解决旧架构存在的痛点，打通业务数据和财务数据，构建综合数据平台提供全业务链自助数据分析能力，支撑完善的数据报表体系
hf200012·2023-10-18 21:48

资源消耗降低 90%，速度提升 50%，解读 Apache Doris Compaction 最新优化与实现

背景LSM-Tree（LogStructured-MergeTree）是数据库中最为常见的存储结构之一，其核心思想在于充分发挥磁盘连续读写的性能优势、以短时间的内存与IO的开销换取最大的写入性能，数据以Append-only的方式写入Memtable、达到阈值后冻结Memtable并Flush为磁盘文件、再结合Compaction机制将多个小文件进行多路归并排序形成新的文件，最终实现数据的高效写入
SelectDB技术团队·2023-10-18 21:47

Apache Doris (四十三）： Doris数据更新与删除 - Update数据更新

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.Update数据更新原理
IT贫道·2023-10-18 21:14

Apache Doris系列之：安装与部署详细步骤

时钟同步四、关闭交换分区五、Linux文件系统六、开发测试环境七、生产环境八、FE和BE的作用九、FE节点的数量十、部署最佳方案十一、Broker部署十二、网络需求十三、集群部署十四、常见问题一、软硬件需求Doris
最笨的羊羊·2023-10-18 11:49

Apache IoTDB 作为合作伙伴参加 Doris Summit Asia 2023！

与创新者同行10月21日，DorisSummitAsia2023将在北京丽亭华苑酒店举行，目前已征集50+演讲议题，将从智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱等方向展开全面分享。ApacheIoTDB社区受到邀请，作为ApacheDoris合作伙伴，将于大会现场设置展位，以分享时序数据库创新成果，欢迎找我们打卡领取社区专属礼品！01关于DorisSummitAsia2023
Apache IoTDB·2023-10-18 11:43

驱动数字化转型，Doris Summit Asia 2023 智慧金融与政企论坛精彩预告！

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-10-18 11:10

Doris Summit Asia 2023 完整议程公开，首届线下峰会邀你报名！

距离DorisSummit2022闭幕已近一年，DorisSummitAsia2023已经起航。这一年里，ApacheDoris完成了从1.0到2.0具有里程碑意义的版本跨越。通过持续技术创新，实现了令人瞩目的性能飞跃。不仅如此，ApacheDoris不断拓展应用场景边界，以适配更广泛的分析场景，并为用户提供灵活的解决方案。凭借这一年的努力，ApacheDoris也获得了更多社区用户及企业的喜爱。
SelectDB技术团队·2023-10-18 11:40

推动产业升级及创新，Doris Summit Asia 2023 先进智造与电信论坛提前揭秘

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-10-18 11:33

【408笔记】操作系统第三章 内存管理

可重定位装入3.动态运行时动态重定位2.逻辑地址和物理地址3.进程的内存映像4.内存保护5.内存共享6.内存分配和回收3.1.2覆盖和交换技术*3.1.3连续分配管理方式1.单一连续分配2.固定分区分配3.动态分区分配动态分区分配算法首次适应算法
带带刷梧呗·2023-10-18 07:11

操作系统知识点总结——第三章内存管理

目录一、内存管理概念（一）基本概念（二）覆盖与交换（三）连续分配管理方式单一连续分配⭐固定分区分配⭐⭐动态分区分配⭐小节回顾⭐动态分区分配算法⭐（四）⭐⭐基本分页存储管理⭐⭐（非连续分配管理方式）⭐分页存储
祖安大龙·2023-10-18 07:10

【大数据 - Doris 实践】数据表的基本使用（一）：基本概念、创建表

数据表的基本使用（一）：基本概念、创建表1.创建用户和数据库2.Doris中数据表的基本概念2.1Row&Column2.2Partition&Tablet3.建表实操3.1建表语法3.2字段类型3.3
G皮T·2023-10-17 22:41

【大数据 - Doris 实践】数据表的基本使用（二）：数据划分

数据表的基本使用（二）：数据划分1.列定义2.分区与分桶2.1Partition2.1.1Range分区2.1.2List分区2.2Bucket2.3使用复合分区的场景3.PROPERTIES3.1replication_num3.2storage_medium3.3storage_cooldown_time4.ENGINE1.列定义列的基本类型，可以通过在mysql-client中执行HELPC
G皮T·2023-10-17 22:39

从 ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践

导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从1.0演进到了4.0，经历了分析引擎从ClickHouse到ApacheDoris的替换、经历了数据架构语义层的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据
hf200012·2023-10-17 17:26

【大数据 - Doris 实践】数据表的基本使用（一）：基本概念、创建表

数据表的基本使用（一）：基本概念、创建表1.创建用户和数据库2.Doris中数据表的基本概念2.1Row&Column2.2Partition&Tablet3.建表实操3.1建表语法3.2字段类型3.3
G皮T·2023-10-17 17:21

D37 2组阿德doris+《被讨厌的勇气》读书笔记

今天阅读了第二夜：一切烦恼都来自人际关系。其中关于自卑的内容是我最感兴趣的部分。我一直都很自卑：长得很矮，只有150cm。长相很一般，身材不好，穿衣服不好看。学历不高，在乡下小学教书，工资很少。说话不中听，有时会惹别人不开心。生活在小县城，什么都比不上城市里。所以我总是觉得自己比不上别人，什么都比别人差，所以别人的生活丰富多彩，而我的却平淡如水。但作者却说：困扰我们的自卑感不是“客观性的事实”而是
阿德doris·2023-10-17 07:35

hive动态分区shell_大数据学习之hive shell笔记总结

原标题：大数据学习之hiveshell笔记总结大数据学习之hiveshell笔记总结，科多带你来看看都有啥。01关于数据库1、因为我们在操作hive时，一般情况下是在cli窗口中，所以写sql脚本时，最好用一个记事本，写好之后放进去。2、启动：需要先启动hdfs,如果有需要用到mr的查询时，必须启动yarn3、DDL数据定义语言，主要是用于创建、删除、修改等数据库级别、表级别、索引等等4、创建数据
weixin_39623355·2023-10-16 06:00

Doris入门了解

微信公众号：大数据高性能计算大数据存储与分析入门学习文档：深入了解Doris大数据技术已成为现代数据处理的核心组成部分，为企业提供了更多洞察和决策支持。
花开终为谢·2023-10-16 01:15

Apache doris Datax DorisWriter扩展使用方法

DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间高效的数据同步功能ApacheDoris是一个现代化的MP
张家锋·2023-10-15 14:25

【大数据Hive】hive select 语法使用详解

前言二、Hiveselect完整语法树三、Hiveselect操作演示3.1数据准备3.1.1创建一张表3.1.2将数据load加载到t_usa_covid19表3.1.3再创建一张分区表3.1.4使用动态分区插入数据
逆风飞翔的小叔·2023-10-15 12:57

Apache Doris 首届线下峰会即将开启，最新议程公开！｜即刻预约

点击此处即刻报名DorisSummitAsia2023回顾人类的发展史，地球起源于46亿年前的原始星云、地球生命最初出现于35亿年前的原始海洋、人类物种诞生于数百万年前，而人类生产力的真正提升源于十八世纪六十年代的工业革命，自此以后，我们所熟知的一切，蒸汽机、电话、汽车、计算机、互联网、智能手机才被逐步创造出来。百年间，人类社会的变革超越了过去数百万年的总和，真正的“行万世于一时”。探索人类社会如
SelectDB技术团队·2023-10-14 20:51
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他