Doris动态分区

Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询

1概况本文展示如何使用FlinkCDC+Iceberg+Doris构建实时湖仓一体的联邦查询分析，Doris1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，大家按照步骤可以一步步完成
京东云技术团队·2024-02-03 02:58

记 doris 加载压缩文件（lzo、snappy）pr

做了一个case，是doris支持加载lzo压缩文件。
howard_shooter·2024-02-02 23:41

Hive调优

(CPU,磁盘,内存)开启或者增大某些设置(配置).负载均衡,严格模式(禁用低效SQL),动态分区数...关闭或者减小某些设置(配置).严格模式(动态分区),推测执行...减少IO传输.Input(输入
我走之後·2024-02-02 14:25

2020-04-23

Android10.0Fastboot动态分区烧录1.概览1.Fastbootd简介动态分区(DynamicPartitions)是Android10新增功能，是用户空间的分区系统(userspacepartitioningsystemtoAndroid
SongSea·2024-02-02 04:56

streampark+flink一键整库或多表同步mysql到doris实战

streampark+flink一键整库或多表同步mysql到doris实战，此应用一旦推广起来，那么数据实时异构时，不仅可以减少对数据库的查询压力，还可以减少数据同步时的至少50%的成本，还可以减少30%
京东云技术团队·2024-02-01 12:42

【数据结构与算法】之哈希表系列-20240131

.两个列表的最小索引总和二、1122.数组的相对排序三、1002.查找共用字符四、771.宝石与石头五、961.在长度2N的数组中找出重复N次的元素一、599.两个列表的最小索引总和简单假设Andy和Doris
敲代码敲到头发茂密·2024-02-01 06:35

操作系统考研——内存管理

*覆盖与交换a.覆盖b.交换3.连续分配管理方式a.单一连续分配b.固定分区分配c.动态分区分配4.非连续分配管理方式a.基本分页存储管理方式（1）分页存储的基本概念（2）基本地址变换机构（3）具有快表的地址变换机构
萝卜嘞？？？？？？·2024-01-31 16:24

操作系统笔记——内存管理

内存管理3.1内存管理基础3.1.1内存管理概述内存管理的功能应用程序的编译、链接与装入逻辑地址和物理地址内存保护3.1.2覆盖与交换技术覆盖技术交换技术3.1.3连续分配管理方式单一连续分配固定分区分配动态分区分配
终成大师·2024-01-31 16:52

内存管理——操作系统（考研操作系统）

逻辑地址到物理地址的转换绝对装入静态重定位动态重定位2.链接链接的三种方式1.静态链接2.装入时动态链接3.运行时动态链接3.内存管理二、覆盖与交换覆盖交换技术三、内存管理1.内存空间的分配与回收①连续分配管理方式1.单一连续分配2.固定分区分配3.动态分区分配
master cat·2024-01-31 16:22

操作系统内存管理

内存管理相关概念1.1进程运行的基本原理和要求1.2逻辑地址空间与物理地址空间2.覆盖与交换2.1覆盖2.2交换2.3覆盖技术与交换技术的比较3.连续分配管理方式3.1单一连续分配3.2固定分区分配3.3动态分区分配
espressol·2024-01-31 16:21

Apache Doris 2.0.4 版本正式发布

官网下载：https://doris.apache.org/download/GitHub下载：h
SelectDB技术团队·2024-01-31 03:38

2019-07-05

一.重点sql1.hive动态分区sethive.exec.dynamici.partition=true;sethive.exec.dynamic.partition.mode=nonstrict;insertoverwritetablemds_new_user_temppartition
胡竹哲·2024-01-30 23:58

学了这一篇，你对Hive优化会更上一层楼

球友提问汪哥问题1：sethive.exec.max.dynamic.partitions=1000;–所有节点的总（默认）限制为1000个动态分区sethive.exec.max.dynamic.partitions.pernode
语兴数据·2024-01-30 15:32

数据治理实践 | 小文件治理

背景小文件是如何产生的：日常任务及动态分区插入数据（使用的Spark2MapReduce引擎），产生大量的小文件，从而导致
语兴数据·2024-01-30 15:29

doris安装文档翻译-标准部署(Standard deployment)

文档地址:对应1.2版本Standarddeployment-ApacheDorisThistopicisaboutthehardwareandsoftwareenvironmentneededtodeployDoris,therecommendeddeploymentmode,clusterscaling,andcommonproblemsoccurincreatingandrunningclu
zxfBdd·2024-01-29 06:11

1.doris简介

doris概述ApacheDoris是现代化的MPP（MassivelyParallelProcessing大规模并行处理）框架分析性数据库，有效支持实时数据分析，分布式架构简单，易于维护，支持10PB
夹毛局的程序员·2024-01-28 16:28

2.doris数据类型与分区

用户创建与授权--创建用户createuser'test'identifiedby'test';--创建数据库createdatabasetest_db;--授权用户grantallontest_dbtotest;建表语法CREATE[EXTERNAL]TABLE[IFNOTEXISTS][database.]table_name(column_definition1[,column_defini
夹毛局的程序员·2024-01-28 16:28

3.doris Rollup与索引

RollupROLLUP在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合基本概念在Doris中，我们将用户通过建表语句创建出来的表称为Base表（BaseTable）。
夹毛局的程序员·2024-01-28 16:28

4.Doris数据导入导出

导入Doris支持多种数据源导入如S3HDFSKafka本地文件Binlog等官方文档导入的原子性保证Doris的每一个导入作业，不论是使用BrokerLoad进行批量导入，还是使用INSERT语句进行单条导入
夹毛局的程序员·2024-01-28 16:27

Doris系列12-数据导入之Broker Load

名词解释：Frontend（FE）：Doris系统的元数据和调度节点。在导入流程中主要负责导入plan生
只是甲·2024-01-28 15:29

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行
OnePandas·2024-01-28 07:33

Doris数据库误删除恢复

如果不小心误删除了表，doris提供了恢复机制，但时间间隔不能超过一天，记得要迅速首先查看当前能恢复的记录有那些可以通过SHOWCATALOGRECYCLEBIN来查询当前可恢复的元信息，也可以在语句后面加
jinqianwang·2024-01-28 05:47

Apache Doris的Rollup和前缀索引

目录1.Aggregate表(Uniq表同理)添加rollup2.Duplicate表添加rollup3.key和前缀索引的关系、查询命中前缀索引的规则3.1key和前缀索引的关系3.2查询命中前缀索引的规则1.Aggregate表(Uniq表同理)添加rollup添加rollupmysql>mysql>altertabletable1addrolluprollup_city(name,city_
Bulut0907·2024-01-27 17:09

多场景下 3-11 倍性能提升，Apache Doris 1.2 新版本性能公开

自ApacheDoris1.1.0版本发布距今已经有数月之久，在这一期间，我们重新思考并确立了社区新版本发布的流程，正式引入了LTS（Long-TermSupport，长周期支持）版本的概念，在1.1.x系列版本中不再引入大的功能Feature、仅提供问题修复和稳定性改进，力求满足更多社区用户在稳定性方面的高要求。值得高兴的是，这一行动已经有了明显的成效，目前1.1.x系列最新版本的稳定性经受了众
SelectDB技术团队·2024-01-27 17:36

文本检索性能提升 40 倍，Apache Doris 倒排索引深度解读

在OLAP领域，ApacheDoris已成为高性能、高并发以及高时效性的代名词。在面向海量数据的复杂查询需求时，除硬件配置、集群规模、网络带宽等因素外，提升性能的核心在于如何最大程度地降低SQL执行时的CPU、内存和IO开销，而这其中数据库索引扮演着至关重要的角色。合理的索引结构设计可以跳过大量不必要的底层数据读取、快速检索定位到所需数据，并进一步提升后续计算的执行效率、降低查询SQL的运行时间和
SelectDB技术团队·2024-01-27 17:35

Doris表格数据信息查看

1.查看当前数据库下所有表的信息SHOWTABLESTATUS;2.查看当前数据库表名包含test的数据表信息SHOWTABLESTATUSLIKE“%test%”;
荣~博客·2024-01-27 14:25

Doris 与 Clickhouse 对比（一）

1.常用引擎☕️Doris表数据模型duplicatekey场景：适用于数据无需提前聚合的分析业务。⚠️注意点：只指定排序列，相同的行并不会合并。uniquekey场景：适用于有更新需求的业务。
大数据左右手·2024-01-27 08:14

Doris Load方式

导入（Load）功能就是将用户的原始数据导入到Doris中。导入成功后，用户即可通过Mysql客户端查询数据。Doris支持多种导入方式。
贾斯汀玛尔斯·2024-01-27 02:53

Doris--基础--3.4--SQL--表的基本概念

Doris–基础–3.4–SQL–表的基本概念1、基本概念在Doris中，数据都以表(Table)的形式进行逻辑上的描述。
勤径苦舟·2024-01-27 02:53

Apache Doris 数据模型介绍

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星本文档主要从逻辑层面描述Doris的数据模型以帮助用户更好的使用Doris应对不同的业务场景。
hf200012·2024-01-27 02:53

Doris基本概念介绍

文章目录简介使用数据模型aggregate模型Unique模型Duplicate模式数据划分PartitionBucket创建库、表简介ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景基于此，ApacheDoris能够较好的满足报表分析、
坚持是一种态度·2024-01-27 02:50

Doris系列3-基础使用指南

基础使用指南Doris采用MySQL协议进行通信，用户可通过MySQLclient或者MySQLJDBC连接到Doris集群。
只是甲·2024-01-26 17:11

Apache Doris ODBC Mysql外表在Ubuntu下使用方法及配置

今天是2021年最后一天，提前祝大家元旦快乐，这也是2021年最后一篇文章，后续会给大家带来更多关于Doris的文章，同时也希望Doris2022年起飞，顺利从Apache孵化器毕业成顶级项目，给大家带来更快
张家锋·2024-01-26 09:23

Doris 的 RPC

doris中使用了gRPC（proto）和thrift，两种RPC框架都用了，不准确的说，gRPC用于BE-BE之间通讯，thrift用于FE-BE之间通讯。
howard_shooter·2024-01-25 13:20

Doris为什么国内大厂都会使用它

Doris介绍官方地址：ApacheDoris:Open-SourceReal-TimeDataWarehouse-ApacheDorisApacheDoris源于百度2008年启动的产品Palo在2018
softshow1026·2024-01-25 08:12

Apache Doris (七十）： Doris优化

Doris中的优化涉及到的方面非常多，例如在分区、分桶、join、查询、参数等各个方面都有优化对应策略，具体可以参考前面每个部分内容，这里大体总结下Doris中的优化相关内容：执行SQL慢可以通过Doris
IT贫道·2024-01-24 14:08

Apache Doris (六十八）： DataX DorisWriter - （2） - Doris参数介绍

个人主页：IT贫道-CSDN博客私聊博主：私聊博主加WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录编辑
IT贫道·2024-01-24 14:08

Apache Doris (六十七）： DataX DorisWriter - （1） - 源码编译及集成

个人主页：IT贫道-CSDN博客私聊博主：私聊博主加WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录
IT贫道·2024-01-24 14:38

Apache Doris (六十九）：JDBC Catalog

个人主页：IT贫道-CSDN博客私聊博主：私聊博主加WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录1.创建Catalog
IT贫道·2024-01-24 14:36

大数据Doris（五十八）：SQL函数之字符串函数（二）

文章目录SQL函数之字符串函数（二）一、group_concat(VARCHARstr[,VARCHARsep])
Lansonli·2024-01-24 05:25

Doris实战笔记

Doris实战笔记本文基于Doris1.2.4.1版本部署,其他版本不同之处还请见谅注意：在Doris官网下载时，记得查询自己的服务器cpu核心架构，下载合适的架构才能运行Doris安装部署Doris在安装部署时
Mastersheaven·2024-01-23 22:47

datagrip或navicat连接doris数据库

首先一般在公司连的话会有一个证书公司一般内部都会提供的工具你导入这个证书的配置文件到工具即可连接公司的数据库首先看datagrip连接doris新建一个datasource选择mysql然后填入对应的ip
后季暖·2024-01-23 11:49

用flinkcdc debezium来捕获数据库的删除内容

我在用flinkcdc把数据从sqlserver写到doris正常情况下sqlserver有删除数据，doris是能捕获到并很快同步删除的。
后季暖·2024-01-23 11:17

Goodbye My Lover Doris

DidIdisappointyouorletyoudown?我是否让你失望或令你萎靡ShouldIbefeelingguiltyorletthejudgesfrown?我是否应感到有罪或接受罪责'CauseIsawtheendbeforewe'dbegun,因为我们从开始就看到了结局YesIsawyouwereblindedandIknewIhadwon.是的我看到了你的盲目并且知道我已经赢了So
DroisAndEthan·2024-01-23 04:46

Apache doris Datax DorisWriter扩展使用方法

DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间高效的数据同步功能ApacheDoris是一个现代化的MP
张家锋·2024-01-22 15:27

2019-11-16 两个列表的最小索引总和

假设Andy和Doris想在晚餐时选择一家餐厅，并且他们都有一个表示最喜爱餐厅的列表，每个餐厅的名字用字符串表示。你需要帮助他们用最少的索引和找出他们共同喜爱的餐厅。
Antrn·2024-01-22 14:43

flinkcdc 3.0 尝鲜

本文会将从环境搭建到demo来全流程体验flinkcdc3.0包含了如下内容flink1.18standalone搭建doris1fe1be搭建整库数据同步测试各同步场景从检查点重启同步任务环境搭建flink
Antg·2024-01-22 03:51

Apache Doris 数据库有哪些应用场景？

对于Doris，一直听圈内的人在说，吹得神乎其神，但到底有多强，从来没有真正的去尝试一把。直到这次，被人狠狠上了一课。
禹鼎侯·2024-01-21 18:14

ClickHouse/Doris vs Elasticsearch谁更胜一筹？

前言我之前在ClickHousevsDoris读写性能比较一文中，初步做了一下ClickHouse和Doris的读写性能比较，但由于数据样本比较小，且未发挥出所有硬件资源的性能，因此进行了第二轮压测。
禹鼎侯·2024-01-21 18:14

clickhouse 和 doris 哪个比较好

Doris是一个开源的MPP数据库系统，旨在提供类似于传统数据库的功能，但是能够处理大规模数据。它具有较高的查询性能，支持ANSISQL，并且具有与传统数据库相似的用户体验。
格拉摩根终身伯爵·2024-01-21 08:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他