Doris动态分区

下一代实时数据库：Apache Doris 【三】集群部署

文章目录2.3安装要求2.3.1软硬件需求2.3.2默认端口2.4集群部署2.4.1创建目录并拷贝编译后的文件2.4.2部署FE节点2.4.3配置BE节点2.4.4在FE中添加所有BE节点2.4.5启动BE2.4.6部署FS_Broker(可选)后记2.3安装要求2.3.1软硬件需求Linux操作系统要求linux系统版本Centos7.1及以上Ubuntu16.04及以上2)软件需求软件版本Ja
Maynor996·2023-09-24 10:40

Doris数据库FE——SQL handleQuery

SQL解析在下文中指的是将一条sql语句经过一系列的解析最后生成一个完整的物理执行计划的过程。这个过程包括以下四个步骤：词法分析、语法分析、生成逻辑计划、生成物理计划。DorisSQL解析具体包括了六个步骤：词法分析，语法分析、语义分析，生成单机逻辑计划，生成分布式逻辑计划，生成物理计划。具体代码实现上包含以下五个步骤：Parse、Analyze、SinglePlan、DistributedPla
肥叔菌·2023-09-24 05:23

安卓官方链接

Android11Android版本Android安全功能文件级加密(FBE)OTA更新A/B系统更新(无缝更新)非A/B系统更新动态分区Android平台测试monkey测试性能与功耗两项用户指标:可预测
造火箭·2023-09-24 02:39

Apache Doris 系列： 入门篇-数据导入及查询

数据导入及查询本文档主要介绍Doris的数据导入及数据查询。
张家锋·2023-09-23 18:01

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

hive分区表同步数据到doris分区分桶表详解

hive分区表同步数据到doris分区分桶表详解本文从BrokerLoad来实现数据同步一、BrokerBroker是在doris中独立存在的，FE是负责元数据和任务调度，BE负责存储实际数据和执行任务
不吃鱼的cat·2023-09-23 03:04

Doris 导出表结构或数据

MYSQLDUMP导出表结构或数据Doris在0.15之后的版本已经支持通过mysqldump工具导出数据或者表结构导出查询结果集-ApacheDoris使用示例导出导出test数据库中的table1表
jerry-89·2023-09-23 03:03

MySQL 自动根据年份动态创建范围分区

前言要在MySQL中按年对日期进行分区，可以使用自动递增存储过程的方式实现动态分区，它并没有像Oracle里面的**INTERVAL(numtoyminterval(1,‘year’))**方法。
One_Piece111·2023-09-22 23:07

Apache Kylin VS Apache Doris全方位对比

://cloud.tencent.com/developer/article/14772341系统架构1.1WhatisKylin1.2WhatisDoris2数据模型2.1Kylin的聚合模型2.2Doris
数仓大山哥·2023-09-22 21:19

下一代实时数据库：Apache Doris 【二】编译与安装

文章目录第2章编译与安装2.1安装Docker环境2.2使用Docker开发镜像编译后记第2章编译与安装安装Doris，需要先通过源码编译，主要有两种方式：使用Docker开发镜像编译(推荐)、直接编译
Maynor996·2023-09-22 21:18

大数据

（1）查看yarn日志：yarnlogs-applicationIdapplication_1530010276125_55093（2）设置动态分区大小：SEThive.exec.max.dynamic.partitions
原上野·2023-09-22 14:57

Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)

文章目录集成其他系统Spark读写Doris准备Spark环境使用SparkDorisConnectorFlinkDorisConnector准备Flink环境使用FlinkDorisConnectorDataXdoriswriter
迷雾总会解·2023-09-21 12:33

记 doris - 开发问题与解决系列

doris-开发问题与解决系列不支持多表关联跨表字段聚合计算key字段不能为nullkey字段类型不能是string/text/float/double，date做key不会报错，但数据显示异常和不准确
cg6·2023-09-21 12:00

Mysql同步数据到Doris的踩坑过程

问题背景由于项目需要，需要把多个Mysql数据库的数据同步到Doris数据库，然后利用Doris强调的计算和查询能力，来满足业务需求。有关Doris可以查看它的官方文档来了解它。
是良辰·2023-09-21 12:27

Hive的分区和分桶

目录编辑一、Hive分区1.1分区产生的背景1.2动态分区1.2.1hive的动态分区介绍1.2.2动态分区配置1.2.2.1动态分区开启1.2.2.2动态分区模式1.2.2.3一个mr节点上，设置动态分区的最大数量
夜夜流光相皎洁_小宁·2023-09-21 05:52

Apache Doris 系列： 入门篇-安装部署

下面我们以部署一台FE节点和一台BE节点为例来演示部署，正常情况Doris集群下我们建议至少要部署一个FE节点及三个BE节点。
张家锋·2023-09-20 15:35

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:10

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:38

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文导读：当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的用户线索，并将智能分析贯穿业务全链路，实现对用户、产品、场景策略的全面洞察与闭环迭代。本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
SelectDB技术团队·2023-09-20 08:58

基于Apache doris怎么构建数据中台(二)-数据中台建设内容

这次主要是将基于Doris的数据中台建设内容及系统架构设计围绕着上次将的我们要解决的五个问题：找数，理解数据，问题评估，取数及数据可视化，给出一个概要的设计及框架数据中台建设内容数据规范统一：采用维度事实建模理论进行严格的
张家锋·2023-09-19 14:05

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文导读：当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的用户线索，并将智能分析贯穿业务全链路，实现对用户、产品、场景策略的全面洞察与闭环迭代。本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
·2023-09-19 12:11

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

Doris构建实时数仓落地方案详解（一）：实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP查询5.MPP架构6.实时数仓定义7.实时数仓的难点数据仓库的概念可以追溯到
G皮T·2023-09-19 04:45

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

Doris构建实时数仓落地方案详解（二）：Doris核心功能解读1.Doris发展历程2.Doris三大模型3.Doris数据导入4.Doris多表关联5.Doris核心设计6.Doris查询优化7.Doris
G皮T·2023-09-19 04:14

【遇见Doris】Doris在用户画像人群业务的应用

本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。
ApacheDoris·2023-09-18 08:38

Doris进阶——数据导入

数据导入：将用户的原始数据导入到Doris中，导入成功后可以通过Mysql客户端进行查询。所有的导入方式都支持CSV格式，其中BrokerLoad中支持parquet和orc数据格式。
小眼睛的Ayuan·2023-09-18 08:08

Doris进阶——数据备份与恢复

Doris官网：Doris_BackupBackupBackup是将指定的表数据或者指定分区的数据以Doris的文件存储格式上传到远端仓库中，实现数据的备份。
小眼睛的Ayuan·2023-09-18 08:08

【遇见Doris】Doris在作业帮实时数仓中的应用&实践

本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。
ApacheDoris·2023-09-18 08:07

【Doris全面解析】存储层设计介绍2——写入流程、删除流程分析

本文转自开源中国ZhangYu0123博客1整体介绍Doris是基于MPP架构的交互式SQL数据仓库，主要用于解决了近实时的报表和多维分析。Doris高效的导入、查询离不开其存储结构精巧的设计。
ApacheDoris·2023-09-18 08:36

doris历程_Doris简史-为分析而生的11年

期间,Doris从最初的只为解决百度凤巢报表的专用系统,已经成长为目前国内唯一的分析型数据库孵化项目。一路走来,Doris的初心从未改变。
weixin_39998521·2023-09-18 08:06

Doris的执行计划生成、分发与执行

目录一、概述三、执行计划的生成四、执行计划的分发五、执行计划的执行六、举个例子一、概述执行SQL的代码入口为StmtExecutor::execute()三、执行计划的生成在Doris的FE端，与大多数数据库系统一样
howard_shooter·2023-09-18 08:34

Doris】Doris SQL 原理解析

本文主要介绍了DorisSQL解析的原理。重点讲述了生成单机逻辑计划，生成分布式逻辑计划，生成分布式物理计划的过程。对应于代码实现是Analyze，SinglePlan，DistributedPlan，Schedule四个部分。Analyze负责对AST进行前期的一些处理，SinglePlan根据AST进行优化生成单机查询计划，DistributedPlan将单机的查询计划拆成分布式的查询计划，S
九层之台起于累土·2023-09-18 08:34

Doris数据库FE——SQL 接收

SQL接收首先看定义在fe/fe-core/src/main/java/org/apache/doris/qe/QeService.java文件中的publicclassQeService类，该类istheencapsulationoftheentirefront-endservice
肥叔菌·2023-09-18 08:02

Doris 2.0.1 升级实战

1.2.0-1.2.5任意版本->2.0.0-beta当前集群Dorisapache-doris-dependencies-1.2.4.1-bin-x86_64升级目标Doris2.0.1服务
wangqiaowq·2023-09-18 00:42

hive 静态分区与动态分区（笔记）

目录前言：静态分区：1.创建分区2.删除分区3.在分区中插入数据4.查看分区表数据动态分区：2.查看v表源数据3.以emp_name为动态字段数据抽取到employee表总结前言：Hive中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录
小辉懂编程·2023-09-16 08:46

doris多租户资源隔离及权限管理

Doris的多租户和资源隔离方案，主要目的是为了多用户在同一Doris集群内进行数据操作时，减少相互之间的干扰，能够将集群资源更合理的分配给各用户。
shy_snow·2023-09-15 12:34

动态分区分配 存储管理的模拟程序设计

动态分区分配一、实验目标开发一个C语言程序实现内存空间管理的动态分区分配方案。
wutu0513·2023-09-15 08:08

doris数据批量写入数据存在执行更新不存在执行插入

doris的更新特指对于unique类型的表，对于这种类型的表，如果insert的记录与已有的记录的uniquekey相同，也相当与update。
唯♧·2023-09-15 08:52

Doris数据库使用记录

新建表createtabletonly_attendance(vinvarchar(64),diggings_namevarchar(256),areavarchar(64),diggings_typevarchar(256),work_timedecimal(20,2),engine_run_timedecimal(20,2),upload_timevarchar(64))DUPLICATEKE
唯♧·2023-09-15 08:21

【记录】实践场景

ApacheDoris在京东搜索实时OLAP探索与实践https://doris.apache.org/zh-CN/blog/JD_OLAP/通过对比开源的几款实时OLAP引擎，我们发现doris和clickhouse
TaiKuLaHa·2023-09-14 00:29

Doris-1.2.6集群

1、系统软件1.1、系统版本系统：centos7.1及以上；Ubuntu16.04及以上软件：Java1.8及以上；GCC4.8.2及以上；1.2、环境检查1.2.1、gcc安装1、Centosansiblecluster-mshell-a"yum-yinstallgccgcc-c++autoconfpcrepcre-develmakeautomake"ansiblecluster-mshell-
docsz·2023-09-13 17:26

.netcore 连接 apache doris

apachedoris兼容mysql协议；所以我们在.netcore项目中，可以使用Mysql的驱动dotnetaddpackageMySqlConnector测试代码：[HttpGet]publicasyncTaskGet2(){//打开连接awaitusingvarconnection=newMySqlConnection("Server=192.168.122.136;Port=9030;U
沐雪架构师·2023-09-13 06:03

一百七十四、Hive——Hive动态分区表加载数据时需不需要指定分区名？

一、目的在Hive的DWD层和DWS层建立动态分区表后，发现动态插入数据时可以指定分区名，也可以不指定分区名。
天地风雷水火山泽·2023-09-13 06:31

Doris(六)--通过 Canal 同步数据到 Doris 中

pre开启mysqlBinlog网上有众多方法，自行百度。查询是否成功，在mysql客户端输入showBINARYLOGS;出现如下提示，即表示biglog正常开启。1，下载canal服务端传送门注意：下载canal.deployer-xxx版本即可。admin是deployer的管理端。2，上传到服务器的指定位置并解压tarxzvfcanal.deployer-1.1.6.tar.gz注意，这个
BatmanWayne·2023-09-12 20:09

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
SelectDB技术团队·2023-09-11 21:55

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
·2023-09-11 11:19

安卓系列机型 另类体验第三方系统 DSU操作步骤解析 不影响主系统开启第二系统

dsuloader即动态系统更新，可以在使用动态分区的安卓设备上，不影响原来系统的同时安装一个副系统，用于体验最新的原生安卓系统。可以不影响主系统的基础上体验其他gsi第三方。
安卓机器·2023-09-11 07:51

ClickHouse和Doris超大数据集存储

文章目录一.ClickHouse1.性能2.可靠性3.可扩展性4.支持SQL和复杂查询5.适用场景二.Doris1.性能2.可靠性3.易用性4.适用场景三.ClickHouse和Doris的比较1.架构
我是廖志伟·2023-09-10 09:04

操作系统 内存管理之动态动态分区分配算法 原理+代码实现

动态分区分配是指在系统运行的过程中建立分区，并使分区的大小刚好与作业的大小相等。分区的分配：系统初启后，除操作系统占用一个分区外，其余存储区为一个大的空闲区。
开longlong了吗？·2023-09-10 07:18
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他