DORIS

Apache Doris 系列： 入门篇-数据导入及查询

数据导入及查询本文档主要介绍Doris的数据导入及数据查询。
张家锋·2023-09-23 18:01

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

hive分区表同步数据到doris分区分桶表详解

hive分区表同步数据到doris分区分桶表详解本文从BrokerLoad来实现数据同步一、BrokerBroker是在doris中独立存在的，FE是负责元数据和任务调度，BE负责存储实际数据和执行任务
不吃鱼的cat·2023-09-23 03:04

Doris 导出表结构或数据

MYSQLDUMP导出表结构或数据Doris在0.15之后的版本已经支持通过mysqldump工具导出数据或者表结构导出查询结果集-ApacheDoris使用示例导出导出test数据库中的table1表
jerry-89·2023-09-23 03:03

Apache Kylin VS Apache Doris全方位对比

://cloud.tencent.com/developer/article/14772341系统架构1.1WhatisKylin1.2WhatisDoris2数据模型2.1Kylin的聚合模型2.2Doris
数仓大山哥·2023-09-22 21:19

下一代实时数据库：Apache Doris 【二】编译与安装

文章目录第2章编译与安装2.1安装Docker环境2.2使用Docker开发镜像编译后记第2章编译与安装安装Doris，需要先通过源码编译，主要有两种方式：使用Docker开发镜像编译(推荐)、直接编译
Maynor996·2023-09-22 21:18

Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)

文章目录集成其他系统Spark读写Doris准备Spark环境使用SparkDorisConnectorFlinkDorisConnector准备Flink环境使用FlinkDorisConnectorDataXdoriswriter
迷雾总会解·2023-09-21 12:33

记 doris - 开发问题与解决系列

doris-开发问题与解决系列不支持多表关联跨表字段聚合计算key字段不能为nullkey字段类型不能是string/text/float/double，date做key不会报错，但数据显示异常和不准确
cg6·2023-09-21 12:00

Mysql同步数据到Doris的踩坑过程

问题背景由于项目需要，需要把多个Mysql数据库的数据同步到Doris数据库，然后利用Doris强调的计算和查询能力，来满足业务需求。有关Doris可以查看它的官方文档来了解它。
是良辰·2023-09-21 12:27

Apache Doris 系列： 入门篇-安装部署

下面我们以部署一台FE节点和一台BE节点为例来演示部署，正常情况Doris集群下我们建议至少要部署一个FE节点及三个BE节点。
张家锋·2023-09-20 15:35

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:10

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:38

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文导读：当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的用户线索，并将智能分析贯穿业务全链路，实现对用户、产品、场景策略的全面洞察与闭环迭代。本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
SelectDB技术团队·2023-09-20 08:58

基于Apache doris怎么构建数据中台(二)-数据中台建设内容

这次主要是将基于Doris的数据中台建设内容及系统架构设计围绕着上次将的我们要解决的五个问题：找数，理解数据，问题评估，取数及数据可视化，给出一个概要的设计及框架数据中台建设内容数据规范统一：采用维度事实建模理论进行严格的
张家锋·2023-09-19 14:05

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文导读：当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的用户线索，并将智能分析贯穿业务全链路，实现对用户、产品、场景策略的全面洞察与闭环迭代。本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
·2023-09-19 12:11

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

Doris构建实时数仓落地方案详解（一）：实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP查询5.MPP架构6.实时数仓定义7.实时数仓的难点数据仓库的概念可以追溯到
G皮T·2023-09-19 04:45

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

Doris构建实时数仓落地方案详解（二）：Doris核心功能解读1.Doris发展历程2.Doris三大模型3.Doris数据导入4.Doris多表关联5.Doris核心设计6.Doris查询优化7.Doris
G皮T·2023-09-19 04:14

【遇见Doris】Doris在用户画像人群业务的应用

本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。
ApacheDoris·2023-09-18 08:38

Doris进阶——数据导入

数据导入：将用户的原始数据导入到Doris中，导入成功后可以通过Mysql客户端进行查询。所有的导入方式都支持CSV格式，其中BrokerLoad中支持parquet和orc数据格式。
小眼睛的Ayuan·2023-09-18 08:08

Doris进阶——数据备份与恢复

Doris官网：Doris_BackupBackupBackup是将指定的表数据或者指定分区的数据以Doris的文件存储格式上传到远端仓库中，实现数据的备份。
小眼睛的Ayuan·2023-09-18 08:08

【遇见Doris】Doris在作业帮实时数仓中的应用&实践

本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。
ApacheDoris·2023-09-18 08:07

【Doris全面解析】存储层设计介绍2——写入流程、删除流程分析

本文转自开源中国ZhangYu0123博客1整体介绍Doris是基于MPP架构的交互式SQL数据仓库，主要用于解决了近实时的报表和多维分析。Doris高效的导入、查询离不开其存储结构精巧的设计。
ApacheDoris·2023-09-18 08:36

doris历程_Doris简史-为分析而生的11年

期间,Doris从最初的只为解决百度凤巢报表的专用系统,已经成长为目前国内唯一的分析型数据库孵化项目。一路走来,Doris的初心从未改变。
weixin_39998521·2023-09-18 08:06

Doris的执行计划生成、分发与执行

目录一、概述三、执行计划的生成四、执行计划的分发五、执行计划的执行六、举个例子一、概述执行SQL的代码入口为StmtExecutor::execute()三、执行计划的生成在Doris的FE端，与大多数数据库系统一样
howard_shooter·2023-09-18 08:34

Doris】Doris SQL 原理解析

本文主要介绍了DorisSQL解析的原理。重点讲述了生成单机逻辑计划，生成分布式逻辑计划，生成分布式物理计划的过程。对应于代码实现是Analyze，SinglePlan，DistributedPlan，Schedule四个部分。Analyze负责对AST进行前期的一些处理，SinglePlan根据AST进行优化生成单机查询计划，DistributedPlan将单机的查询计划拆成分布式的查询计划，S
九层之台起于累土·2023-09-18 08:34

Doris数据库FE——SQL 接收

SQL接收首先看定义在fe/fe-core/src/main/java/org/apache/doris/qe/QeService.java文件中的publicclassQeService类，该类istheencapsulationoftheentirefront-endservice
肥叔菌·2023-09-18 08:02

Doris 2.0.1 升级实战

1.2.0-1.2.5任意版本->2.0.0-beta当前集群Dorisapache-doris-dependencies-1.2.4.1-bin-x86_64升级目标Doris2.0.1服务
wangqiaowq·2023-09-18 00:42

doris多租户资源隔离及权限管理

Doris的多租户和资源隔离方案，主要目的是为了多用户在同一Doris集群内进行数据操作时，减少相互之间的干扰，能够将集群资源更合理的分配给各用户。
shy_snow·2023-09-15 12:34

doris数据批量写入数据存在执行更新不存在执行插入

doris的更新特指对于unique类型的表，对于这种类型的表，如果insert的记录与已有的记录的uniquekey相同，也相当与update。
唯♧·2023-09-15 08:52

Doris数据库使用记录

新建表createtabletonly_attendance(vinvarchar(64),diggings_namevarchar(256),areavarchar(64),diggings_typevarchar(256),work_timedecimal(20,2),engine_run_timedecimal(20,2),upload_timevarchar(64))DUPLICATEKE
唯♧·2023-09-15 08:21

【记录】实践场景

ApacheDoris在京东搜索实时OLAP探索与实践https://doris.apache.org/zh-CN/blog/JD_OLAP/通过对比开源的几款实时OLAP引擎，我们发现doris和clickhouse
TaiKuLaHa·2023-09-14 00:29

Doris-1.2.6集群

1、系统软件1.1、系统版本系统：centos7.1及以上；Ubuntu16.04及以上软件：Java1.8及以上；GCC4.8.2及以上；1.2、环境检查1.2.1、gcc安装1、Centosansiblecluster-mshell-a"yum-yinstallgccgcc-c++autoconfpcrepcre-develmakeautomake"ansiblecluster-mshell-
docsz·2023-09-13 17:26

.netcore 连接 apache doris

apachedoris兼容mysql协议；所以我们在.netcore项目中，可以使用Mysql的驱动dotnetaddpackageMySqlConnector测试代码：[HttpGet]publicasyncTaskGet2(){//打开连接awaitusingvarconnection=newMySqlConnection("Server=192.168.122.136;Port=9030;U
沐雪架构师·2023-09-13 06:03

Doris(六)--通过 Canal 同步数据到 Doris 中

pre开启mysqlBinlog网上有众多方法，自行百度。查询是否成功，在mysql客户端输入showBINARYLOGS;出现如下提示，即表示biglog正常开启。1，下载canal服务端传送门注意：下载canal.deployer-xxx版本即可。admin是deployer的管理端。2，上传到服务器的指定位置并解压tarxzvfcanal.deployer-1.1.6.tar.gz注意，这个
BatmanWayne·2023-09-12 20:09

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
SelectDB技术团队·2023-09-11 21:55

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
·2023-09-11 11:19

ClickHouse和Doris超大数据集存储

文章目录一.ClickHouse1.性能2.可靠性3.可扩展性4.支持SQL和复杂查询5.适用场景二.Doris1.性能2.可靠性3.易用性4.适用场景三.ClickHouse和Doris的比较1.架构
我是廖志伟·2023-09-10 09:04

doris docker环境编译部署

1.准备dorisdocker环境xiuchenggong@xiuchengdeMacBook-Probin%dockerpullapache/doris:build-env-ldb-toolchain-latestbuild-env-ldb-toolchain-latest
gongxiucheng·2023-09-08 18:55

使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析

Flink-Doris-Connector1.4.0允许用户一步将包含数千个表的整个数据库（MySQL或Oracle）摄取到ApacheDoris（一种实时分析数据库）中。
碧茂大数据·2023-09-07 21:39

D74 2组阿德doris+《活出生命的意义》读书笔记

“要像是在经历第二次生命，仿佛你已经获得重生；再不要像过去那样，一定要避免犯同样错误。”这是意义疗法的绝对命令，它强调了责任的重要性。作者的意义疗法和其他的心理治疗不同，它不愿意对患者进行价值评判，它试图让患者自己认识到自己的责任，只有患者自己能决定自己为什么负责，对什么负责和对谁负责。这种责任不在医生身上，而是在患者自己身上。意义疗法师的作用更像是一位眼科医生，旨在帮助人们自己去观察世界实际上是
阿德doris·2023-09-07 14:28

力扣（LeetCode）算法_C++——两个列表的最小索引总和

假设Andy和Doris想在晚餐时选择一家餐厅，并且他们都有一个表示最喜爱餐厅的列表，每个餐厅的名字用字符串表示。你需要帮助他们用最少的索引和找出他们共同喜爱的餐厅。
吴俊荣·2023-09-07 10:49

Doris集群安装部署（1.2.4.1 release）

标准部署-ApacheDoris本文章基于Doris1.2.4relase更新：更新日志请看Release1.2.4一.部署方式选择Doris安
jerry-89·2023-09-07 06:03

DataX(MySQL同步数据到Doris)

1.场景这里演示介绍的使用Doris的Datax扩展DorisWriter实现从Mysql数据定时抽取数据导入到Doris数仓表里2.编译DorisWriter这个的扩展的编译可以不在doris的docker
jerry-89·2023-09-07 06:03

Apache Doris常见问题答疑(二)

Q：showbackends/frontends查看到的信息不完整A：在执行如showbackends/frontends等某些语句后，结果中可能会发现有部分列内容不全。比如showbackends结果中看不到磁盘容量信息等。通常这个问题会出现在集群有多个FE的情况下，如果用户连接到非MasterFE节点执行这些语句，就会看到不完整的信息。这是因为，部分信息仅存在于MasterFE节点。比如BE的
张家锋·2023-09-07 04:46

基于Apache doris的元数据管理系统

这里我们要先搞懂什么是元数据？元数据和数据的区别是什么？元数据有什么作用1.什么是元数据举几个例子：如果一本书是一个“数据"，那么它的书名、封面、出版社、作者、总页码就是它的“元数据”。如果数据库中某个表是一个”数据”，那么它的列名、列类型、列长度、表注释就是它的"元数据"。元数据用来描述数据的数据，通过描述数据的产生、存储、使用情况、业务含义等信息，以及数据管理人员相关信息。让人们能够清楚拥有什
张家锋·2023-09-07 03:55

Apache Doris 2.0 如何实现导入性能提升 2-8 倍

数据导入吞吐是OLAP系统性能的重要衡量标准之一，高效的数据导入能力能够加速数据实时处理和分析的效率。随着ApacheDoris用户规模的不断扩大，越来越多用户对数据导入提出更高的要求，这也为ApacheDoris的数据导入能力带来了更大的挑战。为提供快速的数据写入支持，ApacheDoris存储引擎采用了类似LSMTree结构。在进行数据导入时，数据会先写入Tablet对应的MemTable中，
SelectDB技术团队·2023-09-07 00:01

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

当前，大语言模型的应用正在全球范围内引发新一轮的技术革命与商业浪潮。腾讯音乐作为中国领先在线音乐娱乐平台，利用庞大用户群与多元场景的优势，持续探索大模型赛道的多元应用。本文将详细介绍腾讯音乐如何基于ApacheDoris构建查询高效、实时统一分析的OLAP引擎，使OLAP作为底层基建加强模型连接转化效率、结果输出准确率，最终将大模型+OLAP引擎结合为用户提供个性化、实时化、灵活化的智能数据服务平
SelectDB技术团队·2023-09-07 00:00

Apache Doris 2.0.1 & 1.2.7 版本正式发布！

亲爱的社区小伙伴们，我们很高兴的宣布，2023年9月4日我们正式发布了ApacheDoris2.0.1和ApacheDoris1.2.7这两个版本，这两个版本由上百名位贡献者共同努力完成的，提供了更多有用的新特性，同时修复了若干已知的问题，进一步提升了系统的性能和稳定性，欢迎大家下载体验。本文将介绍这两个版本更新信息，以帮助大家快速了解新版本功能特性。同时期待听到大家的反馈和建议，这将帮助社区进一
SelectDB技术团队·2023-09-06 17:43
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他