Doris物化视图

Apache Doris (二) ：Doris架构原理及特点

目录1.ApacheDoris架构原理2.ApacheDoris特点2.1支持标准SQL接口2.2列式存储引擎2.3支持丰富的索引结构2.4支持多种存储模型2.5支持物化视图2.6MPP架构设计2.7支持向量化查询引擎
IT贫道·2023-08-31 13:22

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

在数字化进程不断演进的时代，数据呈现爆发增长。在这数据洪流之中，数据实时分析的重要性愈发凸显，并成为企业成功的关键要素。作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。在DorisSummit2022年度峰会上，社区公布了2023年Roadmap，并在此指引下，ApacheDoris完
·2023-08-31 10:24

自建minio实现doris的快速备份与恢复

一.概述doris支持通过腾讯云bos、阿里云oss、hdfs实现备份与恢复，但是我们公司doris部署在线下机房，如采用oss/bos,大数据备份与恢复比较慢，会占用一定的带宽，如采用hdfs，担心小文件太多影响现有的
spark大数据玩家·2023-08-31 03:47

Doris架构中包含哪些技术？

Doris主要整合了GoogleMesa(数据模型)，ApacheImpala(MPPQueryEngine)和ApacheORCFile(存储格式，编码和压缩)的技术。为什么要将这三种技术整合?
传智教育·2023-08-30 10:53

Doris数据库BE——rowset版本追踪

rowset代码位置be/src/olap/version_graph.cpp，字面意思行集合，由一行或多行组成。rowset版本简单理解为rowset编号，每次导入生成一个rowset，比如insert执行10次会生成10个rowset，一次streamload生成一个rowset。版本的格式为：version=[start_version,end_version]，比如你执行10次insert
肥叔菌·2023-08-30 05:41

当 Apache Doris 遇上大模型：探秘腾讯音乐如何基于大模型 + OLAP 构建智能数据服务平台

本文导读：当前，大语言模型的应用正在全球范围内引发新一轮的技术革命与商业浪潮。腾讯音乐作为中国领先在线音乐娱乐平台，利用庞大用户群与多元场景的优势，持续探索大模型赛道的多元应用。本文将详细介绍腾讯音乐如何基于ApacheDoris构建查询高效、实时统一分析的OLAP引擎，使OLAP作为底层基建加强模型连接转化效率、结果输出准确率，最终将大模型+OLAP引擎结合为用户提供个性化、实时化、灵活化的智能
·2023-08-28 14:24

使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到
hf200012·2023-08-27 15:08

多场景下 3-11 倍性能提升，Apache Doris 1.2 新版本性能揭秘！

自ApacheDoris1.1.0版本发布距今已经有数月之久，在这一期间，我们重新思考并确立了社区新版本发布的流程，正式引入了LTS（Long-TermSupport，长周期支持）版本的概念，在1.1.x系列版本中不再引入大的功能Feature、仅提供问题修复和稳定性改进，力求满足更多社区用户在稳定性方面的高要求。值得高兴的是，这一行动已经有了明显的成效，目前1.1.x系列最新版本的稳定性经受了众
张家锋·2023-08-27 15:17

【大数据】Doris：基于 MPP 架构的高性能实时分析型数据库

Doris：基于MPP架构的高性能实时分析型数据库1.Doris介绍ApacheDoris是一个基于MPP（MassivelyParallelProcessing，大规模并行处理）架构的高性能、实时的分析型数据库
G皮T·2023-08-27 05:58

达梦数据库物化视图介绍

概述本文将介绍达梦数据库物化视图，给出其概念及相关创建、使用示例。
weixin_42942173·2023-08-27 02:57

基于Apache doris怎么构建数据中台(三)-数据资产管理

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星前面我们讲了什么是数据中台，及数据中台的架构及功能规划，这次我们开始从数据资产开始拆解每个功能模块做的内容数据资产管理平台可以定量评估数据资产的成本
hf200012·2023-08-26 19:39

万字讲述如何通过Doris构建数据中台

目录基于Apachedoris怎么构建数据中台(一)-什么是数据中台基于Apachedoris怎么构建数据中台(二)-数据中台建设内容基于Apachedoris怎么构建数据中台(三)-数据资产管理基于Apachedoris怎么构建数据中台(一)-什么是数据中台这是数据中台系列的第一篇文章，主要阐述数据中台概念，从技术和业务视觉看数据中台及数据中台要解决的问题1.什么是数据中台数据是从业务系统产生的
浪尖聊大数据-浪尖·2023-08-26 19:39

Apache Doris 2.0.0 版本正式发布：盲测性能 10 倍提升，更统一多样的极速分析体验

亲爱的社区小伙伴们，我们很高兴地向大家宣布，ApacheDoris2.0.0版本已于2023年8月11日正式发布，有超过275位贡献者为ApacheDoris提交了超过4100个优化与修复。在2.0.0版本中，ApacheDoris在标准Benchmark数据集上盲测查询性能得到超过10倍的提升、在日志分析和数据湖联邦分析场景能力得到全面加强、数据更新效率和写入效率都更加高效稳定、支持了更加完善的
SelectDB技术团队·2023-08-26 19:08

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

在数字化进程不断演进的时代，数据呈现爆发增长。在这数据洪流之中，数据实时分析的重要性愈发凸显，并成为企业成功的关键要素。作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。在DorisSummit2022年度峰会上，社区公布了2023年Roadmap，并在此指引下，ApacheDoris完
SelectDB技术团队·2023-08-26 19:08

Apache Doris 2.0-beta 盲测性能 10 倍提升，更统一的多场景极速分析体验！

下载链接：https://doris.apache.org/downloadGitHub源码：https://github.com/apache/doris/tre
SelectDB技术团队·2023-08-26 19:38

Apache Doris 助力中国联通万亿日志数据分析提速 10 倍

本文导读：在数据安全管理体系的背后，离不开对安全日志数据的存储与分析。以终端设备为例，中国联通每天会产生百亿级别的日志数据，对于保障网络安全、提高系统稳定性和可靠性具有至关重要的作用。目前，ApacheDoris在联通体系的落地已支持了30多条业务线和数百个实时作业，不仅帮助联通实现了万亿级安全日志的高效分析和低成本，也为其他运营商提供了成功的参考案例和学习经验，对推动运营商的数字化转型进程具有重
SelectDB技术团队·2023-08-26 19:38

一键实现 Oracle 数据整库同步至 Apache Doris

而对于从Oracle到Doris的数据同步，通常会用到以下两种常见的同步方式：OGG/XStream/LogMiner工具：通过该方式先将数据同步到Kafka中，然后通过RoutineLoad消费Kafka
SelectDB技术团队·2023-08-26 19:37

开源大数据：Apache Doris

令您的数据分析工作更加简单高效ApacheDoris核心特性Doris存储文
ejinxian·2023-08-26 10:44

Clickhouse物化视图原理和使用详解

前言ClickHouse广泛用于用户和系统日志查询场景中，主要针对于OLAP场景，为业务方提供稳定高效的查询服务。在业务场景下，数据以不同的格式、途径写入到clickhouse。用传统JOIN方式查询海量数据，通常有如下痛点:每个查询的代码冗长，有的长达1500行、2000行sql，使用和理解上特别痛苦性能上无法满足业务诉求，数据量大会内存不足;事实表就一张，可是维度表却有多张，关联数据量暴增重复
dkjhl·2023-08-25 21:28

重新定义物化视图，你必须拥有的极速湖仓神器！

当今企业在进行数据分析时，面临着多重问题和挑战，而数据加工作为其中不可或缺的一环显得尤为重要。首要的挑战在于数据加工的复杂性。从数据的产生到最终产生价值的整个链路仍然十分复杂，涉及多个环节和技术方案，这导致了技术复杂度的增加，进而带来了人力投入的复杂性。这种复杂性使得终端用户难以实现“MakeDataAccessible”的目标，并限制了对数据设施的进一步资源投入。其次，数据加工还面临性能、时效性
StarRocks_labs·2023-08-25 19:16

StarRocks 3.1重磅发布，云原生湖仓新范式再升级！

StarRocks自4月底发布3.0版本，拥抱云原生，开启极速统一的湖仓新范式；8月7日，StarRocks正式发布全新3.1版本，全面提升云原生存算分离构架、极速数据湖分析、物化视图等重量级特性，让用户更简单的实现极速统一的湖仓分析
StarRocks_labs·2023-08-25 19:15

直播｜深入解析 StarRocks 存算分离—云原生湖仓 Meetup#2

StarRocks3.0正式开启极速统一的湖仓新范式，借助云原生存算分离构架、极速数据湖分析、物化视图等重量级特性实现湖仓架构升级，兼具数据仓库查询高性能与数据湖低成本可扩展的优势，让用户更简单地实现极速统一的湖仓分析
StarRocks_labs·2023-08-25 19:15

轻松将MySQL数据同步到Doris

而Doris作为一款专为大数据分析设计的分布式数据仓库，具有高性能、可扩展的特点，其优异的数据处理能力也在行业内广受关注。01为什么需要把MySQL同步到Doris？
·2023-08-25 15:22

D36 2组阿德doris+《被讨厌的勇气》读书笔记

本周开启新书《被讨厌的勇气》。这本书采用青年与哲人“对话”的形式展开本书，用贴近生活的实例帮助我们加深对人性的理解，带我们一步步走进阿德勒心理学和阿德勒思想。这本书的语言很平实，没有晦涩难懂的专业心理学词汇。是每个人都可以很容易看懂的心理学著作。“一切烦恼都来自人际关系”“所谓的自由，就是被别人讨厌”“人真的可以摆脱过去的创伤吗？”“为什么说自卑感不是真的？”“满足别人的期待有什么不对的？”“人最
阿德doris·2023-08-24 23:33

第2.11章：StarRocks表设计--外部表

除了创建表、视图或者物化视图，StarRocks还支持创建外部表来访问外部数据源。
流木随风·2023-08-24 22:02

Apache Doris 入门教程36：文件分析和文件缓存

文件分析通过TableValueFunction功能，Doris可以直接将对象存储或HDFS上的文件作为Table进行查询分析。并且支持自动的列类型推断。
sunjian286·2023-08-24 13:58

一键实现 Oracle 数据整库同步至 Apache Doris

而对于从Oracle到Doris的数据同步，通常会用到以下两种常见的同步方式：OGG/XStream/LogMiner工具：通过该方式先将数据同步到Kafka中，然后通过RoutineLoad消费Kafka
·2023-08-23 12:48

Day3+8组+83号Doris周《学习力》

☞旧知当有了一份所谓的稳定工作之后，有多少人还愿意继续去折腾;当这份工作足够稳定到养老的时候，谁还愿意轻易改行。大部分人应该都会按部就班的做下去吧，工作做完之后，就可以随意挥霍剩下的光阴……而我呢？☞新知《学习力》中提到80%的时间，投入到你的“最”兴趣当中，20%的时间探索人生边界。我的理解是把我们每天的时间、精力的80%投入到自己的工作中，毕竟每一份工作，只要深耕下去，全力聚焦地可以打造成为自
木词·2023-08-23 10:50

【实践案例分享】Apache Doris在美团外卖数仓中的应用实践

本文将介绍Doris在美团外卖数仓的实践。序言本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。
木东居士·2023-08-23 09:34

【遇见Doris】 Apache Doris 基于 Bitmap的精确去重和用户行为分析

Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注Doris官方公众号，嘉宾分享回顾会陆续放出。
ApacheDoris·2023-08-23 09:32

Apache Doris高并发特性解读

300万字！全网最全大数据学习面试社区等你来！随着用户规模的极速扩张，越来越多用户将ApacheDoris用于构建企业内部的统一分析平台，这一方面需要ApacheDoris去承担更大业务规模的处理和分析——既包含了更大规模的数据量、也包含了更高的并发承载，而另一方面，也意味着需要应对企业更加多样化的数据分析诉求，从过去的统计报表、即席查询、交互式分析等典型OLAP场景，拓展到推荐、风控、标签画像以
王知无(import_bigdata)·2023-08-23 09:02

Apache Kylin VS Apache Doris

作者:康凯森日期:2018-04-17分类:OLAP1系统架构1.1WhatisKylin1.2WhatisDoris2数据模型2.1Kylin的聚合模型2.2Doris的聚合模型2.3KylinCuboidVSDorisRollUp2.4Doris
hellozhxy·2023-08-23 09:59

Apache Doris 入门教程35：多源数据目录

概述多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
sunjian286·2023-08-23 05:10

java代码判断doris的某一天的分区是否存在

需要使用doris的SHOWPARTITIONS命令来查看表的分区信息。这个命令会显示表的所有分区信息，包括分区名、范围、副本数等。您可以根据您设定的动态分区规则判断是否有缺失或多余的分区1。
linweidong·2023-08-23 04:42

Spark写数据到Doris报错node and exceeded the max retry times

用sparkdataframe向doris写数据时，报下面错误：FailedtoloaddataonBE:http://192.168.50.10:18040/api/mydb/dwd_virtual_table
linweidong·2023-08-23 04:42

开启形象管理的window

看了彭小六的《洋葱阅读法》，加入了西安的读书会，周末碰到的第一个活动是Doris的形象管理-年末穿衣搭配以及化妆技巧。形象好气质佳，也是我一直追求的目标，便于周六下午报名参加了一把。
慧不慧·2023-08-22 18:49

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积天赫对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的业务需求，因此云积天赫引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出ApacheDoris更多强大之处以及优势，最终决定全面应用ApacheDoris，基于ApacheDoris来构建云积互动企业级实时离线统一数仓。业务背景云积天赫是国内领先的AI
·2023-08-22 15:47

Apache Doris 入门教程34：Join 优化

BucketShuffleJoinBucketShuffleJoin是在Doris0.14版本中正式加入的新功能。旨在为某些Join查询提供本地性优化，来减少数据在节点间的传输耗时，来加速查询。
sunjian286·2023-08-22 11:46

StarRocks 3.1重磅发布，云原生湖仓新范式再升级！

StarRocks自4月底发布3.0版本，拥抱云原生，开启极速统一的湖仓新范式；8月7日，StarRocks正式发布全新3.1版本，全面提升云原生存算分离构架、极速数据湖分析、物化视图等重量级特性，让用户更简单的实现极速统一的湖仓分析
·2023-08-22 10:46

大数据分析引擎-Doris简要介绍

目录：1、背景2、Doris的架构3、Doris的核心特性4、数据的导入和输出1、背景大数据的时代，数据的处理能力大大增强，但在最后一个环节，即数据应用服务环节依然存在较大的瓶颈。
天天沐沐·2023-08-22 09:05

CentOS7安装部署Doris

文章目录CentOS7安装部署Doris一、前言1.简介2.环境二、正文1.Doris基础1）架构图2）通讯端口2.部署服务器3.安装基础环境1）安装JDK112）安装GCC3）设置文件句柄数4）关闭交换分区
趴着喝可乐·2023-08-22 05:52

openGauss学习笔记-45 openGauss 高级数据管理-物化视图

文章目录openGauss学习笔记-45openGauss高级数据管理-物化视图45.1全量物化视图45.1.1全量物化视图语法格式45.1.2全量物化视图参数说明45.1.3全量物化视图示例45.2增量物化视图
superman超哥·2023-08-22 02:14

Doris查询数据库对象使用教程

1.查询表的表结构根据表名查询表结构相关的内容SELECT*FROMinformation_schema.COLUMNSWHERETABLE_SCHEMA='ods'ANDTABLE_NAME='ods_mes_m_line'
yqj234·2023-08-21 14:23

Apache Doris IP变更问题详解

ApacheDorisIP变更问题详解一、背景二、环境硬件信息软件信息三、FE恢复3.1异常日志3.2获取当前ip3.3重置ip信息3.4重置元数据记录3.5元数据模式恢复3.6重置fe集群节点3.7关闭元数据模式重启fe四、BE恢复4.1获取当前ip4.2重置ip信息4.3重置be集群节点一、背景因为有多网卡的存在，或因为安装过docker等环境导致的虚拟网卡的存在，同一个主机可能存在多个不同的
乙真仙人·2023-08-21 08:47

Apache Doris 极简运维之BE扩缩容（1）

ApacheDoris极简运维之BE扩缩容（1）一、环境信息硬件信息软件信息二、缩容2.1DROPBACKEND缩容2.2DECOMMISSIONBACKEND缩容2.2.1缩容前2.2.2缩容中2.2.3缩容后三、扩容3.1扩容前3.2扩容中3.3扩容后四、总结一、环境信息已部署三个BE节点并且状态显示正常运行中硬件信息CPU：1CCPU型号：ARM64内存：2GB硬盘：36GBSSD软件信息V
乙真仙人·2023-08-21 08:17

626. 换座位

示例：+---------+---------+|id|student|+---------+---------+|1|Abbot||2|Doris||3|Emerson||4|G
莫小鹏·2023-08-21 06:08

Apache Doris 入门教程33：统计信息

统计信息统计信息简介Doris查询优化器使用统计信息来确定查询最有效的执行计划。Doris维护的统计信息包括表级别的统计信息和列级别的统计信息。
sunjian286·2023-08-21 04:31

PostgreSQL视图和物化视图

由于每天工作忙碌，好久没更新了，今天更新一下，讲一讲视图和物化视图的概念以及区别吧。
卑微的程序猿成长史-MC·2023-08-21 02:07

Apache Doris 入门教程32：物化视图

物化视图物化视图是将预先计算（根据定义好的SELECT语句）好的数据集，存储在Doris中的一个特殊的表。
sunjian286·2023-08-20 14:36

《PostgreSQL 开发指南》第32篇 物化视图

物化视图概述物化视图（MaterializedView）是PostgreSQL提供的一个扩展功能，它是介于视图和表之间的一种对象。
不剪发的Tony老师·2023-08-19 08:31
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他