Doris物化视图

doris历程_Doris简史-为分析而生的11年

期间,Doris从最初的只为解决百度凤巢报表的专用系统,已经成长为目前国内唯一的分析型数据库孵化项目。一路走来,Doris的初心从未改变。
weixin_39998521·2023-09-18 08:06

Doris的执行计划生成、分发与执行

目录一、概述三、执行计划的生成四、执行计划的分发五、执行计划的执行六、举个例子一、概述执行SQL的代码入口为StmtExecutor::execute()三、执行计划的生成在Doris的FE端，与大多数数据库系统一样
howard_shooter·2023-09-18 08:34

Doris】Doris SQL 原理解析

本文主要介绍了DorisSQL解析的原理。重点讲述了生成单机逻辑计划，生成分布式逻辑计划，生成分布式物理计划的过程。对应于代码实现是Analyze，SinglePlan，DistributedPlan，Schedule四个部分。Analyze负责对AST进行前期的一些处理，SinglePlan根据AST进行优化生成单机查询计划，DistributedPlan将单机的查询计划拆成分布式的查询计划，S
九层之台起于累土·2023-09-18 08:34

Doris数据库FE——SQL 接收

SQL接收首先看定义在fe/fe-core/src/main/java/org/apache/doris/qe/QeService.java文件中的publicclassQeService类，该类istheencapsulationoftheentirefront-endservice
肥叔菌·2023-09-18 08:02

Doris 2.0.1 升级实战

1.2.0-1.2.5任意版本->2.0.0-beta当前集群Dorisapache-doris-dependencies-1.2.4.1-bin-x86_64升级目标Doris2.0.1服务
wangqiaowq·2023-09-18 00:42

postgresql物化视图刷新——创新思路

postgresql物化视图刷新常见的有直接刷新refresh和增量刷新，这两种刷新思路都不满足当前业务需求，直接refresh会锁定物化视图，增量刷新局限于版本和唯一索引，经过改造提供以下新的解决思路
Lan-Forever·2023-09-17 00:23

postgresql物化视图应用实列介绍

使用场景物化视图是将数据落地的方法之一，当我们在使用fdw对远端库进行数据链接的时候，此时可以使用物化视图将远端数据库的表数据落地到本地，将会大大增加我们join效率。
necessary653·2023-09-17 00:23

PostgreSQL创建物化视图并刷新

1、创建物化视图--视图hnqyhxv_personCREATEMATERIALIZEDVIEWhnqyhxv_personTABLESPACEsys_defaultasSELECT*FROME_PRI_PERSONWHERELEREPSIGN
聆听HJ·2023-09-17 00:52

PostgreSQL 物化视图快速入门

本文介绍PostgreSQL物化视图(materializedviews)，物化视图用于存储物理的查询结果并可周期性更新。视图是底层物理表的虚拟表，其本身不保存数据。
梦想画家·2023-09-17 00:50

PostgreSQL 物化视图教程2

上节我们简要介绍了物化视图，本文补充说明创建和修改物化视图的一些选项。
梦想画家·2023-09-17 00:50

postgresql物化视图

creatematerializedview视图名称asselect*fromtable;--刷新物化视力SELECTcron.schedule('1****','refreshmaterializedview视图名称;');
hqlai1234·2023-09-17 00:20

PostgreSQL/Greenplum数据库的物化视图

一、物化视图（MATERIALIZEDVIEW）1、PG的版本PostgreSQL9.3版本之后开始支持物化视图。
inrgihc·2023-09-17 00:20

PostgreSQL的视图以及物化视图的特点

1.视图PostgreSQL视图其实和mysql视图是一样的，视图其实是个虚拟的表，实际上是一个SQL拼接而成的虚拟表（假表），可能是有一个表或者多个表、视图关联而成的复杂的SQL，而这个SQL一般都是select语句（当然也可能是update、delete等的语句，但是可能会有诸多限制，而且用视图进行这些操作也不安全，一般也不会这么用。）。而视图的用途常常用于展示一些用户需要的信息，隐藏一些敏感
睡、不辜负床·2023-09-17 00:49

Postgre使用物化视图

1.postgre使用物化视图，实质是将查询结果存储起来，这样对于普通的视图来说，查询速度会更快；2.支持全量刷新(阻塞查询)和增量刷新(不阻塞查询)第一步：创建视图CREATEMATERIALIZEDVIEW
隔壁的老司机·2023-09-17 00:49

《PostgreSQL物化视图：创建、维护与应用》

博主猫头虎（）带您GotoNewWorld✨猫头虎建议程序员必备技术栈一览表：️全栈技术FullStack:MERN/MEAN/MEVNStack|Jamstack|GraphQL|RESTfulAPI|⚡WebSockets|CI/CD|Git&VersionControl|DevOps前端技术Frontend:️HTML&CSS|JavaScript(ES6/ES7/ES8)|⚛️React|
猫头虎·2023-09-17 00:18

doris多租户资源隔离及权限管理

Doris的多租户和资源隔离方案，主要目的是为了多用户在同一Doris集群内进行数据操作时，减少相互之间的干扰，能够将集群资源更合理的分配给各用户。
shy_snow·2023-09-15 12:34

doris数据批量写入数据存在执行更新不存在执行插入

doris的更新特指对于unique类型的表，对于这种类型的表，如果insert的记录与已有的记录的uniquekey相同，也相当与update。
唯♧·2023-09-15 08:52

Doris数据库使用记录

新建表createtabletonly_attendance(vinvarchar(64),diggings_namevarchar(256),areavarchar(64),diggings_typevarchar(256),work_timedecimal(20,2),engine_run_timedecimal(20,2),upload_timevarchar(64))DUPLICATEKE
唯♧·2023-09-15 08:21

【记录】实践场景

ApacheDoris在京东搜索实时OLAP探索与实践https://doris.apache.org/zh-CN/blog/JD_OLAP/通过对比开源的几款实时OLAP引擎，我们发现doris和clickhouse
TaiKuLaHa·2023-09-14 00:29

Doris-1.2.6集群

1、系统软件1.1、系统版本系统：centos7.1及以上；Ubuntu16.04及以上软件：Java1.8及以上；GCC4.8.2及以上；1.2、环境检查1.2.1、gcc安装1、Centosansiblecluster-mshell-a"yum-yinstallgccgcc-c++autoconfpcrepcre-develmakeautomake"ansiblecluster-mshell-
docsz·2023-09-13 17:26

.netcore 连接 apache doris

apachedoris兼容mysql协议；所以我们在.netcore项目中，可以使用Mysql的驱动dotnetaddpackageMySqlConnector测试代码：[HttpGet]publicasyncTaskGet2(){//打开连接awaitusingvarconnection=newMySqlConnection("Server=192.168.122.136;Port=9030;U
沐雪架构师·2023-09-13 06:03

Doris(六)--通过 Canal 同步数据到 Doris 中

pre开启mysqlBinlog网上有众多方法，自行百度。查询是否成功，在mysql客户端输入showBINARYLOGS;出现如下提示，即表示biglog正常开启。1，下载canal服务端传送门注意：下载canal.deployer-xxx版本即可。admin是deployer的管理端。2，上传到服务器的指定位置并解压tarxzvfcanal.deployer-1.1.6.tar.gz注意，这个
BatmanWayne·2023-09-12 20:09

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
SelectDB技术团队·2023-09-11 21:55

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
·2023-09-11 11:19

SQL Server对象类型（3）——4.4.索引视图（Indexed View）

4.4.索引视图（IndexedView）4.4.1.索引视图概念与Oracle中的物化视图（MV,MaterializedView）相似，SQLServer中的索引视图是一种实的、被实体化的对象类型，
lhdz_bj·2023-09-10 17:05

ClickHouse和Doris超大数据集存储

文章目录一.ClickHouse1.性能2.可靠性3.可扩展性4.支持SQL和复杂查询5.适用场景二.Doris1.性能2.可靠性3.易用性4.适用场景三.ClickHouse和Doris的比较1.架构
我是廖志伟·2023-09-10 09:04

doris docker环境编译部署

1.准备dorisdocker环境xiuchenggong@xiuchengdeMacBook-Probin%dockerpullapache/doris:build-env-ldb-toolchain-latestbuild-env-ldb-toolchain-latest
gongxiucheng·2023-09-08 18:55

使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析

Flink-Doris-Connector1.4.0允许用户一步将包含数千个表的整个数据库（MySQL或Oracle）摄取到ApacheDoris（一种实时分析数据库）中。
碧茂大数据·2023-09-07 21:39

D74 2组阿德doris+《活出生命的意义》读书笔记

“要像是在经历第二次生命，仿佛你已经获得重生；再不要像过去那样，一定要避免犯同样错误。”这是意义疗法的绝对命令，它强调了责任的重要性。作者的意义疗法和其他的心理治疗不同，它不愿意对患者进行价值评判，它试图让患者自己认识到自己的责任，只有患者自己能决定自己为什么负责，对什么负责和对谁负责。这种责任不在医生身上，而是在患者自己身上。意义疗法师的作用更像是一位眼科医生，旨在帮助人们自己去观察世界实际上是
阿德doris·2023-09-07 14:28

力扣（LeetCode）算法_C++——两个列表的最小索引总和

假设Andy和Doris想在晚餐时选择一家餐厅，并且他们都有一个表示最喜爱餐厅的列表，每个餐厅的名字用字符串表示。你需要帮助他们用最少的索引和找出他们共同喜爱的餐厅。
吴俊荣·2023-09-07 10:49

Doris集群安装部署（1.2.4.1 release）

标准部署-ApacheDoris本文章基于Doris1.2.4relase更新：更新日志请看Release1.2.4一.部署方式选择Doris安
jerry-89·2023-09-07 06:03

DataX(MySQL同步数据到Doris)

1.场景这里演示介绍的使用Doris的Datax扩展DorisWriter实现从Mysql数据定时抽取数据导入到Doris数仓表里2.编译DorisWriter这个的扩展的编译可以不在doris的docker
jerry-89·2023-09-07 06:03

Apache Doris常见问题答疑(二)

Q：showbackends/frontends查看到的信息不完整A：在执行如showbackends/frontends等某些语句后，结果中可能会发现有部分列内容不全。比如showbackends结果中看不到磁盘容量信息等。通常这个问题会出现在集群有多个FE的情况下，如果用户连接到非MasterFE节点执行这些语句，就会看到不完整的信息。这是因为，部分信息仅存在于MasterFE节点。比如BE的
张家锋·2023-09-07 04:46

基于Apache doris的元数据管理系统

这里我们要先搞懂什么是元数据？元数据和数据的区别是什么？元数据有什么作用1.什么是元数据举几个例子：如果一本书是一个“数据"，那么它的书名、封面、出版社、作者、总页码就是它的“元数据”。如果数据库中某个表是一个”数据”，那么它的列名、列类型、列长度、表注释就是它的"元数据"。元数据用来描述数据的数据，通过描述数据的产生、存储、使用情况、业务含义等信息，以及数据管理人员相关信息。让人们能够清楚拥有什
张家锋·2023-09-07 03:55

Apache Doris 2.0 如何实现导入性能提升 2-8 倍

数据导入吞吐是OLAP系统性能的重要衡量标准之一，高效的数据导入能力能够加速数据实时处理和分析的效率。随着ApacheDoris用户规模的不断扩大，越来越多用户对数据导入提出更高的要求，这也为ApacheDoris的数据导入能力带来了更大的挑战。为提供快速的数据写入支持，ApacheDoris存储引擎采用了类似LSMTree结构。在进行数据导入时，数据会先写入Tablet对应的MemTable中，
SelectDB技术团队·2023-09-07 00:01

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

当前，大语言模型的应用正在全球范围内引发新一轮的技术革命与商业浪潮。腾讯音乐作为中国领先在线音乐娱乐平台，利用庞大用户群与多元场景的优势，持续探索大模型赛道的多元应用。本文将详细介绍腾讯音乐如何基于ApacheDoris构建查询高效、实时统一分析的OLAP引擎，使OLAP作为底层基建加强模型连接转化效率、结果输出准确率，最终将大模型+OLAP引擎结合为用户提供个性化、实时化、灵活化的智能数据服务平
SelectDB技术团队·2023-09-07 00:00

Apache Doris 2.0.1 & 1.2.7 版本正式发布！

亲爱的社区小伙伴们，我们很高兴的宣布，2023年9月4日我们正式发布了ApacheDoris2.0.1和ApacheDoris1.2.7这两个版本，这两个版本由上百名位贡献者共同努力完成的，提供了更多有用的新特性，同时修复了若干已知的问题，进一步提升了系统的性能和稳定性，欢迎大家下载体验。本文将介绍这两个版本更新信息，以帮助大家快速了解新版本功能特性。同时期待听到大家的反馈和建议，这将帮助社区进一
SelectDB技术团队·2023-09-06 17:43

Apache Doris 2.0 如何实现导入性能提升 2-8 倍

数据导入吞吐是OLAP系统性能的重要衡量标准之一，高效的数据导入能力能够加速数据实时处理和分析的效率。随着ApacheDoris用户规模的不断扩大，越来越多用户对数据导入提出更高的要求，这也为ApacheDoris的数据导入能力带来了更大的挑战。为提供快速的数据写入支持，ApacheDoris存储引擎采用了类似LSMTree结构。在进行数据导入时，数据会先写入Tablet对应的MemTable中，
·2023-09-06 12:55

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。在内容数仓搭建的过程中，我们的工作始终围绕降本增效为主要目的进行优化与迭代，希望在数据服务方面不断提升产品工具的开发与分析效率，同时在数仓架构方面能够有效减少架构成本与资源开销。在传统数据服务中，我们为业务分析师提供了多种数据服务，包括SQL查
·2023-09-05 17:37

异地容灾系统和数据仓库中数据同步的设计软件的功能模型

（1）初始同步模块该模块主要是在表进行初始同步时使用的；它能够根据实际需要生成物化视图及其索引的创建语句，并完成表的初始同步。
精品资料学习库·2023-09-05 17:31

Apache Doris 2.0.1 & 1.2.7 版本正式发布！

亲爱的社区小伙伴们，我们很高兴的宣布，2023年9月4日我们正式发布了ApacheDoris2.0.1和ApacheDoris1.2.7这两个版本，这两个版本由上百名位贡献者共同努力完成的，提供了更多有用的新特性，同时修复了若干已知的问题，进一步提升了系统的性能和稳定性，欢迎大家下载体验。本文将介绍这两个版本更新信息，以帮助大家快速了解新版本功能特性。同时期待听到大家的反馈和建议，这将帮助社区进一
·2023-09-05 13:41

flink实现kafka、doris精准一次说明

前言说明：本文档只讨论数据源为kafka的情况实现kafka和doris的精准一次写入flink的kafka连接器已经实现了自动提交偏移量到kafka，当flink中的数据写入成功后，flink会将这批次数据的
DLoong+·2023-09-05 09:34

Apache Doris 冷热分层技术如何实现存储成本降低 70%？

在数据分析的实际场景中，冷热数据往往面临着不同的查询频次及响应速度要求。例如在电商订单场景中，用户经常访问近6个月的订单，时间较久远的订单访问次数非常少；在行为分析场景中，需支持近期流量数据的高频查询且时效性要求高，但为了保证历史数据随时可查，往往要求数据保存周期更为久远；在日志分析场景中，历史数据的访问频次很低，但需长时间备份以保证后续的审计和回溯的工作...往往历史数据的应用价值会随着时间推移
·2023-09-04 22:01

druid连接不上doris有哪些可能原因

如果你在使用Druid连接池连接Doris时遇到问题，无法连接上数据库，可能有以下几个原因和解决方案：网络配置问题：确保你的应用程序能够与Doris数据库所在的服务器进行通信。
linweidong·2023-09-03 15:07

Doris workload group实战

1.创建测试用户：创建一个用户名为test，密码为test的用户：createuser'test'@'%'IDENTIFIEDBY'test';给测试用户赋权：给用户test赋予数据库test.*权限grantSELECT_PRIV,LOAD_PRIV,CREATE_PRIV,ALTER_PRIVONtest.*TOtest;开启experimental_enable_workload_group
wangleigiser·2023-09-02 07:46

doris系列2: doris分析英国房产数据集

1.准备数据2.doris建表CREATE TABLE `uk_price_paid`(`id`varchar(50) NOT NULL,`price`int(20),`date` date
shangjg3·2023-09-01 06:51

Day6+4组49号doris+《学习力》

昨天已经结束了整本书的阅读，今天回顾了一下前几天的阅读，再次翻看了自己的读书笔记，发现了自己之前在看书的时候没重点关注的点【旧知】在参加萌薇老师的手账营之前，我觉得自己还不错，有稳定的工作、有亲密的家人、有可爱的女儿、有可以随时联系的好朋友。但是在参加完手账营之后，我发现自己这也不会，那也不会。除了前面提到的那些，再也没有什么值得提起的更好的表现了。所以陷入了焦虑，这个也想学，那个也想学。可是精力
阿德doris·2023-08-31 22:41

Doris系列3-基础使用指南

用户登录与密码修改1.2创建新用户二.数据表的创建与数据导入2.1创建数据库2.2账户授权2.3建表2.3.1单分区2.3.2复合分区2.4导入数据2.4.1流式导入2.4.2Broker导入参考:基础使用指南Doris
只是甲·2023-08-31 14:57

大数据分析引擎-Doris简要介绍

目录：1、背景2、Doris的架构3、Doris的核心特性4、数据的导入和输出1、背景大数据的时代，数据的处理能力大大增强，但在最后一个环节，即数据应用服务环节依然存在较大的瓶颈。
ly_zixuan·2023-08-31 13:24

Apache Doris (一) ：Doris 介绍及使用场景

目录1.ApacheDoris介绍2.ApacheDoris使用场景2.1报表分析2.2即席查询（Ad-hocQuery）2.3统一数仓构建2.4数据湖联邦查询进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！1.ApacheDoris介绍ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可
IT贫道·2023-08-31 13:24
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他