跨库物化视图

Apache Doris :Rollup 物化视图

整理了一下目前开启虚拟机需要用到的程序,包括MySQL,Hadoop,Linux,hive,Doris3.5RollupROLLUP在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。1.求每个城市的每个用户的每天的总销售额selectuser_id,city,date，sum(sum_cost)assum_costfromtgroupbyuser_id,city,date–us
All996·2023-06-14 10:22

MaxCompute 发布“物化视图智能推荐”，CU算力节省14%

阿里云MaxCompute在飞天发布时刻推出了“物化视图智能推荐”功能，这一功能的发布将节省CU算力14%，进一步提升了MaxCompute在大数据计算能力方面的领先地位。
·2023-06-13 10:08

oracle跨库查询

目录一、同主机—同库（即同实例）—不同用户oracle查询语法二、同主机—不同库三、不同主机一、同主机—同库（即同实例）—不同用户基本信息：本机上有1个库（实例）叫orcl，有2个用户user1、user2。user1里面有u1_table_student表，user2里面有u2_table_class表查询需求：登录user1用户，查询时需要join关联u2_table_class的表oracl
steven张008·2023-06-13 10:13

【201期】MySQL 千万级数据量跨库分页、 分表分页，为什么这么难？

点击上方“Java精选”，选择“设为星标”别问别人为什么，多问自己凭什么！下方有惊喜，留言必回，有问必答！每天08:15更新文章，每天进步一点点...当业务数据达到一定量级(比如：mysql单表记录量>1千万)后，通常会考虑“分库分表”将数据分散到不同的库或表中，这样可以大大提高读/写性能。但是问题来了，对于select*fromtablelimitoffset,pagesize这种分页方式，原来
Java精选·2023-06-12 20:09

12、Hive优化-文件存储格式和压缩格式优化与job执行优化（执行计划、MR属性、join、优化器、谓词下推和数据倾斜优化）详细介绍及示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:11

10、hive综合示例：数据多分隔符（正则RegexSerDe）、url解析、行列转换常用函数（case when、union、concat和explode）详细使用示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:10

11、hive综合应用示例：json解析、窗口函数应用（连续登录、级联累加、topN）、拉链表应用

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:10

13、java api访问hive操作示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:40

7、hive shell客户端与属性配置、内置运算符、函数（内置运算符与自定义UDF运算符）

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:39

9、hive的explode、Lateral View侧视图、聚合函数、窗口函数、抽样函数使用详解

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:39

5、hive的load、insert、事务表使用详解及示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:08

6、hive的select（GROUP BY、ORDER BY、CLUSTER BY、SORT BY、LIMIT、union、CTE）、join使用详解及示例

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:08

8、hive的关系运算、逻辑预算、数学运算、数值运算、日期函数、条件函数和字符串函数的语法与使用示例详解

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:08

3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:07

4、hive的使用示例详解-事务表、视图、物化视图、DDL(数据库、表以及分区)管理详细操作

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:07

1、apache-hive-3.1.2简介及部署（三种部署方式-内嵌模式、本地模式和远程模式）及验证详解

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:37

2、hive相关概念详解--架构、读写文件机制、数据存储

本地模式和远程模式）及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、物化视图
一瓢一瓢的饮 alanchan·2023-06-12 12:35

【数据库】Apache Doris : 一个开源 MPP 数据库的架构与实践

整体架构二、Doris数据分布三、Doris的使用方式Doris关键技术一、数据可靠性二、易运维三、MySQL兼容性四、支持MPPDoris数据模型一、Doris数据模型特点二、聚合计算说明：三、按列存储四、物化视图五
逆流°只是风景-bjhxcc·2023-06-10 18:22

postgresql使用dblink跨库增删改查

文章目录一、使用步骤1、创建dblink扩展，连接与被连接的两个数据库都要执行下面sql2、跨库查询或增删改3、如果不想每一次都写完整的dblink连接信息，可以先起别名4、补充：mybatis直接执行上面的
EricFRQ·2023-06-10 09:25

doris---物化视图及pv、uv案例实现

物化视图就是查询结果预先存储起来的特殊的表。
咚动咚·2023-06-09 23:33

浅谈 ByteHouse Projection 优化实践

预聚合是OLAP系统中常用的一种优化手段，在通过在加载数据时就进行部分聚合计算，生成聚合后的中间表或视图，从而在查询时直接使用这些预先计算好的聚合结果，提高查询性能，实现这种预聚合方法大多都使用物化视图来实现
字节数据平台·2023-06-09 21:55

直播｜StarRocks 3.0 极速统一的湖仓新范式

全新升级的StarRocks3.0：通过存算分离架构，帮助用户降低存储成本、提升计算弹性通过数据湖分析、物化视图等特性简化湖仓融合，实现极速统一湖仓分析通过新的RBAC权限框架，实现湖仓数据的统一管理4
StarRocks_labs·2023-06-09 13:11

Doris之rollup上卷及物化视图

Rollup上卷通过建表语句创建出来的表称为Base表（BaseTable,基表）在Base表之上，我们可以创建任意多个ROLLUP表。这些ROLLUP的数据是基于Base表产生的，并且在物理上是独立存储的。Rollup表的好处：和基表共用一个表名，doris会根据具体的查询逻辑选择合适的数据源(合适的表)来计算结果对于基表中数据的增删改，rollup表会自动更新同步1.Aggregate模型中的
今夕何夕9720·2023-06-08 15:58

【大数据hive】hive视图与物化视图使用详解

更改视图属性2.7更改视图定义三、使用视图的好处3.1只将真实表中特定的列数据提供给用户，保护数据隐式3.1.1创建一个表3.1.2基于这个表创建一个视图3.2降低查询的复杂度，优化查询语句四、hive物化视图
逆风飞翔的小叔·2023-06-07 12:57

clickhouse MPPDB数据库 运维实用SQL总结II

2.1.使用clusterAllReplicas创建视图【推荐】2.2.使用remote创建视图2.3.通过Distributed引擎创建视图2.4.采用物化视图3.CH监控运维常用SQL3.1.查看当前连接数
java编程艺术·2023-06-07 07:26

浅谈 ByteHouse Projection 优化实践

预聚合是OLAP系统中常用的一种优化手段，在通过在加载数据时就进行部分聚合计算，生成聚合后的中间表或视图，从而在查询时直接使用这些预先计算好的聚合结果，提高查询性能，实现这种预聚合方法大多都使用物化视图来实现
·2023-06-06 22:04

深入了解MySQL ClickHouse中的物化视图功能

目录数据表与视图ClickHouse的物化视图物化视图的更新使用示例数据表与视图数据库表是一种关系型数据库中的基本对象，用于存储数据。
·2023-06-06 21:24

浅谈 ByteHouse Projection 优化实践

预聚合是OLAP系统中常用的一种优化手段，在通过在加载数据时就进行部分聚合计算，生成聚合后的中间表或视图，从而在查询时直接使用这些预先计算好的聚合结果，提高查询性能，实现这种预聚合方法大多都使用物化视图来实现
字节跳动数据平台·2023-06-06 12:00

常用的分布式事务解决方案，看这一篇就够了！

那么在目前数据库不支持跨库事务的情况下，我们该如何实现分布式事务呢？本文首先会为大家梳理分布式
小灰兔·2023-05-09 16:27

PostgreSQL 11 preview - MERGE 语法支持与CTE内支持，兼容SQL:2016 , 兼容 Oracle

例如，将源表的变更日志，合并到物化视图中。PostgreSQL除了使用insertintoonconflict，如今又多了me
weixin_34195142·2023-04-20 20:26

Mysql不同服务器跨库查询解决方案

项目场景：Mysql在不同服务器实现跨库查询，类似dblink。
涛哥是个大帅比·2023-04-19 20:32

Oracle 跨库查询与取差集

一.跨库查询1.创建数据库连接CREATEpublicDATABASElinkdblinkconnectTOtestIDENTIFIEDBY123456USING'(DESCRIPTION=(ADDRESS_LIST
fordZrx·2023-04-17 15:34

灵活、快捷、低运维成本的数据集成方法：数据联邦架构

在传统的企业数据运用中，企业使用多种系统，数据散落在各个存储设备中，数据分析需求往往是跨库的，数据入湖入仓在做分析会有安全问题，或影响业务系统性能。
星环科技·2023-04-17 15:19

SqlSugar 4.数据事务

文章目录1.单库事务2.多租户事务(可跨库)3.调试事务4.语法糖4.1语法糖一4.2语法糖二5.跨方法事务6.CAP事务7.异步事务7.1用法一7.2用法二8.设置事务隔离级别8.1单库模式用法8.2
DotNeter-Hpf·2023-04-17 14:13

clickhouse 建kafka引擎表，通过物化视图做etl

目录1.kafka建表2.创建目标表3.创建物化视图1.kafka建表json数据格式：{"id":"10001","ts_server":"1629444027000","params":{"adid
杜之心·2023-04-17 09:22

使用 DataX 实现数据同步（高效的同步工具）

.DataX基本使用3.安装MySQL数据库4.通过DataX实MySQL数据同步5.使用DataX进行增量同步前言我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作
愿许浪尽天涯·2023-04-17 01:32

高权限注入&跨库注入

简介上篇文章中我们讲述了如何进行手工注入，也通过墨者学院的靶场，真实的感受了SQL注入的感觉。这篇文章我们将继续介绍SQL注入。高权限注入含义世界上有千千万万的网站，我们也都知道网站需要部署在服务器上，但是如果一台服务器上只部署一个网站，那么对于服务器将的资源将会是一个巨大的浪费。毕竟不是每个网站都是需要整台服务器发挥所有性能，许许多多的一些网站只需要比较少的服务器资源和配置就可以流畅的运行。本着
Lamar Carpenter·2023-04-16 15:06

Oracle基础部分三(视图、物化视图、序列、同义词、索引)

Oracle基础部分三(视图、物化视图、序列、索引）1视图1.1概述1.2创建普通视图1.2.1创建普通视图1.2.2创建带检查约束的视图1.2.3创建只读视图的创建与使用1.2.4强制创建视图1.2.5
slb190623·2023-04-14 01:45

FineReport突然无法连接Clickhouse采坑记

排查：在FineReport的bin目录下查看输出日志，如下分析：如上图发现是这种格式的表FineReport不识别，这种格式的表时clickhouse在声明物化视图的时
麦子星星·2023-04-13 21:40

springboot实现动态分库-逻辑schema分库

该功能实现起来比较简单，因为数据库是独立的，因此不需要考虑事务问题、跨库查询等分库分表的常见问题。
黑猫guang·2023-04-13 12:46

微服务改造中解决跨库问题的思路

微服务改造中解决跨库问题的思路参考文章：（1）微服务改造中解决跨库问题的思路（2）https://www.cnblogs.com/jpfss/p/12171568.html（3）https://www.javazxz.com
w36680130·2023-04-10 07:34

Java基础之《分布式事务（2）—什么是分布式事务》

一、本地事务和分布式事务1、本地事务本地事务是关系型数据库中，由一组SQL组成的一个执行单元它有一个缺点：仅支持单库事务，并不支持跨库事务2、分布式事务是指一个企业需要同时操作多个数据库的情况下，而且必须保持
csj50·2023-04-08 20:27

普通视图与物化视图

1)普通视图ClickHouse拥有普通和物化两种视图，其中物化视图拥有独⽴的存储，⽽普通视图只是⼀层简单的查询代理CREATEVIEW[IFNOTEXISTS][db_name.]view_nameASSELECT
古杜且偲·2023-04-08 16:28

kettle开发篇-流查询-Day25

前言：昨天我们讲了数据库相关操作，数据库连接来实现两个库的跨库查询，对应复杂的跨库查询通过数据库连接整合到一块后，就像是在一个数据库里面操作，今天我们来学习流查询，流查询主要用于在查询前把数据加载到内存中
他们叫我技术总监·2023-04-07 11:10

国产etl工具BeeDI 产品 之“数据联邦“ 经典功能组件

一、数据联邦概念及优势数据联邦（跨库合并数据）功能组件，可满足对实际数据集成中不断扩展需求。提供虚拟数据集成服务和企业数据集成的能力。
little_bee_2004·2023-04-06 09:38

跨数据库跨版本跨平台进行高级复制

物化视图复制的设置主站点：prod物化视图站点：emrep主机名：dbserver复制用户：hr检查初始化参数SQL>connectsys/oracle@prodassysdba;已连接。
重庆思庄·2023-04-06 04:37

小迪安全day13WEB漏洞-SQL注入之MYSQL注入

小迪安全day13WEB漏洞-SQL注入之MYSQL注入高权限注入及低权限注入跨库查询及应用思路information_schema表特性，记录库名，表名，列名对应表获取所有数据库名：http://127.0.0.1
航航编程很6·2023-04-05 17:32

Apache Doris 架构原理及特性(四)

5.1Doris整体架构5.2FE元数据管理5.3Doris数据组织5.4执行计划6、特性6.1JOIN两阶段聚合自适应6.2JOIN优化ColocationJoin6.3向量化执行6.4动态添加rollUp6.5物化视图
野狼e族·2023-04-05 08:27

数据库的分库分表、读写分离和主从复制

切分后也会遇到很多问题（例如：跨库join,分布式事务等）分表分为垂直划分和水平划分垂直划分：把不同功能，不同使用频率的数据列分别放到不同的表中例如:把常用的字段放一个表,不常用的放一个表使用的话是根据具体业务来拆
就这些吗·2023-04-05 00:33

代码技巧——数据迁移方案【建议收藏】

开发工作中，可能会遇到如"大表拆分"、"跨库数据迁移"等场景，本文介绍互联网常见架构下的数据迁移方案及实现；1.数据迁移的业务场景以下是需要数据迁移的场景业务场景；1.1大表拆分由于历史原因，为了业务快速迭代
七海健人·2023-04-04 15:55
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他