跨库物化视图

阿里推出又一款数据高效同步工具DataX，真香、真牛X！

有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用SQL来进行同步。当时的打算是通过mysqldump或者存储的方式来进行同步
互联网架构·2023-04-04 14:06

Apache Doris核⼼功能 | 数据模型和物化视图

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！ApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。ApacheDoris可以满足多种
王知无(import_bigdata)·2023-04-04 06:14

微服务架构中分布式事务实现方案如何取舍

数据库和业务模块的垂直拆分为我们带来了系统性能、稳定性和开发效率的提升的同时也引入了一些更复杂的问题，例如在数据一致性问题上，我们不再能够依赖数据库的本地事务，对于一系列的跨库写入操作，如何保证其原子性
wangxiang1292·2023-04-04 00:59

Oracle性能调优之物化视图用法简介

[TOC]一、物化视图简介物化视图分类物化视图分类，物化视图语法和as后面的sql分为：(1)基于主键的物化视图(主键物化视图)(2)基于Rowid的物化视图(Rowid物化视图)本博客介绍一下Oracle
smileNicky·2023-04-03 22:08

Bifrost 同步数据库实现微服务跨库数据同步

BifrostBifrost可以在同步各种数据数据，类似于Canal当前支持的数据库RedisMongoDBClickHouse（DDLsuppoted）MySQL（DDLsupported）MemcacheRabbitMQActiveMQKafkaElasticSearchHttp自定义服务HproseRPC自定义服务使用场景微服务场景中，因为数据库也是根据业务模块进行拆分，不同的业务逻辑中有些
开发老张·2023-04-03 02:16

Clickhouse第六讲-视图

ClickHouse中视图分为普通视图和物化视图，两者区别如图所示普通视图普通视图不存储数据，它只是一层select查询映射，类似于表的别名或者同义词，能简化查询，对原有表的查询性能没有增强的作用，具体性能依赖视图定义的语句
阳光-星辰大海·2023-04-02 23:47

常用的分布式事务解决方案

那么在目前数据库不支持跨库事务的情况下，我们应该如何实现分布式事务呢？本文首先会为大家梳理分布式事
martin4096·2023-04-02 18:00

微服务架构下，解决数据库跨库查询的一些思路

来自公众号：架构荟萃作者：Wooola前言在服务做微服务改造后，原先单库join查询已经不能满足要求，每个拆分的微服务对应一个数据库实例，而且部署在不同的服务器上，那么解决“跨库查询”就势在必行了。
夜空_2cd3·2023-04-02 12:31

分布式事务TCC

1.TCC事务其实是try-confirm-cancel的简称，将事务的步骤分为三步，属于柔性事务，因为2PC同步阻塞的缘故，就产生了效率高的TCC.2.TCC可以解决跨库的数据一致性问题，常用于，电商库存扣减业务
雨会停rain·2023-04-02 09:33

postgresql使用dblink跨库增删改查的步骤

目录postgresql使用dblink跨库增删改查一、使用步骤1、创建dblink扩展，连接与被连接的两个数据库都要执行下面sql2、跨库查询或增删改3、如果不想每一次都写完整的dblink连接信息，
·2023-04-02 01:36

SQLiLabs-less1通关流程

id=-1'unionselect1,user(),3--+因为当前用户是root，存在实现跨库攻击的可能性6.（可选）root权限下获取所有数据库名?i
ecnOXong·2023-04-01 13:41

跨库多表联查 SqlServer postgresql MySQL SQLITE .NET ORM

一、大家是否有这个需求1.跨品种查询：比如MYSQL和一个SQLSERVER进行联表查询，或者SQLITE和MYSQL进行联表查询2.跨服务器查询：A服务器和B服务器查询如果想同时支持1和2相信很多人都没有比较好的解决方案我的设计是通过多库架构来实现多库操作二、多库架构ORM什么是多库架构ORM，一个对象可以同时操作和管理多个数据库我们称为多库架构EFCore一个对象只能操作一个数据库，所以EFC
杰拉尔·2023-04-01 10:21

分布式事务解决方案

简单的说跨JVM进程或者跨数据库实例产生分布式事务典型的分布式事务场景：跨库事务：一个应用中某个功能需要操作多个库。
清风拂来水波不兴·2023-04-01 00:41

后端存储实践二

那如何解决跨库数据一致性的问题呢？你首先想到肯定是：分布式事务分布式环境下这事可能就没这么简单!分为分布式环境，一个交易将会被分在多个不同系统中，多个微服务进程中计算，在多个数据库中执行更新操作。
逗逼程序员·2023-03-30 22:58

java 分布式事务

一：分布式事务-跨库事务（一个服务中操作多个数据源）1，XA/JTA(2PC)两阶段提交第一阶段：预提交（如：1.执行完sql,还没有commit2.锁定资源3.校验数据库、缓存中间件是否正常）第二阶段
softwareDragon·2023-03-30 22:50

阿里的又一款数据高效同步工具DataX，真香！

.DataX基本使用3.安装MySQL数据库4.通过DataX实MySQL数据同步5.使用DataX进行增量同步前言我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作
架构师小秘圈·2023-03-30 08:12

得物基于 StarRocks 的 OLAP 需求实践

StarRocks来支持多种数据分析场景的极速分析；架构简洁，采用了全面向量化引擎，并配备全新设计的CBO优化器，查询速度（尤其是多表关联查询）；很好地支持实时数据分析，并能实现对实时更新数据的高效查询，还支持现代化物化视图
得物技术·2023-03-30 06:24

6 种事件驱动的架构模式

通过消费来自Kafka的数据，并为特定的上下文创建一个“物化视图”，反向查找写入器服务能够创建一个最终一致的数据投影，大幅优化了客户端服务的查询需求。
前端罗欢·2023-03-29 23:55

Kafka-Connect集成clickhouse

其大致情况为如下情况：Kafka主题中存在对应的数据格式，Clickhouse创建一个Kafka引擎表（即相当于一个消费者），当主题有消息进入时，获取该消息，将其进行消费，然后物化视图同步插入到MergeTree
无敌小田田·2023-03-29 15:31

第二十四天：WEB攻防-通用漏洞&SQL注入&MYSQL跨库&ACCESS偏移

什么是sql注入？脚本代码在实现代码与数据库进行数据通讯时（从数据库取出相关数据进行页面显示），将定义的SQL语句进行执行查询数据时。其中的SQL语句能通过参数传递自定义值来实现控制SQL语句，从而执行恶意的SQL语句，可以实现查询其他数据（数据库中的敏感数据，如管理员帐号密码）。这一个过程就可以叫做SQL注入漏洞。sql注入的产生原理：漏洞产生根本条件：可控变量特定函数第九条错误原因表示得pag
新奇八·2023-03-29 11:26

微服务间数据跨库关联

在微服务环境下，不同服务之间会出现数据库独立情况，不可避免的需要跨库关联JOIN。例如：订单服务、商品服务、用户服务等，在独立分库后分别对应订单数据库、商品数据库、用户数据库。
shanchahua123456·2023-03-29 03:16

微服务架构下，解决数据库跨库查询的一些思路

开局先总结一下：现在很多厂都进行了微服务的开发模式，但是呢，业务的拆分的时候如果存在交叉是一件非常头大的事情，所以大家写微服务尽量不要交叉的写，比如新增用户如果已经存在在userservice里面了那么就不要再出现再authservice里面。OK，然后还有一个问题，就是本文的问题，微服务一旦拆分以后，那么相应的数据库一般也会进行拆分，防止存在交叉的情况，但是有时候有些需求又避免不了交叉的关联查询
glenshappy·2023-03-29 02:45

物化视图笔记

在网络上搜索和物化视图相关的内容，出来的百分之九十是用户自己创建物化视图的相关语法。看了一些相关文献，把一些知识点记录一下，仅供参考，如有地方不对，敬请指正。
佩禾·2023-03-28 22:53

技巧篇:mysql远程跨库查询小结

使用场景,举例说明:我有两台阿里云的ecs服务器,IP分别是:xxx.xxx.xxx.1,xxx.xxx.xxx.2数据库分别是:IP为1的db1,IP为2的db2db1中有张表sys_user:建表SQL如下:CREATETABLE`sys_user`(`id`bigint(20)NOTNULLAUTO_INCREMENTCOMMENT'编号',`username`varchar(50)COLL
羊坨坨z·2023-03-26 11:41

微服务架构下，解决数据库跨库查询的一些思路

文章来源于公众号架构荟萃，作者Wooola前言在服务做微服务改造后，原先单库join查询已经不能满足要求，每个拆分的微服务对应一个数据库实例，而且部署在不同的服务器上，那么解决“跨库查询”就势在必行了。
码农小光·2023-03-26 02:57

分布式事务

是否真的有跨应用业务操作的原子性需求（不管是跨库还是跨微服务）？研发上是否能投入足够的资源进行系统改造（这不是CRUD，拉个人来就能干）？
白花蛇草可乐·2023-03-24 02:28

mysql dblink跨库关联查询的实现

目录1、解决方案2、操作3、缺点1、解决方案mysql是不支持跨库连接的，如果我们实在要连接的话可以用dblink方式。
·2023-03-23 20:43

mysql跨库关联查询（dblink）

dblink1、解决方案2、操作3、缺点1、解决方案mysql是不支持跨库连接的，如果我们实在要连接的话可以用dblink方式。
hmb↑·2023-03-22 11:34

SpringBoot整合atomikos实现跨库事务

背景框架之前完成了多数据源的动态切换及事务的处理，想更近一步提供一个简单的跨库事务处理功能，经过网上的搜索调研，大致有XA事务/SEGA事务/TCC事务等方案，因为业务主要涉及政府及企业且并发量不大，所以采用
code2roc·2023-03-16 16:05

Mycat1.6事务问题

使用Mycat用于读写分离时，对数据库的事务不跨库，如果硬要打开事务没有关闭的话，容易产生系统事务紊乱等问题。通过源代码仔细分析，发现mycat并非透传sql语句。
七星石·2023-03-16 03:07

各种分布式事务的对比

（强一致性）如果拿TCC事务的处理流程与2PC两阶段提交做比较，2PC通常都是在跨库的DB层面，而T
JSherlock1899·2023-03-14 23:13

Springboot+(XA协议2PC模式)JTA+Atomikos 处理分布式事务

本章先以单个项目演示跨库事务处理，在上一章(多数据源)的基础上来扩展。
Dawn_y·2023-03-12 07:44

分布式事务解决方案

分布式事务产生的背景跨库事务：一个本地事务，涉及多个库实例的处理分库分表：分库之后，导致一个SQL被映射到多个库去执行微服务化：一个本地事务，设计到多个跨服务的RPC调用目前分布式事务的方案都不能百分百解决分布式事务的问题
poordicky·2023-03-11 14:10

数据分析用它就够了 | 37 个场景你要用集算器

界面拖拽响应很慢通过集算器编写更为简单高效的算法加速计算进程，提升查询性能采用集算器可控存储和索引机制，为BI（CUBE）提供高速的数据存储2.T+0实时全量查询报表涉及数据量大，影响生产系统运行，而分库后又难以实施跨库混合运算将冷热数据分离
小黄鸭呀·2023-03-11 13:21

记一个基于JEECG-BOOT的比较复杂的增删改功能的实现

做了分布式数据库，跨库调字典数据，多表增删改，需要存冗余字段，界面如下：需求：（1）list页面可以复用（2）增、删自定义页面完成1、JEECG-BOOT生成的前端页面的理解（1）混入脚本前端自定义页面
瀚岳-诸葛弩·2023-03-11 11:39

Spring Cloud Alibaba 整合 Seata 实现分布式事务

之前的单体事务无法处理跨库的事务，这个时候就需要使用分布式事务。前面Seata环境搭建介绍了seata的安装，安装后就需要结合实战项目介绍分布式事务的应用。版本spring
小码code·2023-03-09 10:53

mysql跨库查询

CREATETABLEfederated_table(idint(20)NOTNULLauto_increment,namevarchar(32)NOTNULLdefault'',otherint(20)NOTNULLdefault'0',PRIMARYKEY(id),KEYname(name),KEYother_key(other))ENGINE=FEDERATEDCONNECTION='mys
Eric_Zeng·2023-02-18 23:33

2020-07-07：mysql如何实现跨库join查询？

福哥答案2020-07-07：1.同服务跨库。表名称带上库名。
福大大架构师每日一题·2023-02-17 04:08

数据库中间件 - 设计要点

1.数据库中间件设计要点要能解析SQL能支持读写分离能支持从库读的负载均衡支持分库操作支持分表操作支持跨库关联查询对事务处理的支持主键ID生成数据源管理2.数据库拆分2.1垂直拆分2.2水平拆分分片规则
右耳菌·2023-02-09 14:18

Oracle存储过程编写经验和优化措施

1、开发人员如果用到其他库的Table或View，务必在当前库中建立View来实现跨库操作，最好不要直接使用“databse.dbo.table_name”，因为sp_depends不能显示出该SP所使用的跨库
梦遇缱绻的馥郁·2023-02-06 23:25

MySQL高级

分库分表分库后问题跨库跨表join问题全局表，基础数据配置数据所有库都拷贝一份字段冗余系统层组装，业务层分别查询，然后组装，逻辑较复杂。
极速魔法·2023-02-04 20:30

postgresql dblink

在postgresql中提供了与oracle一样的dblink机制,方便跨库查询,下面介绍一下如何在postgresql中使用dblink,所用的数据库版本为10.0，客户端使用的是pgAdmin4。
_科长_·2023-02-04 14:42

2022 年，这 20+22 位共建者闪耀 StarRocks 社区

主键模型、全新的Pipeline计算调度引擎、JavaUDF、数据湖分析加速、外部数据目录支持、多表物化视图、存算分离等呼声甚高的功能，一一被实现和提升。非凡成
StarRocks_labs·2023-02-03 17:32

上新啦｜请查收StarRocks 2.5 LTS 版本特性介绍

核心功能有：Catalog支持DeltaLake、支持ApacheHudiMOR表、支持查询湖上MAP及STRUCT数据类型、提供LocalCache；多表物化视图支持基于外表、物化视图创建，并支持查询改写
StarRocks_labs·2023-02-03 17:30

MONGODB 事务 与 隔离级别 有必要吗？

诚然MOGNODB本身已经支持跨库，跨表的事务。
Austindatabases·2023-02-03 09:56

上新啦｜请查收StarRocks 2.5 LTS 版本特性介绍

核心功能有：Catalog支持DeltaLake、支持ApacheHudiMOR表、支持查询湖上MAP及STRUCT数据类型、提供LocalCache；多表物化视图支持基于外表、物化视图创建，并支持查询改写
·2023-02-02 12:23

mmrazor蒸馏中的无插入式提取蒸馏位点的方式和跨库调用的使用

mmrazor蒸馏中的无插入式提取蒸馏位点的方式：torch模型的子模型module.register_forward_hook(将数据保存下来的一个可以调用的函数)位点的提取特征图调用的记录数据的函数接口需要有三个参数：model、input、和outputimporttorchfromtypingimportTuple,Anydefforward_hook(module:torch.nn.Mo
HsienWei-Chin·2023-02-01 14:21

orcale增量全量实时同步mysql可支持多库使用Kettle实现数据实时增量同步

但是时间戳增量同步不能对源数据库中历史数据的删除操作进行同步，我就使用orcale物化视图的方式进行删除更新操作说明：源数据表需要被同步的数据表目标数据表同步至的数据表中间
weixin_30652271·2023-01-31 02:40

阿里的又一款数据高效同步工具DataX，真香！

大家好，我是不才陈某~有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用SQL来进行同步。
·2023-01-29 13:02

2020-12-30 微服务架构设计与实践

这就会带来跨库的事务完整性、跨库的关联查询。这是微服务避不开的问题。解决，不拆分数据库。但随着业务增加，可能拆分数据库是必需的了。跨库的关联查询解决方案问题：性能和权限比如订单、客户、供应商方案中。
乔爱军·2023-01-29 06:45
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他