公司数据库逻辑

pro库

drds库

通道库

查询库

pg库

bi库

tidb库

odps查询

pro库和drds库是线上数据库

通道库属于枢纽用户同步pro和drds的数据,

查询库用于对通道库数据二次同步,用于程序员查看线上问题,oss也是用该数据库

pg是新数据库用于替代pro库,现在正在试用

bi库是通道库数据的二次同步现在正在废弃过程

tidb是最早时候的数据库 后来逐渐被rds替代

odps是大数据查询库,数据来源不详可能是定时任务同步。可以用sql对数据进行查询分析,也可以用udf和mapreduce对数据查询

rds和tidb测试库是同步的,虽然没有改tidb数据的权限,但是只要改rds数据库的内容,tidb自动会把数据同步过来

todo

//udf和mapreduce;

想一个复杂技术场景借助阿里云文档写一个小项目来实现。

完全掌握odps

3月9号完成

pg用法:

1,查询user;

select * from user;

  这句话会把库里的当前登录用户查出来,例如使用leo用户登录的该数据库,那么该结果就是leo。而不是用户表里的信息

  正确的用法是select * from leo.user 这句话保证了在leo模式下的user表信息

  另外select * from leo."user"同样会出错

与pg相似的是tibd

查询引擎是pg引擎,但是语法上有细微差异

查询user表

select * from user;

    改语句同样是查看当前登录用户信息

    如果想正确查看需要用select * from leo.user;这点跟pg一样

    但是还多了另外一个查询方法select * from "user" 这句话语法结构在pg中是完全错误的,但是在这里却可以正确的查出用户表信息

附注:MySQL只能用select * from user 而不能用select * from "user"

drds用法

1,drds用于解决什么问题?

单表记录超过500w条会产生性能影响,为了规避这种情况,需要把大表进行拆分

例如user表有1000w数据,那么就要拆成user1和user2两张表,每张表500w数据。这种是垂直拆分而非水平拆分(水平拆分是表字段太多,拆成多个表,每个表分配一些字段)

垂直拆分之后遇到两个问题,1,怎么查询。2,查询结果怎么合并

drds属于一个中间件,当where 条件包含分表键的时候会根据分标间hash取模,然后找到指定的rds表,多个rds表查询数据合并之后交给用户也是通过drds来实现的

2,rds读写分离能解决drds的问题么?

rds读写分离,确实可以解决写数据时候出现锁表造成延迟读的情况,但是不能解决表数据大的问题,例如多个表进行group by。依旧会产生性能上的瓶颈。

3,drds事物怎么处理

阿里需要第三方开通GTS来实现,每个drds都涉及多个库,要完成一个drds实例多个库之间的事务需要

set autocommit=false //开启事务

select last_txc_xid() //注册一个 GTS 事务

insert/update/delete 等业务 SQL

commit 或者 rollback //全局提交或回滚

set autocommit=true //恢复自动提交

若多个drds实例之间需要事务则需要第一个drds获取xid 就是select last_txc_xid()的值 然后其他的实例设置xid

4,事务嵌套会出现什么情况

尽量不要这么做,drds本质上是一个mq 如果多次把相同的事务注册drds之后 drds有可能会出现混乱

5,代码中怎么实现

通过aop来拦截所有需要GTS事务的方法,每次执行该方法的时候执行select last_txc_xid() 操作

@Component

@Aspect

public class GtsTXCAspect {

    @Resource

    GtsTxcManager gtsTxcManager;

    @Before("within(@org.springframework.stereotype.Service *) && @annotation(limit)")

    //拦截所有包含GtsTXC注解的方法

    public void gtsTXC(GtsTXC limit) {

        if (RdsFlag.isDrdsSwitch()) {

        //select last_txc_xid()

            gtsTxcManager.enableTXC();

        }

    }

}

因为在执行select last_txc_xid()之前还需要开启事务

所以要配合    @Transactional;来执行

    private boolean checkUsedPromotionFromRedis(Long userId, Integer promotionId, Integer limitCount) {

        boolean flag = false;

        if (limitCount == null) {

            return flag;

        }

        String key = String.format("%s-%s", RedisEnum.USER_PROMOTION_INFO.getKey(), promotionId);

        Integer count = (Integer)redisTemplateUtils.getHashValue(key, valueOf(userId), Integer.class);

        if (count != null && count >= limitCount) {

            flag = true;

        }

        return flag;

    }

m

你可能感兴趣的:(公司数据库逻辑)