杨 奇龙
(网名:北在南方)
任职于杭州有赞科技DBA
主要负责数据库架构设计
和运维平台开发工作
擅长数据库性能调优、故障诊断
周四见|知数堂公开课系列之
《有赞数据库服务实践》
本次分享介绍有赞数据库服务体系从0到1构建过程,从面向开发和DBA的角度分别介绍有赞的RDS 平台 以及数据库自动化运维系统--ZanDB的架构,技术栈,功能结构。
精彩互动问答
1、分表查询具体怎么实现的?
中间件根据具体的sharding_id路由到具体的表上,可以参考现在比较流行的中间件,其实它们大概的逻辑是一样的,根据一定的算法对sharding_id进行取模。
2、请问杨老师,snapshot快速定位问题时,主要收集哪些信息?如何收集?
核心数据指标 thread_running,主机cpu 负载,内存大小,io利用率 (可以利用Python psutil模块获取cpu,内存,磁盘大小信息)。
3、感觉杨老师那边做的东西挺多的,有管理管理平台2个, Proxy一个, Agent各种牛X的东西。 想请教一下杨老师那边现在团队人员这块怎么样?
2个DBA负责数据库运维和zandb的开发,2个中间件开发人员负责rds 开发 。
4、表的空洞大小是如何统计的?两个机房的HA是通过专线的,还是互联网实现?谢谢!
空洞大小采用的是 I_S.tables表的DATA_FREE数值。两个机房肯定是走专线的,不然网络质量无法保障的。
5、有赞的高可用集群中,LVS这层用的什么模式及怎以保证LVS的高可用?
LVS这层用的full nat 模式,ha模式采用的 keepalived ,后面会改为ECMP模式。
6、https://pan.baidu.com/s/1qs1uzdvhoU4FGhXi9sjyMg#如图, 如图, 请问杨老师 这种表格总条数 你们是存在哪的 也是直接从数据库里count吗
这个是搜索结果吗? 大部分是从数据库里面count的,有一部分是从es里面的查询结果获取的。
7、有两个问题 :
1 ) 老师怎么做敏感数据保护?
2)全链路压测这块大概是一个什么样的流程? 给做一个简单的介绍吧
1)这个现在在页面展示层面还没处理,我们是基于开发的产品线权限来控制的
2)全链路压测,请看https://tech.youzan.com/stress_testing/
8、rds 开发需要全栈技术吗? 连界面都得自己做?
我们目前前端和后端都要做,前端页面也是自己做的,对技术要求还是有点门槛的。
对于zandb而言我在ppt上描述了我们所用的技术栈,你可以参考。
9、 如何保证开发测试生产表结构的及时同步?
大致的原理是把 三个环境的变更做一个流程 a--->b---->c ,不能直接操作b,c ,只能以流程的方式从a发起 ,a做成功了才能做b,然后做c 。
直播现场回顾 周四见|公开课初次见到杨老师照片
俨然大学生一般模样,却已是业界精英
公开课分享条理清晰,干货满满
圈了很多粉哦,全五星好评
回放视频、PPT讲义已上线,快来围观~
温馨提示:PPT的内容有限,建议结合PPT观看视频,效果更佳!
资料发布本次公开课的讲义,及录播的视频均可至腾讯课堂下载、查看,链接:
https://ke.qq.com/course/329196(打开页面-查看任务-视频/PPT讲义均可观看)
扫描下方二维码识别
或者点击文末“阅读原文”直达腾讯课堂
扫码加入知数堂4群-王者峡谷
(QQ群号:650149401)