E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
tikv
TiDB v7.1.0 跨业务系统多租户解决方案
比较典型的例子就是通过引入TiFlash列存组件,在存储引擎层面区分
TiKV
上的在线处理事务和在TiFlash上的分
TiDB 社区干货传送门
·
2023-07-25 07:16
tidb
数据库
网络
服务器
运维
TiKV
集群断电(灾难)恢复过程记录
作者:Timber原文来源:https://tidb.net/blog/205fbb5f背景我们的应用使用
TiKV
作为存储层存储用户的数据。
TiDB 社区干货传送门
·
2023-07-25 07:45
python
开发语言
TiDB 7.1 资源管控验证测试
本文章的重点在通过实验探索资源管控的一些细节表现,详细来讲就是:TiDB的流控能力和
TiKV
的调度能力。TiDB流控能
TiDB 社区干货传送门
·
2023-07-25 07:44
tidb
TIDB v7.1 reource control资源管控特性体验贴
资源管控特性体验贴1.使用场景:定义:TIDB的资源管控(ResourceControl),使用资源管控特性,将用户绑定到某个资源组后,TiDB层会根据用户所绑定资源组设定的配额对用户的读写请求做流控,
TiKV
TiDB 社区干货传送门
·
2023-07-25 07:14
tidb
【TiDB理论知识 03】
TiKV
-持久化与数据读取
目录一
TiKV
架构和作用二数据持久化1RocksDB:写入写入过程第一步:WAL写日志(磁盘日志)第二步:写MemTable(内存中)第三步:转存为immutableMemTable(内存中)第四步:刷盘
DBA之路
·
2023-07-19 02:05
TiDB
架构
tidb
【TiDB理论知识 05】
TiKV
-Raft协议
目录一概念二raft共识算法对于
TiKV
的几个重要功能1Raft日志复制1Raft日志复制流程2名词解释分层次理解
TIKV
2RaftLeader选举集群初始状态时Leader选举流程数据正在复制时Leader
DBA之路
·
2023-07-19 02:33
TiDB
tidb
044、TiDB特性_PlacementPolicy
无法本地访问无法根据业务隔离资源难以按照业务登记配置资源和副本数PlacementRulesinSQL之后跨地域部署的集群,支持本地访问根据业务隔离资源按照业务等级配置资源和副本数配置labels设置
TiKV
数哥
·
2023-07-17 22:10
TiDB从入门到精通
tidb
数据库
TiDB(2):TiDB架构特性
架构图解1.1TiDBServerTiDBServer负责接收SQL请求,处理SQL相关的逻辑,并通过PD找到存储计算所需数据的
TiKV
地址,与
TiKV
交互获取数据,最终返回结果
不死鸟.亚历山大.狼崽子
·
2023-07-17 22:06
TiDB
tidb
TiDB简述及
TiKV
的数据结构与存储 | 京东物流技术团队
1概述TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性。目标是为用户提供一站式OLTP(Onl
京东云技术团队
·
2023-07-16 07:38
硬核干货
数据库
数据库
TiDB
TIKV
数据结构
[Lesson 01] TiDB数据库架构概述
目录一章节目标二TiDB体系结构1TiDBServer2.1
TiKV
2.2TiFlash3PD参考一章节目标理解TiDB数据库整体架构了解TiDBServerTiKVtiFlash和PD的主要功能二TiDB
DBA之路
·
2023-07-14 16:29
TiDB
tidb
数据库架构
数据库
如何系统学习分布式?
目前做存储比较热门的是分布式存储方向,有NoSQL的也有关系型数据库的,比如腾讯就有TDSQL,PingCAP也有TIDB、也有分布式KV存储
TIKV
。
python小小Q
·
2023-07-14 03:58
学习
分布式
017、数据库管理之监控
TiDBDashboard数据库监控系统数据流转监控系统访问地址报警系统报警级别指标系统常用监控指标ServicePortStatus常用监控指标PD的常用监控指标TiDB-Server的常用监控指标
TiKV
数哥
·
2023-06-21 18:44
TiDB从入门到精通
数据库
开发语言
分布式数据库
TiDB
016、数据库管理之文件与日志位置
文件与日志位置TiDB数据库文件介绍查看文件位置TiDB节点的文件
TiKV
节点的文件PD节点的文件TiDB数据库文件介绍TiDB不需要持久化信息,所以没有数据文件。
数哥
·
2023-06-21 18:44
TiDB从入门到精通
数据库
TiDB
分布式数据库
架构师日记-为什么数据一致性那么难
著名的Paxos算法(Megastore、Spanner),Raft协议(ETCD、
TiKV
、Consul),ZAB协议(ZooKeeper)等分布式一致性解决方案,都是在此背景下而诞生的。
·
2023-06-21 02:31
架构设计数据结构一致性京东云
014、数据库管理之配置管理
的系统参数和集群参数系统参数系统参数的作用域系统参数的修改集群参数集群参数的修改配置参数的查看实验一:在不同作用域下对数据库的系统参数进行修改session级别global级别实验二:修改集群配置TiDB配置系统配置系统配置:持久化到数据库中不包括对PD,
TiKV
数哥
·
2023-06-18 11:07
TiDB从入门到精通
数据库
python
大数据
TiDB
分布式数据库
TiDB 落地SAS机器实践
3e3570d7背景目前大环境下,需有效利用现有机器资源来支撑业务应用的数据读写存储;多点现有TiDB集群大都是NVMESSD高配机器,TiDB库场景多,其中就有QPS低但消耗空间大(逻辑数据量17T,6
tikv
TiDB 社区干货传送门
·
2023-06-18 10:01
tidb
数据库
TiDB数据迁移实践DM工具
https://tidb.net/blog/75936cd71.TiDB集群1.1拓扑结构3副本集群Ip组件73.134.46.237中控机、PD、TiDBServer73.134.46.61非SSD固态硬盘
TiKV
173.134.47.200
TiDB 社区干货传送门
·
2023-06-18 10:01
tidb
服务器
运维
TiDBv6.5离线部署
作者:gykj-sunzl原文来源:https://tidb.net/blog/42905e3c1.环境与配置检查1.1文件系统检查(类型和挂载参数)-
TiKV
节点mount-lvim/etc/fstab
TiDB 社区干货传送门
·
2023-06-18 10:30
vim
linux
服务器
centos
编辑器
掌握TiUP工具 之 启停TiDB集群节点
TiUP工具简介从TiDB4.0版本开始,TiUP作为新的工具,承担着包管理器的角色,管理着TiDB生态下众多的组件,如TiDB、PD、
TiKV
等。
Sandata!
·
2023-06-17 17:10
晟数学苑
数据库
数据库
TiUP 常见运维操作
tiupclusterlist启动集群启动集群操作会按PD->
TiKV
->Pump->TiDB->TiFlas
每天读点书学堂
·
2023-06-17 17:40
运维
数据库
java
tidb
大数据
TiUP 命令概览
TiUP在TiDB生态中承担包管理器的功能,管理着TiDB生态下众多的组件,如TiDB、PD、
TiKV
等。语法tiup[flags][args...]
每天读点书学堂
·
2023-06-17 17:09
servlet
java
开发语言
tidb
数据库架构
010、体系架构之TiFlash
TiFlashTiFlash功能架构异步复制一致性读取场景选择是选择
TiKV
还是TiFLashTiFlash功能异步复制一致性读取(写虽然是异步,但读可以做到一致性)引擎智能选择计算加速架构TiFLASH
数哥
·
2023-06-17 17:08
TiDB从入门到精通
架构
数据库
大数据
009、体系架构之HTAP
MPPHTAP技术传统的HTAP解决方案HATP的要求可扩展性分布式事务分布式存储同时支持OLTP与OLAP同时支持行存和列存OLTP与OLAP业务隔离实时性行存与列存数据实时同步TiDB的HTAP架构数据存到
TiKV
数哥
·
2023-06-17 17:38
TiDB从入门到精通
架构
大数据
数据库
TiDB
一种KV存储的GC优化实践
作者:vivo互联网服务器团队-YuanJianWei从内部需求出发,我们基于
TiKV
设计了一款兼容Redis的KV存储。
·
2023-06-16 17:00
kv存储gc
007、体系架构之PD
名词概念:store:指的是
TiKV
节点,或者说
TiKV
实例Peer:一个副
数哥
·
2023-06-15 13:00
TiDB从入门到精通
架构
数据库
tidb
分布式数据库
TiKV
新架构:Partitioned Raft KV 原理解析
作者:徐奇
TiKV
推出了名为“partitioned-raft-kv”的新实验性功能,该功能采用一种新的架构,不仅可以显著提高TiDB的可扩展性,还能提升TiDB的写吞吐量和性能稳定性。
TiDB_PingCAP
·
2023-06-15 01:19
服务器
数据库
mysql
tidb
004、体系结构之
TiKV
分布式事务
数据找到并且修改后。此时提交事务的时候。提交的第一阶段,会用三个CF来存放这些数据信息。一类列簇对应一类键值对,第一个CF(default)存放的是数据的键值对。第二个存放的是锁信息。(存放事务信息,给数据加锁,其他事务不能访问)第三个对应的是提交信息。(主键3这一行的开始提交时间100,提交完成时间110)put3_100:primary_tso表示是在事务时间戳100的时候对3这个主键进行修改
数哥
·
2023-06-14 12:17
TiDB从入门到精通
分布式
java
数据库
006、体系结构之
TiKV
读取和Coprocessor
TiKV
读取和Coprocessor1、数据的读取1.1、ReadIndexRead1.2、FollowerRead协同处理器(Coprocessor)1、数据的读取1.1、ReadIndexRead例如此时要读取
数哥
·
2023-06-14 12:17
TiDB从入门到精通
tidb
TiDB
分布式数据库
数据库
003、体系结构之
TiKV
持久化
TiKV
架构和作用数据持久化分布式一致性MVCC分布式事务Coprocessorcoprocessor:协同处理器。可以将一些SQL计算交给
TiKV
处理。
数哥
·
2023-06-14 12:47
TiDB从入门到精通
java
服务器
数据库
tidb
postgresql
005、体系结构之
TiKV
_Raft日志
Raft日志1、Raft与MultiRaft2、Raft日志复制2.1、复制流程总览2.2、Propose2.3、Append2.3、Replicate(Append)2.4Committed2.4Apply3、RaftLeader选举3.1、原理3.2、节点故障Leader(主副本)选举⽇志复制1、Raft与MultiRaft一个region的大小是96Mb,最大144Mb。它里面记录的是日志条
数哥
·
2023-06-14 12:43
TiDB从入门到精通
服务器
数据库
TiDB
tidb
一种KV存储的GC优化实践
作者:vivo互联网服务器团队-YuanJianWei从内部需求出发,我们基于
TiKV
设计了一款兼容Redis的KV存储。
vivo互联网技术
·
2023-06-10 18:30
KV存储
GC设计
TiDB亿级数据亚秒响应查询扩缩容
目录1查看数据分布2当前集群部署拓扑3扩容
TiKV
节点3.1编写扩容脚本3.2执行扩容命令3.2.1命令格式3.2.2执行命令3.3验证扩容信息3.3.1查看节点信息3.3.2通过dashboard查看
赵广陆
·
2023-06-10 17:34
tidb
tidb
linux
ssh
TiDB亿级数据亚秒响应查询整体架构
目录1TiDB的优势2TiDB的组件2.1TiDBServer2.2PD(PlacementDriver)Server2.3TiKVServer2.4TiSpark2.5TiFlash3
TiKV
整体架构
赵广陆
·
2023-06-08 13:51
tidb
tidb
架构
数据库
mysql raft 架构_
TiKV
源码解析系列——如何使用 Raft
TiKV
源码解析系列——如何使用Raft本系列文章主要面向
TiKV
社区开发者,重点介绍
TiKV
的系统架构,源码结构,流程解析。
Li Lee
·
2023-06-07 11:09
mysql
raft
架构
TiDB实战篇-TiDB Cluster部署
集群规划机器拓扑3pd,3
tikv
,1tidb_server.1tiflash,监控。
顶尖高手养成计划
·
2023-04-21 18:27
TiDB入门到小工
tidb
1.3 万亿条数据查询,知乎如何做到毫秒级响应?
曾多年从事私有云相关产品开发工作,关注云原生技术,
TiKV
项目Committer。作为中国最大的知识共享平台,我们目前拥有2.2亿注册用户,3000万个问题,网站答案超过1.3亿。
视学算法
·
2023-04-19 05:38
TiDB Operator 的设计与实现
下面是TiDB的架构图:其中,
TiKV
是一套分布式的Key-Value存储引擎,它
Docker_
·
2023-04-18 14:45
TiKV
分布式事务键值数据库
TiKV
是一个分布式事务键值数据库,最初是为了补充TiDB而创建的。
子阳2328
·
2023-04-18 02:49
TiDB实战篇-BR进行数据备份与恢复
原理Backup备份的时候在PD上面找到表的元数据,然后找到对应的
TiKV
数据以后,直接备份到外部系统中(注意如果没有像HDFS这样的分布式文件存储,那么它每个
TiKV
备份到本地的文件就只有一部分数据)
顶尖高手养成计划
·
2023-04-17 05:28
TiDB入门到小工
tidb
TiDB实战篇-TiDB Lightning 导入数据
原理
TiKV
进入导入模式它是使用物理导入的模式,将SQL文件直接导入到
TiKV
中,它是一种初始化的导入,也就是说目标的数据库和表都是不能够存在的(注意事项,在这种方式导入的时候
TiKV
要切换到导入模式才行
顶尖高手养成计划
·
2023-04-17 05:26
TiDB入门到小工
tidb
TiDB实战篇-集群管理
在线扩容扩容
TiKV
扩容之前看一下现在的集群状态创建扩容的配置文件#扩容viscale-out-
tikv
.yaml#正常情况
tikv
_servers:-host:192.168.66.10ssh_port
顶尖高手养成计划
·
2023-04-15 20:12
Tidb入门到小工
tidb
数据库
运维
TiDB进阶篇-TiDB Server架构
2.下面试负责
TiKV
存储多版本,过期版本的清理作用。3.复杂SQL的拆分(如果是点查那么就不需要经过DistSQL)。4.事务相关。5.负责PD和
TiKV
的通信功能。6.负责OnlineDDL。
顶尖高手养成计划
·
2023-04-15 20:42
Tidb入门到小工
tidb
数据库
TiDB进阶篇-
TiKV
架构
简介简要的介绍下
TiKV
的架构。
顶尖高手养成计划
·
2023-04-15 20:41
Tidb入门到小工
tidb
TiKV
详细介绍
文章目录
TiKV
架构和作用RocksDB持久化:RocksDB:写入RocksDB:查询RocksDB:ColumnFamilies(列簇)分布式事务MVCC(多版本并发控制)Raft与MultiRaftRaft
橘子海,
·
2023-04-15 18:08
TiDB数据库
数据库
分布式
tidb
TiDB进阶篇-体系架构
TiKV
数据存储的地方。通过raft协议实现高可用(不过要注意的是它的region只有
顶尖高手养成计划
·
2023-04-11 15:15
Tidb入门到小工
tidb
架构
数据库
在单机上模拟部署TiDB生产环境集群报错总结
因为在搭建集群前没关防火墙导致端口不可用noavailableendpoints因为学习内存过小导致某个节点(pd或
tikv
或其他节点)因为超时启动失败Error:failedtostarttikv:failedtostart
遇水则生
·
2023-04-10 17:35
运维
分布式
架构师日记-为什么数据一致性那么难
著名的Paxos算法(Megastore、Spanner),Raft协议(ETCD、
TiKV
、Consul),ZAB协议(ZooKeeper)等分布式一致性解决方案,都是在此背景下而诞生的。
京东云开发者
·
2023-04-09 20:54
数据库
java
mysql
京东云
京东科技
TIDB安装及MySql数据迁移
PDServer:PlacementDriver(简称PD)是整个集群的管理模块,其主要工作有三个:一是存储集群的元信息(某个Key存储在哪个
TiKV
节点);二是对
TiKV
集群进行调度和负载均衡(如数据的迁移
T_wk
·
2023-04-08 05:35
RocksDB
目录RocksDB简介
TiKV
架构RocksDB的内存占用RocksDB的空间占用RocksDB后台线程与CompactWriteStallRocksDB简介RocksDB是由Facebook基于LevelDB
野狼e族
·
2023-04-05 01:00
大数据
数据库
大数据
RocksDB
通过 BR 完成不同 K8s 的 TiDB 集群的数据恢复
1、准备工作在源集群和目标还原集群上先配置
TiKV
的NFS目录a.
TiDB 社区干货传送门
·
2023-04-04 05:27
kubernetes
tidb
docker
容器
运维
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他