E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
tikv
FoundationDB 学习 - 事务流程
我也在第一时间下载了fdb的源码,开始研究,一方面是看我们能在什么方面能够借鉴,另一方面也是需要给一些朋友回答,
TiKV
到底跟fdb有什么不一样这样的问题。
weixin_34417814
·
2023-04-03 20:03
数据库
TIDB证书-PCTA学习笔记 v6课程(1)
1.TiDB架构和概述TiDBserver概述2
TiKV
(应对查询OLTP场景)3.PD4.TiFlash(应对分析OLAP情景)2.TiDBserver架构2.1.TIDB架构2.2.TiDB功能1.
闵祥谦
·
2023-04-01 12:12
tidb
tidb
学习
数据库
TIDB学习笔记(二)-体系架构
TIDB的优势:分布式,高度兼容MySQL,高可用,支持ACID事务(事务模型:Percolator),丰富的工具链生态一、TiDBSQL层,解析SQL,将数据读取请求发给
TiKV
/TiFlash功能:
404Rapper..
·
2023-04-01 11:55
TiDB
分布式
数据库
TiDB-PCTA课程课后习题
(选2项)A.TiUP是从TiDB5.0引入的包管理器B.TiDB、PD和
TiKV
等组件都可以由TiUP管理C.TiUP在执行时,命令和组件不可以同时出现D.TiUP不但可以负责TiDB的部署还可以负责
coding0820
·
2023-04-01 11:36
TiDB技术
数据库
sql
【TiDB】PCTP PCTA课程学习总结
课程总结PCTA1.
TiKV
节点架构2.TiDB数据库架构3.数据库架构选型4.TIDB部署硬件要求5.TiD配置6.TiDB备份7.TiDBDM架构8.TIDBBinlog架构9.TICDC架构PCTP1
渔不是鱼
·
2023-04-01 11:54
TiDB
学习
架构
nosql
TiKV
& TiDB相关笔记
github一、
TiKV
存储简述通过单机的RocksDB,
TiKV
可以将数据快速地存储在磁盘上;通过Raft,将数据复制到多台机器上,以防单机失效。
陀氏
·
2023-02-18 02:49
Geo-replication: 从 Copysets 到 Tiered Replication
譬如对于
TiKV
来说,我们默认会使用3个副本,如果需要更高等级的安全性,譬如在银行领域,我们则会使用5个副本。但无论使用几个副本,我们都会面临一个问题,我们如何在集群中放置这些副本。
siddontang
·
2023-02-06 22:48
TiKV
源码阅读三部曲(三)写流程
背景
TiKV
是一个支持事务的分布式Key-Value数据库,目前已经是CNCF基金会的顶级项目。
·
2023-01-31 11:41
源码
CentOS7 系统层面开启/关闭 NUMA
CentOS7系统层面开启/关闭NUMA在线上环境中,因为硬件机器配置往往高于需求,为了更合理规划资源,会考虑单机多实例部署TiDB或者
TiKV
。
Kassadar
·
2023-01-31 07:00
TiSpark v2.5 开发入门实践及 TiSpark v3.0.0 新功能解读
TiSpark集成了mysql-connector-java,可以从
TiKV
和TiFlash读取数据。并且,TiSpark实现了
TiKV
的Ja
TiDB 社区干货传送门
·
2023-01-21 16:09
scala
spark
开发语言
后端
大数据
TiCDC 源码阅读(三)TiCDC 集群工作过程解析
内容概要TiCDC是一款TiDB增量数据同步工具,通过拉取上游
TiKV
的数据变更日志,TiCDC可以将数据解析为有序的行级变更数据输出到下游。
·
2023-01-19 12:25
tidb
TiDB学习笔记(八)-数据库故障处理
一、数据丢失快速恢复数据恢复前置条件-GC,tidb_gc_life_time查询GC已经清理的时间点
tikv
_gc_safe_point数据快速恢复操作方式DML->tidb_snapshot参数(在
404Rapper..
·
2023-01-11 11:02
TiDB
数据库
tidb
java
TiCDC 源码阅读(二)
TiKV
CDC 模块介绍
内容概要TiCDC是一款TiDB增量数据同步工具,通过拉取上游
TiKV
的数据变更日志,TiCDC可以将数据解析为有序的行级变更数据输出到下游。
·
2023-01-04 22:15
tidb
京东云TiDB SQL优化的最佳实践
数据全部存储在
TiKV
集群中,所以在这个过程中TiDB
·
2023-01-04 18:36
tidb集群介绍和物理部署
TiDB是NewSQL数据库的技术探路者和引领者,本文简要介绍了TiDB的组件TiDBServer、PD调度和
TiKV
,并使用TiUP搭建了三节点的TiDB集群环境,部署简单便捷。
七七powerful
·
2022-12-07 00:56
tidb
数据库
分布式共识协议 Raft 是如何工作的?
相比早先的Paxos,Raft提供一个容易理解和实现的共识算法,在很多的系统比如etcd,ozone,
tikv
,RethinkDB等项目中大量使用。分布式共识协议,源于我们对系统可用性,容错性的追求。
davidullua
·
2022-12-03 17:32
互联网架构
软件开发
分布式系统
分布式
算法
系统架构
TiKV
源码阅读三部曲(三)写流程
背景
TiKV
是一个支持事务的分布式Key-Value数据库,目前已经是CNCF基金会的顶级项目。
·
2022-11-17 00:32
源码
TiKV
源码阅读三部曲(二)读流程
TiKV
是一个支持事务的分布式Key-Value数据库,目前已经是CNCF基金会的顶级项目。
·
2022-10-31 05:53
源码
TiKV
源码阅读三部曲(一)重要模块
TiKV
是一个支持事务的分布式Key-Value数据库,目前已经是CNCF基金会的顶级项目。
·
2022-10-18 17:38
源码分析
京东云TiDB SQL优化的最佳实践
数据全部存储在
TiKV
集群中,所以在这个过程中TiDB
·
2022-10-18 12:23
猿创征文 | 如此丝滑的国产数据库TiDB 纵享丝滑(mysql)~
0改动,百分之百的强劲数据库;一、介绍TiDB官方文档简单总结下:1大于mysql与mysql完美适配2分布式支持分布式事务3性能强悍底层存储与计算分离,更高效4pd:全局调度
tikv
:真正的存
寂寞旅行
·
2022-10-16 22:04
数据库
tidb
mysql
猿创征文|电商 “猜你喜欢“ 商品推荐
TiKV
应用实战
一背景介绍为了提供用户体验,促进交易转化,公司计划上线"猜你喜欢"商品推荐功能。一句话描述,就是针对不同的用户,"猜你喜欢"展示不同的商品。"猜你喜欢"的功能类似如下图:这是一个重要的功能,需要跨部门合作完成。算法部门的同学主要负责分析用户行为,使用模型,计算出不同用户展示的商品信息。基础架构部门负责提供相应的数据存储。我作为服务端的研发同学,主要负责"猜你喜欢"功能与APP前端交互部分,主要涉及
Albert1010
·
2022-10-12 07:06
java
数据库
猿创征文|TiDB架构解析和注意事项
TiDB的最大亮点:通过Multi-RaftLearner协议将
TiKV
的数据实时复
五只鸭子
·
2022-10-12 07:05
大数据
数据库
tidb
架构
数据库
JuiceFS V1.0 RC1 发布,大幅优化 dump/load 命令性能, 深度用户不容错过
这个优化需求来自于某个社区重度用户,这个用户在将亿级数量文件的元数据从Redis迁移至
TiKV
时遇到了内存占用过高的问题,我们接到反馈后着手优化,最终使dump所需内存降低95%,load所需内存降低80%
Juicedata
·
2022-10-11 09:46
分布式存储
hadoop
hdfs
etcd
数据库
TiDB 重要监控指标详解
目前GrafanaDashboard整体分为PD、TiDB、
TiKV
、Node_exporter、Overview、Performance_overview等。
添香小铺
·
2022-09-29 19:39
tidb
数据库
sql
运维
linux
为 TiDB 组件间通信开启加密传输
本部分介绍如何为TiDB集群内各部组件间开启加密传输,一旦开启以下组件间均将使用加密传输:TiDB与
TiKV
、PDTiKV与PDTiDBControl与TiDB,TiKVControl与
TiKV
,PDControl
添香小铺
·
2022-09-27 18:40
tidb
ssl
https
运维
架构
升级 Kubernetes 上的 TiDB 集群
使用滚动更新时,TiDBOperator会按PD、
TiKV
、TiDB的顺序,串行地删除旧版本的Pod
添香小铺
·
2022-09-12 11:11
kubernetes
tidb
容器
数据库
云原生
本地快速部署 TiDB 集群
TiDB集群是由多个组件构成的分布式系统,一个典型的TiDB集群至少由3个PD节点、3个
TiKV
节点和2个TiDB节点构成。
添香小铺
·
2022-09-04 07:57
tidb
数据库
服务器
运维
Kubernetes 上的 TiDB 集群管理常用使用技巧
为了解决这个问题,TiDBinKubernetes提供了PD/
TiKV
/TiDBPod诊断模式。在诊断模式下,Pod内的容器启动后会直接挂起,不会再进入重复Crash的状态,此时,便可以通过kubec
添香小铺
·
2022-07-12 09:51
大数据
数据库
数据库架构
数据库开发
运维
TiDB 集群最小部署的拓扑架构
TiDB316VCore32GB*110.0.1.110.0.1.210.0.1.3默认端口全局目录配置PD34VCore8GB*110.0.1.410.0.1.510.0.1.6默认端口全局目录配置
TiKV
316VCore32GB2TB
添香小铺
·
2022-06-28 19:20
大数据
数据库开发
数据库
数据库架构
运维
TiDB 环境与系统配置检查
在
TiKV
部署目标机器上添加数据盘EXT4文件系统挂载参数生产环境部署,建议使用EXT4类型文件系统的NVME类型的SSD磁盘存储
TiKV
数据文件。
添香小铺
·
2022-06-28 19:20
大数据
数据库开发
数据库架构
数据库
运维
JuiceFS V1.0 RC1 发布,大幅优化 dump/load 命令性能, 深度用户不容错过
这个优化需求来自于某个社区重度用户,这个用户在将亿级数量文件的元数据从Redis迁移至
TiKV
时遇到了内存占用过高的问题,我们接到反馈后着手优化,
JuiceFS
·
2022-06-16 14:00
TiDBv6.0与TiDBv5.1.2
TiKV
节点重启后 leader 平衡加速,提升业务恢复速度对比测试
1.目标:试用TiDBv5.1.2与TiDBv6.0.0
TiKV
节点重启后leader平衡加速,提升业务恢复速度对比2.硬件配置:角色cup/内存/硬盘TiDB\&PD16核/16G内存/SSD200G3
·
2022-05-26 13:37
数据库
TiDB 冷热存储分离解决方案
结论先行TiDB6.0正式提供了数据放置框架(PlacementRulesinSQL)功能,用户通过SQL配置数据在
TiKV
集群中的放置位置,可以对数据进行直接的管理,满足不同的业务场景需要。
·
2022-05-17 17:46
数据库
TiFlash 源码阅读(一) TiFlash 存储层概览
今天的主角--TiFlash是TiDBHTAP形态的关键组件,它是
TiKV
的列存扩展,通过RaftLearner协议异步复制,但提供与
TiKV
一样的快照隔离支持。
·
2022-04-27 11:15
tidb
TiKV
缩容不掉如何解决?
TiKV
节点缩容不掉,通常遇到的情况:1、经常遇到的情况是:3个节点的
tikv
集群缩容肯定会一直卡着,因为没有新节点接受要下线kv的regionpeer。
·
2022-04-25 17:09
数据库
TPC
TiKV
:Hackathon 中最硬核项目是如何炼成的?| TPC 战队访谈
数据库调优可以使数据库应用运行得更快,但对于很多人来说,对数据库内核进行调优是一项很有挑战的“技术活”,是只属于少部分内核研发们的“游戏”。但即使是他们,对数据库内核进行性能调优,也充满了不确定性,它需要综合考虑各种复杂因素,如硬件层面的CPU、I/O、内存和网络,以及软件层面关于操作系统、中间件、数据库参数等配置,还有运行在数据库上的各种查询和命令等。在本次Hackathon2021比赛中,TP
TiDB_PingCAP
·
2022-04-11 09:51
数据库
database
mysql
一场由TiCDC异常引发的GC不干活导致的
Tikv
硬盘使用问题
当大家看到这个标题时,就已经知道了下面几点:(1)出了撒子问题?ok,集群所有KV节点存储硬盘使用80%以上,凌晨触发频繁报警,搞DB的兄弟们还能不能愉快的睡觉?(2)谁搞的?ok,GC不干活。(3)真正导致问题的原因是啥?OK,TiCDC背锅。完了,看到这里本篇文章就基本介绍完了,会不会被劝退?但是老铁千万别走,且听我将细节娓娓道来,后面有“干货”,我会说明我到底做了啥子操作降低硬盘使用;GC为
·
2022-04-07 14:44
数据库
TiKV
侧CDC接口
转载请注明原文地址https://www.jianshu.com/p/dd5c7c222703TiCDC通过解析
TiKV
的raft日志来实现抽取数据库的变化数据,也就是大家所熟知的ChangeDataCapture
nchuxyz
·
2022-03-23 18:30
TPC
TiKV
:Hackathon 中最硬核项目是如何炼成的?| TPC 战队访谈
数据库调优可以使数据库应用运行得更快,但对于很多人来说,对数据库内核进行调优是一项很有挑战的“技术活”,是只属于少部分内核研发们的“游戏”。但即使是他们,对数据库内核进行性能调优,也充满了不确定性,它需要综合考虑各种复杂因素,如硬件层面的CPU、I/O、内存和网络,以及软件层面关于操作系统、中间件、数据库参数等配置,还有运行在数据库上的各种查询和命令等。在本次Hackathon2021比赛中,TP
·
2022-03-16 11:13
tidb数据库sql
TiDB Online DDL 在 TiCDC 中的应用丨TiDB 工具分享
引言TiCDC作为TiDB的数据同步组件,负责直接从
TiKV
感知数据变更同步到下游。
TiDB_PingCAP
·
2022-03-07 14:15
数据库
mysql
java
TiDB Online DDL 在 TiCDC 中的应用丨TiDB 工具分享
引言TiCDC作为TiDB的数据同步组件,负责直接从
TiKV
感知数据变更同步到下游。
·
2022-03-03 11:48
tidb
使用 unistore 对 TiDB 快速进行『回表优化』原型验证
很早之前,TiDB流传着一个段子-『每天只有24次编译
TiKV
的机会』,虽然现在这个黑历史早就成了过去,完整编译一次
TiKV
的时间其实也就是10分钟,使用debug编译速度会更快,但实话,对于想快速开发进行原型验证的同学
siddontang
·
2022-02-14 20:23
备份的 “算子下推”:BR 简介丨TiDB 工具分享
这样,备份的核心便是分布在多个
TiKV
节点上的MVCCScan:简单,粗暴,但是有效,它生来就继承了
TiKV
的诸多优势:分布式、利于横向拓展、灵活(可以备份任意范围、未GC的任意版本的数据)等等优点。
·
2021-12-22 10:47
数据库
带着问题读 TiDB 源码:Hive 元数据使用 TiDB 启动报错
《带着问题读源码系列》-开篇在TiDB社区活跃较久的伙伴们应该知道,过去我们有被称为24章经的《TiDB源码阅读系列文章》,也有面向
TiKV
的《
TiKV
源码解析系列文章》以及《DeepDiveTiKV系列文章
·
2021-11-26 12:35
数据库
内存泄漏的定位与排查:Heap Profiling 原理解析
内存泄漏的定位与排查:HeapProfiling原理解析author:['张业祥']date:2021-11-17summary:本文将介绍一些常见的HeapProfiler的实现原理及使用方法,帮助读者更容易地理解
TiKV
·
2021-11-18 17:14
数据库
ssdb、minio性能测试c
初步选型了几款key-value类型的NoSQL,分别有levelDB、rocksDB、TiDB、SSDB、swapDB、Kvrocks、
Tikv
。均为基于levelDB开发的几款NoSQL。
达微
·
2021-11-05 23:22
TiDB HTAP 上手指南丨添加 TiFlash 副本的工作原理
TiFlash是TiDBHTAP形态的关键组件,它是
TiKV
的列存扩展,在提供了良好的隔离性的同时,也兼顾了强一致性。
·
2021-11-02 12:01
数据库
TiDB HTAP 上手指南丨添加 TiFlash 副本的工作原理
TiFlash是TiDBHTAP形态的关键组件,它是
TiKV
的列存扩展,在提供了良好的隔离性的同时,也兼顾了强一致性。
TiDB_PingCAP
·
2021-11-02 12:05
数据库
database
通过 ProxySQL 在 TiDB 上实现 SQL 的规则化路由
针对分析类需求,优化器会自动将请求路由到列存的TiFlash节点;而对于在线请求,优化器会自动路由到行存
TiKV
请求。
·
2021-10-29 20:59
mysql
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他