E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
tikv
Tuning RocksDB - Statistics
RocksDB是一个性能非常强悍的Key-Value存储引擎,很多项目包括我们的
TiKV
都使用它来存储数据。
siddontang
·
2020-04-04 16:00
tikv
源码阅读日记
kv数据是存储在一个rocksdb实例中,raft日志是存储在另一个rocksdb实例中。可以理解为,一块硬盘为一个Store。每个Store实例,包含一份该实例的配置,一个kv_engine,一个raft_engine(感觉这两个成员可以组成一个Engines实例),metapb::Store类型的store作用暂时还不清楚。顾名思义感觉像是用于处理元数据信息。一个sendch用于发送信息,一个
pamuk
·
2020-04-04 14:42
RocksDB - MANIFEST
起因前一段时间,在给用户升级
TiKV
并重启的时候,突然爆出了大量“Sstfilesizemismatch”的错误,也就是硬盘上面的SST文件跟实际MANIFEST里面的文件大小不一致。
siddontang
·
2020-04-01 05:21
工欲性能调优,必先利其器(1)
使用iostat定位磁盘问题在一个性能测试集群,我们选择了AWSc3.4xlarge机型,主要是为了在一台机器的两块盘上面分别跑
TiKV
。
siddontang
·
2020-03-18 07:47
演讲实录|唐刘:Rust in
TiKV
本文整理自4月16日Rust专场Meetup上,我司首席架构师唐刘同学的现场分享,共享给大家。enjoyHelloeveryone,todayIwilltalkabouthowweuseRustinTiKV.Beforewebegin,letmeintroducemyself.MynameisTangLiu,theChiefArchitectofPingCAP.BeforeIjoinedPingC
PingCAP
·
2020-03-13 09:01
一篇超详细的
TiKV
招聘广告
上周写了一篇PD的招聘广告,想想还是应该写一下
TiKV
,毕竟谁叫
TiKV
也缺人了。
siddontang
·
2020-03-08 20:27
Tuning RocksDB - Prefix Extractor
在
TiKV
里面,我们在Write和Raftcolumnfamily(CF)上面使用了prefixextractor机制,用来加速数据的读取和插入插入。
siddontang
·
2020-03-08 10:22
TiDB 易用性挑战赛开启:解决用户的痛点,让 TiDB 更易用!
*team在比赛第一个月就将IN()函数性能提升了150+倍,并让LIKE()函数性能得到指数级提升;tabokie让TitanGC机制不再受在线写的影响,极大提升了
TiKV
写入性能;pingyu把Window
PingCAP
·
2020-03-04 13:24
数据库
大数据
比赛
TiKV
源码解析系列文章(一)序
作者:唐刘
TiKV
是一个支持事务的分布式Key-Value数据库,有很多社区开发者基于
TiKV
来开发自己的应用,譬如titan、tidis。
PingCAP
·
2020-02-29 12:05
TiDB 集群的可用性详解及
TiKV
Label 规划
目录一、前言二、TiDB集群核心组件可用性概览1.TiDBServer的可用性三、Multi-Raft集群的可用性限制1.Raft简介2.RaftGroup副本数的选择3.PD是单一RaftGroup4.
TiKV
tshqin
·
2020-02-28 17:44
TiKV
源码解析系列文章(三)Prometheus(上)
本文为
TiKV
源码解析系列的第三篇,继续为大家介绍
TiKV
依赖的周边库rust-prometheus,本篇主要介绍基础知识以及最基本的几个指标的内部工作机制,下篇会介绍一些高级功能的实现原理。
性感的猫咪
·
2020-02-27 23:40
百度文件系统bfs源码分析系列(前言)
代码的分析资料在网络上几乎没有,不像其他诸如leveldb/rocksdb等有较多的参考资料;还有就是之前分析的raft实现并没有结合相关的业务场景去思考更多的可能,即具体使用;当然有具体的开源如etcd/
tikv
fooboo
·
2020-02-25 02:46
TiKV
源码解析系列文章(三)Prometheus(上)
作者:Breezewish本文为
TiKV
源码解析系列的第三篇,继续为大家介绍
TiKV
依赖的周边库rust-prometheus,本篇主要介绍基础知识以及最基本的几个指标的内部工作机制,下篇会介绍一些高级功能的实现原理
PingCAP
·
2020-02-25 00:14
在 Rust 中使用 Raft
自从Raft一致性算法提出以来,越来越多的分布式应用开始基于Raft来构造自己的高可用服务,包括我们的分布式一致性性Key-Value数据库:
TiKV
。
siddontang
·
2020-02-19 22:10
学习 TLA+ - Percolator Transaction
TiKV
的事务是参考Google[Percolator](后面我们使用Percolator来表示Percolator的事务)实现的,然后做了些许优化,所以这里,我们先实现Percolator的TLA+,
siddontang
·
2020-02-18 12:24
TiKV
源码解析系列文章(三)Prometheus(上)
TiKV
大部分指标都是Counter和Histogram,少部分是Gauge。CounterCounter是最简单、常用的指标,适用于各种计数、累计的指标,要求单调递增。
架构师Javaspring
·
2020-02-17 09:16
2016 年终总结
工作首先说说工作,从今年1月份,我们开始正式立项开发
TiKV
,到年底,整个TiDB已经有几家上线客户,近百家POC客户,不得不说,我们整个团队的执行力是非常强悍的。
siddontang
·
2020-02-17 06:16
TiDB存储之
TiKV
TiKVServer储存组件
TiKV
,从名字就能够猜的出来,该组件储存方式应该是以K-V
程序猿null
·
2020-02-16 03:37
Perf Sched 研究
最近一直在弄
TiKV
的性能优化,想到是否系统的scheduler会影响
TiKV
的性能,于是就稍微研究了下perfsched。
siddontang
·
2020-02-15 02:25
TiDB 在知乎万亿量级业务数据下的实践和挑战
曾多年从事私有云相关产品开发工作关注云原生技术,
TiKV
项目Committer。本文根据孙晓光老师在TiDBTechDay2019北京站上的演讲整理。
PingCAP
·
2020-02-12 03:37
TiKV
源码解析系列文章(十七)raftstore 概览
第一作者:李建俊,第二作者:杨哲轩,王聪
TiKV
作为一个分布式KV数据库,使用Raft算法来提供强一致性。Raft算法提供了单一group的一致性,但是单一group无法扩展和均衡。
PingCAP
·
2020-02-08 15:06
TiKV
源码解析系列文章(十七)raftstore 概览
第一作者:李建俊,第二作者:杨哲轩,王聪
TiKV
作为一个分布式KV数据库,使用Raft算法来提供强一致性。Raft算法提供了单一group的一致性,但是单一group无法扩展和均衡。
PingCAP
·
2020-01-17 20:27
数据库
源码
分布式系统
TiKV
源码解析系列文章(十四)Coprocessor 概览
作者:Shirly本文将简要介绍TiKVCoprocessor的基本原理,面向想要了解
TiKV
数据读取执行过程的同学,同时也面向想对该模块贡献代码的同学。
PingCAP
·
2020-01-07 21:24
三篇文章了解 TiDB 技术内幕 —— 谈调度
前两篇文章介绍了
TiKV
、TiDB的基本概念以及一些核心功能的实现原理,这两个组件一个负责KV存储,一个负责SQL引擎,都是大家看得见的东西。
PingCAP
·
2020-01-04 21:41
明星项目
TiKV
的 Maintainer 这样说……
知乎技术平台团队负责人孙晓光有一个新的身份:开源分布式事务Key-Value数据库
TiKV
项目的Maintainer。
PingCAP
·
2020-01-04 17:44
错误记录-TIDB忘记root密码操作记录
/tidb-server-skip-grant-table=true-store=
tikv
-path=...这个配置参数会让TiDB跳过权限
这家伙懒_很懒
·
2020-01-04 13:02
关于行列混存的一点总结
为了达到这个目标,我也在思考,如何让
TiKV
更好的支持行列混存。刚好最近一段时间研究了一些相关的知识,这里简单总结归纳一下,先看看业界的一些方案,然后在想想后续我们会如何去做。
siddontang
·
2020-01-04 04:20
三十分钟成为 Contributor | 为
TiKV
添加 built-in 函数
吴雪莲背景知识SQL语句发送到TiDB后经过parser生成AST(抽象语法树),再经过QueryOptimizer生成执行计划,执行计划切分成很多子任务,这些子任务以表达式的方式最后下推到底层的各个
TiKV
PingCAP
·
2020-01-04 00:05
2018-10-24 安装TiDB分布式数据库
TiDB的整体架构TiDB集群主要分为三个组件:TiDBServerTiDBServer负责接收SQL请求,处理SQL相关的逻辑,并通过PD找到存储计算所需数据的
TiKV
地址,与
TiKV
交互获取数据,最终返回结果
什锦小沐
·
2019-12-29 22:43
tidb 调度思考
更进一步,如果在一台机器上启动多个
TiKV
实例,会有什么问题?有两种方案,一种是去中心化的,另一种是中心化的。为了分布到不同节点,就必须感知到不同节点,最终目的是为了全局最优化资源利用。
尹滔
·
2019-12-28 21:00
Tuning RocksDB - Write Stalls
这个在
TiKV
调优的时候遇到过很多次,当我们持续大量插入数据的时候,会发现到了某一个时间,性能就突然下降了,如果突然出现了这样的情况,我们都会从LOG文件里或者statistics上面来确认是否出现了writestall
siddontang
·
2019-12-27 04:44
TiDB 源码阅读系列文章(十八)
tikv
-client(上)
作者:周昱行在整个SQL执行过程中,需要经过Parser,Optimizer,Executor,DistSQL这几个主要的步骤,最终数据的读写是通过
tikv
-client与
TiKV
集群通讯来完成的。
PingCAP
·
2019-12-24 15:06
TiKV
事务实现浅析
TiKV
事务实现浅析Percolator事务的理论基础Percolator的来源Percolator事务来源于Google在设计更新网页索引的系统时提出的论文Large-scaleIncrementalProcessingUsingDistributedTransactionsandNotifications
兔晓侠
·
2019-12-23 17:00
写给社区的回顾和展望:TiDB 2019, Level Up !
在这一年很欣喜的看到TiDB和
TiKV
在越来越多的用户使用在了越来越广泛的场景中,作为一个刚刚3岁多的开源项目,没有背后强大的社区的话,是没有办法取得这样的进展的。
PingCAP
·
2019-12-23 03:48
Tikv
事务学习笔记
Tikv
是一个分布式key-value存储系统,由PingCap公司开发,最初是用于支持Tidb。
wangjie_yy
·
2019-12-21 07:27
学习 Rust Futures - Future 和 Stream
虽然mio是一个非常棒的库,并且
TiKV
也使用mio处理网络,事件逻辑等,但mio太底层,我们仍然需
siddontang
·
2019-12-20 19:36
快来加入
TiKV
团队吧 | PingCAP 招聘季
上周我们推送了TiDB团队职位解读文章,当天就有很多简历砸来,我们深深感受到了小伙伴们的热情~趁热打铁,今天我司首席架构师唐刘老师将带大家了解一下传说中「面试通过率最低、难度最高」的研发团队——
TiKV
PingCAP
·
2019-12-19 20:48
TiKV
Engine SIG 成立,硬核玩家们看过来!
作者:YiWuTiKV是一个开源项目,我们一直都欢迎和感激开源社区对
TiKV
所作出的贡献。
PingCAP
·
2019-12-19 01:31
TiDB简明教程
高度兼容MySQL水平弹性扩展分布式事务真正金融级高可用一站式HTAP解决方案云原生SQL数据库其中TiDB的核心特性是:水平扩展、高可用2.TIDB整体结构TiDB的架构图如下:image其中的TiDB、
TiKV
super_pcm
·
2019-12-18 19:38
TiDB DM 数据库同步 step by step
TiDB/
TiKV
/PD/Mydumper/Loader/Syncer/DataMigration/TiDBLighting/Pump/Drainer...光是弄清楚这些组件是用来
老树碎叶
·
2019-12-18 05:16
Docker搭建TiDB简单集群环境
https://www.jianshu.com/p/63dd98e738d12.拉取TiDB的最新Docker镜像dockerpullpingcap/tidb:latestdockerpullpingcap/
tikv
G_YDG
·
2019-12-16 10:40
Calvin:一个为分区数据库设计的快速分布式事务框架
因为
TiKV
是基于GoogleSpanner来构建的,所以在很多方面,我们跟Calvin也有很强的对比性。当然,仅仅通过一篇blog是不够的,所以我还是决定先看看Calvin相关的论文,知道Cal
siddontang
·
2019-12-15 23:34
TiKV
源码解析系列文章(七)gRPC Server 的初始化和启动流程
作者:屈鹏本篇
TiKV
源码解析将为大家介绍
TiKV
的另一周边组件——grpc-rs。
PingCAP
·
2019-12-15 19:30
工欲性能调优,必先利其器(2)- 火焰图
在前一篇文章,我们简单提到了perf,实际perf能做的事情远远不止这么少,这里就要好好介绍一下,我们在
TiKV
性能调优上面用的最多的工具-火焰图。
siddontang
·
2019-12-15 08:35
TiKV
源码解析系列文章(十一)Storage - 事务控制层
作者:张金鹏背景知识
TiKV
是一个强一致的支持事务的分布式KV存储。
TiKV
通过raft来保证多副本之间的强一致,事务这块
TiKV
参考了Google的Percolator事务模型,并进行了一些优化。
PingCAP
·
2019-12-15 00:35
TiKV
源码解析系列文章(十六)
TiKV
Coprocessor Executor 源码解析
作者:邓力铭在前两篇文章
TiKV
源码解析系列文章(十四)Coprocessor概览、
TiKV
源码解析系列文章(十五)表达式计算框架中,讲到了TiDB为了最大化利用分布式计算能力,会尽量将Selection
PingCAP
·
2019-12-13 00:42
数据库
源码
分布式
TiKV
Engine SIG 成立,硬核玩家们看过来!
作者:YiWuTiKV是一个开源项目,我们一直都欢迎和感激开源社区对
TiKV
所作出的贡献。
PingCAP
·
2019-12-08 20:18
数据库
开放源代码
engine
明星项目
TiKV
的 Maintainer 这样说……
知乎技术平台团队负责人孙晓光有一个新的身份:开源分布式事务Key-Value数据库
TiKV
项目的Maintainer。
PingCAP
·
2019-12-08 20:18
开放源代码
数据库
知乎
十分钟成为 Contributor 系列 | 为 Cascades Planner 添加优化规则
作者:崔一丁到今天为止,“成为Contributor系列”已经推出了“支持AST还原为SQL”,“为
TiKV
添加built-in函数”,“向量化表达式”等一列活动。
PingCAP
·
2019-12-08 20:17
数据库
cascader
开放源代码
TiKV
是如何存取数据的(上)
作者:唐刘@siddontang本文会详细的介绍
TiKV
是如何处理读写请求的,通过该文档,同学们会知道
TiKV
是如何将一个写请求包含的数据更改存储到系统,并且能读出对应的数据的。
PingCAP
·
2019-12-06 12:47
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他