TiDB 是 PingCAP 公司基于 Google Spanner / F1 论文实现的开源分布式 NewSQL 数据库。
TiDB Server
TiDB Server 负责接收 SQL 请求,处理 SQL 相关的逻辑,并通过 PD 找到存储计算所需数据的 TiKV 地址,与 TiKV 交互获取数据,最终返回结果。 TiDB Server是无状态的,其本身并不存储数据,只负责计算,可以无限水平扩展,可以通过负载均衡组件(如LVS、HAProxy 或 F5)对外提供统一的接入地址。
PD Server
Placement Driver (简称 PD) 是整个集群的管理模块,其主要工作有三个: 一是存储集群的元信息(某个 Key 存储在哪个 TiKV 节点);二是对 TiKV 集群进行调度和负载均衡(如数据的迁移、Raft group leader 的迁移等);三是分配全局唯一且递增的事务 ID。
PD 是一个集群,需要部署奇数个节点,一般线上推荐至少部署 3 个节点。
TiKV Server
TiKV Server 负责存储数据,从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基本单位是Region,每个 Region 负责存储一个 Key Range (从 StartKey 到 EndKey 的左闭右开区间)的数据,每个TiKV 节点会负责多个 Region 。TiKV 使用 Raft 协议做复制,保持数据的一致性和容灾。副本以 Region 为单位进行管理,不同节点上的多个 Region 构成一个 Raft Group,互为副本。数据在多个 TiKV 之间的负载均衡由 PD调度,这里也是以 Region 为单位进行调度。
水平扩展
高可用
官网上下载安装包
wget http://download.pingcap.org/tidb-latest-linux-amd64.tar.gz
wget http://download.pingcap.org/tidb-latest-linux-amd64.sha256
检查文件完整性,返回 ok 则正确
sha256sum -c tidb-latest-linux-amd64.sha256
解开压缩包(在所有tidb主机中都要有二进制包)
每一个节点都解压压缩包进入解压出的目录
tar -xzf tidb-latest-linux-amd64.tar.gz
cd tidb-latest-linux-amd64
配置环境:
rhel7.3 firewalld和selinux均为disabled状态
server1 | 172.25.5.1 | PD1, TiDB,zabbix-server,web |
---|---|---|
server3 | 172.25.5.3 | TIKV1 |
server4 | 172.25.5.4 | TIKV2 |
server5 | 172.25.5.5 | TIV3 |
注意:服务启动顺序: PD-server —> tikv-server —>tidb-server
注意:以下启动各个应用程序组件实例的时候,请选择后台启动,避免前台失效后程序自动退出。
[root@server1 ~]# cd tidb-latest-linux-amd64
[root@server1 tidb-latest-linux-amd64]# ./bin/pd-server --name=pd1 \
--data-dir=pd1 --client-urls="http://172.25.5.1:2379" \
--peer-urls="http://172.25.5.1:2380" \
--initial-cluster="pd1=http://172.25.5.1:2380" --log-file=pd.log &
server3启动TIKV
[root@server3 tidb-latest-linux-amd64]# ./bin/tikv-server\
--pd="172.25.5.1:2379" \
--addr="172.25.5.3:20160" \
--data-dir=tikv1 \
--log-file=tikv.log &
server4启动TIKV
[root@server4 tidb-latest-linux-amd64]# ./bin/tikv-server\
--pd="172.25.5.1:2379" \
--addr="172.25.5.4:20160" \
--data-dir=tikv1 \
--log-file=tikv.log &
server5启动TIKV
[root@server4 tidb-latest-linux-amd64]# ./bin/tikv-server\
--pd="172.25.5.1:2379" \
--addr="172.25.5.5:20160" \
--data-dir=tikv1 \
--log-file=tikv.log &
在server1中启动tidb
[root@server1 tidb-latest-linux-amd64]# ./bin/tidb-server &
对于各服务的启动状态和数据库端口可以使用以下命令检查:
ps -aux | grep server
netstat -antlp | grep 4000
设置zabbix服务将TIDB与zabbix关
关闭之前安装的mariadb-server服务:
[root@server1 tidb-latest-linux-amd64]# systemctl stop mariadb.service
使用客户端登陆数据库,创建库和用户应进行用户授权。
mysql -h 172.25.5.1 -P 4000 -uroot
MySQL [(none)]> create user zabbix@'%' identified by 'redhat';
MySQL [(none)]> create database zabbix character set utf8 collate utf8_bin;
MySQL [(none)]> grant all on zabbix.* to zabbix@'%' identified by 'redhat';
MySQL [(none)]> \q
数据导入
zcat /usr/share/doc/zabbix-server-mysql-4.0.5/create.sql.gz | \
mysql -h 172.25.5.1 -P 4000 -uzabbix -p zabbix
查询由于tidb大事务限制,也就是一个事务里面,默认最多包含5000条 SQL statement,在不超过上面 rocksdb 层的几个限制的前提下,这个参数可以修改 tidb 的配置文件进行调整。通过设置:tidb_batch_insert 参数进行处理。
tidb_batch_insert 参数:作用域: SESSION默认值: 0这个变量用来设置是否自动切分插入数据。仅在 autocommit 开启时有效。 当插入大量数据时,可以将其设置为 true,这样插入数据会被自动切分为多个 batch,每个 batch 使用一个单独的事务进行插入。
MySQL [(none)]> set tidb_batch_insert=1;
MySQL [(none)]> source /mnt.date.sql;
这个需要一个sql文件,该sql文件就是需要导入数据库中的数据文件。
set tidb_batch_insert=1 只能是临时设定。如果设置完成后,退出数据库后再次登陆就会变成默认值0,所以设置完成之后使用source /mnt.date.sql;导入数据。
vim /etc/zabbix/zabbix_server.conf
[root@server1 ~]# vim /etc/zabbix/zabbix_server.conf #编辑如下内容:
91 DBHost=172.25.5.1 # zabbix 数据库地址
100 DBName=zabbix #数据库名称
117 DBUser=zabbix # 数据库用户
125 DBPassword=redhat # 数据库密码
140 DBPort=4000 # 数据库端口,TIDB为4000
vim /etc/zabbix/web/zabbix.conf.php
[root@toto1 tidb-latest-linux-amd64]# vim /etc/zabbix/web/zabbix.conf.php
$DB['TYPE'] = 'MYSQL';
$DB['SERVER'] = '172.25.5.1';
$DB['PORT'] = '4000';
$DB['DATABASE'] = 'zabbix';
$DB['USER'] = 'zabbix';
$DB['PASSWORD'] = 'redhat';
开启服务:
systemctl start zabbix-server
systemctl start httpd.service