通过Ansible 安装部署 TiDB 及将 TiDB作为Zabbix 的数据库
一、TiDB 整体架构
TiDB 集群主要分为三个组件：
- TiDB Server
TiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所需数据的 TiKV 地址，与 TiKV 交互获取数据，最终返回结果。 TiDB Server 是无状态的，其本身并不存储数据，只负责计算，可以无限水平扩展，可以通过负载均衡组件（如LVS、HAProxy 或 F5）对外提供统一的接入地址。
- PD Server
Placement Driver (简称 PD) 是整个集群的管理模块，其主要工作有三个： 一是存储集群的元信息（某个 Key 存储在哪个 TiKV 节点）；二是对 TiKV 集群进行调度和负载均衡（如数据的迁移、Raft group leader 的迁移等）；三是分配全局唯一且递增的事务 ID。
PD 是一个集群，需要部署奇数个节点，一般线上推荐至少部署 3 个节点。
- TiKV Server
TiKV Server 负责存储数据，从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基本单位是 Region，每个 Region 负责存储一个 Key Range （从 StartKey 到 EndKey 的左闭右开区间）的数据，每个 TiKV 节点会负责多个 Region 。TiKV 使用 Raft 协议做复制，保持数据的一致性和容灾。副本以 Region 为单位进行管理，不同节点上的多个 Region 构成一个 Raft Group，互为副本。数据在多个 TiKV 之间的负载均衡由 PD 调度，这里也是以 Region 为单位进行调度。
二、核心特性
- 水平扩展
无限水平扩展是 TiDB 的一大特点，这里说的水平扩展包括两方面：计算能力和存储能力。TiDB Server 负责处理 SQL 请求，随着业务的增长，可以简单的添加 TiDB Server 节点，提高整体的处理能力，提供更高的吞吐。TiKV 负责存储数据，随着数据量的增长，可以部署更多的 TiKV Server 节点解决数据 Scale 的问题。PD 会在 TiKV 节点之间以 Region 为单位做调度，将部分数据迁移到新加的节点上。所以在业务的早期，可以只部署少量的服务实例（推荐至少部署 3 个 TiKV， 3 个 PD，2 个 TiDB），随着业务量的增长，按照需求添加 TiKV 或者 TiDB 实例。
- 高可用
高可用是 TiDB 的另一大特点，TiDB/TiKV/PD 这三个组件都能容忍部分实例失效，不影响整个集群的可用性。下面分别说明这三个组件的可用性、单个实例失效后的后果以及如何恢复。
三、TiDB 集群部署
1.节点环境
| 系统 | hostname | IP | service |
|---|---|---|---|
| redhat7.2 | server11 | 172.25.27.11 | TIDB+PD |
| redhat7.2 | server12 | 172.25.27.12 | tikv |
| redhat7.2 | server13 | 172.25.27.13 | tikv |
| redhat7.2 | server14 | 172.25.27.14 | tikv |
server11 : Python 2.7.5
2.在中控机上安装 Ansible
使用pip安装
setuptools下载：https://pypi.python.org/packages/source/s/setuptools/setuptools-7.0.tar.gz
pip官网：https://pypi.python.org/pypi/pip
pip下载：https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz#md5=35f01da33009719497f01a4ba69d63c9
[root@server11 ~]# tar -zxf setuptools-7.0.tar.gz
[root@server11 ~]# ls
anaconda-ks.cfg setuptools-7.0 setuptools-7.0.tar.gz
[root@server11 ~]# cd setuptools-7.0/
root@server11 setuptools-7.0]# python setup.py install
[root@server11 ~]# tar -zxf pip-9.0.1.tar.gz
[root@server11 ~]# cd pip-9.0.1/
[root@server11 pip-9.0.1]# python setup.py install
[root@server11 ~]# pip install ansible安装完成如下图
3.下载 TiDB-Ansible 至中控机
最新 master 版本下载地址：
https://codeload.github.com/pingcap/tidb-ansible/zip/master
[root@server11 ~]# unzip tidb-ansible-master.zip
[root@server11 ~]# cd tidb-ansible-master/
[root@server11 tidb-ansible-master]# ls ##各个文件的说明
ansible.cfg: ansible 配置文件
inventoty.ini: 组和主机的相关配置
conf: TiDB 相关配置模版
group_vars: 相关变量配置
scripts: grafana 监控 json 模版
local_prepare.yml: 用来下载相关安装包
bootstrap.yml: 初始化集群各个节点
deploy.yml: 在各个节点安装 TiDB 相应服务
roles: ansible tasks 的集合
start.yml: 启动所有服务
stop.yml: 停止所有服务
unsafe_cleanup_data.yml: 清除数据
unsafe_cleanup.yml: 销毁集群4.分配 TiDB 集群资源
[root@server11 tidb-ansible-master]# vim inventory.ini
# TiDB Cluster Part
[tidb_servers]
172.25.27.11
[tikv_servers]
172.25.27.12
172.25.27.13
172.25.27.14
[pd_servers]
172.25.27.11
[spark_master]
[spark_slaves]
# Monitoring Part
[monitoring_servers]
172.25.27.11
[grafana_servers]
172.25.27.115.部署 TiDB 集群
[root@server11 tidb-ansible-master]# ansible-playbook local_prepare.yml ##下载 master 版本的 binary 到中控机[root@server11 tidb-ansible-master]# ansible-playbook bootstrap.yml -k ##初始化目标机器的系统环境，修改内核参数(需要中控机可以免密登陆其他的目标机)附：ssh 免密登录
[root@server11 tidb-ansible-master]# ssh-keygen -t rsa
##一路回车
[root@server11 tidb-ansible-master]# cd ~/.ssh/
[root@server11 .ssh]# ssh-copy-id 172.25.27.12
[root@server11 .ssh]# ssh-copy-id 172.25.27.13
[root@server11 .ssh]# ssh-copy-id 172.25.27.14
[root@server11 .ssh]# scp -p id_rsa server12:~/.ssh/
[root@server11 .ssh]# scp -p id_rsa server13:~/.ssh/
[root@server11 .ssh]# scp -p id_rsa server14:~/.ssh/
成功后如下图
[root@server11 tidb-ansible-master]# ansible-playbook deploy.yml ##部署 TiDB 集群
TASK [check_config_dynamic : Preflight check - fail when NTP service is not running or ntpstat is not synchronised to NTP server] ********************
fatal: [172.25.27.14]: FAILED! => {"changed": false, "cmd": "ntpstat | grep -w synchronised | wc -l", "delta": "0:00:00.119750", "end": "2017-10-12 23:38:24.277361", "failed": true, "failed_when_result": true, "rc": 0, "start": "2017-10-12 23:38:24.157611", "stderr": "/bin/bash: ntpstat: command not found", "stderr_lines": ["/bin/bash: ntpstat: command not found"], "stdout": "0", "stdout_lines": ["0"]}
fatal: [172.25.27.12]: FAILED! => {"changed": false, "cmd": "ntpstat | grep -w synchronised | wc -l", "delta": "0:00:00.140235", "end": "2017-10-12 23:38:23.683206", "failed": true, "failed_when_result": true, "rc": 0, "start": "2017-10-12 23:38:23.542971", "stderr": "/bin/bash: ntpstat: command not found", "stderr_lines": ["/bin/bash: ntpstat: command not found"], "stdout": "0", "stdout_lines": ["0"]}
fatal: [172.25.27.13]: FAILED! => {"changed": false, "cmd": "ntpstat | grep -w synchronised | wc -l", "delta": "0:00:00.149001", "end": "2017-10-12 23:38:24.083223", "failed": true, "failed_when_result": true, "rc": 0, "start": "2017-10-12 23:38:23.934222", "stderr": "/bin/bash: ntpstat: command not found", "stderr_lines": ["/bin/bash: ntpstat: command not found"], "stdout": "0", "stdout_lines": ["0"]}
fatal: [172.25.27.11]: FAILED! => {"changed": false, "cmd": "ntpstat | grep -w synchronised | wc -l", "delta": "0:00:00.203400", "end": "2017-10-12 23:38:24.150001", "failed": true, "failed_when_result": true, "rc": 0, "start": "2017-10-12 23:38:23.946601", "stderr": "/bin/bash: ntpstat: command not found", "stderr_lines": ["/bin/bash: ntpstat: command not found"], "stdout": "0", "stdout_lines": ["0"]}
to retry, use: --limit @/root/tidb-ansible-master/retry_files/deploy.retry
有报错，提示ntpstat 命令找不到，安装ntp
[root@server11 tidb-ansible-master]# yum install -y ntp.x86_64
fatal: [172.25.27.12]: FAILED! => {"changed": false, "cmd": "ntpstat | grep -w synchronised | wc -l", "delta": "0:00:00.140509", "end": "2017-10-12 23:54:33.367572", "failed": true, "failed_when_result": true, "rc": 0, "start": "2017-10-12 23:54:33.227063", "stderr": "", "stderr_lines": [], "stdout": "0", "stdout_lines": ["0"]}
fatal: [172.25.27.14]: FAILED! => {"changed": false, "cmd": "ntpstat | grep -w synchronised | wc -l", "delta": "0:00:00.147472", "end": "2017-10-12 23:42:55.134237", "failed": true, "failed_when_result": true, "rc": 0, "start": "2017-10-12 23:42:54.986765", "stderr": "Unable to talk to NTP daemon. Is it running?", "stderr_lines": ["Unable to talk to NTP daemon. Is it running?"], "stdout": "0", "stdout_lines": ["0"]}
又有报错，提示 ntpstat | grep -w synchronised | wc -l 为 false,
Unable to talk to NTP daemon , 查看ntpd服务状态,开启ntpd服务
[root@server11 tidb-ansible-master]# ntpstat
unsynchronised
polling server every 64 s
[root@server11 tidb-ansible-master]# systemctl status ntpd
● ntpd.service - Network Time Service
Loaded: loaded (/usr/lib/systemd/system/ntpd.service; disabled; vendor preset: disabled)
Active: inactive (dead)
[root@server11 tidb-ansible-master]# systemctl start ntpd
[root@server11 tidb-ansible-master]# ntpstat
synchronised to NTP server (85.199.214.100) at stratum 2
time correct to within 222 ms
polling server every 64 s
[root@server11 tidb-ansible-master]# ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
-mirror.datacent 80.50.231.226 2 u 26 256 377 223.180 -21.088 3.898
+61-216-153-105. 211.22.103.158 3 u 46 256 37 96.086 5.925 9.806
+61-216-153-107. 211.22.103.158 3 u 22 256 377 97.342 7.489 3.961
*ntp8.flashdance 193.11.166.20 2 u 107 256 277 220.683 2.635 7.015
还有错误，找找原因：
TASK [check_config_dynamic : Preflight check - Fail if this machine lacks sufficient RAM.] ***********************************************************
fatal: [172.25.27.13]: FAILED! => {"changed": false, "failed": true, "msg": "This machine does not have sufficient RAM to run TiDB."}
fatal: [172.25.27.12]: FAILED! => {"changed": false, "failed": true, "msg": "This machine does not have sufficient RAM to run TiDB."}
fatal: [172.25.27.14]: FAILED! => {"changed": false, "failed": true, "msg": "This machine does not have sufficient RAM to run TiDB."}
找到原因了，fail when NTP service is not running or ntpstat is not synchronised to NTP server
我给的内存为512，增大内存，再来
历经磨难，终于成功！！
6.启动 TiDB 集群
[root@server11 tidb-ansible-master]# ansible-playbook start.yml ##启动 TiDB 集群
[root@server4 ~]# mysql -u root -h 172.25.27.11 -P 4000
##用 MySQL 客户端连接至 TiDB 集群(TiDB 服务的默认端口是 4000)
通过浏览器访问监控平台
地址：http://172.15.27.11:3000 默认帐号密码是：admin/admin
四、TiDB 基本操作
1.创建、查看和删除数据库
使用 CREATE DATABASE 语句创建数据库。语法如下：
CREATE DATABASE db_name [options];例如，要创建一个名为 samp_db 的数据库，可使用以下语句：
CREATE DATABASE IF NOT EXISTS samp_db;使用 SHOW DATABASES 语句查看数据库：
SHOW DATABASES;使用 DROP DATABASE 语句删除数据库，例如：
DROP DATABASE samp_db;2.创建、查看和删除表
使用 CREATE TABLE 语句创建表。语法如下：
CREATE TABLE table_name column_name data_type constraint;例如：
CREATE TABLE person (
number INT(11),
name VARCHAR(255),
birthday DATE
);如果表已存在，添加 IF NOT EXISTS 可防止发生错误：
CREATE TABLE IF NOT EXISTS person (
number INT(11),
name VARCHAR(255),
birthday DATE
);使用 SHOW CREATE 语句查看建表语句。例如：
SHOW CREATE table person;使用 SHOW FULL COLUMNS 语句查看表的列。 例如：
SHOW FULL COLUMNS FROM person;使用 DROP TABLE 语句删除表。例如：
DROP TABLE person;或者
DROP TABLE IF EXISTS person;使用 SHOW TABLES 语句查看数据库中的所有表。例如：
SHOW TABLES FROM samp_db;五、将 Zabbix 的数据库设置为 TiDB
1.zabbix安装
详细请参考我的另一篇博客：图文讲解Zabbix 分布式监控平台安装过程
[root@server11 php]# ls
nginx-1.12.0.tar.gz php-bcmath-5.4.16-36.el7_1.x86_64.rpm php-mbstring-5.4.16-36.el7_1.x86_64.rpm
[root@server11 php]# yum install -y php-bcmath-5.4.16-36.el7_1.x86_64.rpm php-mbstring-5.4.16-36.el7_1.x86_64.rpm
[root@server11 el7]# yum install -y zabbix-agent-3.2.6-1.el7.x86_64.rpm zabbix-server-mysql-3.2.6-1.el7.x86_64.rpm zabbix-web-3.2.6-1.el7.noarch.rpm zabbix-web-mysql-3.2.6-1.el7.noarch.rpm fping-3.10-1.el7.x86_64.rpm iksemel-1.4-2.el7.centos.x86_64.rpm软件安装完成后,进行以下步骤
2.TiDB 配置
对 TiDB 作以下配置,将 zabbix server 的数据导入TiDB 中。
[root@server11 ~]# yum install -y mariadb ##安装 mariadb 软件,即 MySQL 客户端
[root@server11 ~]# mysql -u root -h 172.25.27.11 -P 4000
MySQL [(none)]> create database zabbix character set utf8 collate utf8_bin;
MySQL [(none)]> grant all privileges on zabbix.* to zabbix@localhost identified by 'redhat';
MySQL [(none)]> quit
[root@server11 ~]# zcat /usr/share/doc/zabbix-server-mysql-3.2.*/create.sql.gz | mysql -u root -h 172.25.27.11 -P 4000 zabbix
3.Zabbix server 的配置文件
编辑 Zabbix server 的配置文件,修改内容如下:
[root@server11 ~]# vim /etc/zabbix/zabbix_server.conf
DBName=zabbix
DBUser=zabbix
DBPassword=redhat
DBPort=4000
[root@server11 ~]# systemctl start zabbix-server.service
[root@server11 ~]# systemctl start httpd.service4.Zabbix 的测试
在浏览器中输入 ”http://172.25.27.11/zabbix” , 看zabbix 能否正常安装。
将Zabbix数据库设置为 TiDB 成功。
六、小结
此次TiDB的安装，遇到诸多问题，一开始的时候也是晕头转向，不知道怎么解决，尤其在执行 deploy.yml 部署 TiDB 集群时出现的错误，一开始我也是有点浮躁的，没有认真看他的错误提示，也不知到去哪里看log，而是直接去百度搜索，然而发现百度上根本没有这样的相关问题，所以在这块卡了好久。后来静下来仔细分析的时候，发现原来错误提示给了我们很多信息，发现问题所在后就针对性的解决，困难就这样被克服了。在以后的学习与工作中，肯定还会遇到很多各种各样的问题，要时刻提醒自己不能浮躁，一个清醒的大脑就是trouble的最大克星。