腾讯云数据库TDSQL——极速体验tdsql私有云

目录

认识TDSQL

整体架构

组件介绍

安装部署

规划环境

简单部署

准备tdsql包

免密配置

准备数据目录

修改tdsql_hosts文件

修改group_vars配置(ansible变量)

安装ansible(主控机)

安装zk(part1_site)

初始化chitu 

再次修改ansible(主要是增加proxy及端口)

执行安装part2_site 

其他可选模块 

总结


认识TDSQL

根据百度百科的搜索信息显示,2020年12月腾讯云数据库品牌升级,腾讯云原有的TDSQL、TBase、CynosDB三大产品线将统一升级为“腾讯云企业级分布式数据库TDSQL”。全新升级后的腾讯云TDSQL涵盖分布式、分析型、云原生等多引擎融合的完整数据库产品体系。

腾讯云数据库TDSQL——极速体验tdsql私有云_第1张图片

 目前,截止到发文,笔者在官网上是看到了TDSQL MySQL版和TDSQL PostgreSQL版这两种相关产品。

腾讯云数据库TDSQL——极速体验tdsql私有云_第2张图片

 当然,其衍生的系列产品还是蛮多的。大家可以根据需求去选择合适的产品。

腾讯云数据库TDSQL——极速体验tdsql私有云_第3张图片

笔者本次主要探究的是TDSQL MySQL版(私有云),官方文档见:

TDSQL MySQL版(私有云) 10.3.16.2.x-新版本新特性-文档中心-腾讯云-腾讯云

本文使用Tencent云数据库TDSQL交流群中提供的新版本tdsql_10.3.17.3.0进行体验,目的是为了初步走入TDSQL世界。

整体架构

腾讯云数据库TDSQL——极速体验tdsql私有云_第4张图片

整体看来,和传统的通用型商用关系型数据库产品不同,更像是一个数据库+大数据的分布式解决方案(一键部署方案)。

组件介绍

组件缩写

组件名称

备注

Zookeeper

zookeeper集群

高可用和一致性集群

Keeper(manager/scheduler)

TDSQL调度模块

主备切换/扩缩容/资源管理

OSS

TDSQL操作接口

提供http的操作接口

DB

数据库模块

包含mysql和agent

proxy

网关模块

帐号鉴权/sql解析和转发

monitor

监控采集模块

从zk定期采集实例动态数据

chitu

运营平台

实例管理/告警管理/权限控制

clouddba

扁鹊系统

sql优化和诊断

HDFS

冷备存储模块

备份binlog/slowlog/errlog

LVS

负载均衡模块

提供vip,对业务透明后端proxy

kafka

消息队列

是多源同步和es的基础组件

consumer

多源同步消费者

提供mysql、tdsql和oracle之间的同步方案

es

数据检索及分析工具

用于分析网关日志,帮助定位问题

onlineddl

在线表结构变更

用于在chitu页面变更tdsql实例的表结构

安装部署

规划环境

部署方式请参考官方的手册。

由于本地环境资源不足,这里构建出三个虚拟机,使用三台虚拟机来搭建一个最小的TDSQL集群(2台用于DB、1台用于调度和运营体系部署)。

备注:虚拟机环境均为:

        2核+AMD Ryzen 5 PRO 4650U+CentOS7+2G内存,配置可以说是极低(所以可选的组件本文就不安装了)。

三台虚拟机规划如下:

组件

192.168.253.102

192.168.253.202

192.168.253.212

zookeeper

Y

Y

Y

scheduler

Y

Y

oss

Y

Y

chitu

Y

Y

monitor

Y

Y

db

Y

Y

proxy

Y

Y

hdfs

Y

...

...

...

...

Note: 值得注意的是,在本文的整个安装部署过程中,由于本地虚拟机资源实在低得让人抱歉,会出现一些意想不到的情况。笔者也只能无奈中进行解决和规避。如果在高质量环境(高配物理机)中,可以关注一下是否出现文中提及的类似问题,我想,应该会好很多。

简单部署

准备tdsql包

#下载tdsql_10.3.17.3.0.zip,解压

unzip tdsql_10.3.17.3.0.zip

免密配置

ssh-keygen -t rsa #在102机器上执行,这里不需要输入密码

ssh-copy-id 192.168.253.102

ssh-copy-id 192.168.253.202

ssh-copy-id 192.168.253.212

腾讯云数据库TDSQL——极速体验tdsql私有云_第5张图片

准备数据目录

#102机器

mkdir /data

#202和212机器

mkdir /data

mkdir /data1

修改tdsql_hosts文件

腾讯云数据库TDSQL——极速体验tdsql私有云_第6张图片

腾讯云数据库TDSQL——极速体验tdsql私有云_第7张图片

按照自己的规划去修改对应组件的配置即可。

修改group_vars配置(ansible变量)

vim group_vars/all

腾讯云数据库TDSQL——极速体验tdsql私有云_第8张图片

 按官方说明配置即可。

安装ansible(主控机)

source scripts/environment_set

sh scripts/install_ansible.sh

ansible --version

腾讯云数据库TDSQL——极速体验tdsql私有云_第9张图片

安装zk(part1_site)

ansible-playbook -i tdsql_hosts playbooks/tdsql_part1_site.yml

腾讯云数据库TDSQL——极速体验tdsql私有云_第10张图片

等待一段时间后,报错了。

腾讯云数据库TDSQL——极速体验tdsql私有云_第11张图片

CPU数必须大于=2,调整cpu为2核后,又报错: 

腾讯云数据库TDSQL——极速体验tdsql私有云_第12张图片

内存必须大于5G。

好吧,我的虚拟机根本不足以支撑这个环境检查。

那没办法了,为了体验下安装,只好修改检查的脚本了,看看后续能不能继续运行吧,毕竟我又不准备装kafka。

vim roles/tdsql_env_check/files/checkenv/docheck.sh

注释掉检查项。

后面检查其他机器时,也会报类似检查错误,如法炮制,修改脚本。

然后再执行zk安装。

资源不足的情况下,在注释掉CPU和MEM的检查后,是可以安装zk成功的。(在此,请提前准备好足够资源的部署环境吧,毕竟咱要处理的可是海量数据。笔者不在公司,手头的破笔记本也只能呜呼了。)

由于虚拟机配置实在差劲,等了N久之后,终于再次报错了。

腾讯云数据库TDSQL——极速体验tdsql私有云_第13张图片

我去看了一下./roles/tdsql_chitu/files/shell_scripts/install_php.sh脚本,发现安装PHP的步骤没有成功,也没有将对应的php源码包拷贝到/data/tools目录下,因此导致没有安装成功。 (哪块脚本没拷贝过去?还得上班,没时间去查了,就这样吧。)

决定手动编译一下。

将./group_files/tdsql_php/php.tar.gz拷贝到/data/tools下,按照tdsql脚本的configure进行编译安装。

cp  ./group_files/tdsql_php/php.tar.gz /data/tools/

cd /data/tools/

tar xvfp php.tar.gz

cd php

./configure --prefix=/usr/local/php --enable-fpm \

--with-fpm-user=nginx \

--with-fpm-group=nginx \

--with-libxml-dir \

--with-gd \

--with-jpeg-dir \

--with-png-dir \

--with-zlib-dir \

--enable-gd-jis-conv \

--enable-mysqlnd \

--enable-mbstring \

--with-mysqli=mysqlnd \

--with-pdo-mysql=mysqlnd \

--enable-sockets \

--enable-soap \

--with-curl \

--with-openssl

make && make install

弄好php后,再安装zk试试,没有问题了。

最后显示failed任务数为0表示安装成功。

腾讯云数据库TDSQL——极速体验tdsql私有云_第14张图片

初始化chitu 

网页访问安装chitu模块的机器地址,初始化chitu。

http://192.168.253.202/tdsqlpcloud

1)进入安装向导页面

腾讯云数据库TDSQL——极速体验tdsql私有云_第15张图片

这边我得吐槽一下,用QQ浏览器腾讯自家的浏览器居然显示不出来页面。(如下)

腾讯云数据库TDSQL——极速体验tdsql私有云_第16张图片 

 2)环境检测

腾讯云数据库TDSQL——极速体验tdsql私有云_第17张图片

3)集群接入

腾讯云数据库TDSQL——极速体验tdsql私有云_第18张图片 

 4)集群初始化

逐一配置IDC、机型规格、设备资源、网关组等信息,然后创建分布式实例。

腾讯云数据库TDSQL——极速体验tdsql私有云_第19张图片

为方便,这块建了一个一主零备,请实际用多节点吧。(这块没显示出来网关?

5)初始化非分布式实例

腾讯云数据库TDSQL——极速体验tdsql私有云_第20张图片 

腾讯云数据库TDSQL——极速体验tdsql私有云_第21张图片

6)为系统配置数据库

这块遇到一个问题。

如果使用TDSQL实例,测试数据库连接会报错。如果使用普通数据库实例,则可以测试成功。

腾讯云数据库TDSQL——极速体验tdsql私有云_第22张图片

腾讯云数据库TDSQL——极速体验tdsql私有云_第23张图片 

然后,开始安装。

7)进入软件授权管理

默认跳过此步骤即可。

 腾讯云数据库TDSQL——极速体验tdsql私有云_第24张图片

完成安装,进入运营页面。 

 腾讯云数据库TDSQL——极速体验tdsql私有云_第25张图片

登录成功。

腾讯云数据库TDSQL——极速体验tdsql私有云_第26张图片

我这块看不到网关,很奇怪。(初步看,似乎是前面执行install proxy port脚本的时候发生了core,导致最后一步网关设置没完成)

但是同样是可以成功连接数据库的。

mysql -utdsqlpcloud -h192.168.253.202 -P14003 -p'password'

腾讯云数据库TDSQL——极速体验tdsql私有云_第27张图片

再次修改ansible(主要是增加proxy及端口)

 示例:

腾讯云数据库TDSQL——极速体验tdsql私有云_第28张图片

执行安装part2_site 

ansible-playbook -i tdsql_hosts playbooks/tdsql_part2_site.yml

没多久,就完成了。

腾讯云数据库TDSQL——极速体验tdsql私有云_第29张图片

其他可选模块 

如hdfs,lvs,kafka,consumer,es等可选组件,由于时间以及资源的关系,本文就不再安装了。

总结

通过本文,熟悉了TDSQL的各组件模块和一键部署流程,基本完成了TDSQL私有云的本地部署,并可以成功访问数据库,达到了体验的目的。

最后,以一条SQL语句结尾吧。

[root@tdsql_test_zk2 tdsqlinstall]# mysql -utdsqlpcloud -h192.168.253.202 -P14003 -p'password'

Welcome to the MariaDB monitor.  Commands end with ; or \g.

Your MySQL connection id is 15743

Server version: 5.7.35-V2.0R681D005-v17-20210125-2105-log Source distribution

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]>

MySQL [(none)]> select version() from dual;

+-------------------------------------------+

| version()                                 |

+-------------------------------------------+

| 5.7.35-V2.0R681D005-v17-20210125-2105-log |

+-------------------------------------------+

1 row in set (0.00 sec)

MySQL [(none)]>

你可能感兴趣的:(数据库研究所,腾讯云,云计算,数据库,linux,mysql)