super_pcm
super_pcm

TiDB简明教程

本文针对的TiDB版本为3.0，不一定适用于其他版本，可以作为参考

1. TiDB简介

Tidb是个高度兼容MySQL的分布式数据库，详细介绍见官网介绍.这里概括下TiDB拥有的几个特性：

  • 高度兼容 MySQL
  • 水平弹性扩展
  • 分布式事务
  • 真正金融级高可用
  • 一站式 HTAP 解决方案
  • 云原生 SQL 数据库

其中TiDB的核心特性是：水平扩展、高可用

2. TIDB整体结构

TiDB的架构图如下:

TiDB简明教程_第1张图片
image

其中的TiDB、TiKV、PD是核心组件；TiSpark是为了解决复杂OLAP的组件。具体的介绍可以参考官网。

3. TIDB的安装部署

要部署一套分布式的数据库系统可不简单，特别像是TiDB这种有多个组件要部署多个节点的系统。TiDB官方建议并提供了TiDB Ansible来安装部署TiDB集群，具体的安装参考官网。
这里特别说明一点，如果你是在测试环境下安装部署的话，可以修改tidb-ansible目录下的 group_vars/all.yml 文件中的参数，这样就不会对你的硬件有太多的要求了：

dev_mode: True

4. TIDB的监控

使用TiDB-Ansible安装TiDB集群默认会安装一套Prometheus+Grafana的监控；我们使用Prometheus+Grafana对TIDB做监控。监控的架构图如下：

TiDB简明教程_第2张图片
TiDB监控架构图

其中我们最需要关注的是 overview面板，其他的面板我们也要熟悉，下面是一些面板的介绍链接。

  • Overview 面板重要监控指标详解
  • TiDB 重要监控指标详解
  • PD 重要监控指标详解
  • TiKV 重要监控指标详解

监控对于TIDB来说非常重要，建议单独对Prometheus以及Grafana深入学习。

5. 数据迁移

在多数场合下，我们使用TiDB是将其作为MySQL的一个补充。有些大表我们不希望通过MySQL的分库分表技术来处理，因为这样除了会增加技术及维护的难度之外，分库分表还会造成大量的数据孤岛，对我们分析数据也会造成很大的困扰。那我们用TiDB来存放什么数据呢？一是MySQL存放不下的大表，二是MySQL分库分表之后汇合的大表。在这里我们可以看到，我们的数据源都是与MySQL相关的，这里要说的是如何把数据从MySQL迁移到TiDB中去。

  • 针对全量数据，我们可以使用Mydumper+Loader工具进行迁移，具体使用方法可以参考官网。
  • 针对增量数据，我们可以使用syncer工具进行同步，同步的原理和MySQL的主从同步类似，具体使用方法参考官网
  • 针对CSV文件，我们与MySQL操作一样，直接导入，使用方法参考官网

上面三个方法都是针对比较旧的方法了，目前使用得更多的是TIDB的DM工具。DM工具融合了Mydumper+Loader+syncer在里面，可以轻松做到全量数据的备份恢复以及增量数据的同步。

DM集群的部署及官方手册请参考官网教程，这里附上两个的链接：

  • DM集群的部署
  • DM的官方文档手册

如果你不想部署这么大的一个DM集群，那么你可以使用DM的二进制包进行简单的部署，使用方法可以参考官方文档。要注意的就是这样部署二进制包是没有Prometheus+Grafana的监控的，需要自行把DM的监控项目添加到Prometheus+Grafana中去。大概的流程如下：

  1. 在Prometheus中添加DM的监控项，内容大致如下：
  - job_name: "dm"
    static_configs:
    - targets:
      - '192.168.113.20:8262'
  1. 在Grafana中导入json模板，json在dm-ansible的scripts目录下（dm-ansible目录就是DM集群部署最开始下载的那个配置内容包）

在数据量特别大的时候，我们使用DM工具来进行迁移和同步的话效率太低了，这时候就需要使用TIDB Lighting了。这个组件我没有使用过，没有发言权。这里附上官网的连接

6. TIDB的运维

到了这一步，我们的TiDB上终于有了数据，这时候有必要说下怎么对TIDB进行运维了。

6.1 常用的TiDB运维操作

TiDB集群的操作都是通过Ansible来操作的，如果不懂Ansible的，请自己单独对Ansible进行学习.

  • 启动集群

此操作会按顺序启动整个 TiDB 集群所有组件（包括 PD、TiDB、TiKV 等组件和监控组件）。

ansible-playbook start.yml
  • 关闭集群

此操作会按顺序关闭整个 TiDB 集群所有组件（包括 PD、TiDB、TiKV 等组件和监控组件）。

ansible-playbook stop.yml
  • 清除集群数据

此操作会关闭 TiDB、Pump、TiKV、PD 服务，并清空 Pump、TiKV、PD 数据目录。

ansible-playbook unsafe_cleanup_data.yml
  • 销毁集群

此操作会关闭集群，并清空部署目录，若部署目录为挂载点，会报错，可忽略。

ansible-playbook unsafe_cleanup.yml

如果只针对某个组件进行操作可以加上 --tag参数，比如我只停止kv组件

ansible-playbook stop.yml --tags=tikv

如果只对某一个节点进行操作则使用 -l 参数，具体使用方法同上。

6.2 备份与恢复

备份与恢复其实前面已经说过了，就是迁移的过程。我们可以使用Mydumper来对TiDB进行全量的备份，使用Loader工具对TiDB进行全量的恢复。具体的使用方法参考前面提到的官方链接，这里针对Mydumper特别说明下。

如果 mydumper 出现以下报错：

** (mydumper:27528): CRITICAL **: 13:25:09.081: Could not read data from testSchema.testTable: GC life time is shorter than transaction duration, transaction starts at 2019-08-05 21:10:01.451 +0800 CST, GC safe point is 2019-08-05 21:14:53.801 +0800 CST

上面的提示说是读取不到对应的表信息，建议调整GC的时间。由于TIDB使用的是乐观锁和MVCC，其中MVCC的版本默认保存10分钟。如果你的mydumper操作超过10分钟的话，那就有可能会出现上面的情况，这时候需要手动调大GC的时间。

##查询GC设置的值
SELECT * FROM mysql.tidb WHERE VARIABLE_NAME = 'tikv_gc_life_time';

##设置GC的值为720h
update mysql.tidb set VARIABLE_VALUE = '720h' where VARIABLE_NAME = 'tikv_gc_life_time';

执行 mydumper 命令后，将 TiDB 集群的 GC 值恢复到初始值。

update mysql.tidb set VARIABLE_VALUE = '10m' where VARIABLE_NAME = 'tikv_gc_life_time';

6.3 定位慢查询

慢查询在数据库里面几乎是不可避免的，TiDB的慢查询定位方法可以参考MySQL。也就是通过分析慢查询日志，现在TiDB的慢查询日志格式与MySQL一致，可以使用同样的方法慢查询日志进行分析了（比如使用pt-query-diges）。

与MySQL不同的是，TiDB还提供了一个内存表可以直接查询慢查询的情况，这给开发和运维人员提供了很大的便利。用户可通过查询 INFORMATION_SCHEMA.SLOW_QUERY 表来查询慢查询日志中的内容，表中列名和慢日志中字段名一一对应。
例如我要查询用户的慢查询，我可以这么写SQL。

select query_time, query
from information_schema.slow_query
where is_internal = false  -- 排除 TiDB 内部的慢查询 SQL
order by query_time desc
limit 20;

此外，还可以使用admin show slow命令来查询慢查询，这里需要说明的是TiDB认为的慢查询是超过 300毫秒的查询，其中包括大量的内部查询。

慢查询的定位方法具体可以参考官网

7. TiDB的扩容缩容

在最开始，我们有说到TiDB的一个最大的特点是水平拓展，几乎所有的组件都可以很方便地水平拓展，这也是与MySQL集群方案的一个很大的区别。计算能力不够，我们可以增加TiDB节点；存储能力不够，我们可以增加TiKV节点；调度能力不足，我们可以增加PD节点。

TiDB具体的扩容和缩容的方法这里不说，具体可以参考官网。这里要特别说明：

  • TiKV默认是使用3副本的，意思是要让TiKV能够正常运行，TiKV的节点数不能小于3个。

8. TIDB的升级

TiDB版本的更新迭代非常快，每次大版本的更新都会大来新的功能以及性能的提升，小版本的更新也通常会修复一些问题，所以我们使用TiDB，不建议使用旧版本。目前TiDB的最新版本为3.0.5，在生产环境下官方也建议使用该版本。

关于TiDB的升级方法，这里不做介绍，具体参见官方文档。这里要注意一点：

  • TiDB这几个组件中升级耗时最长的是TiKV，主要耗时在region的转移。如果在升级的过程中有大量的写入操作，这会大大增加这一步的耗时。所以建议在业务低峰的时候进行升级，有DM同步的可以暂停同步任务，升级完成后再恢复。

9. TIDB生态工具的使用

TiDB生态工具包含了我们上面提到的Mydumper，Loader，Syncer，Data Migration(DM)，TiDB Lighting，除此之外，还有PD Control，TiKV Control，TiDB Control等。这里我只对PD Control做一个简单的介绍，因为这个工具在我们使用TiDB中要经常用到的。

PD Control默认在tidb ansible下的resources/bin目录下，打开方式比较简单，只要指定pd的地址即可，如：

单命令模式：

./pd-ctl -u http://127.0.0.1:2379 store

交互模式：

./pd-ctl -u http://127.0.0.1:2379 -i

使用PD Control工具对我们设置TiDB的配置以及查看TiDB的运行状况有很大帮助，在排错或者扩缩容的时候我们都需要使用到PD Control工具。下面介绍一些常用的命令：

  • 显示集群的基本信息
cluster
  • 显示所有的配置信息
config show all
  • 显示kv节点的信息
store
  • 查看最大的两个region
region topsize 2
  • 把region id为2001的region leader转移到id 为1 的kv节点上（手动迁移region leader）
operator add  transfer-leader 2001 1
  • 查看PD中运行的调度器
scheduler show

更多的用法请参考官网

10.必须要看的几个博客

10.1 TiDB原理相关

  • 三篇文章了解 TiDB 技术内幕 - 说存储
  • 三篇文章了解 TiDB 技术内幕 - 说计算
  • 三篇文章了解 TiDB 技术内幕 - 谈调度

10.2 最佳实践相关

  • TiDB 最佳实践系列（一）高并发写入常见热点问题及规避方法
  • TiDB 最佳实践系列（二）PD 调度策略最佳实践
  • TiDB 最佳实践系列（三）乐观锁事务
  • TiDB 最佳实践系列（四）海量 Region 集群调优
  • TiDB Best Practice

你可能感兴趣的:(TiDB简明教程)

  • 2020年10月国产数据库排行：GoldenDB跃升异军突起 PolarDB和GaussDB云化融合 数据和云 微软informix分布式存储microsoftcloudera
    墨墨导读：2020年10月国产数据库流行度的前三位由TiDB、达梦数据库、GBase（南大通用）获得，其中TiDB以超过100分的优势领先第二位的达梦数据库。数据技术嘉年华，十周年盛大开启，点我立即报名！大会以“自研·智能·新基建——云和数据促创新生态融合新十年”为主题，相邀数据英雄，总结过往十年历程与成绩，展望未来十年趋势与目标！近60场演讲，大咖云集，李飞飞、苏光牛、林晓斌、黄东旭...，快来
  • TiDB数据库 傲雪凌霜，松柏长青 后端tidb数据库
    TiDB是由PingCAP开发的开源分布式SQL数据库，设计初衷是为了解决传统单机关系型数据库在处理大规模数据和高并发事务时的扩展性和性能问题。它结合了传统关系型数据库（如MySQL）的易用性和分布式系统的扩展能力，属于新一代的分布式SQL数据库。TiDB的关键特性兼容MySQL协议：TiDB兼容MySQL协议，用户可以直接使用MySQL客户端或MySQL的各种生态工具（如MySQLWorkben
  • Python青少年简明教程：模块 学习&实践爱好者 青少年编程入门系列Python学习python开发语言
    Python青少年简明教程：模块Python模块是一种组织代码的方式，用于将相关的函数、类和变量分组在一起，从而提高代码的可重用性和可维护性。一个模块通常是一个包含Python代码的文件，文件名以.py作为扩展名。使用模块，可以在不同的Python脚本之间共享代码，而不需要重复编写相同的代码。概述Python模块可以分为以下几类：内置模块Python标准库中自带的模块，如math、os、sys、t
  • Python青少年简明教程：文件处理 学习&实践爱好者 青少年编程入门系列Python学习python开发语言
    Python青少年简明教程：文件处理计算机科学中的文件是指存储在计算机存储设备上的数据集合。这些数据可以是程序代码、文本、图像、音频、视频等各种形式的信息。在计算机科学中，文件通常被分为两类：文本文件和二进制文件。每个文件都有一个唯一的文件名，用于标识该文件。文件名通常由两个部分组成：名字和扩展名（例如，document.txt中，document是名字，.txt是扩展名）。文件路径（FilePa
  • HTAP 深入探索指南 每天读点书学堂 大数据数据库数据库开发
    本指南介绍如何进一步探索并使用TiDB在线事务与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)功能。注意如果你对TiDBHTAP功能还不太了解，希望快速试用体验，请参阅快速上手HTAP。要快速了解TiDB在HTAP场景下的体系架构与HTAP的适用场景，建议先观看下面的培训视频（时长15分钟）。注意本视频只作为学习参考，如需了解详细的H
  • TiDB备份与恢复简介 每天读点书学堂 大数据数据库架构数据库数据库开发运维
    本文档介绍如何对Kubernetes上的TiDB集群进行数据备份和数据恢复。备份与恢复中所使用的工具有Dumpling、TiDBLightning和BR。Dumpling是一个数据导出工具，该工具可以把存储在TiDB/MySQL中的数据导出为SQL或者CSV格式，可以用于完成逻辑上的全量备份或者导出。TiDBLightning是一个数据导入工具，该工具可以把Dumpling或CSV输出格式的数据快
  • 等保2.0--安全计算环境--TiDB数据库 魔同 等保测评安全tidb数据库
    在使用本博客提供的学习笔记及相关内容时，请注意以下免责声明：信息准确性：本博客的内容是基于作者的个人理解和经验，尽力确保信息的准确性和时效性，但不保证所有信息都完全正确或最新。非专业建议：博客中的内容仅供参考，不能替代专业人士的意见和建议。在做出任何重要决定之前，请咨询相关领域的专业人士。个人责任：使用本博客内容的风险由用户自行承担。作者不对因使用本博客内容而导致的任何直接或间接损失承担责任。版权
  • 窥一斑而知全豹 薛晓刚 数据库
    说几个DTCC大会的插曲由于经济形势的不好，我看参展商少了一点。可能不少都是为了生计而挣扎。2023年1月明叔主持的栏目有一期特别节目《数据库诸神之战》，请来了OB、TiDB、TDSQL和TDEngine的掌门人来讨论数据库的未来，那时候结论是3年后国内健康运营的数据库公司不超过30家。目前已经快过去2年了。现在日子的确越来越难过了。现实可能和预测差不多。从出版社少到图书劵少每次大会都有各家出版社
  • 开源项目精选：Bookshop Demo - 您的云端书店解决方案 毛彤影
    开源项目精选：BookshopDemo-您的云端书店解决方案tidb-prisma-vercel-demoVirtualonlinebookstoreapplicationdemowhichyoucanfindbooksofvariouscategoriesandratethebooks.项目地址:https://gitcode.com/gh_mirrors/ti/tidb-prisma-verc
  • Go语言简明教程 初眸࿐ golangmfc开发语言
    Go语言介绍实验介绍本实验将简要介绍Go语言的起源发展和Go的关键特性，对Go有一个基础的认识，了解Go适合做什么，并通过一个HelloWorld例子快速上手。知识点Go语言的起源Go语言的特性Go语言可以做什么HelloWorld程序Go语言介绍Go语言的起源Go语言起源2007年，并于2009年正式对外发布。它从2009年9月21日开始作为谷歌公司20%兼职项目，即相关员工利用20%的空余时间
  • OLAP和OLTP以及HTAP的区别 霸王龙的日常 数据库概念数据库数据仓库
    数据处理一般可以分成两大类：OLAP和OLTP那么有没有一种情况，将OLTP和OLAP相融合，在同一个系统中同时提供这两种服务，答案是有的。即HTAP产品。在这方面，国内的数据库厂商PingCAP的TiDB就不错。还有华为的GaussDB(openGauss)也对外公布六大关键技术特性其中之一就是高度支持HTAP混合负载。什么是OLAP？联机分析处理OLAP（OnLineAnalyticalPro
  • 【数据库】GaussDB 一起学架构 数据库数据库
    目录一、GaussDB是什么数据库？二、GaussDB与Tidb、OcceanBase数据库的差别有哪些三、GaussDB的整体架构是怎么样的？四、GaussDB的核心技术特点是什么？五、GaussDB的适用场景有哪些？六、GaussDB在不同场景的一些最佳实践案例七、GaussDB性能优化技巧八、GaussDB使用的注意事项一、GaussDB是什么数据库？Gauss数据库是基于PostgreSQ
  • MYSQL的读写扩展 hailang86 mysql数据库
    1.分布式数据库有很多种：采用分库分表方式将数据路由拆分到多个数据库上；以greenplum未代表的mpp数据库架构；以tidb为代表的newSQl数据库架构。2.mpp数据架构是一种处理大规模数据分析任务的分布式数据架构，大规模并行处理。当执行一条SQL语句时，会将语句发送到所有数据节点进行查询处理，利用多节点的计算能力进行计算。3.分库分表主要用于简单的业务场景，OLTP场景，onlinetr
  • golang学习笔记——Context 并发编程简明教程 怪我冷i golang从入门到入门golang学习笔记
    文章目录1为什么需要Context2context.WithCancel2.1控制单个协程2.2控制多个协程3context.WithValue4context.WithTimeout5context.WithDeadline1为什么需要ContextWaitGroup和信道(channel)是常见的2种并发控制的方式。如果并发启动了多个子协程，需要等待所有的子协程完成任务，WaitGroup非常
  • MySQL8.3 可以给 GTID 打标签了！ mysqlgtid事务
    本文介绍了MySQL8.3的一个新特性，给GTID打标签~作者：李富强，爱可生DBA团队成员，熟悉MySQL，TiDB，OceanBase等数据库。相信持续把对的事情做好一点，会有不一样的收获。爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。本文约900字，预计阅读需要3分钟。摘要MySQL8.3创新版于2024年1月16号发布，该版本扩展了MySQL复制和组复制中使用
  • 读TiDB源码聊设计：浅析HTAP的SQL优化器 tidbgo性能优化分布式系统
    版本日期备注1.02024.2.18文章首发本文的的源码分析全部基于TiDB6.5来做分析。1.引子如果让你做一个分布式数据库的优化器，面对以下的SQL，你会想到什么好的方法去执行他们呢？SELECTid,nameFROMpersonWHEREage>=18orheight>180limit100;：从条件上看，我们看到条件其实是二选一的：age>=18orheight>180。基于这种情况，我们
  • 从 20 多套 MySQL 到 1 套 TiDB丨骏伯网络综合运营管理平台应用实践 TiDB_PingCAP tidb分布式云原生数据库TiDB
    导读骏伯网络是一家聚焦移动互联网营销服务的公司，综合运营管理平台是其核心业务系统，包括营销系统、订单、支付以及与外部系统的交互服务接口。为满足多元化的业务发展需求，降低系统间交互链路的复杂性，提升业务连续性，以及实现降本增效的整体规划，骏伯网络选择将TiDB作为综合运营管理平台的底层数据库。经过上线实践证明，TiDB为骏伯在业务连续性、性能提升、数据资源整合、降本增效等方面带来了显著价值。未来，骏
  • 通过 Prometheus 编写 TiDB 巡检脚本（脚本已开源，内附链接） TiDB_PingCAP prometheustidb开源分布式云原生数据库
    作者丨caiyfc来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供分布式数据库TiDB整体解决方案的专业技术团队。团队成员拥有丰富的数据库从业背景，全部拥有TiDB高级资格证书，并活跃于TiDB开源社区，是官方认证合作伙伴。目前已为10+客户提供了专业的TiDB交付服务，涵盖金融、证券、物流、电力、政府、零售等重点行业。背景笔者最近在驻场，发现这里的tidb集群是真的多，有将近150
  • 使用 Coze 搭建 TiDB 助手 TiDB_PingCAP 数据库开源分布式TiDBtidb
    导读本文介绍了使用Coze平台搭建TiDB文档助手的过程。通过比较不同AIBot平台，突出了Coze在插件能力和易用性方面的优势。文章深入讨论了实现原理，包括知识库、functioncall、embedding模型等关键概念，最后成功演示了如何在Coze平台上快速创建TiDBHelpBot。本文作者Weaxs，TiDB社区布道师。引言目前市面上有很多搭建AIBot的平台和应用，开源的有langch
  • 一篇文章彻底搞懂 TiDB 集群各种容量计算方式 TiDB_PingCAP 数据库tidbTiDB云原生开源
    作者丨hey-hoho来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供分布式数据库TiDB整体解决方案的专业技术团队。团队成员拥有丰富的数据库从业背景，全部拥有TiDB高级资格证书，并活跃于TiDB开源社区，是官方认证合作伙伴。目前已为10+客户提供了专业的TiDB交付服务，涵盖金融、证券、物流、电力、政府、零售等重点行业。背景TiDB集群的监控面板里面有两个非常重要、且非常常用的指
  • “分布式透明化”在杭州银行核心系统上线之思考 TiDB_PingCAP 分布式云原生tidb数据库银行
    导读随着金融行业数字化转型的需求，银行核心系统的升级改造成为重要议题。杭州银行成功上线以TiDB为底层数据库的新一代核心业务系统，该实践采用应用与基础设施解耦、分布式透明化的设计开发理念，推动银行核心系统的整体升级。本文聚焦银行核心系统演进，结合TiDB在杭州银行新一代核心的实践，深入解析“分布式透明化”理念，希望能为同行业的转型升级提供参考。本文作者：韩锋，CCIA（中国计算机协会）常务理事，前
  • 作业帮 x TiDB丨多元化海量数据业务的支撑 TiDB_PingCAP 数据库tidbTiDB云原生开源
    导读作业帮是一家成立于2015年的在线教育品牌，致力于用科技手段助力教育普惠。经过近十年的积累，作业帮运用人工智能、大数据等技术，为学生、老师、家长提供学习、教育解决方案，智能硬件产品等。随着公司产品和业务场景越来越丰富，数据量越来越大，业务方对数据库的使用需求也越来越多元化。本文介绍了作业帮对TiDB的探索历程，以及逐渐落地多个业务场景的使用实践。TiDB在作业帮的探索和推广作业帮内部最开始接触
  • TiDB 7.5.0 LTS 高性能数据批处理方案 TiDB_PingCAP tidb分布式云原生数据库
    过去，TiDB由于不支持存储过程、大事务的使用也存在一些限制，使得在TiDB上进行一些复杂的数据批量处理变得比较复杂。TiDB在面向这种超大规模数据的批处理场景，其能力也一直在演进，其复杂度也变得越来越低：○从TiDB5.0开始，TiFlash支持MPP并行计算能力，在大批量数据上进行聚合、关联的查询性能有了极大的提升○到了TiDB6.1版本，引入了BATCHDML(https://docs.pi
  • 作业帮 x TiDB丨多元化海量数据业务的支撑 tidb
    导读作业帮是一家成立于2015年的在线教育品牌，致力于用科技手段助力教育普惠。经过近十年的积累，作业帮运用人工智能、大数据等技术，为学生、老师、家长提供学习、教育解决方案，智能硬件产品等。随着公司产品和业务场景越来越丰富，数据量越来越大，业务方对数据库的使用需求也越来越多元化。本文介绍了作业帮对TiDB的探索历程，以及逐渐落地多个业务场景的使用实践。TiDB在作业帮的探索和推广作业帮内部最开始接触
  • TiDB 7.5.0 LTS 高性能数据批处理方案 tidb数据库
    过去，TiDB由于不支持存储过程、大事务的使用也存在一些限制，使得在TiDB上进行一些复杂的数据批量处理变得比较复杂。TiDB在面向这种超大规模数据的批处理场景，其能力也一直在演进，其复杂度也变得越来越低：○从TiDB5.0开始，TiFlash支持MPP并行计算能力，在大批量数据上进行聚合、关联的查询性能有了极大的提升○到了TiDB6.1版本，引入了BATCHDML(https://docs.pi
  • JeecgBoot集成TiDB，打造高效可靠的数据存储解决方案
    TiDB简介TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库，同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性。TIDB安装部署TiDB是一个分布式系
  • 读TiDB源码聊设计：浅析HTAP的SQL优化器 tidbgo性能优化分布式系统
    版本日期备注1.02024.2.18文章首发本文的的源码分析全部基于TiDB6.5来做分析。1.引子如果让你做一个分布式数据库的优化器，面对以下的SQL，你会想到什么好的方法去执行他们呢？SELECTid,nameFROMpersonWHEREage>=18orheight>180limit100;：从条件上看，我们看到条件其实是二选一的：age>=18orheight>180。基于这种情况，我们
  • 使用 Coze 搭建 TiDB 助手 tidb数据库
    导读本文介绍了使用Coze平台搭建TiDB文档助手的过程。通过比较不同AIBot平台，突出了Coze在插件能力和易用性方面的优势。文章深入讨论了实现原理，包括知识库、functioncall、embedding模型等关键概念，最后成功演示了如何在Coze平台上快速创建TiDBHelpBot。本文作者Weaxs，TiDB社区布道师。引言目前市面上有很多搭建AIBot的平台和应用，开源的有langch
  • 从 20 多套 MySQL 到 1 套 TiDB丨骏伯网络综合运营管理平台应用实践 tidb数据库
    导读骏伯网络是一家聚焦移动互联网营销服务的公司，综合运营管理平台是其核心业务系统，包括营销系统、订单、支付以及与外部系统的交互服务接口。为满足多元化的业务发展需求，降低系统间交互链路的复杂性，提升业务连续性，以及实现降本增效的整体规划，骏伯网络选择将TiDB作为综合运营管理平台的底层数据库。经过上线实践证明，TiDB为骏伯在业务连续性、性能提升、数据资源整合、降本增效等方面带来了显著价值。未来，骏
  • 一篇文章彻底搞懂 TiDB 集群各种容量计算方式 tidb数据库
    作者丨hey-hoho来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供分布式数据库TiDB整体解决方案的专业技术团队。团队成员拥有丰富的数据库从业背景，全部拥有TiDB高级资格证书，并活跃于TiDB开源社区，是官方认证合作伙伴。目前已为10+客户提供了专业的TiDB交付服务，涵盖金融、证券、物流、电力、政府、零售等重点行业。背景TiDB集群的监控面板里面有两个非常重要、且非常常用的指
  • 多线程编程之存钱与取钱 周凡杨 javathread多线程存钱取钱
      生活费问题是这样的：学生每月都需要生活费，家长一次预存一段时间的生活费，家长和学生使用统一的一个帐号，在学生每次取帐号中一部分钱，直到帐号中没钱时 通知家长存钱，而家长看到帐户还有钱则不存钱，直到帐户没钱时才存钱。   问题分析：首先问题中有三个实体，学生、家长、银行账户，所以设计程序时就要设计三个类。其中银行账户只有一个，学生和家长操作的是同一个银行账户，学生的行为是
  • java中数组与List相互转换的方法 征客丶 JavaScriptjavajsonp
    1.List转换成为数组。（这里的List是实体是ArrayList) 　　调用ArrayList的toArray方法。 　　toArray 　　public T[] toArray(T[] a)返回一个按照正确的顺序包含此列表中所有元素的数组；返回数组的运行时类型就是指定数组的运行时类型。如果列表能放入指定的数组，则返回放入此列表元素的数组。否则，将根据指定数组的运行时类型和此列表的大小分
  • Shell 流程控制 daizj 流程控制if elsewhilecaseshell
    Shell 流程控制 和Java、PHP等语言不一样，sh的流程控制不可为空，如(以下为PHP流程控制写法)： <?php if(isset($_GET["q"])){ search(q);}else{// 不做任何事情} 在sh/bash里可不能这么写，如果else分支没有语句执行，就不要写这个else，就像这样 if else if if 语句语
  • Linux服务器新手操作之二 周凡杨 Linux 简单 操作
    1.利用关键字搜寻Man Pages    man -k keyword  其中-k 是选项，keyword是要搜寻的关键字 如果现在想使用whoami命令，但是只记住了前3个字符who，就可以使用 man -k who来搜寻关键字who的man命令       [haself@HA5-DZ26 ~]$ man -k
  • socket聊天室之服务器搭建 朱辉辉33 socket
    因为我们做的是聊天室，所以会有多个客户端，每个客户端我们用一个线程去实现，通过搭建一个服务器来实现从每个客户端来读取信息和发送信息。    我们先写客户端的线程。 public class ChatSocket extends Thread{ Socket socket; public ChatSocket(Socket socket){ this.sock
  • 利用finereport建设保险公司决策分析系统的思路和方法 老A不折腾 finereport金融保险分析系统报表系统项目开发
    决策分析系统呈现的是数据页面，也就是俗称的报表，报表与报表间、数据与数据间都按照一定的逻辑设定，是业务人员查看、分析数据的平台，更是辅助领导们运营决策的平台。底层数据决定上层分析，所以建设决策分析系统一般包括数据层处理（数据仓库建设）。   项目背景介绍 通常，保险公司信息化程度很高，基本上都有业务处理系统（像集团业务处理系统、老业务处理系统、个人代理人系统等）、数据服务系统（通过
  • 始终要页面在ifream的最顶层 林鹤霄
    index.jsp中有ifream，但是session消失后要让login.jsp始终显示到ifream的最顶层。。。始终没搞定，后来反复琢磨之后，得到了解决办法，在这儿给大家分享下。。 index.jsp--->主要是加了颜色的那一句 <html> <iframe name="top" ></iframe> <ifram
  • MySQL binlog恢复数据 aigo mysql
    1，先确保my.ini已经配置了binlog：   # binlog log_bin = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.log log_bin_index = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.index log_error = D:/mysql-5.6.21-win
  • OCX打成CBA包并实现自动安装与自动升级 alxw4616 ocxcab
    近来手上有个项目,需要使用ocx控件 (ocx是什么? http://baike.baidu.com/view/393671.htm) 在生产过程中我遇到了如下问题. 1. 如何让 ocx 自动安装?     a) 如何签名?     b) 如何打包?     c) 如何安装到指定目录? 2.
  • Hashmap队列和PriorityQueue队列的应用 百合不是茶 Hashmap队列PriorityQueue队列
      HashMap队列已经是学过了的,但是最近在用的时候不是很熟悉,刚刚重新看以一次,   HashMap是K,v键 ,值     put()添加元素      //下面试HashMap去掉重复的 package com.hashMapandPriorityQueue; import java.util.H
  • JDK1.5 returnvalue实例 bijian1013 javathreadjava多线程returnvalue
    Callable接口： 返回结果并且可能抛出异常的任务。实现者定义了一个不带任何参数的叫做 call 的方法。 Callable 接口类似于 Runnable，两者都是为那些其实例可能被另一个线程执行的类设计的。但是 Runnable 不会返回结果，并且无法抛出经过检查的异常。        ExecutorService接口方
  • angularjs指令中动态编译的方法(适用于有异步请求的情况) 内嵌指令无效 bijian1013 JavaScriptAngularJS
            在directive的link中有一个$http请求，当请求完成后根据返回的值动态做element.append('......');这个操作，能显示没问题，可问题是我动态组的HTML里面有ng-click，发现显示出来的内容根本不执行ng-click绑定的方法！     
  • 【Java范型二】Java范型详解之extend限定范型参数的类型 bit1129 extend
    在第一篇中，定义范型类时，使用如下的方式：   public class Generics<M, S, N> { //M,S,N是范型参数 }  这种方式定义的范型类有两个基本的问题：   1. 范型参数定义的实例字段，如private M m = null;由于M的类型在运行时才能确定，那么我们在类的方法中，无法使用m，这跟定义pri
  • 【HBase十三】HBase知识点总结 bit1129 hbase
    1. 数据从MemStore flush到磁盘的触发条件有哪些？    a.显式调用flush，比如flush 'mytable'    b.MemStore中的数据容量超过flush的指定容量，hbase.hregion.memstore.flush.size,默认值是64M 2. Region的构成是怎么样？ 1个Region由若干个Store组成
  • 服务器被DDOS攻击防御的SHELL脚本 ronin47
    mkdir /root/bin vi /root/bin/dropip.sh #!/bin/bash/bin/netstat -na|grep ESTABLISHED|awk ‘{print $5}’|awk -F:‘{print $1}’|sort|uniq -c|sort -rn|head -10|grep -v -E ’192.168|127.0′|awk ‘{if($2!=null&a
  • java程序员生存手册-craps 游戏-一个简单的游戏 bylijinnan java
    import java.util.Random; public class CrapsGame { /** * *一个简单的赌*博游戏，游戏规则如下： *玩家掷两个骰子，点数为1到6，如果第一次点数和为7或11，则玩家胜， *如果点数和为2、3或12，则玩家输， *如果和为其它点数，则记录第一次的点数和，然后继续掷骰，直至点数和等于第一次掷出的点
  • TOMCAT启动提示NB: JAVA_HOME should point to a JDK not a JRE解决 开窍的石头 JAVA_HOME
    当tomcat是解压的时候，用eclipse启动正常，点击startup.bat的时候启动报错; 报错如下：   The JAVA_HOME environment variable is not defined correctly This environment variable is needed to run this program NB: JAVA_HOME shou
  • [操作系统内核]操作系统与互联网 comsci 操作系统
         我首先申明：我这里所说的问题并不是针对哪个厂商的，仅仅是描述我对操作系统技术的一些看法       操作系统是一种与硬件层关系非常密切的系统软件，按理说，这种系统软件应该是由设计CPU和硬件板卡的厂商开发的，和软件公司没有直接的关系，也就是说，操作系统应该由做硬件的厂商来设计和开发
  • 富文本框ckeditor_4.4.7 文本框的简单使用 支持IE11 cuityang 富文本框
    <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <title>知识库内容编辑</tit
  • Property null not found darrenzhu datagridFlexAdvancedpropery null
    When you got error message like "Property null not found ***", try to fix it by the following way: 1)if you are using AdvancedDatagrid, make sure you only update the data in the data prov
  • MySQl数据库字符串替换函数使用 dcj3sjt126com mysql函数替换
    需求：需要将数据表中一个字段的值里面的所有的  .   替换成  _   原来的数据是  site.title  site.keywords  .... 替换后要为     site_title  site_keywords   使用的SQL语句如下：   updat
  • mac上终端起动MySQL的方法 dcj3sjt126com mysqlmac
    首先去官网下载: http://www.mysql.com/downloads/ 我下载了5.6.11的dmg然后安装,安装完成之后..如果要用终端去玩SQL.那么一开始要输入很长的:/usr/local/mysql/bin/mysql 这不方便啊,好想像windows下的cmd里面一样输入mysql -uroot -p1这样...上网查了下..可以实现滴. 打开终端,输入: 1
  • Gson使用一（Gson） eksliang jsongson
    转载请出自出处：http://eksliang.iteye.com/blog/2175401 一.概述 从结构上看Json，所有的数据（data）最终都可以分解成三种类型： 第一种类型是标量（scalar），也就是一个单独的字符串（string）或数字（numbers），比如"ickes"这个字符串。 第二种类型是序列（sequence），又叫做数组（array）
  • android点滴4 gundumw100 android
    Android 47个小知识 http://www.open-open.com/lib/view/open1422676091314.html Android实用代码七段（一） http://www.cnblogs.com/over140/archive/2012/09/26/2611999.html http://www.cnblogs.com/over140/arch
  • JavaWeb之JSP基本语法 ihuning javaweb
      目录   JSP模版元素  JSP表达式  JSP脚本片断  EL表达式  JSP注释  特殊字符序列的转义处理  如何查找JSP页面中的错误   JSP模版元素    JSP页面中的静态HTML内容称之为JSP模版元素，在静态的HTML内容之中可以嵌套JSP
  • App Extension编程指南（iOS8/OS X v10.10）中文版 啸笑天 ext
             当iOS 8.0和OS X v10.10发布后，一个全新的概念出现在我们眼前，那就是应用扩展。顾名思义，应用扩展允许开发者扩展应用的自定义功能和内容，能够让用户在使用其他app时使用该项功能。你可以开发一个应用扩展来执行某些特定的任务，用户使用该扩展后就可以在多个上下文环境中执行该任务。比如说，你提供了一个能让用户把内容分
  • SQLServer实现无限级树结构 macroli oraclesqlSQL Server
    表结构如下： 数据库id path titlesort 排序 1 0 首页 0 2 0,1 新闻 1 3 0,2 JAVA 2 4 0,3 JSP 3 5 0,2,3 业界动态 2 6 0,2,3 国内新闻 1 创建一个存储过程来实现，如果要在页面上使用可以设置一个返回变量将至传过去   create procedure test as begin decla
  • Css居中div，Css居中img，Css居中文本，Css垂直居中div qiaolevip 众观千象学习永无止境每天进步一点点css
    /**********Css居中Div**********/ div.center { width: 100px; margin: 0 auto; } /**********Css居中img**********/ img.center { display: block; margin-left: auto; margin-right: auto; }
  • Oracle 常用操作(实用) 吃猫的鱼 oracle
    SQL>select text from all_source where owner=user and name=upper('&plsql_name');  SQL>select * from user_ind_columns where index_name=upper('&index_name');  将表记录恢复到指定时间段以前
  • iOS中使用RSA对数据进行加密解密 witcheryne iosrsaiPhoneobjective c
      RSA算法是一种非对称加密算法,常被用于加密数据传输.如果配合上数字摘要算法, 也可以用于文件签名. 本文将讨论如何在iOS中使用RSA传输加密数据. 本文环境 mac os  openssl-1.0.1j, openssl需要使用1.x版本, 推荐使用[homebrew](http://brew.sh/)安装. Java 8 RSA基本原理 RS
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他