首先,我们要知道什么是分表?以及我们为什么要分表?以及分表有哪些方式?我们根据不同的业务场景应该怎样去分表?
大家都知道mysql数据库是小型数据库,每张表最大承受的数据量大约是1亿条,而每张表超过300万条数据,单张表的查询速率会受到影响。(这个数值更具每张表的数据结构和数据值不同而变化。这里只是一个估值)
这个时候我们解决的办法之一就是:分表。
那么分表,通常又分为横向分表(水平分表),和纵向分表(垂直分表)。从字面上的意思理解的话,横向分表就是将数据量很大的表按照我们的业务需求,设定规则,水平切割成多张表。纵向分表就比较简单,通常是指一张表的数据字段太多,为了避免单表数据量太大,以及查看时候太过杂乱,将它的部分数据字段切割到其他表中。
我们这里说的分表,主要是指横向分表。
假设场景:交易流水的业务数据量很大,我们对交易流水表进行按照月份进行分表。
首先,我们使用定时任务,在每年的12月份,定时生成下一年的12张(按月份)交易流水数据表。可能是这样的格式:
trade_log_202001, trade_log_202002, trade_log_202003, trade_log_202004…trade_log_202012
表已经建好了。
接下来就是对表中的数据进行操作。
我们可以封装一个方法:获取当前条件的交易数据表。
然后再使用的时候调用这个方法,就是我们要操作的数据表。
thinkPHP 里面可以使用 setTable 方法设置修改模型中的数据表。
然后进行操作就可以了。
如果是原生的sql查询也是一样的
接下来建表,因为我只需要完成功能演示就行,因此我就简单地建了tp_user、tp_blog_1、tp_blog_2。表结构如下:
表user:
id: 用户id, 自增,我们blog分表就是根据这个id去定位表的;
username: 账号
表tp_blog_1:
id: 博客id, 自增
uid: 作者用户 id
title: 标题
content: 内容
先把源码贴出来,直接在源码里面一行行解释把。
'uid',// 要分表的字段 通常数据会根据某个字段的值按照规则进行分表,我们这里按照用户的id进行分表
'type' => 'mod',// 分表的规则 包括id year mod md5 函数 和首字母,此处选择mod(求余)的方式
'expr' => '',// 分表辅助表达式 可选 配合不同的分表规则,这个参数没有深入研究
'num' => '2',// 分表的数目 可选 实际分表的数量,在建表阶段就要确定好数量,后期不能增减表的数量
);
/**
* 计算在哪张表
* @param array $data
* @return \Think\Model
*/
public function computeTable($data = []){
$data = empty($data) ? $_POST : $data;
$table = $this->getPartitionTableName($data);
return $this->table($table);
}
/**
* 得到分表的的数据表名
* @access public
* @param array $data 操作的数据
* @param string $field 分表依据的字段
* @param array $rule 分表规则
* @return string
*/
// 注释:这个是分表的重点函数,主要是根据传入的参数获取分表表名
// rule 里面的expr就是每张表规定的数量,num就是表的数量,即分了几张表。
public function getPartitionTableName($data, $field, $rule = [])
{
// 对数据表进行分区
// 注释: 这块判断,如果设置了分表字段,并且传入了分表规则字段,走下面的流程
// 否则,直接联合查询多张表。查出数据(走else查多张表,分表还有什么意义?)
if ($field && isset($data[$field])) {
$value = $data[$field];
$type = $rule['type'];
switch ($type) {
case 'id': //就是根据id来分,我们必须在rule里面设置expr。
// 按照id范围分表
$step = $rule['expr'];
$seq = floor($value / $step) + 1; //分表后缀就是当前数据id除步进值加1
break;
case 'year':
// 按照年份分表
if (!is_numeric($value)) {
$value = strtotime($value);
}
$seq = date('Y', $value) - $rule['expr'] + 1;
break;
case 'mod':
// 按照id的模数分表
$seq = ($value % $rule['num']) + 1; //取模+1。
break;
case 'md5':
// 按照md5的序列分表
$seq = (ord(substr(md5($value), 0, 1)) % $rule['num']) + 1; // 我们必须设置要分几张表
break;
default:
if (function_exists($type)) { // 固定函数hash,也可重写这部分,自定义规则,实现自定义设置后缀
// 支持指定函数哈希 //ord函数:获取字符串的ASCII码
$seq = (ord(substr($type($value), 0, 1)) % $rule['num']) + 1;
} else {
// 按照字段的首字母的值分表 //$value{0}这种写法是获取字符串$value的第0个字符。
$seq = (ord($value{0}) % $rule['num']) + 1;
}
}
return $this->getTable() . '_' . $seq; // 返回表名。
} else { // 联合查询了,不推荐这种操作。
// 当设置的分表字段不在查询条件或者数据中
// 进行联合查询,必须设定 partition['num']
$tableName = [];
for ($i = 0; $i < $rule['num']; $i++) {
$tableName[] = 'SELECT * FROM ' . $this->getTable() . '_' . ($i + 1);
}
$tableName = '( ' . implode(" UNION ", $tableName) . ') AS ' . $this->name;
return $tableName;
}
}
/**
* 添加一条数据
* @param array $data
* @return bool|int
*/
public function addOne($data=[]){
if(empty($data[$this->partition['field']])){
E('缺少' . $this->partition['field']);
}
$data['id'] = intval($this->computeTable()->max('id')) + 1;
if($this->create($data)){
$id = $this->computeTable($data)->add();
if($id === false){
$this->error = '插入数据错误';
return false;
}else{
return $data['id'];
}
}
return false;
}
/**
* 获取所有记录
*/
public function getAll(){
return $this->computeTable()->select();
}
/**
* 条件查询列表
* @param $map
* @return mixed
*/
public function getList($map){
if(empty($map[$this->partition['field']])){
E('缺少' . $this->partition['field']);
}
return $this->computeTable($map)->where($map)->select();
}
/**
* 根据查询条件获取一条记录
* @param $map
* @return mixed
*/
public function getOne($map){
if(empty($map[$this->partition['field']])){
E('缺少' . $this->partition['field']);
}
return $this->computeTable($map)->where($map)->find();
}
/**
* 更新一条记录
* @param $map
* @param $data
* @return bool
*/
public function updateOne($map, $data){
if(empty($map[$this->partition['field']])){
E('缺少' . $this->partition['field']);
}
if($this->create($data)){
$res = $this->computeTable($map)->save($data);
if($res === false){
$this->error = '更新数据出错';
}else{
return $res; //更新的数据条数
}
}
return false;
}
/**
* 删除一条记录
* @param $map
* @return bool|mixed
*/
public function delOne($map){
if(empty($map[$this->partition['field']])){
E('缺少' . $this->partition['field']);
}
$res = $this->computeTable($map)->where($map)->delete();
if($res === false){
$this->error = '删除数据出错';
return false;
}else{
return $res; //删除数据个数
}
}
/**
* 新增数据演示
*/
public function addBlog($uid=1){
$blogM = D('Blog');
for($i=1; $i < 4; $i++){
$this->show("
添加第{$i}条数据
");
$data = ['title'=>'标题'.$i, 'content'=>'内容内容', 'uid'=>$uid];
$result = $blogM->addOne($data);
if($result !== false){
$this->show('插入数据后的id为:'.$result);
}else{
$this->show('插入数据失败,失败原因:'.$blogM->getError());
}
}
}
/**
* 获取所有数据演示
*/
public function getBlogs(){
$blogM = D('Blog');
$list = $blogM->getAll();
dump($list);
}
/**
* 根据条件查询数据演示
* @param int $uid
*/
public function getBlogsByUid($uid = 1){
$blogM = D('Blog');
$list = $blogM->getList(['uid' => $uid]);
dump($list);
}
/**
* 查询一条数据演示
* @param int $uid
* @param int $blog_id
*/
public function blogDetail($uid = 1, $blog_id=1){
$blogM = D('Blog');
$data = $blogM->getOne(['uid' => $uid, 'id' => $blog_id]);
dump($data);
}
/**
* 更新一条记录演示
* @param int $uid
* @param int $blog_id
*/
public function updateBlog($uid=1, $blog_id=1){
$blogM = D('Blog');
$map = ['uid'=>$uid, 'id'=>$blog_id];
$this->show("id为".$blog_id."的博客在修改之前为
");
$blog = $blogM->getOne($map);
dump($blog);
$this->show("id为".$blog_id."的博客在修改之后为
");
$data = ['title' => '我被修改了', 'id' => $blog_id];
$res = $blogM->updateOne(['uid' => $uid], $data);
if($res === false){
dump($blogM->getError());
}else{
$blog = $blogM->getOne($map);
dump($blog);
}
}
/**
* 删除一条数据演示
* @param int $uid
* @param int $blog_id
*/
public function delBlog($uid = 1, $blog_id=1){
$blogM = D('Blog');
$map = ['uid' => $uid, 'id' => $blog_id];
$this->show("准备要删除的博客
");
dump($blogM->getOne($map));
$this->show("删除结果
");
$res = $blogM->delOne($map);
dump($res);
}