mysql 分区表

什么是分区？

分区是将数据分段划分在多个位置存放，可以是同一块磁盘也可以在不同的机器。分区后，表面上还是一张表，但数据散列到多个位置了。app读写的时候操作的还是大表名字，db自动去组织分区的数据。

使用场景：

• 表非常大以至于无法全部都放在内存中，或者只在表的最后部分有热点数据，其他均是历史数据。
• 分区表的数据更容易维护。例如，想批量删除大量数据可以使用清除整个分区的方式。另外，还可以对一个独立分区进行优化、检查、修复等操作。
• 分区表的数据可以分布在不同的物理设备上，从而高效得利用多个硬件设备。
• 可以使用分区表来避免某些特殊的瓶颈，例如InnoDB的单个索引的互斥访问、ext3文件系统的inode锁竞争等。
• 如果需要，还可以备份和恢复独立的分区，这在非常大的数据集的场景下效果非常好。

分区表本身也有一些限制：

• 一个表最多只能有1024个分区。
• 在MySQL 5.1中，分区表达式必须是整数，或者是返回整数的表达式。在MySQL 5.5中，某些场景中可以直接使用列来进行分区。
• 如果分区字段中有主键或者唯一索引的列，那么索引主键列和唯一索引列都必须包含进来。
• 分区表中无法使用外检约束。

分区表的原理：

分区表是由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们也可以直接访问各个分区，存储引擎管理分区的各个底层表和管理普通表一样（所有的底层表都必须使用相同的存储引擎），分区表的索引只是在各个底层表上各自加上一个相同的索引，从存储引擎的角度来看，底层表和一个普通表没有任何不同，存储引擎也无须知道这是一个普通表还是一个分区表的一部分。

分区表上的操作按照下面的操作逻辑进行：

SELECT 操作
当查询一个分区表的时候，分区层先打开并锁住所有的底层表，优化器先判断是否可以过滤部分分区，然后再调用对应的存储引擎接口访问各个分区的数据。

INSERT 操作 当写入一条记录时，分区层先打开并锁住所有的底层表，然后确定哪个分区接收这条记录，再将记录写入对应底层表

DELETE 操作 当删除一条记录时，分区层先打开并锁住所有的底层表，然后确定数据对应的分区，最后对相应底层表进行删除操作。

UPDATE 操作
当更新一条记录时候，分区层先打开并冰柱所有的底层表，MySQL先确定需要更新的记录在哪个分区，然后取出数据并更新，再判断更新后的数据应该放在哪个分区，最后对底层表进行写入操作，并对原数据所在的底层表进行删除操作。

虽然每个操作都会“先打开并锁住所有的底层表”，但这并不是说分区表在处理过程中是锁住全表的。如果存储引擎能够自己实现行级锁，例如InnoDB，则会在分区层释放对应表锁。这个加锁和解锁过程与普通InnoDB上的查询类似。

分区表类型

• 水平分区（根据列属性按行分）

举个简单例子：一个包含十年发票记录的表可以被分区为十个不同的分区，每个分区包含的是其中一年的记录。

水平分区的几种模式：

• RANGE分区：基于属于一个给定连续区间的列值，把多行分配给分区。
• LIST分区：类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。
• HASH分区：基于用户定义的表达式的返回值来进行选择的分区，该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL
  中有效的、产生非负整数值的任何表达式。
• KEY分区：类似于按HASH分区，区别在于KEY分区只支持计算一列或多列，且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含整数值。
• Composite（复合模式）
  ：是以上模式的组合使用而已。举例：在初始化已经进行了Range范围分区的表上，我们可以对其中一个分区再进行hash分区。

---

• 垂直分区（按列分）

举个简单例子：一个包含了大text和BLOB列的表，这些text和BLOB列又不经常被访问，这时候就要把这些不经常使用的text和BLOB了划分到另一个分区，在保证它们数据相关性的同时还能提高访问速度。

• Range类型

CREATE TABLE `user_test` (
  `id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,
  `name` VARCHAR(30) NOT NULL,
  `password` CHAR(6) NOT NULL,
  `email` VARCHAR(20) NOT NULL,
  `sex` CHAR(1) NOT NULL DEFAULT 'M',
  `num` INT(11) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=INNODB PARTITION BY RANGE(id)(
PARTITION p0 VALUES LESS THAN (101),
PARTITION p1 VALUES LESS THAN (201),
PARTITION p_catachall VALUES LESS THAN MAXVALUE);

这个时候能不能再以num字段来分区呢？我们来试试

ALTER TABLE `user_test` PARTITION BY RANGE(num)(
PARTITION p3 VALUES LESS THAN (301),
PARTITION p4 VALUES LESS THAN (401),
PARTITION p_num VALUES LESS THAN MAXVALUE);

我们把num加到主键中，做复合主键

ALTER TABLE user_test DROP PRIMARY KEY,ADD PRIMARY KEY (id, num);

这时候我们再运行前面的num分区语句，分区成功，但是之前以id分的区没了

我们把已经创建的p3,p4和p_num分区删掉

alter table user_test drop partition p3,p4,p_num;

报错，不能删除所有的分区，只能删除表重新创建。

CREATE TABLE `user_test` (
  `id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,
  `name` VARCHAR(30) NOT NULL,
  `password` CHAR(6) NOT NULL,
  `email` VARCHAR(20) NOT NULL,
  `sex` CHAR(1) NOT NULL DEFAULT 'M',
  `num` INT(11) NOT NULL,
  PRIMARY KEY (`id`,`num`)
) ENGINE=INNODB PARTITION BY RANGE(num)(
PARTITION p0 VALUES LESS THAN (101),
PARTITION p1 VALUES LESS THAN (201),
PARTITION p_catachall VALUES LESS THAN MAXVALUE);

创建成功。

服务器上的分区文件

• List 类型

按列值来分区，把sotre_id 为1,2,3的设置为分区pLeft，4,5,6的设置为分区pRight

CREATE TABLE `employees` (
  `id` INT(11) NOT NULL,
  `name` VARCHAR(30) DEFAULT NULL,
  `store_id` INT(11) DEFAULT NULL
) ENGINE=INNODB PARTITION BY LIST(store_id)(
PARTITION pLeft  VALUES IN (1,2,3),
PARTITION pRight VALUES IN (4,5,6)
)

添加数据

INSERT INTO `employees` VALUES(1,'李雷',1); 
INSERT INTO `employees` VALUES(2,'韩梅梅',7); 

我们会发现insert 韩梅梅的时候失败了，因为store_id=7不在我们设置的值列表中

• Hash 类型

根据store_id 分为4个区

CREATE TABLE `employees` (
  `id` INT(11) NOT NULL,
  `name` VARCHAR(30) DEFAULT NULL,
  `store_id` INT(11) DEFAULT NULL
) ENGINE=INNODB PARTITION BY HASH(store_id)
PARTITIONS 4;

查询sql

mysql> EXPLAIN partitions select * from employees where store_id=1 \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: employees
   partitions: p1
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 2
        Extra: Using where
1 row in set (0.00 sec)

mysql> EXPLAIN partitions select * from employees where store_id=4 \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: employees
   partitions: p0
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 2
        Extra: Using where
1 row in set (0.00 sec)

由此我们可以发现hash分区的值得分布规律是返回值store_id % 4。

• Key 类型

CREATE TABLE `employees` (
  `id` INT(11) NOT NULL,
  `name` VARCHAR(30) DEFAULT NULL,
  `store_id` INT(11) DEFAULT NULL
) ENGINE=INNODB PARTITION BY KEY(store_id)
PARTITIONS 4;
mysql> explain partitions select * from employees where store_id=1 \G;

*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: employees
   partitions: p0
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 2
        Extra: Using where
1 row in set (0.00 sec)

mysql> explain partitions select * from employees where store_id=2 \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: employees
   partitions: p3
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 2
        Extra: Using where
1 row in set (0.00 sec)

mysql> explain partitions select * from employees where store_id=3 \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: employees
   partitions: p2
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 2
        Extra: Using where
1 row in set (0.00 sec)

key 分区的值是随机分布的。

• 混合 分区

mysql 5.6 只支持range/list 的子分区，且子分区类型只能为hash/key。

先进行range分区，分为3个区p0,p1,p2,再进行hash分区，分为3个区，一共是9个分区。

CREATE TABLE users(
uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
NAME VARCHAR(30) NOT NULL DEFAULT ''
)
PARTITION BY RANGE(uid) SUBPARTITION BY HASH(uid) SUBPARTITIONS 3(
PARTITION p0 VALUES LESS THAN (10),
PARTITION p1 VALUES LESS THAN (20),
PARTITION p2 VALUES LESS THAN MAXVALUE
)

查询sql

mysql> explain partitions select * from users where uid =1 \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: users
   partitions: p0_p0sp1
         type: const
possible_keys: PRIMARY
          key: PRIMARY
      key_len: 4
          ref: const
         rows: 1
        Extra: NULL
1 row in set (0.00 sec)
mysql> explain partitions select * from users where uid =2 \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: users
   partitions: p0_p0sp2
         type: const
possible_keys: PRIMARY
          key: PRIMARY
      key_len: 4
          ref: const
         rows: 1
        Extra: NULL
1 row in set (0.00 sec)
mysql> explain partitions select * from users where uid =3 \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: users
   partitions: p0_p0sp0
         type: const
possible_keys: PRIMARY
          key: PRIMARY
      key_len: 4
          ref: const
         rows: 1
        Extra: NULL
1 row in set (0.00 sec)
mysql> explain partitions select * from users where uid =4 \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: users
   partitions: p0_p0sp1
         type: const
possible_keys: PRIMARY
          key: PRIMARY
      key_len: 4
          ref: const
         rows: 1
        Extra: NULL
1 row in set (0.00 sec)
mysql> explain partitions select * from users where uid =15 \G;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: users
   partitions: p1_p1sp0
         type: const
possible_keys: PRIMARY
          key: PRIMARY
      key_len: 4
          ref: const
         rows: 1
        Extra: NULL
1 row in set (0.00 sec)

查询指定分区值

mysql> select * from users partition(p0);
+-----+-----------+
| uid | NAME      |
+-----+-----------+
|   3 | zhangfei  |
|   6 | guanyu2   |
|   9 | guanyu5   |
|   1 | 李雷      |
|   4 | zhaoyun   |
|   7 | guanyu3   |
|   2 | Hanmeimei |
|   5 | guanyu1   |
|   8 | guanyu4   |
+-----+-----------+
9 rows in set (0.00 sec)
mysql> select * from users partition(p0sp1);
+-----+---------+
| uid | NAME    |
+-----+---------+
|   1 | 李雷    |