mysql分区

mysql分区功能详细介绍，以及实例

一，什么是数据库分区

前段时间写过一篇关于mysql分表的的文章，下面来说一下什么是数据库分区，以mysql为例。mysql数据库中的数据是以文件的形势存在磁盘上的，默认放在/mysql/data下面（可以通过my.cnf中的datadir来查看），一张表主要对应着三个文件，一个是frm存放表结构的，一个是myd存放表数据的，一个是myi存表索引的。如果一张表的数据量太大的话，那么myd,myi就会变的很大，查找数据就会变的很慢，这个时候我们可以利用mysql的分区功能，在物理上将这一张表对应的三个文件，分割成许多个小块，这样呢，我们查找一条数据时，就不用全部查找了，只要知道这条数据在哪一块，然后在那一块找就行了。如果表的数据太大，可能一个磁盘放不下，这个时候，我们可以把数据分配到不同的磁盘里面去。
分区的二种方式

1，横向分区

什么是横向分区呢？就是横着来分区了，举例来说明一下，假如有100W条数据，分成十份，前10W条数据放到第一个分区，第二个10W条数据放到第二个分区，依此类推。也就是把表分成了十分，根用merge来分表，有点像哦。取出一条数据的时候，这条数据包含了表结构中的所有字段，也就是说横向分区，并没有改变表的结构。

2，纵向分区

什么是纵向分区呢？就是竖来分区了，举例来说明，在设计用户表的时候，开始的时候没有考虑好，而把个人的所有信息都放到了一张表里面去，这样这个表里面就会有比较大的字段，如个人简介，而这些简介呢，也许不会有好多人去看，所以等到有人要看的时候，在去查找，分表的时候，可以把这样的大字段，分开来。

感觉数据库的分区好像是切苹果，到底是横着切呢，还是竖着切，根据个人喜好了，mysql提供的分区属于第一种，横向分区，并且细分成很多种方式。下面将举例说明一下。

二，mysql的分区

我觉着吧，mysql的分区只有一种方式，只不过运用不同的算法，�则将数据分配到不同的区块中而已。

1，mysql5.1及以上支持分区功能

安装安装的时候，我们就可以查看一下

1 [root@BlackGhost mysql-5.1.50]# ./configure --help |grep -A 3 Partition  

2 === Partition Support ===  

3 Plugin Name:      partition  

4 Description:      MySQL Partitioning Support  

5 Supports build:   static

6 Configurations:   max, max-no-ndb  

查看一下，如果发现有上面这个东西，说明他是支持分区的，默认是打开的。如果你已经安装过了mysql的话

7 mysql> show variables like "%part%";  

8 +-------------------+-------+  

9 | Variable_name     | Value |  

10 +-------------------+-------+  

11 | have_partitioning | YES   |  

12 +-------------------+-------+  

13 1 row in set (0.00 sec)  

查看一下变量，如果支持的话，会有上面的提示的。

2，range分区

按照RANGE分区的表是通过如下一种方式进行分区的，每个分区包含那些分区表达式的值位于一个给定的连续区间内的行

14 //创建range分区表

15 mysql> CREATE TABLE IF NOT EXISTS `user` (  

16 ->   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户ID',  

17 ->   `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名称',  

18 ->   `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0为男，1为女',  

19 ->   PRIMARY KEY (`id`)  

20 -> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1  

21 -> PARTITION BY RANGE (id) (  

22 ->     PARTITION p0 VALUES LESS THAN (3),  

23 ->     PARTITION p1 VALUES LESS THAN (6),  

24 ->     PARTITION p2 VALUES LESS THAN (9),  

25 ->     PARTITION p3 VALUES LESS THAN (12),  

26 ->     PARTITION p4 VALUES LESS THAN MAXVALUE  

27 -> );  

28 Query OK, 0 rows affected (0.13 sec)  

29

30 //插入一些数据

31 mysql> INSERT INTO `test`.`user` (`name` ,`sex`)VALUES ('tank', '0')  

32 -> ,('zhang',1),('ying',1),('张',1),('映',0),('test1',1),('tank2',1)  

33 -> ,('tank1',1),('test2',1),('test3',1),('test4',1),('test5',1),('tank3',1)  

34 -> ,('tank4',1),('tank5',1),('tank6',1),('tank7',1),('tank8',1),('tank9',1)  

35 -> ,('tank10',1),('tank11',1),('tank12',1),('tank13',1),('tank21',1),('tank42',1);  

36 Query OK, 25 rows affected (0.05 sec)  

37 Records: 25  Duplicates: 0  Warnings: 0  

38

39 //到存放数据库表文件的地方看一下，my.cnf里面有配置，datadir后面就是

40 [root@BlackGhost test]# ls |grep user |xargs du -sh  

41 4.0K    user#P#p0.MYD  

42 4.0K    user#P#p0.MYI  

43 4.0K    user#P#p1.MYD  

44 4.0K    user#P#p1.MYI  

45 4.0K    user#P#p2.MYD  

46 4.0K    user#P#p2.MYI  

47 4.0K    user#P#p3.MYD  

48 4.0K    user#P#p3.MYI  

49 4.0K    user#P#p4.MYD  

50 4.0K    user#P#p4.MYI  

51 12K    user.frm  

52 4.0K    user.par  

53

54 //取出数据

55 mysql> select count(id) as count from user;  

56 +-------+  

57 | count |  

58 +-------+  

59 |    25 |  

60 +-------+  

61 1 row in set (0.00 sec)  

62

63 //删除第四个分区

64 mysql> alter table user drop partition p4;  

65 Query OK, 0 rows affected (0.11 sec)  

66 Records: 0  Duplicates: 0  Warnings: 0  

67

68 /**存放在分区里面的数据丢失了，第四个分区里面有14条数据，剩下的3个分区

69 只有11条数据，但是统计出来的文件大小都是4.0K，从这儿我们可以看出分区的

70 最小区块是4K

71 */

72 mysql> select count(id) as count from user;  

73 +-------+  

74 | count |  

75 +-------+  

76 |    11 |  

77 +-------+  

78 1 row in set (0.00 sec)  

79

80 //第四个区块已删除

81 [root@BlackGhost test]# ls |grep user |xargs du -sh  

82 4.0K    user#P#p0.MYD  

83 4.0K    user#P#p0.MYI  

84 4.0K    user#P#p1.MYD  

85 4.0K    user#P#p1.MYI  

86 4.0K    user#P#p2.MYD  

87 4.0K    user#P#p2.MYI  

88 4.0K    user#P#p3.MYD  

89 4.0K    user#P#p3.MYI  

90 12K    user.frm  

91 4.0K    user.par  

92

93 /*可以对现有表进行分区,并且会按�则自动的将表中的数据分配相应的分区

94 中，这样就比较好了，可以省去很多事情，看下面的操作*/

95 mysql> alter table aa partition by RANGE(id)  

96 -> (PARTITION p1 VALUES less than (1),  

97 -> PARTITION p2 VALUES less than (5),  

98 -> PARTITION p3 VALUES less than MAXVALUE);  

99 Query OK, 15 rows affected (0.21 sec)   //对15数据进行分区

100 Records: 15  Duplicates: 0  Warnings: 0  

101

102 //总共有15条

103 mysql> select count(*) from aa;  

104 +----------+  

105 | count(*) |  

106 +----------+  

107 |       15 |  

108 +----------+  

109 1 row in set (0.00 sec)  

110

111 //删除一个分区

112 mysql> alter table aa drop partition p2;  

113 Query OK, 0 rows affected (0.30 sec)  

114 Records: 0  Duplicates: 0  Warnings: 0  

115

116 //只有11条了，说明对现有的表分区成功了

117 mysql> select count(*) from aa;  

118 +----------+  

119 | count(*) |  

120 +----------+  

121 |       11 |  

122 +----------+  

123 1 row in set (0.00 sec)  

3，list分区

LIST分区中每个分区的定义和选择是基于某列的值从属于一个值列表集中的一个值，而RANGE分 区是从属于一个连续区间值的集合。

124 //这种方式失败

125 mysql> CREATE TABLE IF NOT EXISTS `list_part` (  

126 ->   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户ID',  

127 ->   `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省',  

128 ->   `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名称',  

129 ->   `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0为男，1为女',  

130 ->   PRIMARY KEY (`id`)  

131 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1  

132 -> PARTITION BY LIST (province_id) (  

133 ->     PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),  

134 ->     PARTITION p1 VALUES IN (9,10,11,12,16,21),  

135 ->     PARTITION p2 VALUES IN (13,14,15,19),  

136 ->     PARTITION p3 VALUES IN (17,18,20,22,23,24)  

137 -> );  

138 ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function

139

140 //这种方式成功

141 mysql> CREATE TABLE IF NOT EXISTS `list_part` (

142 ->   `id` int(11) NOT NULL  COMMENT '用户ID',

143 ->   `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省',

144 ->   `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名称',

145 ->   `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0为男，1为女'  

146 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8  

147 -> PARTITION BY LIST (province_id) (  

148 ->     PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),  

149 ->     PARTITION p1 VALUES IN (9,10,11,12,16,21),  

150 ->     PARTITION p2 VALUES IN (13,14,15,19),  

151 ->     PARTITION p3 VALUES IN (17,18,20,22,23,24)  

152 -> );  

153 Query OK, 0 rows affected (0.33 sec)  

上面的这个创建list分区时，如果有主�的话，分区时主键必须在其中，不然就会报错。如果我不用主键，分区就创建成功了，一般情况下，一个张表肯定会有一个主键，这算是一个分区的局限性吧。

如果对数据进行测试，请参考range分区的测试来操作

4，hash分区

HASH分区主要用来确保数据在预先确定数目的分区中平均分布，你所要做的只是基于将要被哈希的列值指定一个列值或表达式，以 及指定被分区的表将要被分割成的分区数量。

154 mysql> CREATE TABLE IF NOT EXISTS `hash_part` (  

155 ->   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '评论ID',  

156 ->   `comment` varchar(1000) NOT NULL DEFAULT '' COMMENT '评论',  

157 ->   `ip` varchar(25) NOT NULL DEFAULT '' COMMENT '来源IP',  

158 ->   PRIMARY KEY (`id`)  

159 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1  

160 -> PARTITION BY HASH(id)  

161 -> PARTITIONS 3;  

162 Query OK, 0 rows affected (0.06 sec)  

测试请参考range分区的操作

5，key分区

按照KEY进行分区类似于按照HASH分区，除了HASH分区使用的用 户定义的表达式，而KEY分区的 哈希函数是由MySQL 服务器提供。

163 mysql> CREATE TABLE IF NOT EXISTS `key_part` (  

164 ->   `news_id` int(11) NOT NULL  COMMENT '新闻ID',  

165 ->   `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新闻内容',  

166 ->   `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '来源IP',  

167 ->   `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '时间'

168 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8  

169 -> PARTITION BY LINEAR HASH(YEAR(create_time))  

170 -> PARTITIONS 3;  

171 Query OK, 0 rows affected (0.07 sec)  

测试请参考range分区的操作

6，子分区

子分区是分区表中每个分区的再次分割，子分区既可以使用HASH希分区，也可以使用KEY分区。这 也被称为复合分区（composite partitioning）。

1，如果一个分区中创建了子分区，其他分区也要有子分区

2，如果创建了了分区，每个分区中的子分区数必有相同

3，同一分区内的子分区，名字不相同，不同分区内的子分区名子可以相同（5.1.50不适用）

172 mysql> CREATE TABLE IF NOT EXISTS `sub_part` (  

173 ->   `news_id` int(11) NOT NULL  COMMENT '新闻ID',  

174 ->   `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新闻内容',  

175 ->   `u_id`  int(11) NOT NULL DEFAULT 0s COMMENT '来源IP',  

176 ->   `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '时间'

177 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8  

178 -> PARTITION BY RANGE(YEAR(create_time))  

179 -> SUBPARTITION BY HASH(TO_DAYS(create_time))(  

180 -> PARTITION p0 VALUES LESS THAN (1990)(SUBPARTITION s0,SUBPARTITION s1,SUBPARTITION s2),  

181 -> PARTITION p1 VALUES LESS THAN (2000)(SUBPARTITION s3,SUBPARTITION s4,SUBPARTITION good),  

182 -> PARTITION p2 VALUES LESS THAN MAXVALUE(SUBPARTITION tank0,SUBPARTITION tank1,SUBPARTITION tank3)  

183 -> );  

184 Query OK, 0 rows affected (0.07 sec)  

官方网站说不同分区内的子分区可以有相同的名字，但是mysql5.1.50却不行会提示以下错误

ERROR 1517 (HY000): Duplicate partition name s1

三，分区管理

1，删除分区

185 mysql> alter table user drop partition p4;  

2，新增分区

186 //range添加新分区

187 mysql> alter table user add partition(partition p4 values less than MAXVALUE);  

188 Query OK, 0 rows affected (0.06 sec)  

189 Records: 0  Duplicates: 0  Warnings: 0  

190

191 //list添加新分区

192 mysql> alter table list_part add partition(partition p4 values in (25,26,28));  

193 Query OK, 0 rows affected (0.01 sec)  

194 Records: 0  Duplicates: 0  Warnings: 0  

195

196 //hash重新分区

197 mysql> alter table hash_part add partition partitions 4;  

198 Query OK, 0 rows affected (0.12 sec)  

199 Records: 0  Duplicates: 0  Warnings: 0  

200

201 //key重新分区

202 mysql> alter table key_part add partition partitions 4;  

203 Query OK, 1 row affected (0.06 sec)    //有数据也会被重新分配

204 Records: 1  Duplicates: 0  Warnings: 0  

205

206 //子分区添加新分区，虽然我没有指定子分区，但是系统会给子分区命名的

207 mysql> alter table sub1_part add partition(partition p3 values less than MAXVALUE);  

208 Query OK, 0 rows affected (0.02 sec)  

209 Records: 0  Duplicates: 0  Warnings: 0  

210

211 mysql> show create table sub1_part\G;  

212 *************************** 1. row ***************************  

213 Table: sub1_part  

214 Create Table: CREATE TABLE `sub1_part` (  

215 `news_id` int(11) NOT NULL COMMENT '新闻ID',  

216 `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新闻内容',  

217 `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '来源IP',  

218 `create_time` date NOT NULL DEFAULT '0000-00-00' COMMENT '时间'

219 ) ENGINE=InnoDB DEFAULT CHARSET=utf8  

220 !50100 PARTITION BY RANGE (YEAR(create_time))  

221 SUBPARTITION BY HASH (TO_DAYS(create_time))  

222 (PARTITION p0 VALUES LESS THAN (1990)  

223 (SUBPARTITION s0 ENGINE = InnoDB,  

224 SUBPARTITION s1 ENGINE = InnoDB,  

225 SUBPARTITION s2 ENGINE = InnoDB),  

226 PARTITION p1 VALUES LESS THAN (2000)  

227 (SUBPARTITION s3 ENGINE = InnoDB,  

228 SUBPARTITION s4 ENGINE = InnoDB,  

229 SUBPARTITION good ENGINE = InnoDB),  

230 PARTITION p2 VALUES LESS THAN (3000)  

231 (SUBPARTITION tank0 ENGINE = InnoDB,  

232 SUBPARTITION tank1 ENGINE = InnoDB,  

233 SUBPARTITION tank3 ENGINE = InnoDB),  

234 PARTITION p3 VALUES LESS THAN MAXVALUE  

235 (SUBPARTITION p3sp0 ENGINE = InnoDB,    //子分区的名子是自动生成的

236 SUBPARTITION p3sp1 ENGINE = InnoDB,  

237 SUBPARTITION p3sp2 ENGINE = InnoDB))  

238 1 row in set (0.00 sec)  

3，重新分区

239 //range重新分区

240 mysql> ALTER TABLE user REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES LESS THAN MAXVALUE);  

241 Query OK, 11 rows affected (0.08 sec)  

242 Records: 11  Duplicates: 0  Warnings: 0  

243

244 //list重新分区

245 mysql> ALTER TABLE list_part REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES in (1,2,3,4,5));  

246 Query OK, 0 rows affected (0.28 sec)  

247 Records: 0  Duplicates: 0  Warnings: 0  

248

249 //hash和key分区不能用REORGANIZE，官方网站说的很清楚

250 mysql> ALTER TABLE key_part REORGANIZE PARTITION COALESCE PARTITION 9;  

251 ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'PARTITION 9' at line 1  

四，分区优点

1，分区可以分在多个磁盘，存储更大一点

2，根据查找条件，也就是where后面的条件，查找只查找相应的分区不用全部查找了

3，进行大数据搜索时可以进行并行处理。

4，跨多个磁盘来分散数据查询，来获得更大的查询吞吐量

下载资料：mysql分区