30 “select distinct(field1)“ 的实现
前言
在日常工作生活中, 我们应该经常会使用到 select distinct(field) from table; 等功能
来实现 获取符合条件的 field 的去重之后的记录信息
然后 我们这里来看一下 具体的实现
测试数据表如下
CREATE TABLE `tz_test` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`field1` varchar(12) DEFAULT NULL,
`field2` varchar(16) DEFAULT NULL,
PRIMARY KEY (`id`) USING BTREE,
KEY `field1` (`field1`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=108 DEFAULT CHARSET=utf8
测试数据列表如下
distinct 的实现
这里来看一下 “select distinct(field1) from tz_test;”
接下来 分为三种情况, 分别 distinct 三种不同的字段
假设目标字段是主键索引的情况
查询主键索引, 然后迭代数据返回 比如这里是 id 为 1 的记录
如下为 id 为10 的记录
假设目标字段有索引的情况
执行 explain 情况如下
我们这里 field1 有索引, 我们来看一下 实现 的情况, 这个走的是 field1 的索引树
这里遍历的是 field1 索引树, 会依次遍历
field1->1
field2->2
field3->3
field4->4
field4->7
field5->5
field5->6
field5->8
field5->9
field5->10
对于 “field1->1, field2->2, field3->3, field4->4” 会走 “test_if_item_cache_changed” 对应的 if 的 block, 其中会输出字段 field1 的值
对于 “field4->7” 不会走 “test_if_item_cache_changed” 对应的 if 的 block, 就不会输出字段信息到 客户端
join->group_fields 中存放的是 field1 上一次迭代的数据的值
对于 “field5->5”, 会走 “test_if_item_cache_changed” 对应的 if 的 block, 其中会输出字段 field1 的值
对于 “field5->6, field5->8, field5->9, field5->10” 不会走 “test_if_item_cache_changed” 对应的 if 的 block, 就不会输出字段信息到 客户端
假设目标字段无索引的情况
为了更好的调试, 更新 field2 的字段数据如下
执行 explain 情况如下
这个的实现是基于 临时表来实现的
数据从真实业务表, 抽取到临时表的处理如下
外层的 sub_select 是遍历 tz_test 表的常规流程, 然后这里的处理是 拷贝需要的字段, 然后使用 table->file->ha_write_row 入库临时表
然后使用同样的步骤拷贝了 ”field2”, “field3” , “field4” , “field5” 到临时表
然后临时表的 table->record[0] 信息变化如下, 可以看到将 field2 的字段数据拷贝进去了
临时表仅仅只有一个字段 field2
临时表结构如下, 一个字段, 然后字段名称为 field2
然后向临时表写出数据的处理是在这里
临时表是基于 ha_heap, 将数据存放在内存中的, 和之前提到过的 union 的处理类似
接下来的 “field4” , “field5” , “field5” , “field5” 由于存在唯一约束, 因此 接下来这几个记录的 field2 没有入库
然后是迭代临时表的数据, 响应给客户端
如下图 join_init_read_record + qep_tab->read_record.read_record 为迭代临时表中的数据
evaluate_join_record 为输出结果信息到客户端
迭代临时表中所有的记录, 响应回去
依次为 ”field1”, ”field2”, “field3” , “field4” , “field5”
创建临时表, 以及定义 keyDefinition 的地方
完