MySQL LIKE BINARY 和 LIKE 模糊查询

MySQL LIKE BINARY 和 LIKE 模糊查询

1. Django ORM id__startswith 查询变慢

问题

项目接口请求耗时，3-4s

原因

随着数据库表数据的增加，原先的 ORM 查询速度变慢

解决

排查到 sql 查询语句使用的模糊查询是区分大小的，导致查询效率变慢，模糊匹配的字符不存在大小写敏感，修改模糊匹配为大小写不敏感

优化前

Django ORM DQL

# ORM 示例 ( startswith == like binary)
XXXmodel.objects.filter(
        region_id__startswith=region_id[:3],
        nic_id__in=nic_code_list
        ).values('nic_id').annotate(Sum('amount'))

mysql 原生 DQL

# LIKE BINARY 区分大小写
SELECT `leader_vt_patent`.`nic_id`, SUM(`leader_vt_patent`.`amount`) AS `amount__sum` FROM `leader_vt_patent` WHERE (`leader_vt_patent`.`nic_id` IN ('C13', 'C14', 'C15', 'C16', 'C17', 'C18', 'C19', 'C20', 'C21', 'C22', 'C23', 'C24', 'C25', 'C26', 'C27', 'C28', 'C29', 'C30', 'C31', 'C32', 'C33', 'C34', 'C35', 'C36', 'C37', 'C38', 'C39', 'C40', 'C41', 'C42', 'C43') AND `leader_vt_patent`.`region_id` LIKE BINARY '110%') GROUP BY `leader_vt_patent`.`nic_id`, `leader_vt_patent`.`tyear` ORDER BY `leader_vt_patent`.`tyear` DESC;

耗时 1.16s

优化后

Django ORM DQL

# ORM 示例 ( istartswith == like )
XXXmodel.objects.filter(
        region_id__istartswith=region_id[:3],
        nic_id__in=nic_code_list
        ).values('nic_id').annotate(Sum('amount'))

mysql 原生 DQL

# LIKE 不区分大小写
SELECT `leader_vt_patent`.`nic_id`, SUM(`leader_vt_patent`.`amount`) AS `amount__sum` FROM `leader_vt_patent` WHERE (`leader_vt_patent`.`nic_id` IN ('C13', 'C14', 'C15', 'C16', 'C17', 'C18', 'C19', 'C20', 'C21', 'C22', 'C23', 'C24', 'C25', 'C26', 'C27', 'C28', 'C29', 'C30', 'C31', 'C32', 'C33', 'C34', 'C35', 'C36', 'C37', 'C38', 'C39', 'C40', 'C41', 'C42', 'C43') AND `leader_vt_patent`.`region_id` LIKE '110%') GROUP BY `leader_vt_patent`.`nic_id`, `leader_vt_patent`.`tyear` ORDER BY `leader_vt_patent`.`tyear` DESC;

耗时 0.27s

2. MySQL 模糊匹配

简介

MySQL 模糊搜索：

LIKE BINARY 是区分大小写的

LIKE 是否区分大小写,取决于表的 COLLATE，如果 COLLATE=utf8_bin 即二进制形式就是区分大小写的, 否则是不区分的

ORM 写法

xxx.objects.filter(namecontains=‘sxn’) 和 xxx.objects.filter(name__icontains=‘sxn’)

SQL 写法

LIKE BINARY 和 LIKE

用法

LIKE 关键字支持百分号**“ %”** 和下划线 “_” 通配符

通配符是一种特殊语句，主要用来模糊查询。当不知道真正字符或者懒得输入完整名称时，可以使用通配符来代替一个或多个真正的字符。

带有 “%” 通配符的查询

“%” 是 MySQL 中最常用的通配符，它能代表任何长度的字符串，字符串的长度可以为 0。例如，a%b 表示以字母 a 开头，以字母 b 结尾的任意长度的字符串。该字符串可以代表 ab、acb、accb、accrb 等字符串。

例 1

在 tb_students_info 表中，查找所有以字母 “T” 开头的学生姓名，SQL 语句和运行结果如下。

mysql> SELECT name FROM tb_students_info
    -> WHERE name LIKE 'T%';
+--------+
| name   |
+--------+
| Thomas |
| Tom    |
+--------+
2 rows in set (0.12 sec)

可以看到，查询结果中只返回了以字母 “T” 开头的学生姓名。

注意：匹配的字符串必须加单引号或双引号。

NOT LIKE 表示字符串不匹配时满足条件。

例 2

在 tb_students_info 表中，查找所有不以字母 “T” 开头的学生姓名，SQL 语句和运行结果如下。

mysql> SELECT NAME FROM tb_students_info
    -> WHERE NAME NOT LIKE 'T%';
+-------+
| NAME  |
+-------+
| Dany  |
| Green |
| Henry |
| Jane  |
| Jim   |
| John  |
| Lily  |
| Susan |
+-------+
8 rows in set (0.00 sec)

可以看到，查询结果中返回了不以字母 “T” 开头的学生姓名。

例 3

在 tb_students_info 表中，查找所有包含字母 “e” 的学生姓名，SQL 语句和运行结果如下。

mysql> SELECT name FROM tb_students_info
    -> WHERE name LIKE '%e%';
+-------+
| name  |
+-------+
| Green |
| Henry |
| Jane  |
+-------+
3 rows in set (0.00 sec)

可以看到，查询结果中返回了所有包含字母 “e” 的学生姓名。

带有“_”通配符的查询

“_” 只能代表单个字符，字符的长度不能为 0。例如，a_b 可以代表 acb、adb、aub 等字符串。

例 1

在 tb_students_info 表中，查找所有以字母 “y” 结尾，且 “y” 前面只有 4 个字母的学生姓名，SQL 语句和运行结果如下。

mysql> SELECT name FROM tb_students_info
    -> WHERE name LIKE '____y';
+-------+
| name  |
+-------+
| Henry |
+-------+
1 row in set (0.00 sec)

LIKE 区分大小写

默认情况下，LIKE 关键字匹配字符的时候是不区分大小写的。如果需要区分大小写，可以加入 BINARY 关键字。

例 1

在 tb_students_info 表中，查找所有以字母 “t” 开头的学生姓名，区分大小写和不区分大小写的 SQL 语句和运行结果如下。

mysql> SELECT name FROM tb_students_info WHERE name LIKE 't%';
+--------+
| name   |
+--------+
| Thomas |
| Tom    |
+--------+
2 rows in set (0.00 sec)

mysql> SELECT name FROM tb_students_info WHERE name LIKE BINARY 't%';
Empty set (0.01 sec)

由结果可以看到，区分大小写后，“Tom” 和 “Thomas” 等记录就不会被匹配到了。

使用通配符的注意事项和技巧

• 注意大小写

  • MySQL 默认是不区分大小写的，如果区分大小写，像 “Tom” 这样的数据就不能被 “t%” 所匹配到。

• 注意尾部空格

  • 尾部空格会干扰通配符的匹配，例如，**“T% ”**就不能匹配到 “Tom”。

• 注意 NULL

  • “%” 通配符可以到匹配任意字符，但是不能匹配 NULL，也就是说 “%” 匹配不到 tb_students_info 数据表中值为 NULL 的记录。

• 不要过度使用通配符，如果其它操作符能达到相同的目的，应该使用其它操作符，因为 MySQL 对通配符的处理一般会比其他操作符花费更长的时间。

• 在确定使用通配符后，除非绝对有必要，否则不要把它们用在字符串的开始处，把通配符置于搜索模式的开始处，搜索起来是最慢的。

• 仔细注意通配符的位置，如果放错地方，可能不会返回想要的数据。

3. 拓展

如果查询内容中包含通配符，可以使用 “\” 转义符。

例如，在 tb_students_info 表中，将学生姓名 “Dany” 修改为 “Dany%” 后，查询以 “%” 结尾的学生姓名，SQL 语句和运行结果如下：

mysql> SELECT NAME FROM test.`tb_students_info` WHERE NAME LIKE '%\%';
+-------+
| NAME  |
+-------+
| Dany% |
+-------+
1 row in set (0.00 sec)