MySQL 条件查询 Emoji 表情符号却返回多条数据【包含其它表情符号】的问题解决 - COLLATION 字符序的选择

1、问题出现

    在APP客户端输入搜索文章的关键字时,不小心输入来了一个 emoji 表情符号,提示出错了,在后台查询错误日志信息,提示查询出现了2条相同的记录:

Caused by: org.hibernate.NonUniqueResultException: query did not return a unique result: 2

2、业务逻辑

    数据库有个 tb_search_statistic 表格用来记录用户的搜索记录。每次客户端发起搜索,后台业务先查询下之前是否已经存在该「关键字」的搜索记录,如果没有就插入一条新数据,如果已经存在就对其搜索次数增加 1; 在执行查询操作时,因为返回了两条记录所以报错了。

3、在Nacat for MySQL 进行问题重现

MySQL 条件查询 Emoji 表情符号却返回多条数据【包含其它表情符号】的问题解决 - COLLATION 字符序的选择_第1张图片

    果然,出现了两条记录,是不是很奇怪,明明两个表情符号是完全不同的。其实这条查询语句里面有个字符 “=” ,这个等号和 MySQL 的字符集和字符序有关系。

    MySQL 里存储的数据,只要是字符类型的字段,都会对应一个字符集(字符集合+编码)和字符序(字符的排序和比较),每个字符集对应一个或多个字符序,且对应一个默认的字符序,在数据表里新建字段时,这个字符集和字符序就确定下来了,如果不专门指定,就继承自表格的字符集和字符序(继承关系:服务器 <- 数据库 <- 表 <- 字段)。

    在 Navicat 客户端看下表格的字符集和字符序:

MySQL 条件查询 Emoji 表情符号却返回多条数据【包含其它表情符号】的问题解决 - COLLATION 字符序的选择_第2张图片

    可以发现,表格的字符集是 utf8mb4, 字符序是默认的 utf8mb4_general_ci。因为 keyword 字段没有专门指定,就继承了与表格相同的字符集和字符序。

    问题的关键就出在这里:utf8mb4_general_ci 无法精确区分不同的 emoji 表情符号,所以导致查询结果出现多条记录。刚才提到一个字符序可以对应多个字符序。下面是 utf8mb4 对应的的两个字符序的比较:

  • utf8mb4_bin:将字符串每个字符用二进制数据编译存储,区分大小写,而且可以存二进制的内容。
  • utf8mb4_general_ci:ci 即 case insensitive,不区分大小写。没有实现 Unicode 排序规则,在遇到某些特殊语言或者字符集,排序结果可能不一致。但是,在绝大多数情况下,这些特殊字符的顺序并不需要那么精确。
     

4、解决方案

    方案一:将字段的字符序修改为 utf8mb4_bin

MySQL 条件查询 Emoji 表情符号却返回多条数据【包含其它表情符号】的问题解决 - COLLATION 字符序的选择_第3张图片

     修改后,再次执行查询语句,结果就正好是我们期望的这条数据了:

MySQL 条件查询 Emoji 表情符号却返回多条数据【包含其它表情符号】的问题解决 - COLLATION 字符序的选择_第4张图片

 

    方案二:在where查询字段添加 binary 关键字,BINARY 不是函数,是类型转换运算符,它用来强制它后面的字符串为一个二进制字符串。

MySQL 条件查询 Emoji 表情符号却返回多条数据【包含其它表情符号】的问题解决 - COLLATION 字符序的选择_第5张图片

    以上出现了一些关于字符集和字符序的术语,其实 MySQL 的一些莫名其妙的错误包括“乱码”都和它们密切相关。 所以有必要对它们有清晰的了解,如果感兴趣,可以参考笔者另外一篇文章:

MySQL 字符集概念、原理及配置之图文详解

你可能感兴趣的:(数据库,mysql,数据库)