一文浅谈sql中的 in与not in,exists与not exists的区别以及性能分析

文章目录

  • 1. 文章引言
  • 2. 查询对比
    • 2.1 in和exists
    • 2.2 not in 和not exists
    • 2.3 in 与 = 的区别
  • 3. 性能分析
    • 3.1 in和exists
    • 3.2 NOT IN 与NOT EXISTS
  • 4. 重要总结

1. 文章引言

我们在工作的过程中,经常使用in,not in,exists,not exists来查询,比如现在一张项目(project)表,表的结构和数据:

CREATE TABLE `project` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `status` varchar(255) DEFAULT NULL,
  `project_name` varchar(255) DEFAULT NULL
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;

INSERT INTO `project` VALUES ('1', 'finish', '太湖佳园');
INSERT INTO `project` VALUES ('2', 'during', '尚东雅园');
INSERT INTO `project` VALUES ('3', 'start', '水乡苑一区');
INSERT INTO `project` VALUES ('4', 'during', '水乡苑二区');

查询状态为已完成和进行中的记录,我们可以写成如下的SQL语句:

select * from project where `status` in ('finish','during');

查询结果如下图:

一文浅谈sql中的 in与not in,exists与not exists的区别以及性能分析_第1张图片

这只是我们开发中的一个简单示例,接下来,我们详细解说 in与not in,exists与not exists的区别以及性能分析

2. 查询对比

2.1 in和exists

in是把外表和内表作hash连接。

exists是对外表作loop循环,每次loop循环再对内表进行查询,一直以来认为existsin效率高的说法是不准确的。

如果查询的两个表大小相当,那么用inexists差别不大。

如果两个表中一个较小一个较大,则子查询表大的用exists,子查询表小的用in

例如:表A(小表),表B(大表)


-- 效率低,用到了A表上cc列的索引
select * from A where cc in(select cc from B)  

-- 效率高,用到了B表上cc列的索引
select * from A where exists(select cc from B where cc=A.cc) 

相反的:


-- 效率高,用到了B表上cc列的索引
select * from B where cc in(select cc from A) 

-- 效率低,用到了A表上cc列的索引。
select * from B where exists(select cc from A where cc=B.cc)  

2.2 not in 和not exists

not in逻辑上不完全等同于not exists,如果你误用了not in小心你的程序存在致命的BUG,请看下面的例子:

-- 创建t1表
create table t_1(c1 int,c2 int);

-- 创建t2表
create table t_2(c1 int,c2 int);

-- 向t1表中插入数据
insert into t_1 values(1,2);
insert into t_1 values(1,3);

-- 向t2表中插入数据
insert into t_2 values(1,2);
insert into t_2 values(1,null); 

先后执行如下两条查询语句:

  1. 语句1
SELECT
	*
FROM
	t_1
WHERE
	c2 NOT IN (SELECT c2 FROM t_2);

查询结果是空值,如下图:

一文浅谈sql中的 in与not in,exists与not exists的区别以及性能分析_第2张图片

  1. 语句2
SELECT
	*
FROM
	t_1
WHERE
	NOT EXISTS (
		SELECT
			1
		FROM
			t_2
		WHERE
			t_2.c2 = t_1.c2
	);

查询结果c1 = 1,c2 = 3,如下图所示:

一文浅谈sql中的 in与not in,exists与not exists的区别以及性能分析_第3张图片

正如你所看到的,not in出现了不期望的结果集,存在逻辑错误。

如果看一下上述两个select语句的执行计划,也会不同,语句2使用了hash_aj,所以,请尽量不要使用not in(它会调用子查询),而尽量使用not exists(它会调用关联子查询)。

如果子查询中返回的任意一条记录含有空值,则查询将不返回任何记录。

如果子查询字段有非空限制,这时可以使用not in,并且可以通过提示让它用hasg_ajmerge_aj连接。

如果查询语句使用了not in,那么对内外表都进行全表扫描,没有用到索引。而not exists的子查询依然能用到表上的索引。所以无论哪个表大,用not exists都比not in 要快。

2.3 in 与 = 的区别


SELECT
	NAME
FROM
	student
WHERE
	NAME IN ('zhang', 'wang', 'zhao');

SELECT
	NAME
FROM
	student
WHERE
	NAME = 'zhang'
OR NAME = 'wang'
OR NAME = 'zhao'

的结果是相同的。

3. 性能分析

3.1 in和exists

  1. EXISTS的执行流程
SELECT
	*
FROM
	t1
WHERE
	EXISTS (SELECT NULL FROM t2 WHERE y = x)

可以理解为:

for x in ( select * from t1 ) loop 

if ( exists ( select null from t2 where y = x.x ) then 
OUTPUT THE RECORD 
end if 
end loop 
  1. inexists的性能区别

如果子查询得出的结果集记录较少,主查询中的表较大且又有索引时应该用in

反之,如果外层的主查询记录较少,子查询中的表大,又有索引时使用exists

其实我们区分inexists主要是造成了驱动顺序的改变(这是性能变化的关键):

  • 如果是exists,那么以外层表为驱动表,先被访问

  • 如果是IN,那么先执行子查询

所以我们会以驱动表的快速返回为目标,那么就会考虑到索引及结果集的关系了 。

另外,IN时不对NULL进行处理,如下SQL所示:

SELECT
	1
FROM
	DUAL
WHERE
	NULL IN (0, 1, 2, NULL)

查询结果为空。

3.2 NOT IN 与NOT EXISTS

  1. NOT EXISTS的执行流程
SELECT
	.....
FROM
	ROLLUP R
WHERE
	NOT EXISTS (
		SELECT
			'Found'
		FROM
			title T
		WHERE
			R.source_id = T.Title_ID
	);

可以理解为:

for x in ( select * from rollup ) loop 
if ( not exists ( that query ) ) then 
OUTPUT 
end if; 
end loop; 

注意:NOT EXISTSNOT IN不能完全互相替换,看具体的需求。如果选择的列可以为空,则不能被替换。

例如下面语句,看他们的区别:

select x,y from t; 

查询xy数据如下所示:

x      y 
------ ------ 
1      3 
3      1 
1      2 
1      1 
3      1 
5 
  1. 使用not innot exists查询结果,如下
SELECT
	*
FROM
	t
WHERE
	x NOT IN (SELECT y FROM t t2);

查询无结果:no rows

SELECT
	*
FROM
	t
WHERE
	NOT EXISTS (
		SELECT
			NULL
		FROM
			t t2
		WHERE
			t2.y = t.x
	);

查询结果为:

x       y 
------ ------ 
5      NULL 

所以要具体需求来决定

  1. not innot exists的性能区别

not in只有当子查询中,select关键字后的字段有not null约束,或者有这种暗示时用not in。另外,如果主查询中表大,子查询中的表小但是记录多,则应当使用not in,并使用anti hash join

如果主查询表中记录少,子查询表中记录多,并有索引,可以使用not exists,另外,not in最好也可以用/*+ HASH_AJ */或者外连接+is null

NOT IN在基于成本的应用中较好,比如:

SELECT
	.....
FROM
	ROLLUP R
WHERE
	NOT EXISTS (
		SELECT
			'Found'
		FROM
			title T
		WHERE
			R.source_id = T.Title_ID
	);

最好修改成如下方式:

SELECT
	......
FROM
	title T,
	ROLLUP R
WHERE
	R.source_id = T.Title_id (+)
AND T.Title_id IS NULL;

或者(佳):

SELECT
	/*+ HASH_AJ */...
FROM
	ROLLUP R
WHERE
	ource_id NOT IN (
		SELECT
			ource_id
		FROM
			title T
		WHERE
			ource_id IS NOT NULL
	)

4. 重要总结

讨论INEXISTS

select * from t1 where x in ( select y from t2 ) 

事实上可以理解为:

SELECT
	*
FROM
	t1,
	(SELECT DISTINCT y FROM t2) t2
WHERE
	t1.x = t2.y;

如果你有一定的SQL优化经验,从这句很自然的可以想到t2绝对不能是个大表,因为需要对t2进行全表的唯一排序

如果t2很大,这个排序的性能是不可忍受的,但是t1可以很大,为什么呢?

最通俗的理解就是因为t1.x=t2.y可以走索引。但这并不是一个很好的解释。

试想,如果t1.xt2.y都有索引,我们知道索引是种有序的结构,因此t1t2之间最佳的方案是走merge join

另外,如果t2.y上有索引,对t2的排序性能也有很大提高。

select * from t1 where exists ( select null from t2 where y = x ) 

可以理解为:

for x in ( select * from t1 ) 
loop 
if ( exists ( select null from t2 where y = x.x ) 
then 
OUTPUT THE RECORD! 
end if 
end loop 

这个更容易理解,t1永远是个表扫描!因此t1绝对不能是个大表,而t2可以很大,因为y=x.x可以走t2.y的索引。

综合以上对IN/EXISTS的讨论,我们可以得出一个基本通用的结论:

  1. IN适合于外表大而内表小的情况;
  2. EXISTS适合于外表小而内表大的情况。

我们要根据实际的情况做相应的优化,不能绝对的说谁的效率高谁的效率低,所有的事都是相对的

你可能感兴趣的:(免费专栏,sql,数据库,java,mysql,后端)