一文浅谈sql中的 in与not in,exists与not exists的区别以及性能分析

1. 文章引言

我们在工作的过程中，经常使用in，not in，exists，not exists来查询，比如现在一张项目(project)表，表的结构和数据：

CREATE TABLE `project` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `status` varchar(255) DEFAULT NULL,
  `project_name` varchar(255) DEFAULT NULL
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;

INSERT INTO `project` VALUES ('1', 'finish', '太湖佳园');
INSERT INTO `project` VALUES ('2', 'during', '尚东雅园');
INSERT INTO `project` VALUES ('3', 'start', '水乡苑一区');
INSERT INTO `project` VALUES ('4', 'during', '水乡苑二区');

查询状态为已完成和进行中的记录，我们可以写成如下的SQL语句：

select * from project where `status` in ('finish','during');

查询结果如下图：

这只是我们开发中的一个简单示例，接下来，我们详细解说 in与not in,exists与not exists的区别以及性能分析。

2. 查询对比

2.1 in和exists

in是把外表和内表作hash连接。

exists是对外表作loop循环，每次loop循环再对内表进行查询，一直以来认为exists比in效率高的说法是不准确的。

如果查询的两个表大小相当，那么用in和exists差别不大。

如果两个表中一个较小一个较大，则子查询表大的用exists，子查询表小的用in。

例如：表A(小表)，表B(大表)

-- 效率低，用到了A表上cc列的索引
select * from A where cc in(select cc from B)　　

-- 效率高，用到了B表上cc列的索引
select * from A where exists(select cc from B where cc=A.cc)　

相反的：

-- 效率高，用到了B表上cc列的索引
select * from B where cc in(select cc from A)　

-- 效率低，用到了A表上cc列的索引。
select * from B where exists(select cc from A where cc=B.cc)　　

2.2 not in 和not exists

not in逻辑上不完全等同于not exists，如果你误用了not in，小心你的程序存在致命的BUG，请看下面的例子：

-- 创建t1表
create table t_1(c1 int,c2 int);

-- 创建t2表
create table t_2(c1 int,c2 int);

-- 向t1表中插入数据
insert into t_1 values(1,2);
insert into t_1 values(1,3);

-- 向t2表中插入数据
insert into t_2 values(1,2);
insert into t_2 values(1,null);　

先后执行如下两条查询语句：

1. 语句1

SELECT
	*
FROM
	t_1
WHERE
	c2 NOT IN (SELECT c2 FROM t_2);

查询结果是空值，如下图：

2. 语句2

SELECT
	*
FROM
	t_1
WHERE
	NOT EXISTS (
		SELECT
			1
		FROM
			t_2
		WHERE
			t_2.c2 = t_1.c2
	);

查询结果c1 = 1,c2 = 3，如下图所示：

正如你所看到的，not in出现了不期望的结果集，存在逻辑错误。

如果看一下上述两个select语句的执行计划，也会不同，语句2使用了hash_aj，所以，请尽量不要使用not in(它会调用子查询)，而尽量使用not exists（它会调用关联子查询）。

如果子查询中返回的任意一条记录含有空值，则查询将不返回任何记录。

如果子查询字段有非空限制，这时可以使用not in，并且可以通过提示让它用hasg_aj或merge_aj连接。

如果查询语句使用了not in，那么对内外表都进行全表扫描，没有用到索引。而not exists的子查询依然能用到表上的索引。所以无论哪个表大，用not exists都比not in 要快。

2.3 in 与 = 的区别

SELECT
	NAME
FROM
	student
WHERE
	NAME IN ('zhang', 'wang', 'zhao');

与

SELECT
	NAME
FROM
	student
WHERE
	NAME = 'zhang'
OR NAME = 'wang'
OR NAME = 'zhao'

的结果是相同的。

3. 性能分析

3.1 in和exists

1. EXISTS的执行流程

SELECT
	*
FROM
	t1
WHERE
	EXISTS (SELECT NULL FROM t2 WHERE y = x)

可以理解为:

for x in ( select * from t1 ) loop 

if ( exists ( select null from t2 where y = x.x ) then 
OUTPUT THE RECORD 
end if 
end loop 

2. in和exists的性能区别

如果子查询得出的结果集记录较少，主查询中的表较大且又有索引时应该用in。

反之，如果外层的主查询记录较少，子查询中的表大，又有索引时使用exists。

其实我们区分in和exists主要是造成了驱动顺序的改变（这是性能变化的关键）:

• 如果是exists，那么以外层表为驱动表，先被访问

• 如果是IN，那么先执行子查询

所以我们会以驱动表的快速返回为目标，那么就会考虑到索引及结果集的关系了 。

另外，IN时不对NULL进行处理，如下SQL所示：

SELECT
	1
FROM
	DUAL
WHERE
	NULL IN (0, 1, 2, NULL)

查询结果为空。

3.2 NOT IN 与NOT EXISTS

1. NOT EXISTS的执行流程

SELECT
	.....
FROM
	ROLLUP R
WHERE
	NOT EXISTS (
		SELECT
			'Found'
		FROM
			title T
		WHERE
			R.source_id = T.Title_ID
	);

可以理解为:

for x in ( select * from rollup ) loop 
if ( not exists ( that query ) ) then 
OUTPUT 
end if; 
end loop; 

注意：NOT EXISTS与NOT IN不能完全互相替换，看具体的需求。如果选择的列可以为空，则不能被替换。

例如下面语句，看他们的区别：

select x,y from t; 

查询x和y数据如下所示：

x      y 
------ ------ 
1      3 
3      1 
1      2 
1      1 
3      1 
5 

2. 使用not in和not exists查询结果，如下

SELECT
	*
FROM
	t
WHERE
	x NOT IN (SELECT y FROM t t2);

查询无结果：no rows

SELECT
	*
FROM
	t
WHERE
	NOT EXISTS (
		SELECT
			NULL
		FROM
			t t2
		WHERE
			t2.y = t.x
	);

查询结果为：

x       y 
------ ------ 
5      NULL 

所以要具体需求来决定

3. not in和not exists的性能区别

not in只有当子查询中，select关键字后的字段有not null约束，或者有这种暗示时用not in。另外，如果主查询中表大，子查询中的表小但是记录多，则应当使用not in，并使用anti hash join。

如果主查询表中记录少，子查询表中记录多，并有索引，可以使用not exists，另外，not in最好也可以用/*+ HASH_AJ */或者外连接+is null。

NOT IN在基于成本的应用中较好，比如:

SELECT
	.....
FROM
	ROLLUP R
WHERE
	NOT EXISTS (
		SELECT
			'Found'
		FROM
			title T
		WHERE
			R.source_id = T.Title_ID
	);

最好修改成如下方式：

SELECT
	......
FROM
	title T,
	ROLLUP R
WHERE
	R.source_id = T.Title_id (+)
AND T.Title_id IS NULL;

或者（佳）:

SELECT
	/*+ HASH_AJ */...
FROM
	ROLLUP R
WHERE
	ource_id NOT IN (
		SELECT
			ource_id
		FROM
			title T
		WHERE
			ource_id IS NOT NULL
	)

4. 重要总结

讨论IN和EXISTS。

select * from t1 where x in ( select y from t2 ) 

事实上可以理解为：

SELECT
	*
FROM
	t1,
	(SELECT DISTINCT y FROM t2) t2
WHERE
	t1.x = t2.y;

如果你有一定的SQL优化经验，从这句很自然的可以想到t2绝对不能是个大表，因为需要对t2进行全表的唯一排序。

如果t2很大，这个排序的性能是不可忍受的，但是t1可以很大，为什么呢？

最通俗的理解就是因为t1.x=t2.y可以走索引。但这并不是一个很好的解释。

试想，如果t1.x和t2.y都有索引，我们知道索引是种有序的结构，因此t1和t2之间最佳的方案是走merge join。

另外，如果t2.y上有索引，对t2的排序性能也有很大提高。

select * from t1 where exists ( select null from t2 where y = x ) 

可以理解为：

for x in ( select * from t1 ) 
loop 
if ( exists ( select null from t2 where y = x.x ) 
then 
OUTPUT THE RECORD! 
end if 
end loop 

这个更容易理解，t1永远是个表扫描！因此t1绝对不能是个大表，而t2可以很大，因为y=x.x可以走t2.y的索引。

综合以上对IN/EXISTS的讨论，我们可以得出一个基本通用的结论：

1. IN适合于外表大而内表小的情况；
2. EXISTS适合于外表小而内表大的情况。

我们要根据实际的情况做相应的优化，不能绝对的说谁的效率高谁的效率低，所有的事都是相对的