常用函数
-
IFNULL，ISNULLMySQL详细基础语法
SELECT IFNULL(null, 1);
ifnull1.png
SELECT IFNULL(0, 1);
ifnull2.png
SELECT IF('', 1), HEX('');
-- HEX()函数可将数字或者字符串转换为16进制格式的字符串
ifnull3.png
SELECT ISNULL(NULL),ISNULL(0),ISNULL(1/0);
isnull.png
-
NULL的特点
null只能用is NULL比较，和数值、字符串等进行比较都没有结果集。'<=>'是MySQL特有的判断符号。叫等价于。
SELECT 1=1,NULL=NULL,1=NULL,1<>NULL,NULL is NULL;
null.png
SELECT 1<=>1,NULL<=>NULL,1<=>NULL,1 IS NOT NULL,NULL IS NOT NULL;
null1.png
-
时间函数now，sysdate
Now() 返回的是语句执行的时间，而sydate()返回的是实时的时间戳
SELECT now(),sleep(2),now();
time.png
SELECT sysdate(),sleep(2),sysdate();
time1.png
time2.png
该写方案如下
time3.png
时间函数实际优化案例(CURDATE()函数为返回当前的日期)
time4.png
- 字符串处理函数RPAD()，LPAD()，RTRIM()，LTRIM()，TRIM()，CONCAT()
str.png
RPAD/LPAD 数据库某列要保证某个长度，不足的使用特定字符右/左填充
RTRIM、LTRIM和TRIM是去除字段值得空字符
CONCAT字符串合并函数
日期类型的特性
MySQL日期类型不需要使用日期函数转换，只要按照日期类型格式编写即可，其他数据库则必须进行转换
date.png
使用日期格式转化后
date2.png
-
BETWEEN IN
字符类型不能使用between， 性能较差
between.png
可以将字符类型的between转化为in查询，性能较好
between1.png
也可以使用union all改写
SELECT * FROM dept_emp2 WHERE dept_no = 'd003' AND emp_no = 10005
UNION ALL
SELECT * FROM dept_emp2 WHERE dept_no = 'd004' AND emp_no = 10005
UNION ALL
SELECT * FROM dept_emp2 WHERE dept_no = 'd005' AND emp_no = 10005
between2.png
-
like的基本用法和特点
使用like对字符类型的列进行模糊查询，最好把%写在后面，如‘aa%’。这样可以使用一些索引。而且尽量使用字段代替*来减少查询面积
日期类型一定不能用like查询 无法使用索引 查询某一时间段的数据可以使用between and
-
选择率
对优秀的选择率的说明
如下2个SQL中去除重复值后越接近count(*)选择率越高
change.png
-
OR
使用OR的时候必须两边加括号 否则结果完全不一样 OR条件如果复杂的情况 可以适当考虑union all分离
-
对于相同的列 or条件等同于in
SELECT * FROM employees WHERE (emp_no = 10001 OR emp_no = 10002 OR emp_no = 10003);
-
or.png
-
OR优化
DESC SELECT mci.PRODUCT_ID, mci.PRODUCT_CODE, mci.PRODUCT_NAME, mci.PRODUCT_LOGO, mci.SHOP_NAME, mci.IS_ENABLE, mci.CATEGORY_N01, mci.CATEGORY_N02, mci.CATEGORY_N03, ccv2_1.CATEGORYNAME CATEGORY_N01_NAME, ccv2_2.CATEGORYNAME CATEGORT_N02_NAME, ccv2_3.CATEGORYNAME CATEGORY_N03_NAME, mci.THIRD_STORE_COMMISSION, mci.COMMODITY_TYPE FROM mall_ccmmodity_info AS mci LEFT JOIN comnodity_category_v2 AS ccv2_1 ON ccv2_1.UNIQUE_NO = mci.CATEGORY_N01 LEFT JOIN comnodity_category_v2 AS ccv2_2 ON ccv2_2.UNIQUE_NO = mci.CATEGORY_N02 LEFT JOIN comnodity_category_v2 AS ccv2_3 ON ccv2_3.UNIQUE_NO = mci.CATEGORY_N03 LEFT JOIN ( SELECT pprod.PRODOCT_ID, COUNT( 0 ) count FROM promotion_product pprod INNER JOIN promotion_info pinfo ON pinfo.PROMOTION_ID = pprod.PROMOTION_ID AND pprod.IS_ENABLE = 1 AND pinfo.IS_ENABLE = 1 AND pinto.BELONG_T0 = 1 AND pinto.END_TIME >= NOW( ) AND NOT ( pinfo.ONSHELVE_TIME > '2018-06-30 00:00:' OR pinfo.END_TIME < '2017-12-06 17:00:00' ) GROUP BY pprod.PRODOCT_ID ) AS pc ON pc.PRODUCT_ID = mci.PRODUCT_ID WHERE mci.IS_ENABLE = 0 AND mci.COMMODITY_TYPE IN ( '1', '5', '6' ) AND ( pc.count = 0 OR pc.count IS NULL ) LIMIT 0, 5;执行计划如下
or1.png
分析上面的执行计划可以发现，在derived2这个位置，类型是all，发生了全表扫描，并且没有auth_key产生。注意pc.count = 0 OR pc.count IS NULL这个SQL，去掉之后执行计划就变成如下
or2.png
产生了auth_key所以优化的关键点在于pc.count = 0 OR pc.count IS NULL这个位置，所以优化SQL如下
```mysql
DESC SELECT
mci.PRODUCT_ID,
mci.PRODUCT_CODE,
mci.PRODUCT_NAME,
mci.PRODUCT_LOGO,
mci.SHOP_NAME,
mci.IS_ENABLE,
mci.CATEGORY_N01,
mci.CATEGORY_N02,
mci.CATEGORY_N03,
ccv2_1.CATEGORYNAME CATEGORY_N01_NAME,
ccv2_2.CATEGORYNAME CATEGORT_N02_NAME,
ccv2_3.CATEGORYNAME CATEGORY_N03_NAME,
mci.THIRD_STORE_COMMISSION,
mci.COMMODITY_TYPE
FROM
mall_ccmmodity_info AS mci
LEFT JOIN comnodity_category_v2 AS ccv2_1 ON ccv2_1.UNIQUE_NO = mci.CATEGORY_N01
LEFT JOIN comnodity_category_v2 AS ccv2_2 ON ccv2_2.UNIQUE_NO = mci.CATEGORY_N02
LEFT JOIN comnodity_category_v2 AS ccv2_3 ON ccv2_3.UNIQUE_NO = mci.CATEGORY_N03
LEFT JOIN (
SELECT
pprod.PRODOCT_ID,
COUNT( 0 ) count
FROM
promotion_product pprod
INNER JOIN promotion_info pinfo ON pinfo.PROMOTION_ID = pprod.PROMOTION_ID
AND pprod.IS_ENABLE = 1
AND pinfo.IS_ENABLE = 1
AND pinto.BELONG_T0 = 1
AND pinto.END_TIME >= NOW( )
AND NOT ( pinfo.ONSHELVE_TIME > '2018-06-30 00:00:' OR pinfo.END_TIME < '2017-12-06 17:00:00' )
GROUP BY
pprod.PRODOCT_ID
) AS pc ON pc.PRODUCT_ID = mci.PRODUCT_ID
WHERE
mci.IS_ENABLE = 0
AND mci.COMMODITY_TYPE IN ( '1', '5', '6' )
AND case when pc.count is null then 0 else pc.count end = 0
LIMIT 0,
5;
```
执行计划如下
or3.png
优化前为7s，优化后为0.029s
-
or优化案例2
优化前的SQL如下
DESC SELECT COUNT( t2.store_id ) FROM lp_liquidator t1 INNER JOIN lp_liquidator_store t2 ON t1.liquidator_id = t2.liquidator_id LEFT JOIN lp_store_bank t3 ON t2.store_id = t3.store_id LEFT JOIN lp_witness_bind_bank t4 ON t4.lp_store_id = t2.store_id WHERE t4.bank_card_user = '洪哥' OR t3.username = '洪哥';执行计划如下
or4.png
查询耗时15s
根据条件复杂时可考虑使用union替换or的原则，优化SQL如下
```mysql
DESC SELECT
COUNT( t2.store_id )
FROM
(
SELECT
t2.store_id
FROM
lp_liquidator t1
INNER JOIN lp_liquidator_store t2 ON t1.liquidator_id = t2.liquidator_id
LEFT JOIN lp_store_bank t3 ON t2.store_id = t3.store_id
WHERE
t3.username = '洪哥' UNION
SELECT
t2.store_id
FROM
lp_liquidator t1
INNER JOIN lp_liquidator_store t2 ON t1.liquidator_id = t2.liquidator_id
LEFT JOIN lp_witness_bind_bank t4 ON t2.store_id = t4.lp_store_id
WHERE
t4.bank_card_user = '洪哥'
) b;
```
优化后，执行计划如下
or5.png
-
SUBQUERY(子查询)
SUBQUERY按照出现的位置可以分为INLINE VIEW SUBQUERY，SCALA SUBQUERY， IN EXISTS使用的SUBQUERY
-
INLINE VIEW SUBQUERY 用在FORM后面的子查询 相当于临时表
MySQL想要使用这种类型的子查询，需要满足如下条件
- 如果subquery不包含集合函数 union all，union，limit等关键字。查看执行计划，保证该subquery第一个执行或者不出现temp file，file sort等
- 如果包含上述关键字的subquery必须保证第一个执行，否则对性能有重大影响。原因是当数据量很大时，要尽量减少auth_key的数量，否则产生太大auth_key会严重影响速度
- 鼓励第二种情况下的subquery 且保持一个subquery
-
SCALA SUBQUERY(标量子查询) 是放在select和from之间的subquery
-
这种subquery相当于函数
但是这种subquery因为运行返回行数多 所以最好不要再返回行数多的query中运行 并且必须要有很好的索引
标量子查询一定也写在最外面
-
-
subquery.png
如果没有良好的索引，并且要对处于业务高峰的语句进行优化，下面有如下例子
subquery1.png
由于标量子查询只能返回一条数据或者空，则优化代码如下
subquery2.png
$\color{red}{优化前查询较慢的原因如下: 先忽略子查询，语句为}$
```mysql
select t1.emp_no from t1 limit 100;
```
$\color{red}{这样会得到100行数据，之后的执行操作就是双重for循环。假如子查询的结果集为200行。外层循环1次内层循环就要循环200次，并且就算在第一次循环时就满足了e.emp_no=t1.emp_no条件后续循环一样会执行，不会停止。这样就造成了没必要的循环操作。加上limit后，找到满足条件的之后，循环就会停止，进入第二次循环，这样就大大提升了效率。}$
2. 这种子查询不会是最后结果集 往往可以和left join互相替换
在外层查询结果较少，join连接的表row很大，并且需要进行group by操作的时候，将left join改写成标量子查询后，往往可以提升效率
3. SCALA SUBQUERY可进行分页查询
-
IN 和 NOT IN
in和not in 相当于or条件
In 和not in不能识别NULL，并且not in的条件中绝对不能有NULL，否则永远没有查询结果如下图中以in为实例
in.png
将语句进行改写，使用or进行查询，查询条件改为id等价于null反而可以查询出结果。如下图
in1.png
使用in查询时，参数类型要保持一致，否则会导致索引无法使用。
in2.png
not in语句改写left join示例
not in语句如下
SELECT * FROM t_order WHERE emp_no NOT IN (SELECT emp_no FROM employees WHERE emp_no > 20000);
改写后的语句如下
SELECT t.emp_no,s.emp_no FROM t_order t
LEFT JOIN (SELECT emp_no FROM employees WHERE emp_no > 20000) s ON t.emp_no=s.emp_no
WHERE s.emp_no IS NULL
AND t.emp_no IS NOT NULL;
-
EXISTS和NOT EXISTS
exists 和 not exists最大的区别是可以允许条件为null，实例如下图
exists.png
-
Limit
主要用于分页优化空间在于延迟join方式的优化
实例如下，源语句
SELECT * FROM employees e ORDER BY first_name LIMIT 100000 , 0;优化后语句
SELECT a.* FROM ( SELECT first_name,emp_no FROM employees e ORDER BY first_name LIMIT 100000 , 0 ) s straight_join employees a WHERE s.emp_no=a.emp_no;Union, union all中不能使用limit
如下图所示
limit.png
为了避免这种操作，我们可以对查询语句进行如下优化，将原先的查询变为子查询进行优化
limit1.png
in + limit是不支持的
例如
limit2.png
解决办法也同样事改写成子查询绕过即可
SELECT t1.emp_no FROM t1 WHERE t1.emp_no in
(
SELECT b.emp_no FROM (
SELECT e.emp_no FROM employees e WHERE e.emp_no BETWEEN 10001 AND 11000 LIMIT 1000
) b
) LIMIT 5
当然还可以使用join进行改写，语句如下
SELECT t1.emp_no FROM t1 JOIN
(
SELECT DISTINCT a.emp_no FROM (
SELECT e.emp_no FROM employees e WHERE e.emp_no BETWEEN 10001 AND 11000 LIMIT 1000
) a
) e ON t1.emp_no = e.emp_no limit 5
执行计划如下
limit3.png