故障分析 | MySQL 相同 SQL 不同环境执行时间不一样案例分析

作者：付祥

现居珠海，主要负责 Oracle、MySQL、mongoDB 和 Redis 维护工作。

本文来源：原创投稿

*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

1、问题现象

开发反馈同一条SQL在qa环境执行需要0.1s,而在dev环境需要0.3~0.5s，SQL如下：

SELECT machine.id,
       machine.asset_number,
       machine.sn,
       machine.state,
       machine.idc_id,
       machine.cabinet_id,
       machine.cabinet_order,
       machine.unit_size,
       machine.brand_model,
       machine.buy_time,
       machine.expiration_time,
       machine.warranty,
       machine.renewstart_time,
       machine.renewend_time,
       machine.warranty_company_id,
       machine.renewal_type,
       machine.check_hardware,
       machine.machine_purchase_price,
       machine.tags,
       machine.memo,
       machine.cpu_core_count,
       machine.cpu_model,
       machine.cpu_count,
       machine.memory_count,
       machine.memory_size,
       machine.wire_standard,
       machine.disk_num,
       machine.netcard_total_count,
       machine.netcard_1g,
       machine.netcard_10g,
       machine.os_version,
       machine.kernel_version,
       machine.raid,
       machine.power,
       machine.firmware,
       machine.manage_card_ip,
       machine.hostname,
       machine.private_mac,
       machine.public_mac,
       machine.private_ip,
       machine.public_ip,
       machine.other_ips,
       machine.create_time,
       machine.update_time,
       machine.creator,
       machine.updater,
       machine.delete_flag,
       machine.disk_desc_id,
       res.id res_id,
       res.owner_company_code,
       res.owner_company_name,
       res.project_id,
       res.project_group_id,
       res.sub_project_id,
       res.finance_product_id,
       res.finance_product_name,
       res.sub_project_name,
       res.admin_id,
       res.admin_name,
       res.owner_id,
       res.owner_name,
       2 AS resource_type,
       res.resource_id,
       res.machine_usage_types,
       res.machine_usage_names,
       cdl1.display AS check_hardware_name,
       cdl2.display AS state_name,
       cdl3.display AS brand_model_name,
       cdl4.display AS renewal_type_name,
       cdl5.display AS power_name,
       cdl6.display AS unit_size_name,
       cec.company_name AS warranty_company_name,
       cc.serial_number AS cabinet_name,
       ci.name AS idc_name,
       dd.disk_desc AS disk_desc_name,
       machine.virtual_ip,
       machine.qingteng_binded,
       machine.qingteng_id,
       machine.remark
  FROM CMDB_PHYSICAL_MACHINE machine
  LEFT JOIN cmdb_dropdown_list cdl1
    ON (machine.check_hardware=cdl1.code and cdl1.type="HardwareCheck")
  LEFT JOIN cmdb_dropdown_list cdl2
    ON (machine.state=cdl2.code and cdl2.type="DeviceStatus")
  LEFT JOIN cmdb_dropdown_list cdl3
    ON (machine.brand_model=cdl3.code and cdl3.type="BrandModels")
  LEFT JOIN cmdb_dropdown_list cdl4
    ON (machine.renewal_type=cdl4.code and cdl4.type="RenewalType")
  LEFT JOIN cmdb_dropdown_list cdl5
    ON (machine.power=cdl5.code and cdl5.type="PowerInfo")
  LEFT JOIN cmdb_dropdown_list cdl6
    ON (machine.unit_size=cdl6.code and cdl6.type="UnitSize")
  LEFT JOIN cmdb_external_company cec
    ON (machine.warranty_company_id=cec.id)
  LEFT JOIN cmdb_cabinet cc
    ON (machine.cabinet_id=cc.id)
  LEFT JOIN cmdb_disk_desc dd
    ON (machine.disk_desc_id=dd.id)
 inner JOIN cmdb_idc ci
    ON (machine.idc_id=ci.id and ci.delete_flag=0)
  left join cmdb_resource_group res
    on (machine.id = res.resource_id and res.resource_type = 2)
 where 1=1
   AND machine.delete_flag=0
 order by id desc
 LIMIT 0,30

2、分析

查看SQL执行计划，发现2个环境执行计划不一样，导致执行效率不同。

qa环境SQL执行计划：

+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+-------------+
| id | select_type | table   | partitions | type   | possible_keys               | key           | key_len | ref                              | rows | filtered | Extra       |
+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+-------------+
|  1 | SIMPLE      | machine | NULL       | index  | NULL                        | PRIMARY       | 4       | NULL                             |    1 |    10.00 | Using where |
|  1 | SIMPLE      | cdl1    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    3 |   100.00 | Using where |
|  1 | SIMPLE      | cdl2    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    9 |   100.00 | Using where |
|  1 | SIMPLE      | ci      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.idc_id              |    1 |    10.00 | Using where |
|  1 | SIMPLE      | res     | NULL       | eq_ref | resource_id,idx_resource_id | resource_id   | 5       | omms.machine.id,const            |    1 |   100.00 | NULL        |
|  1 | SIMPLE      | cdl3    | NULL       | ref    | idx_type_code               | idx_type_code | 124     | const,omms.machine.brand_model   |    1 |   100.00 | Using where |
|  1 | SIMPLE      | cdl4    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    3 |   100.00 | Using where |
|  1 | SIMPLE      | cdl5    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    2 |   100.00 | Using where |
|  1 | SIMPLE      | cdl6    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |   10 |   100.00 | Using where |
|  1 | SIMPLE      | cec     | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.warranty_company_id |    1 |   100.00 | Using where |
|  1 | SIMPLE      | cc      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.cabinet_id          |    1 |   100.00 | NULL        |
|  1 | SIMPLE      | dd      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.disk_desc_id        |    1 |   100.00 | NULL        |
+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+-------------+
12 rows in set, 1 warning (0.01 sec)

dev环境SQL执行计划：

+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+----------------------------------------------------+
| id | select_type | table   | partitions | type   | possible_keys               | key           | key_len | ref                              | rows | filtered | Extra                                              |
+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+----------------------------------------------------+
|  1 | SIMPLE      | ci      | NULL       | ALL    | PRIMARY                     | NULL          | NULL    | NULL                             |    8 |    12.50 | Using where; Using temporary; Using filesort       |
|  1 | SIMPLE      | machine | NULL       | ALL    | NULL                        | NULL          | NULL    | NULL                             | 1976 |     1.00 | Using where; Using join buffer (Block Nested Loop) |
|  1 | SIMPLE      | res     | NULL       | eq_ref | resource_id,idx_resource_id | resource_id   | 5       | omms.machine.id,const            |    1 |   100.00 | NULL                                               |
|  1 | SIMPLE      | cdl1    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    3 |   100.00 | Using where                                        |
|  1 | SIMPLE      | cdl2    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    9 |   100.00 | Using where                                        |
|  1 | SIMPLE      | cdl3    | NULL       | ref    | idx_type_code               | idx_type_code | 124     | const,omms.machine.brand_model   |    1 |   100.00 | Using where                                        |
|  1 | SIMPLE      | cdl4    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    3 |   100.00 | Using where                                        |
|  1 | SIMPLE      | cdl5    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    2 |   100.00 | Using where                                        |
|  1 | SIMPLE      | cdl6    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |   10 |   100.00 | Using where                                        |
|  1 | SIMPLE      | cec     | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.warranty_company_id |    1 |   100.00 | Using where                                        |
|  1 | SIMPLE      | cc      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.cabinet_id          |    1 |   100.00 | NULL                                               |
|  1 | SIMPLE      | dd      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.disk_desc_id        |    1 |   100.00 | NULL                                               |
+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+----------------------------------------------------+

其中，qa环境选择machine作为驱动表，ci作为被驱动表，ci.id有主键索引，故表关联采用Index Nested Loop 算法，并利用主键索引有序性避免了排序，这里驱动表machine基数为1，实际上应该为30，而dev环境选择ci作为驱动表，machine是被驱动表，由于machine.idc_id列无索引，故表关联采用Block Nested Loop算法，且需要排序，导致了SQL执行效率不一样。

为何相同SQL不同环境执行计划不一样，带着这个疑问做了如下操作：

2.1、检查表、索引、数据分布

结果：基本一致

2.2、重新收集统计信息

     结果：重新收集了dev环境表machine、ci统计信息，还是同样执行计划。

2.3、数据库版本

结果：qa环境为5.7.34，dev环境为5.7.25，会不会因为版本差异，查看了参数optimizer_switch，发现5.7.34多了一个选项：prefer_ordering_index=on，官方文档解释如下：

Controls whether, in the case of a query having an ORDER BY or GROUP BY with a LIMIT clause, the optimizer tries to use an ordered index instead of an unordered index, a filesort, or some other optimization. This optimzation is performed by default whenever the optimizer determines that using it would allow for faster execution of the query.

Because the algorithm that makes this determination cannot handle every conceivable case (due in part to the assumption that the distribution of data is always more or less uniform), there are cases in which this optimization may not be desirable. Prior to MySQL 5.7.33, it ws not possible to disable this optimization, but in MySQL 5.7.33 and later, while it remains the default behavior, it can be disabled by setting the prefer_ordering_index flag to off.

当参数prefer_ordering_index为on，order by 带有limit时，优化器倾向于使用索引去避免排序，5.7.33以前默认就是打开的，5.7.33以后可以关闭。似乎也排除了版本差异，但心有不甘，抱着试试看态度把dev环境升级到了5.7.34，果然和版本差异无关，还是同样执行计划。

2.4、STRAIGHT_JOIN人工干预执行计划

通过STRAIGHT_JOIN提示选择machine作为驱动表，利用其主键索引有序性避免排序

SELECT ......省略输出......
 STRAIGHT_JOIN cmdb_idc ci
    ON (machine.idc_id=ci.id and ci.delete_flag=0)
  left join cmdb_resource_group res
    on (machine.id = res.resource_id and res.resource_type = 2)
 where 1=1
   AND machine.delete_flag=0
 order by id desc
 LIMIT 0,30


+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+-------------+
| id | select_type | table   | partitions | type   | possible_keys               | key           | key_len | ref                              | rows | filtered | Extra       |
+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+-------------+
|  1 | SIMPLE      | machine | NULL       | index  | NULL                        | PRIMARY       | 4       | NULL                             |    1 |    10.00 | Using where |
|  1 | SIMPLE      | res     | NULL       | eq_ref | resource_id,idx_resource_id | resource_id   | 5       | omms.machine.id,const            |    1 |   100.00 | NULL        |
|  1 | SIMPLE      | cdl1    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    3 |   100.00 | Using where |
|  1 | SIMPLE      | cdl2    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    9 |   100.00 | Using where |
|  1 | SIMPLE      | cdl3    | NULL       | ref    | idx_type_code               | idx_type_code | 124     | const,omms.machine.brand_model   |    1 |   100.00 | Using where |
|  1 | SIMPLE      | cdl4    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    3 |   100.00 | Using where |
|  1 | SIMPLE      | cdl5    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    2 |   100.00 | Using where |
|  1 | SIMPLE      | cdl6    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |   10 |   100.00 | Using where |
|  1 | SIMPLE      | cec     | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.warranty_company_id |    1 |   100.00 | Using where |
|  1 | SIMPLE      | cc      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.cabinet_id          |    1 |   100.00 | NULL        |
|  1 | SIMPLE      | dd      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.disk_desc_id        |    1 |   100.00 | NULL        |
|  1 | SIMPLE      | ci      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.idc_id              |    1 |    12.50 | Using where |
+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+-------------+
12 rows in set, 1 warning (0.00 sec)

这样虽然能解决问题，但是解决问题的方式并不优雅。

2.5、分析SQL、改写SQL

为了排除干扰，将无关紧要left join表去掉，简化SQL如下：

      SELECT *
      FROM CMDB_PHYSICAL_MACHINE machine
      JOIN cmdb_idc ci 
        ON (machine.idc_id=ci.id and ci.delete_flag=0)
     where 1=1
       AND machine.delete_flag=0
     order by machine.id desc
     LIMIT 0,30;

dev和qa环境执行计划一致：

root@3306 omms>  explain SELECT *
    ->       FROM CMDB_PHYSICAL_MACHINE machine
    ->       JOIN cmdb_idc ci 
    ->         ON (machine.idc_id=ci.id and ci.delete_flag=0)
    ->      where 1=1
    ->        AND machine.delete_flag=0
    ->      order by machine.id desc
    ->      LIMIT 0,30;
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
| id | select_type | table   | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                                              |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
|  1 | SIMPLE      | machine | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 2087 |    10.00 | Using where; Using temporary; Using filesort       |
|  1 | SIMPLE      | ci      | NULL       | ALL  | PRIMARY       | NULL | NULL    | NULL |   21 |     4.76 | Using where; Using join buffer (Block Nested Loop) |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
2 rows in set, 1 warning (0.00 sec)

虽然选择machine作为驱动表，但是却选择了Block Nested Loop算法，也产生了排序，仔细分析SQL，其实条件ci.delete_flag=0是多余的，因为有效的机器所在机房一定是有效的，可以去跟开发核实，这个条件可以去掉，正是因为这个条件影响了驱动表选择，使得执行计划不稳定，将ci.delete_flag=0去掉后执行计划：

root@3306 omms>  explain SELECT *
    ->       FROM CMDB_PHYSICAL_MACHINE machine
    ->       JOIN cmdb_idc ci 
    ->         ON (machine.idc_id=ci.id)
    ->      where 1=1
    ->        AND machine.delete_flag=0
    ->      order by machine.id desc
    ->      LIMIT 0,30;
+----+-------------+---------+------------+--------+---------------+---------+---------+---------------------+------+----------+-------------+
| id | select_type | table   | partitions | type   | possible_keys | key     | key_len | ref                 | rows | filtered | Extra       |
+----+-------------+---------+------------+--------+---------------+---------+---------+---------------------+------+----------+-------------+
|  1 | SIMPLE      | machine | NULL       | index  | NULL          | PRIMARY | 4       | NULL                |   30 |    10.00 | Using where |
|  1 | SIMPLE      | ci      | NULL       | eq_ref | PRIMARY       | PRIMARY | 4       | omms.machine.idc_id |    1 |   100.00 | NULL        |
+----+-------------+---------+------------+--------+---------------+---------+---------+---------------------+------+----------+-------------+
2 rows in set, 1 warning (0.01 sec)

原始SQL，去掉ci.delete_flag=0条件后执行计划如下：

root@3306 omms> explain SELECT machine.id,
    ......省略输出......
    ->  inner JOIN cmdb_idc ci
    ->     ON (machine.idc_id=ci.id)
    ->   left join cmdb_resource_group res
    ->     on (machine.id = res.resource_id and res.resource_type = 2)
    ->  where 1=1
    ->    AND machine.delete_flag=0
    ->  order by id desc
    ->  LIMIT 0,30;
+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+-------------+
| id | select_type | table   | partitions | type   | possible_keys               | key           | key_len | ref                              | rows | filtered | Extra       |
+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+-------------+
|  1 | SIMPLE      | machine | NULL       | index  | NULL                        | PRIMARY       | 4       | NULL                             |    1 |    10.00 | Using where |
|  1 | SIMPLE      | ci      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.idc_id              |    1 |   100.00 | NULL        |
|  1 | SIMPLE      | res     | NULL       | eq_ref | resource_id,idx_resource_id | resource_id   | 5       | omms.machine.id,const            |    1 |   100.00 | NULL        |
|  1 | SIMPLE      | cdl1    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    3 |   100.00 | Using where |
|  1 | SIMPLE      | cdl2    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    9 |   100.00 | Using where |
|  1 | SIMPLE      | cdl3    | NULL       | ref    | idx_type_code               | idx_type_code | 124     | const,omms.machine.brand_model   |    1 |   100.00 | Using where |
|  1 | SIMPLE      | cdl4    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    3 |   100.00 | Using where |
|  1 | SIMPLE      | cdl5    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |    2 |   100.00 | Using where |
|  1 | SIMPLE      | cdl6    | NULL       | ref    | idx_type_code               | idx_type_code | 62      | const                            |   10 |   100.00 | Using where |
|  1 | SIMPLE      | cec     | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.warranty_company_id |    1 |   100.00 | Using where |
|  1 | SIMPLE      | cc      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.cabinet_id          |    1 |   100.00 | NULL        |
|  1 | SIMPLE      | dd      | NULL       | eq_ref | PRIMARY                     | PRIMARY       | 4       | omms.machine.disk_desc_id        |    1 |   100.00 | NULL        |
+----+-------------+---------+------------+--------+-----------------------------+---------------+---------+----------------------------------+------+----------+-------------+
12 rows in set, 1 warning (0.01 sec)

3、总结

书写SQL时，心里要明白哪种执行计划是最优的，比如多张表关联时，是否可以适当利用标量子查询、排除干扰驱动表选择因素，使执行计划简单稳定。

你可能感兴趣的:(sql优化)

  • mysql中必知的sql优化及索引优化 程序员bling 数据库sqlmysql数据库
    文章目录利用联合索引(索引覆盖)减少回表利用索引的有序性减少server层排序使用自增字段作主键优化查询mysql联合索引失效的特殊情况数据库事务的四大特性是如何实现的使用逻辑关联代替物理关联利用联合索引(索引覆盖)减少回表假如我们现在有一个student表,有主键id,name,age,address,sex等字段.其中name字段建了一个普通索引.当我们执行以下sql时:selectname,
  • MYSQL数据库进阶篇——SQL优化 Cedric_Anik MySQL数据库数据库mysqlsql
    1.插入数据优化①批量插入数据②手动提交事务③主键顺序插入大批量插入数据：2.主键优化数据组织方式页分裂：页可以为空，也可以填充一半，也可以填满，每个页包含2-N行数据，如果一行数据过大，就会行溢出。例如：页合并当删除一行数据时，实际记录并没有被物理删除，只是记录被标记为删除，并且它的空间变得允许被其他记录声明使用MERGE_THRESHOLD:合并页的阈值，在创建表或者创建索引时指定。主键设计原
  • mysql优化案例 纯demo案例 sql写法优化 不包含索引优化等 pingzhuyan #mysql专项mysqlsql数据库java
    全文目录,一步到位1.前言简介2.sql优化案例(持续填充)2.1casewhenthen里面查询多表的2.1.1原sql2.1.2优化后的sql2.22.2.12.2.22.32.3.12.3.22.42.4.12.4.23.文章的总结与预告3.1本文总结3.2下文预告1.前言简介sql优化案例:测试草稿篇感觉可以优化的记录做过测试的会标记记录而已参考价值如有错误请指出谢谢2.sql优化案例(持
  • （Java企业 / 公司项目）高频SQL优化的几种方式 全能技术师 Java企业/公司项目知识点数据库Javamysqlsql
    1.避免使用selec在实际业务场景中，可能我们真正需要使用的只有其中一两列。但我们写sql语句时，为了方便，喜欢直接使用select*，一次性查出表中所有列的数据。多查出来的数据，通过网络IO传输的过程中，也会增加数据传输的时间。还有一个最重要的问题是：select*不会走覆盖索引，会出现大量的回表操作，而从导致查询sql的性能很低。2.小表驱动大表小表驱动大表，即用小表的数据集驱动大表的数据集
  • MySQL高级篇（SQL优化、索引优化、锁机制、主从复制）_mysql sql优化 2401_85154737 mysqlsql数据库
    3索引介绍3.1索引是什么MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构（索引的本质是数据结构，排序+查询两种功能）。索引的目的在于提高查询效率，可以类比字典。如果要查“mysql”这个单词，我们肯定需要定位到m字母，然后从下往下找到y字母，再找到剩下的sql。如果没有索引，那么你可能需要逐个逐个寻找，如果我想找到Java开头的单词呢？或者Oracle开头的
  • 第十七章 总结与延申：从无心讹传到洞若观火 张小邪倒斗中 《收获不止SQL优化》笔记oracle数据库sql
    参考《收获，不止SQL优化》作者:梁敬彬/梁敬弘质疑探索比学习更重要！！！一、网上的优化方法，有些是错的，有些已过时，要自己动手验证过。所以构造环境，出验证脚本，就要仔细思考如何才能得到尽量准确的试验结果。（比如保证数据量，不统计首次执行的硬解析时间、多次执行取平均值对比效率等等）二、只要你觉得不流畅，用户体验不好，都是有问题的。有些是提供的方法本身就不是最佳的，有些高版本已经做过优化了，有些确实
  • 用合适的索引避免不必要的全表扫描 数字天下 oracle索引全表扫描
    Oracle数据库里大部分SQL优化的问题都可以增加或减少索引的方式来解决，但这绝不是全部。当目标SQL语句所要查询的只是目标表中的一部分数据时，通过创建合适的索引就能够避免在没有索引的情况下为查询这一小部分数据而不得不采用全表扫描的操作，这样就降低了目标SQL语句的资源消耗，同时也会缩短了执行时间。创建一张测试表及创建一个普通的单键值B树索引：复制代码复制代码SQL>createtablet1a
  • Mysql复杂查询语句的优化，你会怎么做？ 码农专业搬运工
    复杂SQL优化方案：1，使用EXPLAIN关键词检查SQL。EXPLAIN可以帮你分析你的查询语句或是表结构的性能瓶颈，EXPLAIN的查询结果显示帮你分析你的索引主键被如何利用的，你的数据表是如何被搜索和排序的，是否有全表扫描等；2，查询的条件尽量使用索引字段，如某一个表有多个条件，就尽量使用复合索引查询，复合索引使用要注意字段的先后顺序。3，多表关联尽量用join，减少子查询的使用。表的关联字
  • 不一样的SQL优化 一键三联鸭~ sql数据库
    基本情况：1：数据库是oracal2：库里查询完的数据为2700W条3：上线之后查询时间为12分钟+4：初次优化之后仍然有10S（太久了）优化思考1：上线上线之后，SQL一直转圈。实施找到我经研究，为A表没有索引所致+索引2：生产环境二次测试+索引之后，情况好了很多速度快了六七十倍但仍然过九3：现状用户进来必定会执行一次无条件查询（全表扫描）涉及2700W条数据4：慎重决定用户进入页面之后，不再做
  • Mysql-慢SQL的处理以及SQL优化 只吹45°风 mysqlmysql慢SQLSQL优化
    前言开发过程中，从日志或者链路追踪中，我们可以统计和观察到慢SQL的存在，那么慢SQL需要如何去考虑以及修改呢？考虑：1、是否使用索引、是否load过多不需要的数据、数据库数据过多命中索引，尽量使用合适的索引重写SQL，查询的字段尽量精准，where过滤条件越精准的往前放清除老数据，优化表结构2、表结构的修改：通过添加冗余字段来减少join操作诚然，对于发现和处理慢SQL是必要的，可以提升系统的效
  • oracle大数据量查询sql优化 雪夜明月 数据库oracle
    纯手打，编辑工具用的不熟练，格式不会整，见谅，严禁抄袭！数据库版本19c，数据量>5亿1.查询强行指定索引在查询时，oracle会对sql进行优化，但有时，优化后，会不走索引造成查询速度过慢，比如使用模糊匹配，或者查询使用到了联合索引，却未使用联合索引的第一个字段作为查询条件。造成索引失效的方式很多，不再赘述。写法：select/*+index(表名索引名)*/字段1,字段2from表2.如果为分
  • 大数据量sql优化 菜鸟小学弟 sql数据库
    说明：表里有406243206多数据，每天需要捞出100万的数据进行处理。条件有day_id,sub,…等相关条件，表中已经建立了联合索引，但还是会出现慢sql，sql运行时常10多s的都有。优化方案：1、先根据条件查询出最大的ID，和最小的IDselectIDfromxxxwheredata_day_id=#{dayId}andsub_biz_type=#{subBizType}andflow_
  • MYSQL优化相关 peanut___
    mysql优化3大方向：优化mysql所在服务器内核（运维完成）对mysql配置参数进行优化（my.cnf），此优化需要进行压力测试进行参数调整建表时的优化对sql语句的优化一、mysql参数优化mysql默认最大连接数为100，查看命令：showvariableslike'max_connections';（该机器最大连接数）设置最大连接数setglobalmax_connections=100
  • 一文读懂MySQL执行计划 Explain liuxuquan_ 数据库后端sqlmysqlspringspringboot
    MySQL执行计划Explain文章相关示例执行基于MySQL(8.0.13)版本定义官方文档描述的定义如下：Thesetofoperationsthattheoptimizerchoosestoperformthemostefficientqueryiscalledthe“queryexecutionplan”,alsoknownastheEXPLAINplan.MySQL优化器选择执行最有效的
  • 慢sql问题解决，sql优化，数据库（mysql） 北风toto 个人笔记数据库sqlmysql
    文章目录1、count效率比较2、作者遇到的慢sql问题2.1、使用排序导致变慢问题2.2、使用LEFTJOIN导致索引失效的问题2.3、子查询导致索引失效3、explain命令介绍4、阿里云rds数据库（mysql的一种）主键索引查询很慢问题参考文档1、count效率比较所以结论是：按照效率排序的话，count(字段)
  • SparkSQL优化查询性能的方法 大数据海中游泳的鱼 Spark大数据优化spark大数据
    一、PySpark如何提高程序的运行效率和性能PySpark的运行效率和性能受到多个因素的影响，包括数据大小、算法复杂度、硬件资源等。以下是一些提高PySpark程序运行效率和性能的方法：1.使用DataFrame而不是RDDDataFrame比RDD更高效，因为它们使用了更为优化的二进制编码格式和查询引擎。如果可能，尽量使用DataFrame而不是RDD。2.使用广播变量（BroadcastVa
  • 大数据计算-SQL优化手段(CBO)-以Flink为例 wending-Y Flink入门到实践大数据sqlflink
    文章目录背景理论知识示例结果展示结果解释背景大数据计算中，SQL生成的执行计划第一轮会经过固定规则的优化，第二轮会根据原计划，生成多条结合成本的的执行计划，根据cost进行排序，选出最优的执行计划。理论知识原始计划如左图，有三种执行方案方案1，scan表1，scan表2，然后hash，再join方案2，scan表1，scan表2，然后broadcast表1，再join方案2，scan表1，scan
  • mysql group by 无效,MYSQL5.7版本 排序后groupby无效 仙女弱弱 mysqlgroupby无效
    遇到问题：子查询orderby后，groupby数据无效需求：取test表中创建时间最近的所有去重名称：SELECT*FROM(SELECT*FROMtestORDERBYcreate_timeDESC)tGROUPBYt.name发现问题：MYSQL5.7之前版本测试，上述SQL可满足需求。5.7之后版本无效，MYSQL优化器过滤掉了orderby，通过EXPLAIN，不难发现，缺少一个DERI
  • MySQL 8.0 的 SQL 优化建议 lzyever mysqlsql性能优化
    MySQL8.0的SQL优化是一个涉及多个方面的过程，旨在提高查询性能、减少资源消耗和增强数据库的整体响应能力。以下是一些针对MySQL8.0的SQL优化建议：使用EXPLAIN分析查询使用EXPLAIN关键字分析查询的执行计划，找出可能的性能瓶颈。检查查询是否使用了正确的索引。查看查询是否涉及全表扫描，如果是，考虑添加或优化索引。优化索引为经常用于搜索、排序和连接的列创建索引。避免在索引列上使用
  • MySQL索引优化分析 JBryan
    1、SQL性能下降的原因数据太多：考虑分库分表关联了太多的表：SQL优化没有充分利用到索引：建立索引服务器调优及各个参数设置：调整my.cnf2、索引简介除了数据本身之外，数据库还维护着一个满足特定查找算法的数据结构，这些数据结构以某种方式指向数据，这样就可以在这些数据结构的基础上实现高级查找算法，这种数据结构就是索引。优势：提高数据检索的效率，降低数据库的IO成本；通过索引列对数据进行排序，降低
  • 【金三银四】Mysgl优化了解？什么情况下会导致SQL索引失效？如何写出高效SQL与优化慢SQL 鄒彬 sql数据库
    Mysgl优化MySQL优化是指对MySQL数据库的配置、表设计、查询语句等进行针对性的优化，以提高数据库的性能和效率。这包括但不限于合理设计数据库表结构、编写高效的SQL查询语句、创建合适的索引以及调整数据库服务器的参数等。当MySQL单表记录数过大时，性能下降是一个常见问题。这是因为随着数据量的增加，数据库在执行增删改查操作时需要处理更多的数据。当涉及到MySQL数据库优化时，可以从以下几个方
  • 工作中SQL优化实例1 换煤气哥哥
    CREATETABLE`c_done_code`(`done_code`bigint(20)NOTNULLAUTO_INCREMENTCOMMENT'业务流水号',`login_sn`bigint(20)DEFAULTNULLCOMMENT'登陆流水号(从服务端session信息中提取)',`busi_code`int(11)DEFAULTNULLCOMMENT'业务编号',`user_id`in
  • MySQL-七种SQL优化 zhengshuangyue mysqlsql数据库
    一、插入数据普通插入：采用批量插入（一次插入的数据不建议超过1000条）insertintotb_testvalues(1,'Tom'),(3,'Cat'),(3,'Jerry')....手动提交事务starttransaction;insertintotb_testvalues(1,'Tom'),(3,'Cat'),(3,'Jerry');insertintotb_testvalues(4,'T
  • 读TiDB源码聊设计：浅析HTAP的SQL优化器 tidbgo性能优化分布式系统
    版本日期备注1.02024.2.18文章首发本文的的源码分析全部基于TiDB6.5来做分析。1.引子如果让你做一个分布式数据库的优化器，面对以下的SQL，你会想到什么好的方法去执行他们呢？SELECTid,nameFROMpersonWHEREage>=18orheight>180limit100;：从条件上看，我们看到条件其实是二选一的：age>=18orheight>180。基于这种情况，我们
  • Mysql Day06 临渊羡鱼的猫 mysql
    sql优化插入数据大批量插入数据主键顺序插入性能高于乱序插入loaddatalocalinfile'/root/load_user_100w_sort.sql'intotabletb_userfieldsterminatedby','linesterminatedby'\n';主键优化这个黄色的都是一个一个Page主键乱序插入之后会变成1-3-2，又开辟新页又要改变指针顺序当页中删除的记录达到ME
  • MySQL篇之SQL优化 学java的冲鸭 mysqlsql数据库面试
    一、表的设计优化表的设计优化（参考阿里开发手册《嵩山版》）：1.比如设置合适的数值（tinyintintbigint），要根据实际情况选择。2.比如设置合适的字符串类型（char和varchar）char定长效率高，varchar可变长度，效率稍低。二、SQL语句优化1.SELECT语句务必指明字段名称（避免直接使用select*）。2.SQL语句要避免造成索引失效的写法。3.尽量用unional
  • 读TiDB源码聊设计：浅析HTAP的SQL优化器 tidbgo性能优化分布式系统
    版本日期备注1.02024.2.18文章首发本文的的源码分析全部基于TiDB6.5来做分析。1.引子如果让你做一个分布式数据库的优化器，面对以下的SQL，你会想到什么好的方法去执行他们呢？SELECTid,nameFROMpersonWHEREage>=18orheight>180limit100;：从条件上看，我们看到条件其实是二选一的：age>=18orheight>180。基于这种情况，我们
  • 【Mysql优化】 橘子-青衫 mysql数据库
    目录前言1.在Mysql中，如何定位慢查询？2.那这条SQL语句执行的很慢，如何分析（优化）呢？3.了解过索引吗？（什么是索引？）4.索引的底层结构了解过吗？5.B树和B+树的区别是什么呢?6.什么是聚簇索引，什么是非聚簇索引？（什么是聚集索引，什么是二级索引？）7.知道什么是回表查询嘛?8.知道什么叫覆盖索引嘛?9.Mysql超大分页怎么处理?10.索引创建原则有哪些?11.什么情况下索引会失效
  • MySQL-SQL优化10大最经典案例详解 头顶假发 Java程序员编程mysql数据库java
    前言在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多SQL语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的SQL就是整个系统性能的瓶颈。SQL优化一般步骤1、通过慢查日志等定位那些执行效率较低的SQL语句2、explain分析SQL的执行计划需要重点关注type、rows、filtered、extra。type由上至下，效率越来越高AL
  • SQL优化 badwomanPPPPPard0 MySQLmysql数据库
    1.定位慢查询一个SQL语句很慢，如何分析索引聚簇索引覆盖索引超大分页处理索引创建的原则索引失效SQL优化经验
  • 关于旗正规则引擎规则中的上传和下载问题 何必如此 文件下载压缩jsp文件上传
    文件的上传下载都是数据流的输入输出，大致流程都是一样的。 一、文件打包下载 1.文件写入压缩包 string mainPath="D:\upload\";     下载路径 string tmpfileName=jar.zip;        &n
  • 【Spark九十九】Spark Streaming的batch interval时间内的数据流转源码分析 bit1129 Stream
      以如下代码为例（SocketInputDStream）： Spark Streaming从Socket读取数据的代码是在SocketReceiver的receive方法中，撇开异常情况不谈(Receiver有重连机制，restart方法，默认情况下在Receiver挂了之后，间隔两秒钟重新建立Socket连接)，读取到的数据通过调用store(textRead)方法进行存储。数据
  • spark master web ui 端口8080被占用解决方法 daizj 8080端口占用sparkmaster web ui
    spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：   1、cd SPARK_HOME/sbin   2、vi start-master.sh     3、定位到下面部分
  • oracle_执行计划_谓词信息和数据获取 周凡杨 oracle执行计划
      oracle_执行计划_谓词信息和数据获取(上) 一：简要说明 在查看执行计划的信息中，经常会看到两个谓词filter和access，它们的区别是什么，理解了这两个词对我们解读Oracle的执行计划信息会有所帮助。 简单说，执行计划如果显示是access，就表示这个谓词条件的值将会影响数据的访问路径（表还是索引），而filter表示谓词条件的值并不会影响数据访问路径，只起到
  • spring中datasource配置 g21121 dataSource
    datasource配置有很多种，我介绍的一种是采用c3p0的，它的百科地址是： http://baike.baidu.com/view/920062.htm   <!-- spring加载资源文件 --> <bean name="propertiesConfig" class="org.springframework.b
  • web报表工具FineReport使用中遇到的常见报错及解决办法（三） 老A不折腾 finereportFAQ报表软件
    这里写点抛砖引玉，希望大家能把自己整理的问题及解决方法晾出来，Mark一下，利人利己。   出现问题先搜一下文档上有没有，再看看度娘有没有，再看看论坛有没有。有报错要看日志。下面简单罗列下常见的问题，大多文档上都有提到的。 1、repeated column width is largerthan paper width： 这个看这段话应该是很好理解的。比如做的模板页面宽度只能放
  • mysql 用户管理 墙头上一根草 linuxmysqluser
    1.新建用户 //登录MYSQL@>mysql -u root -p@>密码//创建用户mysql> insert into mysql.user(Host,User,Password) values(‘localhost’,'jeecn’,password(‘jeecn’));//刷新系统权限表mysql>flush privileges;这样就创建了一个名为：
  • 关于使用Spring导致c3p0数据库死锁问题 aijuans springSpring 入门Spring 实例Spring3Spring 教程
    这个问题我实在是为整个 springsource 的员工蒙羞 如果大家使用 spring 控制事务，使用 Open Session In View 模式， com.mchange.v2.resourcepool.TimeoutException: A client timed out while waiting to acquire a resource from com.mchange.
  • 百度词库联想 annan211 百度
    <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <title>RunJS</title&g
  • int数据与byte之间的相互转换实现代码 百合不是茶 位移int转bytebyte转int基本数据类型的实现
    在BMP文件和文件压缩时需要用到的int与byte转换,现将理解的贴出来;   主要是要理解;位移等概念 http://baihe747.iteye.com/blog/2078029   int转byte;   byte转int;   /** * 字节转成int,int转成字节 * @author Administrator *
  • 简单模拟实现数据库连接池 bijian1013 javathreadjava多线程简单模拟实现数据库连接池
    简单模拟实现数据库连接池 实例1： package com.bijian.thread; public class DB { //private static final int MAX_COUNT = 10; private static final DB instance = new DB(); private int count = 0; private i
  • 一种基于Weblogic容器的鉴权设计 bijian1013 javaweblogic
            服务器对请求的鉴权可以在请求头中加Authorization之类的key，将用户名、密码保存到此key对应的value中，当然对于用户名、密码这种高机密的信息，应该对其进行加砂加密等，最简单的方法如下： String vuser_id = "weblogic"; String vuse
  • 【RPC框架Hessian二】Hessian 对象序列化和反序列化 bit1129 hessian
     任何一个对象从一个JVM传输到另一个JVM，都要经过序列化为二进制数据(或者字符串等其他格式，比如JSON)，然后在反序列化为Java对象，这最后都是通过二进制的数据在不同的JVM之间传输(一般是通过Socket和二进制的数据传输)，本文定义一个比较符合工作中。   1. 定义三个POJO    Person类 package com.tom.hes
  • 【Hadoop十四】Hadoop提供的脚本的功能 bit1129 hadoop
    1. hadoop-daemon.sh 1.1 启动HDFS ./hadoop-daemon.sh start namenode ./hadoop-daemon.sh start datanode  通过这种逐步启动的方式，比start-all.sh方式少了一个SecondaryNameNode进程，这不影响Hadoop的使用，其实在 Hadoop2.0中，SecondaryNa
  • 中国互联网走在“灰度”上 ronin47 管理 灰度
    中国互联网走在“灰度”上（转） 文/孕峰   第一次听说灰度这个词，是任正非说新型管理者所需要的素质。第二次听说是来自马化腾。似乎其他人包括马云也用不同的语言说过类似的意思。   灰度这个词所包含的意义和视野是广远的。要理解这个词，可能同样要用“灰度”的心态。灰度的反面，是规规矩矩，清清楚楚，泾渭分明，严谨条理，是决不妥协，不转弯，认死理。黑白分明不是灰度，像彩虹那样
  • java-51-输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。 bylijinnan java
    public class PrintMatrixClockwisely { /** * Q51.输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。 例如：如果输入如下矩阵： 1 2 3 4 5 6 7 8 9
  • mongoDB 用户管理 开窍的石头 mongoDB用户管理
      1:添加用户    第一次设置用户需要进入admin数据库下设置超级用户（use admin）      db.addUsr({user:'useName',pwd:'111111',roles:[readWrite,dbAdmin]});    第一个参数用户的名字    第二个参数
  • [游戏与生活]玩暗黑破坏神3的一些问题 comsci 生活
        暗黑破坏神3是有史以来最让人激动的游戏。。。。但是有几个问题需要我们注意      玩这个游戏的时间，每天不要超过一个小时，且每次玩游戏最好在白天      结束游戏之后，最好在太阳下面来晒一下身上的暗黑气息，让自己恢复人的生气   &nb
  • java 二维数组如何存入数据库 cuiyadll java
    using System; using System.Linq; using System.Text; using System.Windows.Forms; using System.Xml; using System.Xml.Serialization; using System.IO; namespace WindowsFormsApplication1 {
  • 本地事务和全局事务Local Transaction and Global Transaction(JTA) darrenzhu javaspringlocalglobaltransaction
    Configuring Spring and JTA without full Java EE http://spring.io/blog/2011/08/15/configuring-spring-and-jta-without-full-java-ee/ Spring doc -Transaction Management http://docs.spring.io/spri
  • Linux命令之alias - 设置命令的别名，让 Linux 命令更简练 dcj3sjt126com linuxalias
    用途说明 设置命令的别名。在linux系统中如果命令太长又不符合用户的习惯，那么我们可以为它指定一个别名。虽然可以为命令建立“链接”解决长文件名的问 题，但对于带命令行参数的命令，链接就无能为力了。而指定别名则可以解决此类所有问题【1】。常用别名来简化ssh登录【见示例三】，使长命令变短，使常 用的长命令行变短，强制执行命令时询问等。   常用参数 格式：alias 格式：ali
  • yii2 restful web服务[格式响应] dcj3sjt126com PHPyii2
    响应格式 当处理一个 RESTful API 请求时， 一个应用程序通常需要如下步骤 来处理响应格式： 确定可能影响响应格式的各种因素， 例如媒介类型， 语言， 版本， 等等。 这个过程也被称为 content negotiation。 资源对象转换为数组， 如在 Resources 部分中所描述的。 通过 [[yii\rest\Serializer]]
  • MongoDB索引调优（2）——[十] eksliang mongodbMongoDB索引优化
    转载请出自出处：http://eksliang.iteye.com/blog/2178555 一、概述       上一篇文档中也说明了，MongoDB的索引几乎与关系型数据库的索引一模一样，优化关系型数据库的技巧通用适合MongoDB，所有这里只讲MongoDB需要注意的地方 二、索引内嵌文档     可以在嵌套文档的键上建立索引，方式与正常
  • 当滑动到顶部和底部时，实现Item的分离效果的ListView gundumw100 android
    拉动ListView，Item之间的间距会变大，释放后恢复原样； package cn.tangdada.tangbang.widget; import android.annotation.TargetApi; import android.content.Context; import android.content.res.TypedArray; import andr
  • 程序员用HTML5制作的爱心树表白动画 ini JavaScriptjqueryWebhtml5css
    体验效果：http://keleyi.com/keleyi/phtml/html5/31.htmHTML代码如下： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"><head><meta charset="UTF-8" > <ti
  • 预装windows 8 系统GPT模式的ThinkPad T440改装64位 windows 7旗舰版 kakajw ThinkPad预装改装windows 7windows 8
      该教程具有普遍参考性，特别适用于联想的机器，其他品牌机器的处理过程也大同小异。 该教程是个人多次尝试和总结的结果，实用性强，推荐给需要的人！   缘由 小弟最近入手笔记本ThinkPad T440，但是特别不能习惯笔记本出厂预装的Windows 8系统，而且厂商自作聪明地预装了一堆没用的应用软件，消耗不少的系统资源（本本的内存为4G，系统启动完成时，物理内存占用比
  • Nginx学习笔记 mcj8089 nginx
    一、安装nginx             1、在nginx官方网站下载一个包，下载地址是：  http://nginx.org/download/nginx-1.4.2.tar.gz      2、WinSCP(ftp上传工
  • mongodb 聚合查询每天论坛链接点击次数 qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    /* 18 */ { "_id" : ObjectId("5596414cbe4d73a327e50274"), "msgType" : "text", "sendTime" : ISODate("2015-07-03T08:01:16.000Z"
  • java术语（PO/POJO/VO/BO/DAO/DTO） Luob. DAOPOJODTOpoVO BO
    PO(persistant object) 持久对象 在o/r 映射的时候出现的概念,如果没有o/r映射,就没有这个概念存在了.通常对应数据模型(数据库),本身还有部分业务逻辑的处理.可以看成是与数据库中的表相映射的java对象.最简单的PO就是对应数据库中某个表中的一条记录,多个记录可以用PO的集合.PO中应该不包含任何对数据库的操作. VO(value object) 值对象 通
  • 算法复杂度 Wuaner Algorithm
    Time Complexity & Big-O： http://stackoverflow.com/questions/487258/plain-english-explanation-of-big-o http://bigocheatsheet.com/ http://www.sitepoint.com/time-complexity-algorithms/
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他