MySQL EXPLAIN 命令详解
MySQL的EXPLAIN命令用于SQL语句的查询执行计划(QEP)。这条命令的输出结果能够让我们了解MySQL 优化器是如何执行 SQL 语句的。这条命令并没有提供任何调整建议,但它能够提供重要的信息帮助你做出调优决策。
1 语法 MySQL 的EXPLAIN 语法可以运行在SELECT 语句或者特定表上。如果作用在表上,那么此命令等同于DESC 表命令。UPDATE 和DELETE 命令也需要进行性能改进,当这些命令不是直接在表的主码上运行时,为了确保最优化的索引使用率,需要把它们改 写成SELECT 语句(以便对它们执行EXPLAIN 命令)。请看下面的示例:
UPDATE table1
SET col1 = X, col2 = Y
WHERE id1 = 9
AND dt >= '2010-01-01' ;
这个UPDATE语句可以被重写成为下面这样的SELECT语句:
SELECT col1, col2
FROM table1
WHERE id1 = 9
AND dt >= '2010-01-01' ;
在5.6.10版本里面,是可以直接对dml语句进行explain分析操作的.
MySQL 优化器是基于开销来工作的,它并不提供任何的QEP的位置。这意味着QEP 是在每条SQL 语句执行的时候动态地计 算出来的。在MySQL 存储过程中的SQL 语句也是在每次执行时计算QEP 的。存储过程缓存仅仅解析查询树。
2 各列详解 MySQL EXPLAIN命令能够为SQL语句中的每个表生成以下信息:
mysql> EXPLAIN SELECT * FROM inventory WHERE item_id = 16102176\G;
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table : inventory
type: ALL
possible_keys: NULL
key : NULL
key_len: NULL
ref: NULL
rows : 787338
Extra: Using where
这个QEP 显示没有使用任何索引(也就是全表扫描)并且处理了大量的行来满足查询。对同样一条SELECT 语句,一个优化过的QEP 如下所示:
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table : inventory
type: ref
possible_keys: item_id
key : item_id
key_len: 4
ref: const
rows : 1
Extra:
在这个QEP 中,我们看到使用了一个索引,且估计只有一行数据将被获取。
QEP 中每个行的所有列表如下所示: id select_type table partitions(这一列只有在EXPLAIN PARTITIONS 语法中才会出现) possible_keys key key_len ref rows filtered(这一列只有在EXPLAINED EXTENDED 语法中才会出现) Extra
这些列展示了SELECT 语句对每一个表的QEP。一个表可能和一个物理模式表或者在SQL 执行时生成的内部临时表(例如从子查询或者合并操作会产生内部临时表)相关联。 可以参考MySQL Reference Manual 获得更多信息:http://dev.mysql.com/doc/refman/5.5/en/explain-output.html。
2.1 key key 列指出优化器选择使用的索引。一般来说SQL 查询中的每个表都仅使用一个索引。也存在索引合并的少数例外情况,如给定表上用到了两个或者更多索引。 下面是QEP 中key 列的示例: key: item_id key: NULL key: first, last SHOW CREATE TABLE
命令是最简单的查看表和索引列细节的方式。和key 列相关的列还包括possible_keys、rows 以及key_len。
2.2 ROWS rows 列提供了试图分析所有存在于累计结果集中的行数目的MySQL 优化器估计值。QEP 很容易描述这个很困难的统计量。 查询中总的读操作数量是基于合并之前行的每一行的rows 值的连续积累而得出的。这是一种嵌套行算法。 以连接两个表的QEP 为例。通过id=1 这个条件找到的第一行的rows 值为1,这等于对第一个表做了一次读操作。第二行是 通过id=2 找到的,rows 的值为5。这等于有5 次读操作符合当前1 的积累量。参考两个表,读操作的总数目是6。在另一个QEP 中,第一rows 的值是5,第二rows 的值是1。这等于第一个表有5 次读操作,对5个积累量中每个都有一个读操作。因此两个表 总的读操作的次数是10(5+5)次。 最好的估计值是1,一般来说这种情况发生在当寻找的行在表中可以通过主键或者唯一键找到的时候。 在下面的QEP 中,外面的嵌套循环可以通过id=1 来找到,其估计的物理行数是1。第二个循环处理了10行。
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table : p
type: const
possible_keys: PRIMARY
key : PRIMARY
key_len: 4
ref: const
rows : 1
Extra:
********************* 2. row ***********************
id: 1
select_type: SIMPLE
table : c
type: ref
possible_keys: parent_id
key : parent_id
key_len: 4
ref: const
rows : 10
Extra:
可以使用SHOW STATUS 命令来查看实际的行操作。这个命令可以提供最佳的确认物理行操作的方式。请看下面的示例:
mysql> SHOW SESSION STATUS LIKE 'Handler_read%' ;
+
| Variable_name | Value |
+
| Handler_read_first | 0 |
| Handler_read_key | 0 |
| Handler_read_last | 0 |
| Handler_read_next | 0 |
| Handler_read_prev | 0 |
| Handler_read_rnd | 0 |
| Handler_read_rnd_next | 11 |
+
7 rows in set (0.00 sec)
在下一个QEP 中,通过id=1 找到的外层嵌套循环估计有160行。第二个循环估计有1 行。
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table : p
type: ALL
possible_keys: NULL
key : NULL
key_len: NULL
ref: NULL
rows : 160
Extra:
********************* 2. row ***********************
id: 1
select type: SIMPLE
table : c
type: ref
possible_keys: PRIMARY ,parent_id
key : parent_id
key_len: 4
ref: test.p.parent_id
rows : 1
Extra: Using where
通过SHOW STATUS 命令可以查看实际的行操作,该命令表明物理读操作数量大幅增加。请看下面的示例:
mysql> SHOW SESSION STATUS LIKE 'Handler_read%' ;
+
| Variable_name | Value |
+
| Handler_read_first | 1 |
| Handler_read_key | 164 |
| Handler_read_last | 0 |
| Handler_read_next | 107 |
| Handler_read_prev | 0 |
| Handler_read_rnd | 0 |
| Handler_read_rnd_next | 161 |
+
相关的QEP 列还包括key 列。
2.3 possible_keys
possible_keys 列指出优化器为查询选定的索引。
一个会列出大量可能的索引(例如多于3 个)的QEP 意味着备选索引数量太多了,同时也可能提示存在一个无效的单列索引。
可以用第2 章详细介绍过的SHOW INDEXES 命令来检查索引是否有效且是否具有合适的基数。
为查询确定QEP 的速度也会影响到查询的性能。如果发现有大量的可能的索引,则意味着这些索引没有被使用到。
相关的QEP 列还包括key 列。
2.4 key_len
key_len 列定义了用于SQL 语句的连接条件的键的长度。此列值对于确认索引的有效性以及多列索引中用到的列的数目很重要。
此列的一些示例值如下所示:
此列的一些示例值如下所示:
key_len: 4 // INT NOT NULL
key_len: 5 // INT NULL
key_len: 30 // CHAR(30) NOT NULL
key_len: 32 // VARCHAR(30) NOT NULL
key_len: 92 // VARCHAR(30) NULL CHARSET=utf8
从这些示例中可以看出,是否可以为空、可变长度的列以及key_len 列的值只和用在连接和WHERE 条件中的索引的列
有关。索引中的其他列会在ORDER BY 或者GROUP BY 语句中被用到。下面这个来自于著名的开源博客软件WordPress 的表展示了
如何以最佳方式使用带有定义好的表索引的SQL 语句:
CREATE TABLE `wp_posts` (
`ID` bigint (20) unsigned NOT NULL AUTO_INCREMENT,
`post_date` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' ,
`post_status` varchar (20) NOT NULL DEFAULT 'publish' ,
`post_type` varchar (20) NOT NULL DEFAULT 'post' ,
PRIMARY KEY (`ID`),
KEY `type_status_date`(`post_type`,`post_status`,`post_date`,`ID`)
) DEFAULT CHARSET=utf8
CREATE TABLE `wp_posts` (
`ID` bigint (20) unsigned NOT NULL AUTO_INCREMENT,
`post_date` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' ,
`post_status` varchar (20) NOT NULL DEFAULT 'publish' ,
`post_type` varchar (20) NOT NULL DEFAULT 'post' ,
PRIMARY KEY (`ID`),
KEY `type_status_date`(`post_type`,`post_status`,`post_date`,`ID`)
) DEFAULT CHARSET=utf8
这个表的索引包括post_type、post_status、post_date 以及ID列。下面是一个演示索引列用法的SQL 查询:
EXPLAIN SELECT ID, post_title FROM wp_posts WHERE post_type='post' AND post_date > '2010-06-01';
这个查询的QEP 返回的key_len 是62。这说明只有post_type列上的索引用到了(因为(20×3)+2=62)。尽管查询在WHERE 语句
中使用了post_type 和post_date 列,但只有post_type 部分被用到了。其他索引没有被使用的原因是MySQL 只能使用定义索引的
最左边部分。为了更好地利用这个索引,可以修改这个查询来调整索引的列。请看下面的示例:
mysql> EXPLAIN SELECT ID, post_title
-> FROM wp_posts
-> WHERE post_type= 'post'
-> AND post_status= 'publish'
-> AND post_date > '2010-06-01' ;
在SELECT查询的添加一个post_status 列的限制条件后,QEP显示key_len 的值为132,这意味着post_type、post_status、post_date
三列(62+62+8,(20×3)+2,(20×3)+2,8)都被用到了。此外,这个索引的主码列ID 的定义是使用MyISAM 存储索
引的遗留痕迹。当使用InnoDB 存储引擎时,在非主码索引中包含主码列是多余的,这可以从key_len 的用法看出来。
相关的QEP 列还包括带有Using index 值的Extra 列。
2.5 table
table 列是EXPLAIN 命令输出结果中的一个单独行的唯一标识符。这个值可能是表名、表的别名或者一个为查询产生临时表
的标识符,如派生表、子查询或集合。下面是QEP 中table 列的一些示例:
table: item
table:
table:
表中N 和M 的值参考了另一个符合id 列值的table 行。相关的QEP 列还有select_type
2.6 select_type select_type 列提供了各种表示table 列引用的使用方式的类型。最常见的值包括SIMPLE、PRIMARY、DERIVED 和UNION。其他可能 的值还有UNION RESULT、DEPENDENT SUBQUERY、DEPENDENT UNION、UNCACHEABLE UNION 以及UNCACHEABLE QUERY。
1. SIMPLE 对于不包含子查询和其他复杂语法的简单查询,这是一个常 见的类型。
2. PRIMARY 这是为更复杂的查询而创建的首要表(也就是最外层的表)。这个类型通常可以在DERIVED 和UNION 类型混合使用时见到。 3. DERIVED 当一个表不是一个物理表时,那么就被叫做DERIVED。下面的SQL 语句给出了一个QEP 中DERIVED select-type 类型的 示例: mysql> EXPLAIN SELECT MAX(id) -> FROM (SELECT id FROM users WHERE first = 'west') c;
4. DEPENDENT SUBQUERY 这个select-type 值是为使用子查询而定义的。下面的SQL语句提供了这个值: mysql> EXPLAIN SELECT p.* -> FROM parent p -> WHERE p.id NOT IN (SELECT c.parent_id FROM child c); 5. UNION 这是UNION 语句其中的一个SQL 元素。 6. UNION RESULT 这是一系列定义在UNION 语句中的表的返回结果。当select_type 为这个值时,经常可以看到table 的值是, 这说明匹配的id 行是这个集合的一部分。下面的SQL产生了一个UNION和UNION RESULT select-type: mysql> EXPLAIN SELECT p.* FROM parent p WHERE p.val LIKE 'a%' -> UNION -> SELECT p.* FROM parent p WHERE p.id > 5;
2.7 partitions partitions 列代表给定表所使用的分区。这一列只会在EXPLAIN PARTITIONS 语句中出现。
2.8 Extra Extra 列提供了有关不同种类的MySQL 优化器路径的一系列 额外信息。Extra 列可以包含多个值,可以有很多不同的取值,并 且这些值还在随着MySQL 新版本的发布而进一步增加。下面给 出常用值的列表。你可以从下面的地址找到更全面的值的列表: http://dev.mysql.com/doc/refman/5.5/en/explain-output.html。
1. Using where 这个值表示查询使用了where 语句来处理结果——例如执行 全表扫描。如果也用到了索引,那么行的限制条件是通过获取必 要的数据之后处理读缓冲区来实现的。
2. Using temporary 这个值表示使用了内部临时(基于内存的)表。一个查询可能 用到多个临时表。有很多原因都会导致MySQL 在执行查询期间 创建临时表。两个常见的原因是在来自不同表的列上使用了 DISTINCT,或者使用了不同的ORDER BY 和GROUP BY 列。 想了解更多内容可以访问http://forge.mysql.com/wiki/Overview_ of_query_execution_and_use_of_temp_tables。 可以强制指定一个临时表使用基于磁盘的MyISAM 存储引 擎。这样做的原因主要有两个: 内部临时表占用的空间超过min(tmp_table_size,max_ heap_table_size)系统变量的限制 使用了TEXT/BLOB 列
3. Using filesort 这是ORDER BY 语句的结果。这可能是一个CPU 密集型的过程。 可以通过选择合适的索引来改进性能,用索引来为查询结果排序。详细过程请参考第4 章。
4. Using index 这个值重点强调了只需要使用索引就可以满足查询表的要求,不需要直接访问表数据。请参考第5 章的详细示例来理解这 个值。
5. Using join buffer 这个值强调了在获取连接条件时没有使用索引,并且需要连接缓冲区来存储中间结果。 如果出现了这个值,那应该注意,根据查询的具体情况可能需要添加索引来改进性能。
6. Impossible where 这个值强调了where 语句会导致没有符合条件的行。请看下面的示例: mysql> EXPLAIN SELECT * FROM user WHERE 1=2;
7. Select tables optimized away 这个值意味着仅通过使用索引,优化器可能仅从聚合函数结果中返回一行。请看下面的示例:
8. Distinct 这个值意味着MySQL 在找到第一个匹配的行之后就会停止搜索其他行。
9. Index merges 当MySQL 决定要在一个给定的表上使用超过一个索引的时候,就会出现以下格式中的一个,详细说明使用的索引以及合并的类型。 Using sort_union(...) Using union(...) Using intersect(...)
2.9 id id 列是在QEP 中展示的表的连续引用。
2.10 ref ref 列可以被用来标识那些用来进行索引比较的列或者常量。
2.11 filtered filtered 列给出了一个百分比的值,这个百分比值和rows 列的值一起使用,可以估计出那些将要和QEP 中的前一个表进行连 接的行的数目。前一个表就是指id 列的值比当前表的id 小的表。这一列只有在EXPLAIN EXTENDED 语句中才会出现。
2.12 type type 列代表QEP 中指定的表使用的连接方式。下面是最常用的几种连接方式: const 当这个表最多只有一行匹配的行时出现system 这是const 的特例,当表只有一个row 时会出现 eq_ref 这个值表示有一行是为了每个之前确定的表而读取的 ref 这个值表示所有具有匹配的索引值的行都被用到 range 这个值表示所有符合一个给定范围值的索引行都被用到 ALL 这个值表示需要一次全表扫描其他类型的值还有fulltext 、ref_or_null 、index_merge 、unique_subquery、index_subquery 以及index。 想了解更多信息可以访问http://dev.mysql.com/doc/refman/5.5/en/explain-output.html。
3 解释EXPLAIN 输出结果 理解你的应用程序(包括技术和实现可能性)和优化SQL 语句同等重要。下面给出一个从父子关系中获取孤立的父辈记录的商 业需求的例子。这个查询可以用三种不同的方式构造。尽管会产生相同的结果,但QEP 会显示三种不同的路径。
mysql> EXPLAIN SELECT p.*
-> FROM parent p
-> WHERE p.id NOT IN ( SELECT c.parent_id FROM child
c)\G
********************* 1. row ***********************
id: 1
select type: PRIMARY
table : p
type: ALL
possible_keys: NULL
key : NULL
key_len: NULL
ref: NULL
rows : 160
Extra: Using where
********************* 2. row ***********************
id: 2
select_type: DEPENDENT SUBQUERY
table : c
type: index_subquery
possible_keys: parent_id
key : parent_id
key_len: 4
ref: func
rows : 1
Extra: Using index
2 rows in set (0.00 sec)
EXPLAIN SELECT p.* FROM parent p LEFT JOIN child c ON p.id = c.parent_id WHERE c.child_id IS NULL \G
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table : p
type: ALL
possible_keys: NULL
key : NULL
key_len: NULL
ref: NULL
rows : 160
Extra:
********************* 2. row ***********************
id: 1
select_type: SIMPLE
table : c
type: ref
possible_keys: parent_id
key : parent_id
key_len: 4
ref: test.p.id
rows : 1
Extra: Using where ; Using index ; Not exists
2 rows in set (0.00 sec)
你可能感兴趣的:(mysql数据库)
设置mysql 数据库和表 的编码方式UTF-8
盖盖衍上
中间件 数据库 mysql oracle
要设置MySQL数据库表和字段的编码方式为UTF-8,可以使用下面的SQL语句:1.设置数据库默认编码为UTF-8:ALTERDATABASEyour_database_nameCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;2.创建表时指定编码为UTF-8:CREATETABLEyour_table_name(column1VARCHAR(100)CHA
GROM学习
码小白l
golang
什么是GROMGo语言ORM(对象关系映射)库,它提供了一种高效、简洁的方式来操作数据库。通过将数据库表映射为Go语言的结构体,GORM让数据库操作变得更加直观和类型安全。GORM支持主流的数据库系统,包括MySQL、PostgreSQL、SQLite和SQLServer等GORM提供了一系列的API来操作MySQL数据库。以下是一些常用的GORMAPI操作,以及它们在操作MySQL时的用法:安装
Mysql数据库MariaDB数据库MHA高可用程序
yichen_china
声明:本次实验使用的是MariaDB数据库,所以本文中所出现的MariaDB与MySQL都是指的是MariaDB!!!MHA(MasterHA)是一款开源的MySQL的高可用程序,它为MySQL主从复制架构提供了automatingmasterfailover功能。MHA在监控到master节点故障时,会提升其中拥有最新数据的slave节点成为新的master节点,在此期间,MHA会通过于其它从节
Linux系统定时备份mysql数据库
er_得一
数据库 mysql oracle
1、创建shell脚本mysql_db_backup并赋予执行权限#!/bin/bash#备份目录BACKUP=/data/backup/db#当前时间DATETIME=$(date+%Y-%m-%d_%H%M%S)echo$DATETIME#数据库地址HOST=localhost#数据库用户名DB_USER=root#数据库密码DB_PW=pwd@123#备份的数据库名DATABASE=Apol
elasticsearch同步mysql数据库神器之go-mysql-elasticsearch
强哥的博客
数据库
go-mysql-elasticsearch是国内作者开发的一款插件。测试表明:该插件优点:能实现同步增、删、改、查操作。不足之处(待完善的地方):1、日志不是很详细,但是能满足基本需求;2、初始化时,无法自动同步mysql中存在的以前的数据,需要自行解决初始导入(如重建索引批量导入)go-mysql-elasticsearch安装步骤1:安装goyuminstallgo步骤2:安装godepgo
基于python+vue高校毕业生离校管理系统flask-django-php-nodejs
QQ511008285
python vue.js flask django node.js php
课题主要采用Uni-weixin、django架构技术,前端以小程序页面呈现给用户,结合后台java语言使页面更加完善,后台使用MySQL数据库进行数据存储。微信小程序主要包括学生、教务人员、宿管员、图书管理员、财务人员、离校申请、物流信息、钥匙归还、图片归还、欠费信息、催缴信息等功能,从而实现智能化的管理方式,提高工作效率。关键字:高校毕业生离校管理系统;django框架;MySQL数据库语言:
查看连接MYSQL数据库的IP信息
stone-liu
Linux SQL mysql mysql linux
实现方式有以下三种:第一种:mysql>selectSUBSTRING_INDEX(host,':',1)asip,count(*)frominformation_schema.processlistgroupbyip;+--------------+----------+|ip|count(*)|+--------------+----------+|172.17.0.7|2||192.168.
python社区垃圾分类管理平台的设计与实现flask-django-php-nodejs
QQ_511008285
python flask django vue.js php node.js
近些年来,随着科技的飞速发展,互联网的普及逐渐延伸到各行各业中,给人们生活带来了十分的便利,社区垃圾分类管理平台利用计算机网络实现信息化管理,使整个社区垃圾分类管理的发展和服务水平有显著提升。语言:Python框架:django/flask软件版本:python3.7.7数据库:mysql数据库工具:Navicat前端框架:vue.js通过比较两个不同因素的框架,可以看出Flask和Django不
Mysql数据库——数据类型
一坨小橙子ovo
数据库 mysql
目录一、数值类型1.整数型2.浮点型(float和double),近似值3.定点数二、字符串型1.字符串2.char和varchar比较Mysql中定义数据字段的类型对数据库的优化是非常重要的Mysql支持多种类型,内置数据类型大致分为三类数值类型日期/时间类型字符串(字符)类型数据类型参考链接:https://dev.mysql.com/doc/refman/8.0/en/data-types.
query()方法
左手码农
PHP MySQL sql PHP query
执行SQL命令,无论如何通过PHP脚本与Mysql数据库交互,过程都是一样的,创建一个SQL语句,再传递给执行查询的函数。在mysqli类中提供了几种执行SQL命令的方法,其中最常用的是query()方法。对于insert、update、delete等不会返回数据的SQL命令,query()方法在SQL命令成功执行时返回true。在此基础上还可以通过mysqli对象中的affected_rows属
MySQL 中的“两阶段提交”机制
好奇的菜鸟
数据库 mysql 数据库
在MySQL数据库中,为了确保redolog(重做日志)和binlog(二进制日志)之间的数据安全性和一致性,引入了“两阶段提交”这一重要概念。MySQL将redolog的写入过程细分为“prepare”和“commit”两个步骤,并在其中同步写入binlog,以此来实现事务的原子性和持久性。什么是两阶段提交?两阶段提交是一种分布式事务处理策略,在MySQL中主要用来保证redolog和binlo
MySQL数据库操作学习(1)
一只特立独行猪
数据库mysql 数据库 mysql 学习
文章目录一_初识MySQL数据库1、数据库2、数据库分类1.关系型数据库2.非关系型数据库(备用)3、数据库概念1.数据(data)2.数据库(database)3.数据管理系统(DBMS)二、MySQL库操作了解SQLSQL语言的规则1、数据库查询2、数据库创建3、查询创建的数据库的所有信息4、切换使用数据库5、查看当前所在的数据库6、删除数据库三_MySQL表操作1、数据类型①字符串类型②数值
MySQL数据库管理
L罗盛
数据库 mysql
本章内容:掌握数据库的查看方法掌握MySQL库和表的创建和删除方法掌握MySQL增删改查常见操作掌握MySQL用户权限1.1使用MySQL数据库在熟悉安装及访问MySQL数据库以后,接下来将学习MySQL数据库的基本操作,这也是在服务器运维工作工不可或缺的知识。本节中的所有数据库语句均在mysql>操作环境中执行1.1.2查看数据库结构MySQL是一套数据库管理系统,在每台MySQL服务器中,均支
mysql如何保持高可用
橙哥分享
java面试 mysql
要保持MySQL数据库系统的高可用性,可以采取以下几种方法:主从复制(Master-SlaveReplication):配置主从复制是MySQL高可用性的基本方式。当主服务器出现故障时,从服务器可以立即接管,保证服务的可用性。同时还可以通过读写分离,提升数据库的读取性能。主主复制(Master-MasterReplication):主主复制不仅可以提高可用性,还可以提供负载均衡功能,实现跨数据中心
挑战杯 机器学习股票大数据量化分析与预测系统 - python 挑战杯
laafeer
python
文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列,今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖,适合作为竞赛课题方向,学长非常推荐!学长这里给一个题目综合评分(每项满分5分)难度系数:3分工作量:3分创新点:3分更多资料,项目分享:https://gitee.com
wsl(ubuntu)连接主机(mysql数据库等)
瑶风
Linux 操作系统 工作 mysql ubuntu 数据库 操作系统
本人有点啰嗦,如果要看解决办法可直接拉到末尾。问题背景发现线上数据库某个表连接数过高,因此开始排查原因。其实原因很简单,某精神小伙儿为了取到已经查询到的结果,居然用pluck再查一次,查完之后foreach后再在循环里去查n次。。。这个分分钟就改了,问题是咋个验证改好了呢?其实验证只需要连接数改小就可以了,但是之前我们都是直接连的测试库,那么多人在用,我连接数改小了首先是会影响别人使用,其次是我也
Centos7 远程无法连接mysql数据库
给我丶鼓励
Mysql Linux centos centos mysql 数据库
以下方法就是我在碰到远程连接不到Mysql数据库后试过的方法,最终也是解决掉了问题。所以总结一下。有两种原因数据库没有授权服务器防火墙没有开放3306端口数据库没有授权对于mysql数据库没有授权,只需要用一条命令就可以了。mysql>GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIEDBY'123456'WITHGRANTOPTION;//远程连接数据库的时
mysql数据库,语法语句总结。以及事务理解-基础篇
小小白胜志
数据库 数据库 sql mysql
文章目录数据库**Sql语句****DDL语句****操作数据库****操作数据库的表结构****表结构的修改:****sql数据类型:****DML语句(增删改)****插入数据****删除数据****修改数据****DQL语句(查询)****基本查询****条件查询****综合操作查询****DCL控制语句****函数****数值函数****日期函数:****约束****多表查询****内连接
【Sql】数据库的三范式?MySQL数据库引擎有?InnoDB与MyISAM的区别
王果冻ddd
数据库 java oracle sql
目录数据库的三范式?MySQL数据库引擎有?InnoDB与MyISAM的区别数据库的三范式?第一范式:是数据库最基本的要求,列不可再分第二范式:行可以唯一区分,主键约束第三范式:是在第二范式的基础上建立起来的,即满足第三范式必须要先满足第二范式。第三范式(3NF)要求:表中的非主键列必须和主键直接相关而不能间接相关;也就是说:非主键列之间不能相关依赖。第一范式(1NF):属性不可分割第一范式是数据
Azkaban 大数据 任务调度
OutRoading
大数据
参考视频:尚硅谷大数据Azkaban3.x教程(全新发布)_哔哩哔哩_bilibili目录Azkaban:是一个定时、批量工作流任务调度器(工作流程调度,定时调度)常见的开源调度系统:比较:特点:三个关键组件1AzkabanWebServer:2AzkabanExecutorServer:3Mysql:部署:1上传jar包,解压2安装mysql数据库3修改mysql的配置文件4配置Executor
【金三银四】Mysgl优化了解?什么情况下会导致SQL索引失效?如何写出高效SQL与优化慢SQL
鄒彬
sql 数据库
Mysgl优化MySQL优化是指对MySQL数据库的配置、表设计、查询语句等进行针对性的优化,以提高数据库的性能和效率。这包括但不限于合理设计数据库表结构、编写高效的SQL查询语句、创建合适的索引以及调整数据库服务器的参数等。当MySQL单表记录数过大时,性能下降是一个常见问题。这是因为随着数据量的增加,数据库在执行增删改查操作时需要处理更多的数据。当涉及到MySQL数据库优化时,可以从以下几个方
每日五道java面试题之mysql数据库篇(一)
中北萌新程序员
java面试题 数据库 java mysql
目录:第一题.为什么要使用数据库?第二题.数据库三大范式是什么?第三题.mysql有关权限的表都有哪几个?第四题.MySQL的binlog有有几种录入格式?分别有什么区别?第五题.MySQL存储引擎MyISAM与InnoDB区别第一题.为什么要使用数据库?数据保存在内存优点:存取速度快缺点:数据不能永久保存数据保存在文件优点:数据永久保存缺点:1)速度比内存操作慢,频繁的IO操作。2)查询数据不方
Springboot中使用Redisson实现分布式锁
追风人聊Java
分布式 Springboot Redis redis mysql 分布式锁 分布式 redisson
1.概述老话说的好:便宜没好货,有价值的商品,即使再贵,也有人会买。言归正传,今天继续讨论有关“锁”的话题,synchronized和ReentrantLock大家应该都非常熟悉了,但这两个锁,作用域仅限制于单个Tomcat,如果使用了Tomcat集群,这两个锁就不管用了。此时我们就要引入分布式锁了,分布式锁的实现方式有很多,可以使用Mysql数据库实现,也可以使用Zookeeper实现,当然比较
mysql数据库 - 统诉
隐藏玩家
数据库 mysql oracle
1、DDL-数据库操作showdatabases;createdatabase数据库名use数据库名selectdatabase()dropdatabase数据库名2、DDL-表操作showtables;createtabledesc表名showcreatetable表名altertable表名add/modify/change/renamedroptable表名3、DML-数据库操作语言1、添加
mysql主从复制
wddblog
MySQL mysql 数据库
MySQL主从复制是MySQL数据库中一种重要的数据备份和扩展读操作性能的技术。通过主从复制,一个MySQL服务器(称为主服务器或Master)可以将其数据更改(如插入、更新、删除操作)同步到一个或多个MySQL服务器(称为从服务器或Slave)。这种方式不仅提供了数据的冗余备份,还能在一定程度上分担读操作的负载,从而提高系统的整体性能。主从复制的工作原理主从复制的工作原理可以概括为以下几个步骤:
面试整理
程序员
一、mysql数据库的原理答:mysql是基于客户端与服务器的数据库管理系统,是由mysqld服务进程和一些工具程序组成,mysql客户端可以连接到该进程,并向其发送sql,mysqld负责解释及执行这些语句二、mysql架构答:主要分三层,分别是连接层,服务层,存储层三、如何高效的设计数据库表结构1.设计规范和标准化规范和标准化是数据库设计的基础。在设计数据库表结构时,应该遵循一系列标准和规范,
mysql 创建数据库utf_mysql创建数据库utf
白夜月汐
mysql 创建数据库utf
CentOS6.5下通过Shell创建、备份、还原MySQL数据库CentOS6.5下通过Shell创建、备份、还原MySQL数据库创建数据库:mysql-uroot-p123456-e"CREATEDATABASEIFNOTEXISTSyourDatabaseNameDEFAULTCHARSETutf8COLLATEutf8_g...文章微wx笑2014-12-08395浏览量MySQL设置字符
Hikari连接池配置之最大连接数(MySQL篇)
一个鸡蛋壳儿
Hikari连接池配置之最大连接数MySQL数据库最大连接数修改MySQL数据库清理Sleep连接Hikari连接池配置参考建议根据实际访问量设置setMaximumPoolSize,不宜过大,否则会造成数据库连接数太多,无法访问。生产环境和测试环境可区别设置,比如:测试环境设置10,生产环境设置20//Hikari连接池配置HikariConfigconfig=newHikariConfig()
挑战杯 基于情感分析的网络舆情热点分析系统
laafeer
python
文章目录0前言1课题背景2数据处理3文本情感分析3.1情感分析-词库搭建3.2文本情感分析实现3.3建立情感倾向性分析模型4数据可视化工具4.1django框架介绍4.2ECharts5Django使用echarts进行可视化展示5.1修改setting.py连接mysql数据库5.2导入数据5.3使用echarts可视化展示settings.py文件6实现效果7最后0前言优质竞赛项目系列,今天要
互联网加竞赛 机器学习股票大数据量化分析与预测系统 - python 互联网加竞赛
Mr.D学长
python java
文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列,今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖,适合作为竞赛课题方向,学长非常推荐!学长这里给一个题目综合评分(每项满分5分)难度系数:3分工作量:3分创新点:3分更多资料,项目分享:https://gitee.com
对股票分析时要注意哪些主要因素?
会飞的奇葩猪
股票 分析 云掌股吧
众所周知,对散户投资者来说,股票技术分析是应战股市的核心武器,想学好股票的技术分析一定要知道哪些是重点学习的,其实非常简单,我们只要记住三个要素:成交量、价格趋势、振荡指标。
一、成交量
大盘的成交量状态。成交量大说明市场的获利机会较多,成交量小说明市场的获利机会较少。当沪市的成交量超过150亿时是强市市场状态,运用技术找综合买点较准;
【Scala十八】视图界定与上下文界定
bit1129
scala
Context Bound,上下文界定,是Scala为隐式参数引入的一种语法糖,使得隐式转换的编码更加简洁。
隐式参数
首先引入一个泛型函数max,用于取a和b的最大值
def max[T](a: T, b: T) = {
if (a > b) a else b
}
因为T是未知类型,只有运行时才会代入真正的类型,因此调用a >
C语言的分支——Object-C程序设计阅读有感
darkblue086
apple c 框架 cocoa
自从1972年贝尔实验室Dennis Ritchie开发了C语言,C语言已经有了很多版本和实现,从Borland到microsoft还是GNU、Apple都提供了不同时代的多种选择,我们知道C语言是基于Thompson开发的B语言的,Object-C是以SmallTalk-80为基础的。和C++不同的是,Object C并不是C的超集,因为有很多特性与C是不同的。
Object-C程序设计这本书
去除浏览器对表单值的记忆
周凡杨
html 记忆 autocomplete form 浏览
&n
java的树形通讯录
g21121
java
最近用到企业通讯录,虽然以前也开发过,但是用的是jsf,拼成的树形,及其笨重和难维护。后来就想到直接生成json格式字符串,页面上也好展现。
// 首先取出每个部门的联系人
for (int i = 0; i < depList.size(); i++) {
List<Contacts> list = getContactList(depList.get(i
Nginx安装部署
510888780
nginx linux
Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源
java servelet异步处理请求
墙头上一根草
java 异步返回 servlet
servlet3.0以后支持异步处理请求,具体是使用AsyncContext ,包装httpservletRequest以及httpservletResponse具有异步的功能,
final AsyncContext ac = request.startAsync(request, response);
ac.s
我的spring学习笔记8-Spring中Bean的实例化
aijuans
Spring 3
在Spring中要实例化一个Bean有几种方法:
1、最常用的(普通方法)
<bean id="myBean" class="www.6e6.org.MyBean" />
使用这样方法,按Spring就会使用Bean的默认构造方法,也就是把没有参数的构造方法来建立Bean实例。
(有构造方法的下个文细说)
2、还
为Mysql创建最优的索引
annan211
mysql 索引
索引对于良好的性能非常关键,尤其是当数据规模越来越大的时候,索引的对性能的影响越发重要。
索引经常会被误解甚至忽略,而且经常被糟糕的设计。
索引优化应该是对查询性能优化最有效的手段了,索引能够轻易将查询性能提高几个数量级,最优的索引会比
较好的索引性能要好2个数量级。
1 索引的类型
(1) B-Tree
不出意外,这里提到的索引都是指 B-
日期函数
百合不是茶
oracle sql 日期函数 查询
ORACLE日期时间函数大全
TO_DATE格式(以时间:2007-11-02 13:45:25为例)
Year:
yy two digits 两位年 显示值:07
yyy three digits 三位年 显示值:007
线程优先级
bijian1013
java thread 多线程 java多线程
多线程运行时需要定义线程运行的先后顺序。
线程优先级是用数字表示,数字越大线程优先级越高,取值在1到10,默认优先级为5。
实例:
package com.bijian.study;
/**
* 因为在代码段当中把线程B的优先级设置高于线程A,所以运行结果先执行线程B的run()方法后再执行线程A的run()方法
* 但在实际中,JAVA的优先级不准,强烈不建议用此方法来控制执
适配器模式和代理模式的区别
bijian1013
java 设计模式
一.简介 适配器模式:适配器模式(英语:adapter pattern)有时候也称包装样式或者包装。将一个类的接口转接成用户所期待的。一个适配使得因接口不兼容而不能在一起工作的类工作在一起,做法是将类别自己的接口包裹在一个已存在的类中。 &nbs
【持久化框架MyBatis3三】MyBatis3 SQL映射配置文件
bit1129
Mybatis3
SQL映射配置文件一方面类似于Hibernate的映射配置文件,通过定义实体与关系表的列之间的对应关系。另一方面使用<select>,<insert>,<delete>,<update>元素定义增删改查的SQL语句,
这些元素包含三方面内容
1. 要执行的SQL语句
2. SQL语句的入参,比如查询条件
3. SQL语句的返回结果
oracle大数据表复制备份个人经验
bitcarter
oracle 大表备份 大表数据复制
前提:
数据库仓库A(就拿oracle11g为例)中有两个用户user1和user2,现在有user1中有表ldm_table1,且表ldm_table1有数据5千万以上,ldm_table1中的数据是从其他库B(数据源)中抽取过来的,前期业务理解不够或者需求有变,数据有变动需要重新从B中抽取数据到A库表ldm_table1中。
HTTP加速器varnish安装小记
ronin47
http varnish 加速
上午共享的那个varnish安装手册,个人看了下,有点不知所云,好吧~看来还是先安装玩玩!
苦逼公司服务器没法连外网,不能用什么wget或yum命令直接下载安装,每每看到别人博客贴出的在线安装代码时,总有一股羡慕嫉妒“恨”冒了出来。。。好吧,既然没法上外网,那只能麻烦点通过下载源码来编译安装了!
Varnish 3.0.4下载地址: http://repo.varnish-cache.org/
java-73-输入一个字符串,输出该字符串中对称的子字符串的最大长度
bylijinnan
java
public class LongestSymmtricalLength {
/*
* Q75题目:输入一个字符串,输出该字符串中对称的子字符串的最大长度。
* 比如输入字符串“google”,由于该字符串里最长的对称子字符串是“goog”,因此输出4。
*/
public static void main(String[] args) {
Str
学习编程的一点感想
Cb123456
编程 感想 Gis
写点感想,总结一些,也顺便激励一些自己.现在就是复习阶段,也做做项目.
本专业是GIS专业,当初觉得本专业太水,靠这个会活不下去的,所以就报了培训班。学习的时候,进入状态很慢,而且当初进去的时候,已经上到Java高级阶段了,所以.....,呵呵,之后有点感觉了,不过,还是不好好写代码,还眼高手低的,有
[能源与安全]美国与中国
comsci
能源
现在有一个局面:地球上的石油只剩下N桶,这些油只够让中国和美国这两个国家中的一个顺利过渡到宇宙时代,但是如果这两个国家为争夺这些石油而发生战争,其结果是两个国家都无法平稳过渡到宇宙时代。。。。而且在战争中,剩下的石油也会被快速消耗在战争中,结果是两败俱伤。。。
在这个大
SEMI-JOIN执行计划突然变成HASH JOIN了 的原因分析
cwqcwqmax9
oracle
甲说:
A B两个表总数据量都很大,在百万以上。
idx1 idx2字段表示是索引字段
A B 两表上都有
col1字段表示普通字段
select xxx from A
where A.idx1 between mmm and nnn
and exists (select 1 from B where B.idx2 =
SpringMVC-ajax返回值乱码解决方案
dashuaifu
Ajax springMVC response 中文乱码
SpringMVC-ajax返回值乱码解决方案
一:(自己总结,测试过可行)
ajax返回如果含有中文汉字,则使用:(如下例:)
@RequestMapping(value="/xxx.do") public @ResponseBody void getPunishReasonB
Linux系统中查看日志的常用命令
dcj3sjt126com
OS
因为在日常的工作中,出问题的时候查看日志是每个管理员的习惯,作为初学者,为了以后的需要,我今天将下面这些查看命令共享给各位
cat
tail -f
日 志 文 件 说 明
/var/log/message 系统启动后的信息和错误日志,是Red Hat Linux中最常用的日志之一
/var/log/secure 与安全相关的日志信息
/var/log/maillog 与邮件相关的日志信
[应用结构]应用
dcj3sjt126com
PHP yii2
应用主体
应用主体是管理 Yii 应用系统整体结构和生命周期的对象。 每个Yii应用系统只能包含一个应用主体,应用主体在 入口脚本中创建并能通过表达式 \Yii::$app 全局范围内访问。
补充: 当我们说"一个应用",它可能是一个应用主体对象,也可能是一个应用系统,是根据上下文来决定[译:中文为避免歧义,Application翻译为应
assertThat用法
eksliang
JUnit assertThat
junit4.0 assertThat用法
一般匹配符1、assertThat( testedNumber, allOf( greaterThan(8), lessThan(16) ) );
注释: allOf匹配符表明如果接下来的所有条件必须都成立测试才通过,相当于“与”(&&)
2、assertThat( testedNumber, anyOf( g
android点滴2
gundumw100
应用服务器 android 网络应用 OS HTC
如何让Drawable绕着中心旋转?
Animation a = new RotateAnimation(0.0f, 360.0f,
Animation.RELATIVE_TO_SELF, 0.5f, Animation.RELATIVE_TO_SELF,0.5f);
a.setRepeatCount(-1);
a.setDuration(1000);
如何控制Andro
超简洁的CSS下拉菜单
ini
html Web 工作 html5 css
效果体验:http://hovertree.com/texiao/css/3.htmHTML文件:
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>简洁的HTML+CSS下拉菜单-HoverTree</title>
kafka consumer防止数据丢失
kane_xie
kafka offset commit
kafka最初是被LinkedIn设计用来处理log的分布式消息系统,因此它的着眼点不在数据的安全性(log偶尔丢几条无所谓),换句话说kafka并不能完全保证数据不丢失。
尽管kafka官网声称能够保证at-least-once,但如果consumer进程数小于partition_num,这个结论不一定成立。
考虑这样一个case,partiton_num=2
@Repository、@Service、@Controller 和 @Component
mhtbbx
DAO spring bean prototype
@Repository、@Service、@Controller 和 @Component 将类标识为Bean
Spring 自 2.0 版本开始,陆续引入了一些注解用于简化 Spring 的开发。@Repository注解便属于最先引入的一批,它用于将数据访问层 (DAO 层 ) 的类标识为 Spring Bean。具体只需将该注解标注在 DAO类上即可。同时,为了让 Spring 能够扫描类
java 多线程高并发读写控制 误区
qifeifei
java thread
先看一下下面的错误代码,对写加了synchronized控制,保证了写的安全,但是问题在哪里呢?
public class testTh7 {
private String data;
public String read(){
System.out.println(Thread.currentThread().getName() + "read data "
mongodb replica set(副本集)设置步骤
tcrct
java mongodb
网上已经有一大堆的设置步骤的了,根据我遇到的问题,整理一下,如下:
首先先去下载一个mongodb最新版,目前最新版应该是2.6
cd /usr/local/bin
wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.0.tgz
tar -zxvf mongodb-linux-x86_64-2.6.0.t
rust学习笔记
wudixiaotie
学习笔记
1.rust里绑定变量是let,默认绑定了的变量是不可更改的,所以如果想让变量可变就要加上mut。
let x = 1; let mut y = 2;
2.match 相当于erlang中的case,但是case的每一项后都是分号,但是rust的match却是逗号。
3.match 的每一项最后都要加逗号,但是最后一项不加也不会报错,所有结尾加逗号的用法都是类似。
4.每个语句结尾都要加分