MySQL EXPLAIN 命令详解
MySQL的EXPLAIN命令用于SQL语句的查询执行计划(QEP)。这条命令的输出结果能够让我们了解MySQL 优化器是如何执行 SQL 语句的。这条命令并没有提供任何调整建议,但它能够提供重要的信息帮助你做出调优决策。
1 语法 MySQL 的EXPLAIN 语法可以运行在SELECT 语句或者特定表上。如果作用在表上,那么此命令等同于DESC 表命令。UPDATE 和DELETE 命令也需要进行性能改进,当这些命令不是直接在表的主码上运行时,为了确保最优化的索引使用率,需要把它们改
写成SELECT 语句(以便对它们执行EXPLAIN 命令)。请看下面的示例:
UPDATE table1
SET col1 = X, col2 = Y
WHERE id1 = 9
AND dt >= '2010-01-01';
这个UPDATE语句可以被重写成为下面这样的SELECT语句:
SELECT col1, col2
FROM table1
WHERE id1 = 9
AND dt >= '2010-01-01';
在5.6.10版本里面,是可以直接对dml语句进行explain分析操作的.
MySQL 优化器是基于开销来工作的,它并不提供任何的QEP的位置。这意味着QEP 是在每条SQL 语句执行的时候动态地计 算出来的。在MySQL 存储过程中的SQL 语句也是在每次执行时计算QEP 的。存储过程缓存仅仅解析查询树。
2 各列详解
MySQL EXPLAIN命令能够为SQL语句中的每个表生成以下信息:
mysql> EXPLAIN SELECT * FROM inventory WHERE item_id = 16102176\G;
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table: inventory
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 787338
Extra: Using where
这个QEP 显示没有使用任何索引(也就是全表扫描)并且处理了大量的行来满足查询。对同样一条SELECT 语句,一个优化过的QEP 如下所示:
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table: inventory
type: ref
possible_keys: item_id
key: item_id
key_len: 4
ref: const
rows: 1
Extra:
在这个QEP 中,我们看到使用了一个索引,且估计只有一行数据将被获取。
QEP 中每个行的所有列表如下所示: id select_type table partitions(这一列只有在EXPLAIN PARTITIONS 语法中才会出现) possible_keys key key_len ref rows filtered(这一列只有在EXPLAINED EXTENDED 语法中才会出现) Extra
这些列展示了SELECT 语句对每一个表的QEP。一个表可能和一个物理模式表或者在SQL 执行时生成的内部临时表(例如从子查询或者合并操作会产生内部临时表)相关联。
2.1 key key 列指出优化器选择使用的索引。一般来说SQL 查询中的每个表都仅使用一个索引。也存在索引合并的少数例外情况,如给定表上用到了两个或者更多索引。 下面是QEP 中key 列的示例: key: item_id key: NULL key: first, last SHOW CREATE TABLE
命令是最简单的查看表和索引列细节的方式。和key 列相关的列还包括possible_keys、rows 以及key_len。
2.2 ROWS rows 列提供了试图分析所有存在于累计结果集中的行数目的MySQL 优化器估计值。QEP 很容易描述这个很困难的统计量。 查询中总的读操作数量是基于合并之前行的每一行的rows 值的连续积累而得出的。这是一种嵌套行算法。 以连接两个表的QEP 为例。通过id=1 这个条件找到的第一行的rows 值为1,这等于对第一个表做了一次读操作。第二行是 通过id=2 找到的,rows 的值为5。这等于有5 次读操作符合当前1 的积累量。参考两个表,读操作的总数目是6。在另一个QEP 中,第一rows 的值是5,第二rows 的值是1。这等于第一个表有5 次读操作,对5个积累量中每个都有一个读操作。因此两个表 总的读操作的次数是10(5+5)次。 最好的估计值是1,一般来说这种情况发生在当寻找的行在表中可以通过主键或者唯一键找到的时候。 在下面的QEP 中,外面的嵌套循环可以通过id=1 来找到,其估计的物理行数是1。第二个循环处理了10行。
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table: p
type: const
possible_keys: PRIMARY
key: PRIMARY
key_len: 4
ref: const
rows: 1
Extra:
********************* 2. row ***********************
id: 1
select_type: SIMPLE
table: c
type: ref
possible_keys: parent_id
key: parent_id
key_len: 4
ref: const
rows: 10
Extra:
可以使用SHOW STATUS 命令来查看实际的行操作。这个命令可以提供最佳的确认物理行操作的方式。请看下面的示例:
mysql> SHOW SESSION STATUS LIKE 'Handler_read%';
+-----------------------+-------+
| Variable_name | Value |
+-----------------------+-------+
| Handler_read_first | 0 |
| Handler_read_key | 0 |
| Handler_read_last | 0 |
| Handler_read_next | 0 |
| Handler_read_prev | 0 |
| Handler_read_rnd | 0 |
| Handler_read_rnd_next | 11 |
+-----------------------+-------+
7 rows in set (0.00 sec)
在下一个QEP 中,通过id=1 找到的外层嵌套循环估计有160行。第二个循环估计有1 行。
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table: p
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 160
Extra:
********************* 2. row ***********************
id: 1
select type: SIMPLE
table: c
type: ref
possible_keys: PRIMARY,parent_id
key: parent_id
key_len: 4
ref: test.p.parent_id
rows: 1
Extra: Using where
通过SHOW STATUS 命令可以查看实际的行操作,该命令表明物理读操作数量大幅增加。请看下面的示例:
mysql> SHOW SESSION STATUS LIKE 'Handler_read%';
+--------------------------------------+---------+
| Variable_name | Value |
+--------------------------------------+---------+
| Handler_read_first | 1 |
| Handler_read_key | 164 |
| Handler_read_last | 0 |
| Handler_read_next | 107 |
| Handler_read_prev | 0 |
| Handler_read_rnd | 0 |
| Handler_read_rnd_next | 161 |
+--------------------------------------+---------+
相关的QEP 列还包括key列。
2.3 possible_keys
possible_keys 列指出优化器为查询选定的索引。
一个会列出大量可能的索引(例如多于3 个)的QEP 意味着备选索引数量太多了,同时也可能提示存在一个无效的单列索引。
可以用第2 章详细介绍过的SHOW INDEXES 命令来检查索引是否有效且是否具有合适的基数。
为查询确定QEP 的速度也会影响到查询的性能。如果发现有大量的可能的索引,则意味着这些索引没有被使用到。
相关的QEP 列还包括key 列。
2.4 key_len
key_len 列定义了用于SQL 语句的连接条件的键的长度。此列值对于确认索引的有效性以及多列索引中用到的列的数目很重要。
此列的一些示例值如下所示:
此列的一些示例值如下所示:
key_len: 4 // INT NOT NULL
key_len: 5 // INT NULL
key_len: 30 // CHAR(30) NOT NULL
key_len: 32 // VARCHAR(30) NOT NULL
key_len: 92 // VARCHAR(30) NULL CHARSET=utf8
从这些示例中可以看出,是否可以为空、可变长度的列以及key_len 列的值只和用在连接和WHERE 条件中的索引的列
有关。索引中的其他列会在ORDER BY 或者GROUP BY 语句中被用到。下面这个来自于著名的开源博客软件WordPress 的表展示了
如何以最佳方式使用带有定义好的表索引的SQL 语句:
CREATE TABLE `wp_posts` (
`ID` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
`post_date` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
`post_status` varchar(20) NOT NULL DEFAULT 'publish' ,
`post_type` varchar(20) NOT NULL DEFAULT 'post',
PRIMARY KEY (`ID`),
KEY `type_status_date`(`post_type`,`post_status`,`post_date`,`ID`)
) DEFAULT CHARSET=utf8
CREATE TABLE `wp_posts` (
`ID` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
`post_date` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
`post_status` varchar(20) NOT NULL DEFAULT 'publish' ,
`post_type` varchar(20) NOT NULL DEFAULT 'post',
PRIMARY KEY (`ID`),
KEY `type_status_date`(`post_type`,`post_status`,`post_date`,`ID`)
) DEFAULT CHARSET=utf8
这个表的索引包括post_type、post_status、post_date 以及ID列。下面是一个演示索引列用法的SQL 查询:
EXPLAIN SELECT ID, post_title FROM wp_posts WHERE post_type='post' AND post_date > '2010-06-01';
这个查询的QEP 返回的key_len 是62。这说明只有post_type列上的索引用到了(因为(20×3)+2=62)。尽管查询在WHERE 语句
中使用了post_type 和post_date 列,但只有post_type 部分被用到了。其他索引没有被使用的原因是MySQL 只能使用定义索引的
最左边部分。为了更好地利用这个索引,可以修改这个查询来调整索引的列。请看下面的示例:
mysql> EXPLAIN SELECT ID, post_title
-> FROM wp_posts
-> WHERE post_type='post'
-> AND post_status='publish'
-> AND post_date > '2010-06-01';
在SELECT查询的添加一个post_status 列的限制条件后,QEP显示key_len 的值为132,这意味着post_type、post_status、post_date
三列(62+62+8,(20×3)+2,(20×3)+2,8)都被用到了。此外,这个索引的主码列ID 的定义是使用MyISAM 存储索
引的遗留痕迹。当使用InnoDB 存储引擎时,在非主码索引中包含主码列是多余的,这可以从key_len 的用法看出来。
相关的QEP 列还包括带有Using index 值的Extra 列。
2.5 table
table 列是EXPLAIN 命令输出结果中的一个单独行的唯一标识符。这个值可能是表名、表的别名或者一个为查询产生临时表
的标识符,如派生表、子查询或集合。下面是QEP 中table 列的一些示例:
table: item
table:
table:
表中N 和M 的值参考了另一个符合id 列值的table 行。相关的QEP 列还有select_type
2.6 select_type select_type 列提供了各种表示table 列引用的使用方式的类型。最常见的值包括SIMPLE、PRIMARY、DERIVED 和UNION。其他可能 的值还有UNION RESULT、DEPENDENT SUBQUERY、DEPENDENT UNION、UNCACHEABLE UNION 以及UNCACHEABLE QUERY。
1. SIMPLE 对于不包含子查询和其他复杂语法的简单查询,这是一个常 见的类型。
2. PRIMARY 这是为更复杂的查询而创建的首要表(也就是最外层的表)。这个类型通常可以在DERIVED 和UNION 类型混合使用时见到。 3. DERIVED 当一个表不是一个物理表时,那么就被叫做DERIVED。下面的SQL 语句给出了一个QEP 中DERIVED select-type 类型的 示例: mysql> EXPLAIN SELECT MAX(id) -> FROM (SELECT id FROM users WHERE first = 'west') c;
4. DEPENDENT SUBQUERY 这个select-type 值是为使用子查询而定义的。下面的SQL语句提供了这个值: mysql> EXPLAIN SELECT p.* -> FROM parent p -> WHERE p.id NOT IN (SELECT c.parent_id FROM child c); 5. UNION 这是UNION 语句其中的一个SQL 元素。 6. UNION RESULT 这是一系列定义在UNION 语句中的表的返回结果。当select_type 为这个值时,经常可以看到table 的值是, 这说明匹配的id 行是这个集合的一部分。下面的SQL产生了一个UNION和UNION RESULT select-type: mysql> EXPLAIN SELECT p.* FROM parent p WHERE p.val LIKE 'a%' -> UNION -> SELECT p.* FROM parent p WHERE p.id > 5;
2.7 partitions partitions 列代表给定表所使用的分区。这一列只会在EXPLAIN PARTITIONS 语句中出现。
2.8 Extra Extra 列提供了有关不同种类的MySQL 优化器路径的一系列 额外信息。Extra 列可以包含多个值,可以有很多不同的取值,并 且这些值还在随着MySQL 新版本的发布而进一步增加。下面给 出常用值的列表。你可以从下面的地址找到更全面的值的列表: http://dev.mysql.com/doc/refman/5.5/en/explain-output.html。
1. Using where 这个值表示查询使用了where 语句来处理结果——例如执行 全表扫描。如果也用到了索引,那么行的限制条件是通过获取必 要的数据之后处理读缓冲区来实现的。
2. Using temporary 这个值表示使用了内部临时(基于内存的)表。一个查询可能 用到多个临时表。有很多原因都会导致MySQL 在执行查询期间 创建临时表。两个常见的原因是在来自不同表的列上使用了 DISTINCT,或者使用了不同的ORDER BY 和GROUP BY 列。 想了解更多内容可以访问http://forge.mysql.com/wiki/Overview_ of_query_execution_and_use_of_temp_tables。 可以强制指定一个临时表使用基于磁盘的MyISAM 存储引 擎。这样做的原因主要有两个: 内部临时表占用的空间超过min(tmp_table_size,max_ heap_table_size)系统变量的限制 使用了TEXT/BLOB 列
3. Using filesort 这是ORDER BY 语句的结果。这可能是一个CPU 密集型的过程。 可以通过选择合适的索引来改进性能,用索引来为查询结果排序。详细过程请参考第4 章。
4. Using index 这个值重点强调了只需要使用索引就可以满足查询表的要求,不需要直接访问表数据。请参考第5 章的详细示例来理解这 个值。
5. Using join buffer 这个值强调了在获取连接条件时没有使用索引,并且需要连接缓冲区来存储中间结果。 如果出现了这个值,那应该注意,根据查询的具体情况可能需要添加索引来改进性能。
6. Impossible where 这个值强调了where 语句会导致没有符合条件的行。请看下面的示例: mysql> EXPLAIN SELECT * FROM user WHERE 1=2;
7. Select tables optimized away 这个值意味着仅通过使用索引,优化器可能仅从聚合函数结果中返回一行。请看下面的示例:
8. Distinct 这个值意味着MySQL 在找到第一个匹配的行之后就会停止搜索其他行。
9. Index merges 当MySQL 决定要在一个给定的表上使用超过一个索引的时候,就会出现以下格式中的一个,详细说明使用的索引以及合并的类型。 Using sort_union(...) Using union(...) Using intersect(...)
2.9 id id 列是在QEP 中展示的表的连续引用。
2.10 ref ref 列可以被用来标识那些用来进行索引比较的列或者常量。
2.11 filtered filtered 列给出了一个百分比的值,这个百分比值和rows 列的值一起使用,可以估计出那些将要和QEP 中的前一个表进行连 接的行的数目。前一个表就是指id 列的值比当前表的id 小的表。这一列只有在EXPLAIN EXTENDED 语句中才会出现。
2.12 type type 列代表QEP 中指定的表使用的连接方式。下面是最常用的几种连接方式: const 当这个表最多只有一行匹配的行时出现system 这是const 的特例,当表只有一个row 时会出现 eq_ref 这个值表示有一行是为了每个之前确定的表而读取的 ref 这个值表示所有具有匹配的索引值的行都被用到 range 这个值表示所有符合一个给定范围值的索引行都被用到 ALL 这个值表示需要一次全表扫描其他类型的值还有fulltext 、ref_or_null 、index_merge 、unique_subquery、index_subquery 以及index。 想了解更多信息可以访问http://dev.mysql.com/doc/refman/5.5/en/explain-output.html。
3 解释EXPLAIN 输出结果 理解你的应用程序(包括技术和实现可能性)和优化SQL 语句同等重要。下面给出一个从父子关系中获取孤立的父辈记录的商 业需求的例子。这个查询可以用三种不同的方式构造。尽管会产生相同的结果,但QEP 会显示三种不同的路径。
mysql> EXPLAIN SELECT p.*
-> FROM parent p
-> WHERE p.id NOT IN (SELECT c.parent_id FROM child
c)\G
********************* 1. row ***********************
id: 1
select type: PRIMARY
table: p
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 160
Extra: Using where
********************* 2. row ***********************
id: 2
select_type: DEPENDENT SUBQUERY
table: c
type: index_subquery
possible_keys: parent_id
key: parent_id
key_len: 4
ref: func
rows: 1
Extra: Using index
2 rows in set (0.00 sec)
EXPLAIN SELECT p.* FROM parent p LEFT JOIN child c ON p.id = c.parent_id WHERE c.child_id IS NULL\G
********************* 1. row ***********************
id: 1
select_type: SIMPLE
table: p
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 160
Extra:
********************* 2. row ***********************
id: 1
select_type: SIMPLE
table: c
type: ref
possible_keys: parent_id
key: parent_id
key_len: 4
ref: test.p.id
rows: 1
Extra: Using where; Using index; Not exists
2 rows in set (0.00 sec)
你可能感兴趣的:(Mysql,MySql,explain)
mysql新手常见问题解决方法总结
微刻时光
笔记 mysql 数据库 人工智能 影刀证书 影刀RPA pyhon rpa
1.安装与配置问题1.1无法安装MySQLServerMySQLServer安装失败是新手常见的问题之一,以下是具体原因及解决方案:系统要求不满足:MySQL对操作系统有最低版本要求,如Windows7SP1及以上、macOS10.13及以上。若系统版本过低,安装程序可能无法正常运行。例如,在WindowsXP系统上安装MySQLServer8.0,会直接提示系统不兼容,无法进行安装。安装包选择错
MySQL锁机制深度解析:从乐观锁到悲观锁的哲学思辨与技术实践
一、并发控制的本质与挑战在数据库系统的核心地带,并发控制始终是保障数据一致性的核心命题。当每秒百万级的交易请求在金融系统中穿梭,当电商平台的库存数字在促销瞬间剧烈波动,当社交媒体的点赞计数以指数级增长时,数据库工程师们必须直面并发控制的终极挑战:如何在保证数据一致性的前提下,实现最大程度的并发性能。这个问题的解决之道,本质上是对"时间"这个维度的不同处理策略。悲观锁(PessimisticLock
Java 常见的面试题(MySql)
web18285997089
面试 学习路线 阿里巴巴 java mysql oracle
一、数据库的三范式是什么?**范式:**简言之就是,数据库设计对数据的存储性能,还有开发人员对数据的操作都有莫大的关系。所以建立科学的,规范的的数据库是需要满足一些规范的来优化数据数据存储方式。在关系型数据库中这些规范就可以称为范式。第一范式:当关系模式R的所有属性都不能在分解为更基本的数据单位时,称R是满足第一范式的,简记为1NF。满足第一范式是关系模式规范化的最低要求,否则,将有很多基本操作在
MySQL 8.0版本JDBC驱动Jar包
m0_74823490
面试 学习路线 阿里巴巴 mysql jar 数据库
MySQL8.0版本JDBC驱动Jar包【下载地址】MySQL8.0版本JDBC驱动Jar包本仓库提供了MySQL8.0版本的JDBC驱动Jar包。此驱动程序专为与MySQL数据库8.0及以上版本交互设计,确保了对最新数据库特性的全面支持,包括窗口函数、JSON操作增强等,并优化了性能和安全性[这里是图片001]项目地址:https://gitcode.com/open-source-toolki
Mysql常用命令
长安0511
笔记 1024程序员节
1.数据库管理指令1.1创建数据库CREATEDATABASEdatabase_name[DEFAULTCHARACTERSETcharset_name][DEFAULTCOLLATEcollation_name];功能:创建一个新的数据库。语法参数:database_name:数据库名称,遵循命名规则(如不能包含空格,长度限制等)。DEFAULTCHARACTERSET:可选,指定数据库的默认字
MySql常用命令
程序缘拉皮
MySQL sql mysql
目录前言SQL通用语法SQL分类 1.DDLDDL语句对数据库进行操作 2.DMLDML语句对数据库表中的数据进行增删改 3.DQLDQL语句基本查询 4.DCLDCL语句管理用户常用函数CONCATREPLACEUPPER和LOWERSUBSTR、LEFT和RIGHTINSTRLENGTHIFNUL数学函数日期函数约束主键约束(PRIMARYKEY)简写PK自增约束(AOTU_INCRE
mysql常用命令
we19a0sen
三 数据分析 mysql 数据库
命令概览数据库与表操作:创建/删除数据库、设计表结构、修改表字段等基础操作。数据约束与查询:主键、外键、唯一性约束的设置,以及条件查询、聚合函数、连接查询等分析技巧。用户与权限管理:用户创建、密码修改、权限分配,保障数据库安全性。备份与恢复:逻辑备份(mysqldump)、物理备份(数据文件复制)及增量恢复方案。一、数据库操作查看数据库SHOWDATABASES;--查看当前数据库所有表SHOWC
mysql失败登录处理策略_CentOS 8.0配置安全策略(用户3次登录失败锁定3分钟)
weixin_39992788
mysql失败登录处理策略
一、本文主要实现在centos8.0环境下设置,输入密码错误3次,锁定用户3分钟。二、实验环境centos8.0。rh系统可做参考。centos7配置和centos8不一样,这里不概述。三、说明1、pam_tally2模块在centos8后已淘汰掉,centos8用pam_faillock模块替换。2、设置的是密码错误3次就锁住3分钟,不管3次是不是连续输入,只要在一段时间内错误3次就锁住(系统默
MySQL 8密码策略
数据和云
数据库 python linux mysql java
MySQL8提供了较多的密码管理功能和策略,包括密码过期时间设置,密码重用限制,密码验证,双密码,密码强度评估和密码失败跟踪等。DBA使用提供的这些功能和策略对MySQL用户的密码进行管理和配置,进一步完善数据库的安全保障。1密码过期策略MySQL提供参数配置设置全局密码过期时间,也可以创建用户时指定密码过期时间,也可以手动设置某一用户密码过期;系统从用户最近一次密码更新时间计时,当超过其允许的生
MySQL中SQL语句的执行过程详解
DevDiary
数据库 mysql sql
1.客户端连接和请求客户端连接在MySQL中,客户端连接和请求过程是执行SQL语句的第一步。该步骤主要涉及客户端如何连接到MySQL服务器,以及如何维护和管理客户端与服务器之间的会话。客户端连接:连接器(Connector):连接器是MySQL中负责处理客户端连接请求的组件。它处理TCP/IP协议的连接,管理用户的认证和授权。连接过程:建立连接:客户端通过网络(通常是TCP/IP)向MySQL服务
mysql语句设置超时_mysql语句执行超时设置
钢的琴琴琴琴
mysql语句设置超时
对于Saas系统来说,设置语句执行超时时间是必要的,原因有二:(1)避免一些有性能问题的语句长时间执行占用大量资源,影响其他用户的使用;(2)避免请求都被中断了服务端还在长时间的执行SQL语句,无谓的消耗资源;有两种方式来设置执行超时,任选一种:1.客户端代码中设置例如:使用mysql的.net驱动MysqlCommand.CommandTimeout=xxx(秒)驱动的实现原理:(1)超时时间到
Azkaban其一,介绍、体系架构和安装
出发行进
# Azkaban Azkaban linux
目录一、简介二、Azkaban的体系结构三、Azkaban的安装步骤1、上传,解压2、生成mysql的元数据3、配置web-server4、配置exec-server5、修改所有的.sh的执行权限一、简介遇到了什么问题才会使用Azkaban?比如:想启动hadoop集群先启动zk集群,再启动hdfs,再启动yarn,再启动日志系统工作过程中总会遇到多个脚本执行的时候有顺序。任务可以有一个编排的工具
python 连接sql数据库
荼靡~
# python基础 # sql数据库 数据库 sql python
python连接sql数据库1.数据库操作1.1数据库连接1.2查看数据库1.3创建数据库1.4删除数据库1.5进入数据库2.表操作2.1创建表2.2查看表2.3删除表3.表数据操作3.1新增数据3.2删除数据3.3修改数据3.4查询数据4.事务回滚1.数据库操作1.1数据库连接importpymysqlconn=pymysql.connect(host='127.0.0.1',port=3306
【区块链+绿色低碳】数字碳链 | FISCO BCOS应用案例
FISCO_BCOS
FISCO BCOS产业应用发展报告 区块链 绿色低碳
传统的碳排放交易及管理流程存在诸多痛点,如:数据依赖于手工记录和复杂的报表,容易出现数据错误和漏报等问题;企业的资质认证需要耗费大量的时间和人力,存在信息不对称和伪造等现象;碳排放申请流程繁琐,导致排放数据不准确和审批流程不透明等。基于此,深圳职业技术大学采用FISCOBCOS联盟链开源技术,推出数字碳链。项目采用了关系型数据库MySQL和高性能的键值对存储系统Redis,并将这两种数据库与FIS
深入解析 MySQL 8.0 原子 DDL:从崩溃实验看数据库设计的革命性进化
后端数据库mysql
一、一个实验引发的思考:为什么MySQL8.0不再残留临时文件?通过以下对比实验,我们可以直观感受MySQL不同版本对DDL操作的处理差异:实验步骤:使用sysbench生成2000万行测试表执行ALTERTABLEsbtest1MODIFYpadVARCHAR(200)等待10秒后强制杀死MySQL进程观察数据目录中的临时文件实验结果:MySQL5.7:残留#sql-xxxxx.lbd等中间文件
MySQL时间溢出原理、实战影响与全面解决方案
mysql后端数据库服务器
一、问题背景与现象复现操作场景:本文将手把手带您了解mysql时间溢出原理、实战影响与全面解决方案,所有代码均通过dblensformysql数据库工具验证,推荐使用该工具进行可视化数据库管理和开发。在MySQL5.7环境中,若通过命令date-s"2038-04-0100:00:00"将系统时间设置为2038年4月1日,观察MySQL的行为。现象总结:timestamp字段溢出:写入2038年后
FastGPT 引申:借鉴 FastGPT 基于MySQL + ES 实现知识库(含表结构以及核心代码)
窝窝和牛牛
FastGPT mysql elasticsearch 开源
文章目录FastGPT引申:借鉴FastGPT基于MySQL+ES实现知识库(含表结构以及核心代码)一、整体思路二、存储结构2.1MySQL表结构(1)knowledge_base_dataset(2)knowledge_base_data(3)knowledge_base_index(4)ai_kb_relation2.2ElasticsearchMapping结构(1)ES索引(2)字段说明三
linux安装mysql别的机器连接不上_解决不能远程连接Linux服务器上MySQL的问题
心望田
今天在实验室的服务器上安装MySQL,装好后却发现远程的电脑无法连接到MySql服务器。服务器操作系统是Ubuntu14.04。于是在网上查了些资料,折腾了半天后终于搞定了,下面是具体的步骤。1)安装好MySQL后,修改如下文件sudovim/etc/mysql/my.cnf【如果说你不太会用Vi编辑器,你可以用SSH登陆后,将文件移除手动更改后,在上传到服务器覆盖该文件即可】找到bind-add
MySQL 之 GROUP BY 讲解:常见用法与案例剖析
m0_74824954
面试 学习路线 阿里巴巴 mysql 数据库
在MySQL数据库中,GROUPBY是一个非常强大的语句,用于将具有相同值的多行数据组合成一组。在电商交易系统中,GROUPBY通常用于统计订单数据、计算销售总额、汇总用户行为等。本文将深入探讨GROUPBY的常见用法、常见问题及其解决方案,并结合GROUP_CONCAT()函数实现列合并,最后讨论一些性能优化的策略。一、GROUPBY的常见用法GROUPBY语句通常与聚合函数如COUNT()、S
Redis和MySQL数据一致问题怎么解决
昔我往昔
数据库 redis mysql 数据库
在分布式系统中,Redis和MySQL经常同时使用,Redis通常作为缓存系统,而MySQL作为持久化数据库。二者的数据一致性和安全性问题需要特别关注。常见的挑战包括:数据一致性:Redis和MySQL之间的数据可能存在不同步的情况,尤其是在高并发场景下。缓存穿透:当缓存中没有数据时,系统会直接查询数据库,导致数据库负载过重。缓存击穿:缓存中的数据失效,导致大量并发请求直接访问数据库。缓存雪崩:缓
MySQL的UPDATE(更新数据)详解
ADFVBM
面试 学习路线 阿里巴巴 mysql 数据库
MySQL的UPDATE语句是用于修改数据库表中已存在的记录,本文将详细介绍UPDATE语句的基本语法、高级用法、性能优化策略以及注意事项,帮助您更好地理解和应用这一重要的SQL命令。1.基本语法单表更新单表更新的基本语法如下:UPDATE[LOW_PRIORITY][IGNORE]table_nameSETcolumn1=value1,column2=value2,...[WHEREcondit
mysql数据被误删的恢复方案
m0_74824954
面试 学习路线 阿里巴巴 mysql 数据库
文章目录一、使用备份恢复二、使用二进制日志(BinaryLog)三、使用InnoDB表空间恢复四、使用第三方工具预防措施数据误删是一个严重的数据库管理问题,但通过合理的备份策略和使用适当的恢复工具,可以有效地减少数据丢失的风险。几种常见的数据恢复方法:包括使用备份、二进制日志、表空间文件以及第三方工具一、使用备份恢复备份是最常见的数据恢复方法。通过定期备份数据库,可以在数据丢失时快速恢复到最近的备
金三银四突围战:技术面试体系化备考指南(附自研工具)
守护海洋的猫
面试 职场和发展
为什么90%的求职者陷入「背了就忘」的死循环?春招季数据显示,72%的技术岗求职者因知识体系零散在二面被淘汰。本文将以系统化方法+可复用的开源工具,帮你构建真正有效的面试知识库。一、技术人备考的三大认知误区盲目追求题量典型症状:刷完LeetCode500题仍不会变通解题数据佐证:2023年上岸者中,83%采用模块化专题突破策略忽视知识关联错误案例:能解释MySQL索引原理,却说不出B+树在Redi
高可用架构选型指南:MHA、Percona PXC与MySQL MGR对比与实践示例
mysql主从服务器sql
高可用架构选型指南:MHA、PerconaPXC与MySQLMGR对比与实践示例在分布式数据库系统中,高可用性(HighAvailability,HA)是保障业务连续性的核心需求。本文基于MHA、PerconaPXC和MySQLMGR三种主流高可用架构的对比,结合实际场景示例,帮助开发者快速选择适合的技术方案。以下是MHA、PerconaPXC和MySQLMGR三种高可用架构的对比总结及选型建议:
redis-实战篇(11)用户签到
不想吃辣堡
redis 数据库 缓存 springboot java
11、用户签到11.1、用户签到-BitMap功能演示我们针对签到功能完全可以通过mysql来完成,比如说以下这张表用户一次签到,就是一条记录,假如有1000万用户,平均每人每年签到次数为10次,则这张表一年的数据量为1亿条每签到一次需要使用(8+8+1+1+3+1)共22字节的内存,一个月则最多需要600多字节我们如何能够简化一点呢?其实可以考虑小时候一个挺常见的方案,就是小时候,咱们准备一张小
mysql和redis优缺点_一个小小的签到功能,到底用MySQL还是Redis?
航天面面观
mysql和redis优缺点
今天,看下签到功能怎么选择?现在的网站和app开发中,签到是一个很常见的功能,如微博签到送积分,签到排行榜~微博签到如移动app,签到送流量等活动,移动app签到用户签到是提高用户粘性的有效手段,用的好能事半功倍!下面我们从技术方面看看常用的实现手段:一.方案1直接存到数据库MySQL用户表如下:last_checkin_time上次签到时间checkin_count连续签到次数记录每个用户签到信
积分签到mysql_简易积分签到功能java代码实现实现Redis缓存数据
weixin_33626238
积分签到mysql
-------需求说明----需求分析积分签到处于app页面“我的”,用户会频繁的来回切换,如果将数据全部存储到数据库中然后去数据库中做查询,所以这里我才用的Redis缓存的方式将签到数据缓存起来;在表结构设计的时候,由于需求还没有完全确定下来,所以签到规则等信息还不是很明确,这里配置了两个表,一个积分签到表,一个积分配置表;CREATETABLE`np_customer_sign_info`(`
redis和mysql缓存设计_使用python 结合mysql和redis进行缓存设计
岸在脚下亮亮
redis和mysql缓存设计
if__name__=="__main__":#print("yes")#c=CrazyRedis()#c.lpush("b","v")#print("yes")#pool=redis.ConnectionPool(host=host,port=6379,db=0)r=redis.Redis(connection_pool=pool)try:dbconn=pymysql.connect(host=
投票应用是用mysql还是redis_签到功能,用 MySQL 还是 Redis?
兜里没有糖了
本文转载自【微信公众号:java进阶架构师,ID:java_jiagoushi】经微信公众号授权转载,如需转载与原文作者联系用户签到是提高用户粘性的有效手段,用的好能事半功倍!下面我们从技术方面看看常用的实现手段:一.方案1直接存到数据库MySQL用户表如下:last_checkin_time上次签到时间checkin_count连续签到次数记录每个用户签到信息签到流程1.用户第一次签到last_
Redis 和 Mysql 中的数据一致性问题
百里自来卷
redis mysql 数据库
Redis和MySQL的数据很难直接实现强一致性,但可以通过一些策略尽量接近或实现最终一致性。下面从两者的特性、挑战以及解决方案来分析。Redis和MySQL的特性Redis:是一个基于内存的高性能键值数据库,常用于缓存、分布式锁和消息队列。数据持久化(RDB、AOF)不实时,且默认不是事务性强一致的。数据更新通常是异步传播,存在瞬时不一致。MySQL:是关系型数据库,支持事务(ACID),保证数
java数字签名三种方式
知了ing
java jdk
以下3钟数字签名都是基于jdk7的
1,RSA
String password="test";
// 1.初始化密钥
KeyPairGenerator keyPairGenerator = KeyPairGenerator.getInstance("RSA");
keyPairGenerator.initialize(51
Hibernate学习笔记
caoyong
Hibernate
1>、Hibernate是数据访问层框架,是一个ORM(Object Relation Mapping)框架,作者为:Gavin King
2>、搭建Hibernate的开发环境
a>、添加jar包:
aa>、hibernatte开发包中/lib/required/所
设计模式之装饰器模式Decorator(结构型)
漂泊一剑客
Decorator
1. 概述
若你从事过面向对象开发,实现给一个类或对象增加行为,使用继承机制,这是所有面向对象语言的一个基本特性。如果已经存在的一个类缺少某些方法,或者须要给方法添加更多的功能(魅力),你也许会仅仅继承这个类来产生一个新类—这建立在额外的代码上。
读取磁盘文件txt,并输入String
一炮送你回车库
String
public static void main(String[] args) throws IOException {
String fileContent = readFileContent("d:/aaa.txt");
System.out.println(fileContent);
js三级联动下拉框
3213213333332132
三级联动
//三级联动
省/直辖市<select id="province"></select>
市/省直辖<select id="city"></select>
县/区 <select id="area"></select>
erlang之parse_transform编译选项的应用
616050468
parse_transform 游戏服务器 属性同步 abstract_code
最近使用erlang重构了游戏服务器的所有代码,之前看过C++/lua写的服务器引擎代码,引擎实现了玩家属性自动同步给前端和增量更新玩家数据到数据库的功能,这也是现在很多游戏服务器的优化方向,在引擎层面去解决数据同步和数据持久化,数据发生变化了业务层不需要关心怎么去同步给前端。由于游戏过程中玩家每个业务中玩家数据更改的量其实是很少
JAVA JSON的解析
darkranger
java
// {
// “Total”:“条数”,
// Code: 1,
//
// “PaymentItems”:[
// {
// “PaymentItemID”:”支款单ID”,
// “PaymentCode”:”支款单编号”,
// “PaymentTime”:”支款日期”,
// ”ContractNo”:”合同号”,
//
POJ-1273-Drainage Ditches
aijuans
ACM_POJ
POJ-1273-Drainage Ditches
http://poj.org/problem?id=1273
基本的最大流,按LRJ的白书写的
#include<iostream>
#include<cstring>
#include<queue>
using namespace std;
#define INF 0x7fffffff
int ma
工作流Activiti5表的命名及含义
atongyeye
工作流 Activiti
activiti5 - http://activiti.org/designer/update在线插件安装
activiti5一共23张表
Activiti的表都以ACT_开头。 第二部分是表示表的用途的两个字母标识。 用途也和服务的API对应。
ACT_RE_*: 'RE'表示repository。 这个前缀的表包含了流程定义和流程静态资源 (图片,规则,等等)。
A
android的广播机制和广播的简单使用
百合不是茶
android 广播机制 广播的注册
Android广播机制简介 在Android中,有一些操作完成以后,会发送广播,比如说发出一条短信,或打出一个电话,如果某个程序接收了这个广播,就会做相应的处理。这个广播跟我们传统意义中的电台广播有些相似之处。之所以叫做广播,就是因为它只负责“说”而不管你“听不听”,也就是不管你接收方如何处理。另外,广播可以被不只一个应用程序所接收,当然也可能不被任何应
Spring事务传播行为详解
bijian1013
java spring 事务传播行为
在service类前加上@Transactional,声明这个service所有方法需要事务管理。每一个业务方法开始时都会打开一个事务。
Spring默认情况下会对运行期例外(RunTimeException)进行事务回滚。这
eidtplus operate
征客丶
eidtplus
开启列模式: Alt+C 鼠标选择 OR Alt+鼠标左键拖动
列模式替换或复制内容(多行):
右键-->格式-->填充所选内容-->选择相应操作
OR
Ctrl+Shift+V(复制多行数据,必须行数一致)
-------------------------------------------------------
【Kafka一】Kafka入门
bit1129
kafka
这篇文章来自Spark集成Kafka(http://bit1129.iteye.com/blog/2174765),这里把它单独取出来,作为Kafka的入门吧
下载Kafka
http://mirror.bit.edu.cn/apache/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz
2.10表示Scala的版本,而0.8.1.1表示Kafka
Spring 事务实现机制
BlueSkator
spring 代理 事务
Spring是以代理的方式实现对事务的管理。我们在Action中所使用的Service对象,其实是代理对象的实例,并不是我们所写的Service对象实例。既然是两个不同的对象,那为什么我们在Action中可以象使用Service对象一样的使用代理对象呢?为了说明问题,假设有个Service类叫AService,它的Spring事务代理类为AProxyService,AService实现了一个接口
bootstrap源码学习与示例:bootstrap-dropdown(转帖)
BreakingBad
bootstrap dropdown
bootstrap-dropdown组件是个烂东西,我读后的整体感觉。
一个下拉开菜单的设计:
<ul class="nav pull-right">
<li id="fat-menu" class="dropdown">
读《研磨设计模式》-代码笔记-中介者模式-Mediator
bylijinnan
java 设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
/*
* 中介者模式(Mediator):用一个中介对象来封装一系列的对象交互。
* 中介者使各对象不需要显式地相互引用,从而使其耦合松散,而且可以独立地改变它们之间的交互。
*
* 在我看来,Mediator模式是把多个对象(
常用代码记录
chenjunt3
UI Excel J#
1、单据设置某行或某字段不能修改
//i是行号,"cash"是字段名称
getBillCardPanelWrapper().getBillCardPanel().getBillModel().setCellEditable(i, "cash", false);
//取得单据表体所有项用以上语句做循环就能设置整行了
getBillC
搜索引擎与工作流引擎
comsci
算法 工作 搜索引擎 网络应用
最近在公司做和搜索有关的工作,(只是简单的应用开源工具集成到自己的产品中)工作流系统的进一步设计暂时放在一边了,偶然看到谷歌的研究员吴军写的数学之美系列中的搜索引擎与图论这篇文章中的介绍,我发现这样一个关系(仅仅是猜想)
-----搜索引擎和流程引擎的基础--都是图论,至少像在我在JWFD中引擎算法中用到的是自定义的广度优先
oracle Health Monitor
daizj
oracle Health Monitor
About Health Monitor
Beginning with Release 11g, Oracle Database includes a framework called Health Monitor for running diagnostic checks on the database.
About Health Monitor Checks
Health M
JSON字符串转换为对象
dieslrae
java json
作为前言,首先是要吐槽一下公司的脑残编译部署方式,web和core分开部署本来没什么问题,但是这丫居然不把json的包作为基础包而作为web的包,导致了core端不能使用,而且我们的core是可以当web来用的(不要在意这些细节),所以在core中处理json串就是个问题.没办法,跟编译那帮人也扯不清楚,只有自己写json的解析了.
C语言学习八结构体,综合应用,学生管理系统
dcj3sjt126com
C语言
实现功能的代码:
# include <stdio.h>
# include <malloc.h>
struct Student
{
int age;
float score;
char name[100];
};
int main(void)
{
int len;
struct Student * pArr;
int i,
vagrant学习笔记
dcj3sjt126com
vagrant
想了解多主机是如何定义和使用的, 所以又学习了一遍vagrant
1. vagrant virtualbox 下载安装
https://www.vagrantup.com/downloads.html
https://www.virtualbox.org/wiki/Downloads
查看安装在命令行输入vagrant
2.
14.性能优化-优化-软件配置优化
frank1234
软件配置 性能优化
1.Tomcat线程池
修改tomcat的server.xml文件:
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" maxThreads="1200" m
一个不错的shell 脚本教程 入门级
HarborChung
linux shell
一个不错的shell 脚本教程 入门级
建立一个脚本 Linux中有好多中不同的shell,但是通常我们使用bash (bourne again shell) 进行shell编程,因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash(但是在大多数情况下,这些脚本同样可以在 bash的大姐,bourne shell中运行)。 如同其他语言一样
Spring4新特性——核心容器的其他改进
jinnianshilongnian
spring 动态代理 spring4 依赖注入
Spring4新特性——泛型限定式依赖注入
Spring4新特性——核心容器的其他改进
Spring4新特性——Web开发的增强
Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC
Spring4新特性——Groovy Bean定义DSL
Spring4新特性——更好的Java泛型操作API
Spring4新
Linux设置tomcat开机启动
liuxingguome
tomcat linux 开机自启动
执行命令sudo gedit /etc/init.d/tomcat6
然后把以下英文部分复制过去。(注意第一句#!/bin/sh如果不写,就不是一个shell文件。然后将对应的jdk和tomcat换成你自己的目录就行了。
#!/bin/bash
#
# /etc/rc.d/init.d/tomcat
# init script for tomcat precesses
第13章 Ajax进阶(下)
onestopweb
Ajax
index.html
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
Troubleshooting Crystal Reports off BW
blueoxygen
BO
http://wiki.sdn.sap.com/wiki/display/BOBJ/Troubleshooting+Crystal+Reports+off+BW#TroubleshootingCrystalReportsoffBW-TracingBOE
Quite useful, especially this part:
SAP BW connectivity
For t
Java开发熟手该当心的11个错误
tomcat_oracle
java jvm 多线程 单元测试
#1、不在属性文件或XML文件中外化配置属性。比如,没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中,还是UAT(用户验收
测试)环境中,都可以顺畅无阻地运行,但是一旦部署在PROD 上,把它作为多线程程序处理更大的数据集时,就会抛出IOException,原因可能是JDBC驱动版本不同,也可能是#2中讨论的问题。如果线程数目 可以在属性文件中配置,那么使它成为
正则表达式大全
yang852220741
html 编程 正则表达式
今天向大家分享正则表达式大全,它可以大提高你的工作效率
正则表达式也可以被当作是一门语言,当你学习一门新的编程语言的时候,他们是一个小的子语言。初看时觉得它没有任何的意义,但是很多时候,你不得不阅读一些教程,或文章来理解这些简单的描述模式。
一、校验数字的表达式
数字:^[0-9]*$
n位的数字:^\d{n}$
至少n位的数字:^\d{n,}$
m-n位的数字:^\d{m,n}$