jyzhou

percona-toolkit 之【pt-query-digest】使用

背景

关于pt-query-digest的使用场景和方法在percona-toolkit 之【pt-query-digest】介绍文章里已经做了详细说明，现在开始介绍下如何使用，以及常用的命令。

使用场景

在上一篇percona-toolkit 之【pt-query-digest】介绍文章里已经介绍了，pt-query-digest可以从logs、processlist、和tcpdump 来分析MySQL的状况，logs包括slow log、general log、binlog。也可以把分析结果输出到文件中，或则把文件写到表中。使用方法：

pt-query-digest [OPTIONS] [FILES] [DSN]

下面我们开始说明日常的一些操作方法。

一日志类型方面

1. slow log：--type=slowlog

属性：属性=values

$VAR1 = {
  Lock_time => '0.000122',
  Query_time => '6.405714',
  Rows_examined => '8',
  Rows_sent => '8',
  Thread_id => '165',
  arg => 'select user,host,sleep(0.8) from user',
  bytes => 37,
  cmd => 'Query',
  db => 'mysql',
  fingerprint => 'select user,host,sleep(?) from user',
  host => '192.168.100.222',
  ip => '192.168.163.132',
  pos_in_log => 4779,
  timestamp => '1583111641',
  ts => '2020-03-02T01:14:01',
  user => 'zjy'
};

分析报告分为二部分说明：

第一部分：总体概况说明

-- 分析消耗的用户CPU时间，系统CPU时间，物理内存占用大小，虚拟内存占用大小
# 190ms user time, 10ms system time, 34.25M rss, 98.80M vsz
-- 分析的当前日期
# Current date: Sun Mar  1 23:55:53 2020
-- 分析的主机名
# Hostname: test2
-- 分析的文件名
# Files: test2-slow.log
-- 分析的整体情况：语句总数量，唯一语句数量，QPS和并发数
# Overall: 8 total, 4 unique, 0.03 QPS, 0.08x concurrency ________________
-- 分析日志的时间范围
# Time range: 2020-03-01T15:49:47 to 2020-03-01T15:54:16
--属性 　　　　　　　　　总计      最小     最大     平均    95%  　标准    中等
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
-- 执行时间
# Exec time            21s      2s      5s      3s      5s   986ms      2s
-- 锁时间
# Lock time           16ms   190us     6ms     2ms     6ms     2ms     2ms
-- 发送到客户端的行数
# Rows sent             36       3      10    4.50    9.83    2.10    3.89
-- 扫描行数
# Rows examine          36       3      10    4.50    9.83    2.10    3.89
-- 查询的字节数
# Query size           451      30      65   56.38   62.76   13.61   62.76
/*如果在此地方想新增一些属性，可以用--filter来进行设置 比如：--filter '($event->{Row_ratio} = $event->{Rows_sent}/($event->{Rows_examined}))' ，会新增Row ratio属性*/
-- 概况统计
# Profile 
-- 排名，查询指纹，总响应时间及百分比，执行次数，执行平均响应时间，响应时间Variance-to-mean的比率，查询对象
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x5C3D88030F0258F752A830BD792DF4BA 10.0392 47.7%     5 2.0078  0.00 SELECT host
#    2 0x02DFE94A93ADC62623BF2E1E98C17EC3  5.0108 23.8%     1 5.0108  0.00 SELECT host
#    3 0x6D482C964694712F6B3445151D7A429C  3.0108 14.3%     1 3.0108  0.00 SELECT x
#    4 0x8430AB741BBC096B102EDAA5ACD08366  3.0033 14.3%     1 3.0033  0.00 SELECT x
# MISC 0xMISC　　　　　　　　　　　　　　　　　　2.0002 3.3%　　　 1 2.9911  0.00 <35 ITEMS>    #剩余查询的显示

第二部分：查询SQL概况说明

-- 查询的顺序号（和第一部分的Rank对应），QPS，并发，查询指纹，
# Query 1: 0.08 QPS, 0.16x concurrency, ID 0x5C3D88030F0258F752A830BD792DF4BA at byte 739
# This item is included in the report because it matches --limit.
-- 响应比率
# Scores: V/M = 0.00
-- 分析查询的时间范围
# Time range: 2020-03-01T15:53:12 to 2020-03-01T15:54:16
-- 属性，百分比，总数，最小，最大，95%，标准，中等
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
-- 次数
# Count         55       5
-- 执行时间
# Exec time     38     10s      2s      2s      2s      2s       0      2s
-- 锁时间
# Lock time     38     7ms   209us     6ms     1ms     6ms     2ms   273us
-- 发送到客户端的行数
# Rows sent     43      20       4       4       4       4       0       4
-- 扫描行数
# Rows examine  43      20       4       4       4       4       0       4
-- 查询的字节数
# Query size    63     325      65      65      65      65       0      65
-- 发送和扫描行数比值，用第一部分提到的--filter来进行设置
# Row ratio     55       5       1       1       1       1       0       1
# String:
-- 数据库
# Databases    test
-- 主机
# Hosts        test2
-- 查询用户
# Users        root
-- 查询执行时间分布的直方图：1微妙、10微妙、100微妙、10毫秒、100毫秒，1秒，10秒以上查询的分布情况
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
-- 表信息
# Tables
#    SHOW TABLE STATUS FROM `test` LIKE 'host'\G
#    SHOW CREATE TABLE `test`.`host`\G
-- 执行计划信息
# EXPLAIN /*!50100 PARTITIONS*/
-- 查询SQL
select id,hostname,agent_version,sleep(0.5) from host where id <5\G    #如果是非select查询：insert，delete，update，则会转换成select进行explain

使用场景：

①：分析所有的慢查询：

pt-query-digest test2-slow.log --type=slowlog

# 180ms user time, 10ms system time, 34.17M rss, 98.79M vsz
# Current date: Mon Mar  2 00:50:10 2020
# Hostname: test2
# Files: test2-slow.log
# Overall: 15 total, 4 unique, 0.01 QPS, 0.02x concurrency _______________
# Time range: 2020-03-01T15:49:47 to 2020-03-01T16:32:44
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time            55s      2s      6s      4s      5s      1s      3s
# Lock time           20ms   126us     6ms     1ms     6ms     2ms   273us
# Rows sent             99       3      10    6.60    9.83    3.17    3.89
# Rows examine          99       3      10    6.60    9.83    3.17    3.89
# Query size           853      30      65   56.87   62.76   12.41   59.77

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x02DFE94A93ADC62623BF2E1E98C17EC3 35.6617 65.2%     7 5.0945  0.01 SELECT host
#    2 0x5C3D88030F0258F752A830BD792DF4BA 10.0392 18.3%     5 2.0078  0.00 SELECT host
#    3 0x6D482C964694712F6B3445151D7A429C  6.0137 11.0%     2 3.0069  0.00 SELECT x
#    4 0x8430AB741BBC096B102EDAA5ACD08366  3.0033  5.5%     1 3.0033  0.00 SELECT x

# Query 1: 0.00 QPS, 0.02x concurrency, ID 0x02DFE94A93ADC62623BF2E1E98C17EC3 at byte 3120
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.01
# Time range: 2020-03-01T15:52:55 to 2020-03-01T16:31:56
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         46       7
# Exec time     65     36s      5s      6s      5s      5s   178ms      5s
# Lock time     30     6ms   126us     3ms   863us     2ms     1ms   214us
# Rows sent     70      70      10      10      10      10       0      10
# Rows examine  70      70      10      10      10      10       0      10
# Query size    50     434      62      62      62      62       0      62
# String:
# Databases    test
# Hosts        test2
# Users        root
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `test` LIKE 'host'\G
#    SHOW CREATE TABLE `test`.`host`\G
# EXPLAIN /*!50100 PARTITIONS*/
select id,hostname,agent_version,sleep(0.5) from host limit 10\G

# Query 2: 0.08 QPS, 0.16x concurrency, ID 0x5C3D88030F0258F752A830BD792DF4BA at byte 739
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2020-03-01T15:53:12 to 2020-03-01T15:54:16
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         33       5
# Exec time     18     10s      2s      2s      2s      2s       0      2s
# Lock time     36     7ms   209us     6ms     1ms     6ms     2ms   273us
# Rows sent     20      20       4       4       4       4       0       4
# Rows examine  20      20       4       4       4       4       0       4
# Query size    38     325      65      65      65      65       0      65
# String:
# Databases    test
# Hosts        test2
# Users        root
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `test` LIKE 'host'\G
#    SHOW CREATE TABLE `test`.`host`\G
# EXPLAIN /*!50100 PARTITIONS*/
select id,hostname,agent_version,sleep(0.5) from host where id <5\G

# Query 3: 0.00 QPS, 0.00x concurrency, ID 0x6D482C964694712F6B3445151D7A429C at byte 0
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2020-03-01T15:49:47 to 2020-03-01T16:32:44
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         13       2
# Exec time     10      6s      3s      3s      3s      3s     6ms      3s
# Lock time     32     6ms   301us     6ms     3ms     6ms     4ms     3ms
# Rows sent      6       6       3       3       3       3       0       3
# Rows examine   6       6       3       3       3       3       0       3
# Query size     7      60      30      30      30      30       0      30
# String:
# Databases    test
# Hosts        test2
# Users        root
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `test` LIKE 'x'\G
#    SHOW CREATE TABLE `test`.`x`\G
# EXPLAIN /*!50100 PARTITIONS*/
select id,name,sleep(1) from x\G

# Query 4: 0 QPS, 0x concurrency, ID 0x8430AB741BBC096B102EDAA5ACD08366 at byte 241
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-01T15:50:02
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count          6       1
# Exec time      5      3s      3s      3s      3s      3s       0      3s
# Lock time      0   190us   190us   190us   190us   190us       0   190us
# Rows sent      3       3       3       3       3       3       0       3
# Rows examine   3       3       3       3       3       3       0       3
# Query size     3      34      34      34      34      34       0      34
# String:
# Databases    test
# Hosts        test2
# Users        root
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `test` LIKE 'x'\G
#    SHOW CREATE TABLE `test`.`x`\G
# EXPLAIN /*!50100 PARTITIONS*/
select id,name,age,sleep(1) from x\G

View Code

②：分析指定数据库的慢查询：

pt-query-digest test2-slow.log --type=slowlog --filter '($event->{db} || "") =~ m/^mysql/i'

# 170ms user time, 20ms system time, 34.21M rss, 98.80M vsz
# Current date: Mon Mar  2 09:17:19 2020
# Hostname: test2
# Files: test2-slow.log
# Overall: 4 total, 1 unique, 0.07 QPS, 0.34x concurrency ________________
# Time range: 2020-03-02T01:13:07 to 2020-03-02T01:14:01
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time            18s      4s      6s      5s      6s      1s      4s
# Lock time            3ms   122us     3ms   871us     3ms     1ms     2ms
# Rows sent             32       8       8       8       8       0       8
# Rows examine          32       8       8       8       8       0       8
# Query size           148      37      37      37      37       0      37

# Profile
# Rank Query ID                           Response time  Calls R/Call V/M 
# ==== ================================== ============== ===== ====== ====
#    1 0x1AD46E75EF3D662BDE818F1F36DC02DD 18.4270 100.0%     4 4.6067  0.24 SELECT user

# Query 1: 0.07 QPS, 0.34x concurrency, ID 0x1AD46E75EF3D662BDE818F1F36DC02DD at byte 4782
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.24
# Time range: 2020-03-02T01:13:07 to 2020-03-02T01:14:01
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count        100       4
# Exec time    100     18s      4s      6s      5s      6s      1s      4s
# Lock time    100     3ms   122us     3ms   871us     3ms     1ms     2ms
# Rows sent    100      32       8       8       8       8       0       8
# Rows examine 100      32       8       8       8       8       0       8
# Query size   100     148      37      37      37      37       0      37
# String:
# Databases    mysql
# Hosts        test2
# Users        root
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `mysql` LIKE 'user'\G
#    SHOW CREATE TABLE `mysql`.`user`\G
# EXPLAIN /*!50100 PARTITIONS*/
select user,host,sleep(0.8) from user\G

View Code

③：分析指定用户的慢查询：

pt-query-digest test2-slow.log --type=slowlog --filter '($event->{user} || "") =~ m/^zjy/i'

# 180ms user time, 0 system time, 34.13M rss, 98.80M vsz
# Current date: Mon Mar  2 09:20:30 2020
# Hostname: test2
# Files: test2-slow.log
# Overall: 4 total, 1 unique, 0.07 QPS, 0.34x concurrency ________________
# Time range: 2020-03-02T01:13:07 to 2020-03-02T01:14:01
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time            18s      4s      6s      5s      6s      1s      4s
# Lock time            3ms   122us     3ms   871us     3ms     1ms     2ms
# Rows sent             32       8       8       8       8       0       8
# Rows examine          32       8       8       8       8       0       8
# Query size           148      37      37      37      37       0      37

# Profile
# Rank Query ID                           Response time  Calls R/Call V/M 
# ==== ================================== ============== ===== ====== ====
#    1 0x1AD46E75EF3D662BDE818F1F36DC02DD 18.4270 100.0%     4 4.6067  0.24 SELECT user

# Query 1: 0.07 QPS, 0.34x concurrency, ID 0x1AD46E75EF3D662BDE818F1F36DC02DD at byte 4779
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.24
# Time range: 2020-03-02T01:13:07 to 2020-03-02T01:14:01
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count        100       4
# Exec time    100     18s      4s      6s      5s      6s      1s      4s
# Lock time    100     3ms   122us     3ms   871us     3ms     1ms     2ms
# Rows sent    100      32       8       8       8       8       0       8
# Rows examine 100      32       8       8       8       8       0       8
# Query size   100     148      37      37      37      37       0      37
# String:
# Databases    mysql
# Hosts        test2
# Users        zjy
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `mysql` LIKE 'user'\G
#    SHOW CREATE TABLE `mysql`.`user`\G
# EXPLAIN /*!50100 PARTITIONS*/
select user,host,sleep(0.8) from user\G

View Code

④：分析指定IP的慢查询：

pt-query-digest test2-slow.log --type=slowlog --filter '($event->{host} || $event->{ip} || "") =~ m/^192.168.100.*/i'

# 170ms user time, 20ms system time, 33.98M rss, 98.67M vsz
# Current date: Mon Mar  2 09:28:51 2020
# Hostname: test2
# Files: test2-slow.log
# Overall: 1 total, 1 unique, 0 QPS, 0x concurrency ______________________
# Time range: all events occurred at 2020-03-02T01:14:01
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time             6s      6s      6s      6s      6s       0      6s
# Lock time          122us   122us   122us   122us   122us       0   122us
# Rows sent              8       8       8       8       8       0       8
# Rows examine           8       8       8       8       8       0       8
# Query size            37      37      37      37      37       0      37

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x1AD46E75EF3D662BDE818F1F36DC02DD 6.4057 100.0%     1 6.4057  0.00 SELECT user

# Query 1: 0 QPS, 0x concurrency, ID 0x1AD46E75EF3D662BDE818F1F36DC02DD at byte 4779
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-02T01:14:01
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count        100       1
# Exec time    100      6s      6s      6s      6s      6s       0      6s
# Lock time    100   122us   122us   122us   122us   122us       0   122us
# Rows sent    100       8       8       8       8       8       0       8
# Rows examine 100       8       8       8       8       8       0       8
# Query size   100      37      37      37      37      37       0      37
# String:
# Databases    mysql
# Hosts        192.168.100.222
# Users        zjy
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `mysql` LIKE 'user'\G
#    SHOW CREATE TABLE `mysql`.`user`\G
# EXPLAIN /*!50100 PARTITIONS*/
select user,host,sleep(0.8) from user\G

View Code

⑤：分析指定时间范围的慢查询：

pt-query-digest test2-slow.log --type=slowlog --since='2020-03-01 15:49:47' --until='2020-03-01 15:52:55'
pt-query-digest test2-slow.log --type=slowlog --since='1583048987' --until='1583049175'

# 170ms user time, 20ms system time, 34.03M rss, 98.80M vsz
# Current date: Mon Mar  2 10:05:52 2020
# Hostname: test2
# Files: test2-slow.log
# Overall: 2 total, 2 unique, 0.13 QPS, 0.40x concurrency ________________
# Time range: 2020-03-01T15:49:47 to 2020-03-01T15:50:02
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time             6s      3s      3s      3s      3s     5ms      3s
# Lock time            6ms   190us     6ms     3ms     6ms     4ms     3ms
# Rows sent              6       3       3       3       3       0       3
# Rows examine           6       3       3       3       3       0       3
# Query size            64      30      34      32      34    2.83      32

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x6D482C964694712F6B3445151D7A429C  3.0108 50.1%     1 3.0108  0.00 SELECT x
#    2 0x8430AB741BBC096B102EDAA5ACD08366  3.0033 49.9%     1 3.0033  0.00 SELECT x

# Query 1: 0 QPS, 0x concurrency, ID 0x6D482C964694712F6B3445151D7A429C at byte 0
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-01T15:49:47
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         50       1
# Exec time     50      3s      3s      3s      3s      3s       0      3s
# Lock time     96     6ms     6ms     6ms     6ms     6ms       0     6ms
# Rows sent     50       3       3       3       3       3       0       3
# Rows examine  50       3       3       3       3       3       0       3
# Query size    46      30      30      30      30      30       0      30
# String:
# Databases    test
# Hosts        test2
# Users        root
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `test` LIKE 'x'\G
#    SHOW CREATE TABLE `test`.`x`\G
# EXPLAIN /*!50100 PARTITIONS*/
select id,name,sleep(1) from x\G

# Query 2: 0 QPS, 0x concurrency, ID 0x8430AB741BBC096B102EDAA5ACD08366 at byte 241
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-01T15:50:02
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         50       1
# Exec time     49      3s      3s      3s      3s      3s       0      3s
# Lock time      3   190us   190us   190us   190us   190us       0   190us
# Rows sent     50       3       3       3       3       3       0       3
# Rows examine  50       3       3       3       3       3       0       3
# Query size    53      34      34      34      34      34       0      34
# String:
# Databases    test
# Hosts        test2
# Users        root
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `test` LIKE 'x'\G
#    SHOW CREATE TABLE `test`.`x`\G
# EXPLAIN /*!50100 PARTITIONS*/
select id,name,age,sleep(1) from x\G

View Code

⑥：分析最近时间的慢查询（最近10h，单位可以为s、和m）：

pt-query-digest test2-slow.log --type=slowlog --since='10h'

# 150ms user time, 20ms system time, 34.22M rss, 98.80M vsz
# Current date: Mon Mar  2 10:13:55 2020
# Hostname: test2
# Files: test2-slow.log
# Overall: 4 total, 1 unique, 0.07 QPS, 0.34x concurrency ________________
# Time range: 2020-03-02T01:13:07 to 2020-03-02T01:14:01
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time            18s      4s      6s      5s      6s      1s      4s
# Lock time            3ms   122us     3ms   871us     3ms     1ms     2ms
# Rows sent             32       8       8       8       8       0       8
# Rows examine          32       8       8       8       8       0       8
# Query size           148      37      37      37      37       0      37

# Profile
# Rank Query ID                           Response time  Calls R/Call V/M 
# ==== ================================== ============== ===== ====== ====
#    1 0x1AD46E75EF3D662BDE818F1F36DC02DD 18.4270 100.0%     4 4.6067  0.24 SELECT user

# Query 1: 0.07 QPS, 0.34x concurrency, ID 0x1AD46E75EF3D662BDE818F1F36DC02DD at byte 4779
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.24
# Time range: 2020-03-02T01:13:07 to 2020-03-02T01:14:01
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count        100       4
# Exec time    100     18s      4s      6s      5s      6s      1s      4s
# Lock time    100     3ms   122us     3ms   871us     3ms     1ms     2ms
# Rows sent    100      32       8       8       8       8       0       8
# Rows examine 100      32       8       8       8       8       0       8
# Query size   100     148      37      37      37      37       0      37
# String:
# Databases    mysql
# Hosts        test2 (3/75%), 192.168.100.222 (1/25%)
# Users        zjy
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `mysql` LIKE 'user'\G
#    SHOW CREATE TABLE `mysql`.`user`\G
# EXPLAIN /*!50100 PARTITIONS*/
select user,host,sleep(0.8) from user\G

View Code

⑦：分析指定查询类型的慢查询：

pt-query-digest test2-slow.log_bak --type=slowlog --filter '$event->{arg} =~ m/^update/i'

# 160ms user time, 0 system time, 33.95M rss, 98.80M vsz
# Current date: Mon Mar  2 10:54:08 2020
# Hostname: test2
# Files: test2-slow.log_bak
# Overall: 2 total, 2 unique, 0.00 QPS, 0.00x concurrency ________________
# Time range: 2020-02-28T10:49:02 to 2020-02-28T12:59:04
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time            14s      6s      8s      7s      8s      1s      7s
# Lock time            6ms     2ms     4ms     3ms     4ms     1ms     3ms
# Rows sent             10       2       8       5       8    4.24       5
# Rows examine          10       2       8       5       8    4.24       5
# Query size            89      36      53   44.50      53   12.02   44.50

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x85DD43B595DF4DE2480E3EA0F1B26C9F  8.0111 57.2%     1 8.0111  0.00 UPDATE user sleep mysql.user
#    2 0x836D2825542008408981DFD394A2EB60  6.0065 42.8%     1 6.0065  0.00 UPDATE cluster_name sleep cluster_domain_name

# Query 1: 0 QPS, 0x concurrency, ID 0x85DD43B595DF4DE2480E3EA0F1B26C9F at byte 1614
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-02-28T12:59:04
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         50       1
# Exec time     57      8s      8s      8s      8s      8s       0      8s
# Lock time     37     2ms     2ms     2ms     2ms     2ms       0     2ms
# Rows sent     80       8       8       8       8       8       0       8
# Rows examine  80       8       8       8       8       8       0       8
# Query size    40      36      36      36      36      36       0      36
# String:
# Databases    mysql
# Hosts        test2
# Users        root
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `mysql` LIKE 'user'\G
#    SHOW CREATE TABLE `mysql`.`user`\G
#    SHOW TABLE STATUS FROM `mysql` LIKE 'sleep'\G
#    SHOW CREATE TABLE `mysql`.`sleep`\G
#    SHOW TABLE STATUS FROM `mysql` LIKE 'user'\G
#    SHOW CREATE TABLE `mysql`.`user`\G
update user,sleep(1) from mysql.user\G

# Query 2: 0 QPS, 0x concurrency, ID 0x836D2825542008408981DFD394A2EB60 at byte 1118
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-02-28T10:49:02
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         50       1
# Exec time     42      6s      6s      6s      6s      6s       0      6s
# Lock time     62     4ms     4ms     4ms     4ms     4ms       0     4ms
# Rows sent     20       2       2       2       2       2       0       2
# Rows examine  20       2       2       2       2       2       0       2
# Query size    59      53      53      53      53      53       0      53
# String:
# Databases    orchestrator
# Hosts        192.168.163.111
# Users        root
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `orchestrator` LIKE 'cluster_name'\G
#    SHOW CREATE TABLE `orchestrator`.`cluster_name`\G
#    SHOW TABLE STATUS FROM `orchestrator` LIKE 'sleep'\G
#    SHOW CREATE TABLE `orchestrator`.`sleep`\G
#    SHOW TABLE STATUS FROM `orchestrator` LIKE 'cluster_domain_name'\G
#    SHOW CREATE TABLE `orchestrator`.`cluster_domain_name`\G
update cluster_name,sleep(3) from cluster_domain_name\G

View Code

⑧：指定时间、排除指定IP、指定慢查类型(select)写入到表中：

pt-query-digest --user=root --password=root --port=3306 --review h=192.168.163.132,D=slow_query_log,t=global_query_review --history h=192.168.163.132,D=slow_query_log,t=global_query_review_history --limit=0% --filter='($event->{Bytes} = length($event->{arg}) and $event->{hostname}="test2") and ($event->{host} || $event->{ip}) !~ m/^localhost$|^192.168.163.1$/i and $event->{arg} =~ m/^select/i' --since='2020-03-23 12:00:00' --until='2020-03-23 13:00:00' /usr/local/mysql/logs/slow.log --no-report

⑨：后续补充...

2. general log：--type=genlog

属性：

$VAR1 = {
  Query_time => 0,
  Thread_id => '138',
  arg => 'SHOW FULL PROCESSLIST',
  bytes => 21,
  cmd => 'Query',
  db => 'mysql',
  fingerprint => 'show full processlist',
  pos_in_log => 191402,
  ts => '2020-02-29T12:21:53.692656Z'
};

general log 和 slow log的最大区别是--order-by默认从Query_time:sum改成了Query_time:cnt。general log没有执行时间。

分析报告分为二部分说明：

第一部分：总体概况说明，同上面的slow log。

第二部分：查询SQL概况说明。

# Query 1: 0 QPS, 0x concurrency, ID 0x0BBD8F114BF69E6F45609ADE347419D3 at byte 1075144
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2020-02-29T09:38:40.431645Z to 2020-02-29T17:03:19.210317Z
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
-- 次数
# Count         96   16463
-- 执行时间
# Exec time      0       0       0       0       0       0       0       0
-- 查询字节数
# Query size    90 337.62k      21      21      21      21       0      21
# String:
# Databases    mysql
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
SHOW FULL PROCESSLIST\G

①：分析所有general log：

pt-query-digest test2.log --type=genlog

# 1.1s user time, 10ms system time, 37.23M rss, 101.77M vsz
# Current date: Mon Mar  2 11:54:58 2020
# Hostname: test2
# Files: test2.log
# Overall: 17.15k total, 36 unique, 0 QPS, 0x concurrency ________________
# Time range: 2020-02-29T08:16:40.412968Z to 2020-03-02T02:47:33.305124Z
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time              0       0       0       0       0       0       0
# Query size       371.27k       9     215   22.17   20.43   11.62   20.43

# Profile
# Rank Query ID                      Response time Calls R/Call V/M   Item
# ==== ============================= ============= ===== ====== ===== ====
#    1 0x0BBD8F114BF69E6F45609ADE...  0.0000  0.0% 16463 0.0000  0.00 SHOW PROCESSLIST
#    2 0x7417646A9FE969365D51E5F0...  0.0000  0.0%   150 0.0000  0.00 ADMIN CONNECT
# MISC 0xMISC                         0.0000  0.0%   533 0.0000   0.0 <34 ITEMS>

# Query 1: 0 QPS, 0x concurrency, ID 0x0BBD8F114BF69E6F45609ADE347419D3 at byte 1075144
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2020-02-29T09:38:40.431645Z to 2020-02-29T17:03:19.210317Z
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         96   16463
# Exec time      0       0       0       0       0       0       0       0
# Query size    90 337.62k      21      21      21      21       0      21
# String:
# Databases    mysql
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
SHOW FULL PROCESSLIST\G

# Query 2: 0 QPS, 0x concurrency, ID 0x7417646A9FE969365D51E5F01B88B79E at byte 1079129
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2020-02-29T08:16:42.510608Z to 2020-03-02T02:47:30.977613Z
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count          0     150
# Exec time      0       0       0       0       0       0       0       0
# Query size     1   4.39k      30      30      30      30       0      30
# String:
# Databases    mysql (146/97%), test (3/2%), xyz (1/0%)
# Hosts        test2 (148/98%), localhost (2/1%)
# Users        root (148/98%), debian-sys... (2/1%)
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
administrator command: Connect\G

View Code

②：分析指定数据库的general log：

pt-query-digest test2.log --type=genlog --filter '($event->{db} || "") =~ m/^xyz/i'

# 760ms user time, 0 system time, 33.97M rss, 98.79M vsz
# Current date: Mon Mar  2 11:58:25 2020
# Hostname: test2
# Files: test2.log
# Overall: 19 total, 7 unique, 0 QPS, 0x concurrency _____________________
# Time range: 2020-02-29T08:16:42.510608Z to 2020-03-02T03:57:21.856375Z
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time              0       0       0       0       0       0       0
# Query size           374      11      32   19.68   28.75    5.67   16.81

# Profile
# Rank Query ID                          Response time Calls R/Call V/M   
# ==== ================================= ============= ===== ====== ===== 
#    1 0x13CE8196A68B6EDD5056FEA7A295...  0.0000  0.0%    11 0.0000  0.00 SELECT opa
# MISC 0xMISC                             0.0000  0.0%     8 0.0000   0.0 <6 ITEMS>

# Query 1: 0 QPS, 0x concurrency, ID 0x13CE8196A68B6EDD5056FEA7A29521B5 at byte 1079780
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2020-02-29T08:16:53.573687Z to 2020-03-02T03:56:54.493066Z
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         57      11
# Exec time      0       0       0       0       0       0       0       0
# Query size    50     187      17      17      17      17       0      17
# String:
# Databases    xyz
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `xyz` LIKE 'opa'\G
#    SHOW CREATE TABLE `xyz`.`opa`\G
# EXPLAIN /*!50100 PARTITIONS*/
select * from opa\G

View Code

③：分析指定用户的general log：

pt-query-digest test2.log --type=genlog --filter '($event->{user} || "") =~ m/^rep/i'

# 760ms user time, 40ms system time, 34.09M rss, 98.66M vsz
# Current date: Mon Mar  2 12:01:37 2020
# Hostname: test2
# Files: test2.log
# Overall: 1 total, 1 unique, 0 QPS, 0x concurrency ______________________
# Time range: all events occurred at 2020-03-02T04:01:10.355849Z
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time              0       0       0       0       0       0       0
# Query size            30      30      30      30      30       0      30

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x7417646A9FE969365D51E5F01B88B79E  0.0000  0.0%     1 0.0000  0.00 ADMIN CONNECT

# Query 1: 0 QPS, 0x concurrency, ID 0x7417646A9FE969365D51E5F01B88B79E at byte 1080607
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-02T04:01:10.355849Z
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count        100       1
# Exec time      0       0       0       0       0       0       0       0
# Query size   100      30      30      30      30      30       0      30
# String:
# Databases    xyz
# Hosts        test2
# Users        rep
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
administrator command: Connect\G

View Code

④：分析指定IP的general log：只能查询有连接信息的一行

pt-query-digest test2.log --type=genlog --filter '($event->{host} || $event->{ip} || "") =~ m/^192.168.163.1/i'

# 680ms user time, 10ms system time, 34.10M rss, 98.67M vsz
# Current date: Mon Mar  2 12:07:37 2020
# Hostname: test2
# Files: test2.log
# Overall: 1 total, 1 unique, 0 QPS, 0x concurrency ______________________
# Time range: all events occurred at 2020-03-02T04:04:44.525323Z
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time              0       0       0       0       0       0       0
# Query size            30      30      30      30      30       0      30

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x7417646A9FE969365D51E5F01B88B79E  0.0000  0.0%     1 0.0000  0.00 ADMIN CONNECT

# Query 1: 0 QPS, 0x concurrency, ID 0x7417646A9FE969365D51E5F01B88B79E at byte 1080854
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-02T04:04:44.525323Z
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count        100       1
# Exec time      0       0       0       0       0       0       0       0
# Query size   100      30      30      30      30      30       0      30
# String:
# Databases    xyz
# Hosts        192.168.163.1
# Users        rep
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
administrator command: Connect\G

View Code

⑤：分析指定时间范围的general log：

因为since、until是和属性ts进行比较的，而ts表示慢查询的timestamp，general log的ts格式不支持。

Argument "2020-03-02T03:56:40.729571Z" isn't numeric in numeric ge (>=) at /usr/bin/pt-query-digest line 13828

⑥：分析指定查询类型的general log：

pt-query-digest test2.log --type=genlog --filter '$event->{arg} =~ m/^update/i'

# 800ms user time, 20ms system time, 34.14M rss, 98.66M vsz
# Current date: Mon Mar  2 12:53:22 2020
# Hostname: test2
# Files: test2.log
# Overall: 3 total, 2 unique, 0 QPS, 0x concurrency ______________________
# Time range: 2020-03-01T15:51:00.127775Z to 2020-03-01T15:51:41.615228Z
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time              0       0       0       0       0       0       0
# Query size           117      29      44      39   42.48    6.47   42.48

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x80ADD689782BEAD7D70ED30064A844AE  0.0000  0.0%     2 0.0000  0.00 UPDATE host
#    2 0xD2D49F3A84020704D76F13F185D17AF0  0.0000  0.0%     1 0.0000  0.00 UPDATE host

# Query 1: 0 QPS, 0x concurrency, ID 0x80ADD689782BEAD7D70ED30064A844AE at byte 1076295
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2020-03-01T15:51:00.127775Z to 2020-03-01T15:51:41.615228Z
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         66       2
# Exec time      0       0       0       0       0       0       0       0
# Query size    75      88      44      44      44      44       0      44
# String:
# Databases    test
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `test` LIKE 'host'\G
#    SHOW CREATE TABLE `test`.`host`\G
update host set hostname = concat('test',id)\G
# Converted for EXPLAIN
# EXPLAIN /*!50100 PARTITIONS*/
select  hostname = concat('test',id) from host \G

# Query 2: 0 QPS, 0x concurrency, ID 0xD2D49F3A84020704D76F13F185D17AF0 at byte 1076124
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-01T15:51:18.804090Z
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         33       1
# Exec time      0       0       0       0       0       0       0       0
# Query size    24      29      29      29      29      29       0      29
# String:
# Databases    test
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `test` LIKE 'host'\G
#    SHOW CREATE TABLE `test`.`host`\G
update host set hostname = ''\G
# Converted for EXPLAIN
# EXPLAIN /*!50100 PARTITIONS*/
select  hostname = '' from host \G

View Code

⑦：后续补充中...

3. binlog：--type=binlog

属性：

$VAR1 = {
  Query_time => '0',
  Thread_id => '176',
  arg => '...',
  bytes => 40,
  cmd => 'Query',
  db => 'xyz',
  end_log_pos => '695',
  error_code => '0',
  fingerprint => '...',
  offset => '583',
  pos_in_log => 1942,
  server_id => '1',
  timestamp => '1583133657',
  ts => '200302 15:20:57'
};

注意： 在测试的时候发现，binlog如果是ROW模式，则分析不出SQL信息？

因为没有用户（user）、IP属性，所以不能通过它们分析。

预备：在分析binlog之前，需要先把binlog转换成文本：

 mysqlbinlog --no-defaults -vv --base64-output=DECODE-ROWS mysql-bin.000053 >mysql-bin.000053.txt

① 分析所有binlog：

pt-query-digest /var/log/mysql/mysql-bin.000053.txt --type=binlog

# 150ms user time, 30ms system time, 34.53M rss, 99.06M vsz
# Current date: Mon Mar  2 15:43:19 2020
# Hostname: test2
# Files: /var/log/mysql/mysql-bin.000053.txt
# Overall: 4 total, 6 unique, 0.03 QPS, 0x concurrency ___________________
# Time range: 2020-03-02 15:18:30 to 15:20:57
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time              0       0       0       0       0       0       0
# Query size           213       5      71   30.43   69.19   23.03   38.53
# @@session.au           1       1       1       1       1       0       1
# @@session.au           1       1       1       1       1       0       1
# @@session.au           1       1       1       1       1       0       1
# @@session.ch          33      33      33      33      33       0      33
# @@session.co          33      33      33      33      33       0      33
# @@session.co           8       8       8       8       8       0       8
# @@session.fo           1       1       1       1       1       0       1
# @@session.lc           0       0       0       0       0       0       0
# @@session.ps         176     176     176     176     176       0     176
# @@session.sq           0       0       0       0       0       0       0
# @@session.sq       1.34G   1.34G   1.34G   1.34G   1.34G       0   1.34G
# @@session.un           1       1       1       1       1       0       1
# error code             0       0       0       0       0       0       0

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x82CE37495437A097404F41D8B9BC40F5  0.0000  0.0%     1 0.0000  0.00 UPDATE opa
#    2 0x8D589AFA4DFAEEED85FFF5AA78E5FF6A  0.0000  0.0%     2 0.0000  0.00 BEGIN
#    3 0x22F19246E8077C1AD6C6EBCA2A2AA193  0.0000  0.0%     1 0.0000  0.00 UPDATE opa

# Query 1: 0 QPS, 0x concurrency, ID 0x82CE37495437A097404F41D8B9BC40F5 at byte 1942
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-02 15:20:57
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         25       1
# Exec time      0       0       0       0       0       0       0       0
# Query size    18      40      40      40      40      40       0      40
# error code     0       0       0       0       0       0       0       0
# String:
# Databases    xyz
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `xyz` LIKE 'opa'\G
#    SHOW CREATE TABLE `xyz`.`opa`\G
update opa set name = concat(id,name,id)\G
# Converted for EXPLAIN
# EXPLAIN /*!50100 PARTITIONS*/
select  name = concat(id,name,id) from opa \G

# Query 2: 0.01 QPS, 0x concurrency, ID 0x8D589AFA4DFAEEED85FFF5AA78E5FF6A at byte 1780
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2020-03-02 15:18:30 to 15:20:57
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         50       2
# Exec time      0       0       0       0       0       0       0       0
# Query size     4      10       5       5       5       5       0       5
# @@session.au 100       1       1       1       1       1       0       1
# @@session.au 100       1       1       1       1       1       0       1
# @@session.au 100       1       1       1       1       1       0       1
# @@session.ch 100      33      33      33      33      33       0      33
# @@session.co 100      33      33      33      33      33       0      33
# @@session.co 100       8       8       8       8       8       0       8
# @@session.fo 100       1       1       1       1       1       0       1
# @@session.lc   0       0       0       0       0       0       0       0
# @@session.ps 100     176     176     176     176     176       0     176
# @@session.sq   0       0       0       0       0       0       0       0
# @@session.sq 100   1.34G   1.34G   1.34G   1.34G   1.34G       0   1.34G
# @@session.un 100       1       1       1       1       1       0       1
# error code     0       0       0       0       0       0       0       0
# String:
# @@session.co default
# Databases    xyz
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
BEGIN\G

# Query 3: 0 QPS, 0x concurrency, ID 0x22F19246E8077C1AD6C6EBCA2A2AA193 at byte 1289
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-02 15:18:30
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         25       1
# Exec time      0       0       0       0       0       0       0       0
# Query size    19      42      42      42      42      42       0      42
# error code     0       0       0       0       0       0       0       0
# String:
# Databases    xyz
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `xyz` LIKE 'opa'\G
#    SHOW CREATE TABLE `xyz`.`opa`\G
update opa set name = concat(name,id,name)\G
# Converted for EXPLAIN
# EXPLAIN /*!50100 PARTITIONS*/
select  name = concat(name,id,name) from opa \G

View Code

②：分析指定数据库的bin log：

 pt-query-digest /var/log/mysql/mysql-bin.000053.txt --type=binlog --filter '($event->{db} || "") =~ m/^xyz/i'

# 160ms user time, 20ms system time, 33.99M rss, 98.66M vsz
# Current date: Mon Mar  2 15:45:49 2020
# Hostname: test2
# Files: /var/log/mysql/mysql-bin.000053.txt
# Overall: 3 total, 6 unique, 0.02 QPS, 0x concurrency ___________________
# Time range: 2020-03-02 15:18:30 to 15:20:57
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time              0       0       0       0       0       0       0
# Query size           208       5      71   34.67   69.19   22.41   41.47
# error code             0       0       0       0       0       0       0

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x82CE37495437A097404F41D8B9BC40F5  0.0000  0.0%     1 0.0000  0.00 UPDATE opa
# MISC 0xMISC                              0.0000  0.0%     2 0.0000   0.0 <2 ITEMS>

# Query 1: 0 QPS, 0x concurrency, ID 0x82CE37495437A097404F41D8B9BC40F5 at byte 1942
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-02 15:20:57
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         33       1
# Exec time      0       0       0       0       0       0       0       0
# Query size    19      40      40      40      40      40       0      40
# error code     0       0       0       0       0       0       0       0
# String:
# Databases    xyz
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `xyz` LIKE 'opa'\G
#    SHOW CREATE TABLE `xyz`.`opa`\G
update opa set name = concat(id,name,id)\G
# Converted for EXPLAIN
# EXPLAIN /*!50100 PARTITIONS*/
select  name = concat(id,name,id) from opa \G

View Code

③：分析指定时间范围的binlog

pt-query-digest /var/log/mysql/mysql-bin.000053.txt --type=binlog --since='2020-03-01 15:49:47' --until='2020-03-05 15:52:55'

# 170ms user time, 10ms system time, 34.39M rss, 99.05M vsz
# Current date: Mon Mar  2 16:00:25 2020
# Hostname: test2
# Files: /var/log/mysql/mysql-bin.000053.txt
# Overall: 4 total, 6 unique, 0.03 QPS, 0x concurrency ___________________
# Time range: 2020-03-02 15:18:30 to 15:20:57
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time              0       0       0       0       0       0       0
# Query size           213       5      71   30.43   69.19   23.03   38.53
# @@session.au           1       1       1       1       1       0       1
# @@session.au           1       1       1       1       1       0       1
# @@session.au           1       1       1       1       1       0       1
# @@session.ch          33      33      33      33      33       0      33
# @@session.co          33      33      33      33      33       0      33
# @@session.co           8       8       8       8       8       0       8
# @@session.fo           1       1       1       1       1       0       1
# @@session.lc           0       0       0       0       0       0       0
# @@session.ps         176     176     176     176     176       0     176
# @@session.sq           0       0       0       0       0       0       0
# @@session.sq       1.34G   1.34G   1.34G   1.34G   1.34G       0   1.34G
# @@session.un           1       1       1       1       1       0       1
# error code             0       0       0       0       0       0       0

# Profile
# Rank Query ID                           Response time Calls R/Call V/M  
# ==== ================================== ============= ===== ====== =====
#    1 0x82CE37495437A097404F41D8B9BC40F5  0.0000  0.0%     1 0.0000  0.00 UPDATE opa
#    2 0x8D589AFA4DFAEEED85FFF5AA78E5FF6A  0.0000  0.0%     2 0.0000  0.00 BEGIN
# MISC 0xMISC                              0.0000  0.0%     1 0.0000   0.0 <1 ITEMS>

# Query 1: 0 QPS, 0x concurrency, ID 0x82CE37495437A097404F41D8B9BC40F5 at byte 1942
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2020-03-02 15:20:57
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         25       1
# Exec time      0       0       0       0       0       0       0       0
# Query size    18      40      40      40      40      40       0      40
# error code     0       0       0       0       0       0       0       0
# String:
# Databases    xyz
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `xyz` LIKE 'opa'\G
#    SHOW CREATE TABLE `xyz`.`opa`\G
update opa set name = concat(id,name,id)\G
# Converted for EXPLAIN
# EXPLAIN /*!50100 PARTITIONS*/
select  name = concat(id,name,id) from opa \G

# Query 2: 0.01 QPS, 0x concurrency, ID 0x8D589AFA4DFAEEED85FFF5AA78E5FF6A at byte 1780
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2020-03-02 15:18:30 to 15:20:57
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         50       2
# Exec time      0       0       0       0       0       0       0       0
# Query size     4      10       5       5       5       5       0       5
# @@session.au 100       1       1       1       1       1       0       1
# @@session.au 100       1       1       1       1       1       0       1
# @@session.au 100       1       1       1       1       1       0       1
# @@session.ch 100      33      33      33      33      33       0      33
# @@session.co 100      33      33      33      33      33       0      33
# @@session.co 100       8       8       8       8       8       0       8
# @@session.fo 100       1       1       1       1       1       0       1
# @@session.lc   0       0       0       0       0       0       0       0
# @@session.ps 100     176     176     176     176     176       0     176
# @@session.sq   0       0       0       0       0       0       0       0
# @@session.sq 100   1.34G   1.34G   1.34G   1.34G   1.34G       0   1.34G
# @@session.un 100       1       1       1       1       1       0       1
# error code     0       0       0       0       0       0       0       0
# String:
# @@session.co default
# Databases    xyz
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s
#  10s+
BEGIN\G

View Code

④：分析最近时间的binlog

pt-query-digest /var/log/mysql/mysql-bin.000053.txt --type=binlog --since='60m'

⑤：分析指定类型的binlog

pt-query-digest /var/log/mysql/mysql-bin.000053.txt --type=binlog  --filter '$event->{arg} =~ m/^update/i'

⑥：后续补充中...

4. processlist

①：抓取show processlist的慢查，转存到指定文件：

-- 间隔1s执行show full processlist 拉取processlist中订阅到的慢查询转存到指定的文件。
pt-query-digest --processlist h=192.168.163.132,u=root,p=root --interval=1  --output=slowlog > /tmp/process.log

说明：比较适用于一些云数据库没有看慢查文件的权限。

②：分析show processlist的慢查：配合--run-time使用，可以限制执行时间，到时间（--iterations=1）之后退出并且打印分析。

-- 间隔1s执行show full processlist，永远运行，每30秒生成一次报告
pt-query-digest --processlist h=192.168.163.132,u=root,p=root --interval=1  --run-time-mode=clock --run-time=30s --iterations=0

说明：比较适用于一些问题排查方面的工作。

5. tcpdump

先抓包：

tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.tcp.txt

再分析：

pt-query-digest --type tcpdump mysql.tcp.txt

二分析转存方面：将查询数据从slow.log保存到MySQL

1，查询&审计转存到表

pt-query-digest --review u=root,p=root,h=192.168.163.132,P=3306,D=xyz,t=query_review --create-review-table test2-slow.log

说明：把慢查询记录到数据库xyz的query_review表中：

mysql> select * from query_review\G
*************************** 1. row ***************************
   checksum: 02DFE94A93ADC62623BF2E1E98C17EC3
fingerprint: select id,hostname,agent_version,sleep(?) from host limit ?
     sample: select id,hostname,agent_version,sleep(0.5) from host limit 10
 first_seen: 2020-03-03 00:07:55
  last_seen: 2020-03-03 00:08:01
reviewed_by: NULL
reviewed_on: NULL
   comments: NULL
*************************** 2. row ***************************
   checksum: 37FD1F8E9516984F7D77EB5364A382DD
fingerprint: select id,name,sleep(?) from opa
     sample: select id,name,sleep(0.5) from opa
 first_seen: 2020-03-03 00:06:50
  last_seen: 2020-03-03 00:07:04
reviewed_by: NULL
reviewed_on: NULL
   comments: NULL
*************************** 3. row ***************************
   checksum: 8430AB741BBC096B102EDAA5ACD08366
fingerprint: select id,name,age,sleep(?) from x
     sample: select id,name,age,sleep(1) from x
 first_seen: 2020-03-03 00:08:15
  last_seen: 2020-03-03 00:08:15
reviewed_by: NULL
reviewed_on: NULL
   comments: NULL
*************************** 4. row ***************************
   checksum: D4B20686AF10136F85E9FAE50E04AE92
fingerprint: select name,sleep(?) from opa
     sample: select name,sleep(0.5) from opa
 first_seen: 2020-03-03 00:07:20
  last_seen: 2020-03-03 00:07:26
reviewed_by: NULL
reviewed_on: NULL
   comments: NULL

View Code

表列说明：

COLUMN       MEANING
===========  ====================================================
checksum     查询指纹的64位校验和
fingerprint  查询的抽象版本；它的主键
sample       查询样本的文本
first_seen   此类查询的最早时间戳
last_seen    此类查询的最近时间戳
reviewed_by  如果设置，此后将跳过查询
reviewed_on  没有赋予任何特殊含义
comments     没有赋予任何特殊含义

注意：如果表中的记录reviewed_by被设了值，则下次运行pt-query-digest --review不会显示该query。

2，查询分析指标转存到表

pt-query-digest --history u=root,p=root,h=192.168.163.132,P=3306,D=xyz,t=query_review_history --create-review-table test2-slow.log

说明：把慢查询记录的分析指标转存到数据库xyz的query_review_history表中：

mysql> select * from query_review_history\G
*************************** 1. row ***************************
                    checksum: 02DFE94A93ADC62623BF2E1E98C17EC3
                      sample: select id,hostname,agent_version,sleep(0.5) from host limit 10
                      ts_min: 2020-03-03 00:07:55
                      ts_max: 2020-03-03 00:08:01
                      ts_cnt: 2
              Query_time_sum: 10.0236
              Query_time_min: 5.00726
              Query_time_max: 5.01629
           Query_time_pct_95: 5.01629
           Query_time_stddev: 0.00638659
           Query_time_median: 5.01178
               Lock_time_sum: 0.004069
               Lock_time_min: 0.000299
               Lock_time_max: 0.00377
            Lock_time_pct_95: 0.00377
            Lock_time_stddev: 0.00245437
            Lock_time_median: 0.0020345
               Rows_sent_sum: 20
               Rows_sent_min: 10
               Rows_sent_max: 10
            Rows_sent_pct_95: 10
            Rows_sent_stddev: 0
            Rows_sent_median: 10
           Rows_examined_sum: 20
           Rows_examined_min: 10
           Rows_examined_max: 10
        Rows_examined_pct_95: 10
        Rows_examined_stddev: 0
        Rows_examined_median: 10
           Rows_affected_sum: NULL
           Rows_affected_min: NULL
           Rows_affected_max: NULL
        Rows_affected_pct_95: NULL
        Rows_affected_stddev: NULL
        Rows_affected_median: NULL
               Rows_read_sum: NULL
               Rows_read_min: NULL
               Rows_read_max: NULL
            Rows_read_pct_95: NULL
            Rows_read_stddev: NULL
            Rows_read_median: NULL
            Merge_passes_sum: NULL
            Merge_passes_min: NULL
            Merge_passes_max: NULL
         Merge_passes_pct_95: NULL
         Merge_passes_stddev: NULL
         Merge_passes_median: NULL
         InnoDB_IO_r_ops_min: NULL
         InnoDB_IO_r_ops_max: NULL
      InnoDB_IO_r_ops_pct_95: NULL
      InnoDB_IO_r_ops_stddev: NULL
      InnoDB_IO_r_ops_median: NULL
       InnoDB_IO_r_bytes_min: NULL
       InnoDB_IO_r_bytes_max: NULL
    InnoDB_IO_r_bytes_pct_95: NULL
    InnoDB_IO_r_bytes_stddev: NULL
    InnoDB_IO_r_bytes_median: NULL
        InnoDB_IO_r_wait_min: NULL
        InnoDB_IO_r_wait_max: NULL
     InnoDB_IO_r_wait_pct_95: NULL
     InnoDB_IO_r_wait_stddev: NULL
     InnoDB_IO_r_wait_median: NULL
    InnoDB_rec_lock_wait_min: NULL
    InnoDB_rec_lock_wait_max: NULL
 InnoDB_rec_lock_wait_pct_95: NULL
 InnoDB_rec_lock_wait_stddev: NULL
 InnoDB_rec_lock_wait_median: NULL
       InnoDB_queue_wait_min: NULL
       InnoDB_queue_wait_max: NULL
    InnoDB_queue_wait_pct_95: NULL
    InnoDB_queue_wait_stddev: NULL
    InnoDB_queue_wait_median: NULL
   InnoDB_pages_distinct_min: NULL
   InnoDB_pages_distinct_max: NULL
InnoDB_pages_distinct_pct_95: NULL
InnoDB_pages_distinct_stddev: NULL
InnoDB_pages_distinct_median: NULL
                  QC_Hit_cnt: NULL
                  QC_Hit_sum: NULL
               Full_scan_cnt: NULL
               Full_scan_sum: NULL
               Full_join_cnt: NULL
               Full_join_sum: NULL
               Tmp_table_cnt: NULL
               Tmp_table_sum: NULL
       Tmp_table_on_disk_cnt: NULL
       Tmp_table_on_disk_sum: NULL
                Filesort_cnt: NULL
                Filesort_sum: NULL
        Filesort_on_disk_cnt: NULL
        Filesort_on_disk_sum: NULL

View Code

注意：通过report打印出来的信息转存到表中。针对1，2生成的表可以进行关联，来找出那些没有被审计的SQL。通过这2个参数，可以做成一个MySQL的慢查询审计平台，如Anemometer。

三总结：

本文大致说明了pt-query-digest的使用方法，其参数的介绍说明可以看percona-toolkit 之【pt-query-digest】介绍，也可以直接去官网看文档。要是有更多的比较常用的方法，会不定期的更新该文章。

你可能感兴趣的:(percona-toolkit 之【pt-query-digest】使用)

element实现动态路由+面包屑软件技术NINI vue案例 vue.js 前端
el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
C语言宏函数南林yan C语言 c语言
一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
C语言如何定义宏函数？小九格物 c语言
在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
c++ 的iostream 和 c++的stdio的区别和联系黄卷青灯77 c++算法开发语言 iostream stdio
在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
Long类型前后端数据不一致 igotyback 前端
响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
扫地机类清洁产品之直流无刷电机控制悟空胆好小清洁服务机器人单片机人工智能
扫地机类清洁产品之直流无刷电机控制1.1前言扫地机产品有很多的电机控制，滚刷电机1个，边刷电机1-2个，清水泵电机，风机一个，部分中高端产品支持抹布功能，也就是存在抹布盘电机，还有追觅科沃斯石头等边刷抬升电机，滚刷抬升电机等的，这些电机有直流有刷电机，直接无刷电机，步进电机，电磁阀，挪动泵等不同类型。电机的原理，驱动控制方式也不行。接下来一段时间的几个文章会作个专题分析分享。直流有刷电机会自动持续
消息中间件有哪些常见类型 xmh-sxh-1314 java
消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
html 中如何使用 uniapp 的部分方法某公司摸鱼前端 html uni-app 前端
示例代码：Documentconsole.log(window);效果展示：好了，现在就可以uni.使用相关的方法了
ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值）研学随笔 arcgis 经验分享
我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
高级编程--XML+socket练习题 masa010 java 开发语言
1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
2018-07-23-催眠日作业-#不一样的31天#-66小鹿小鹿_33
预言日：人总是在逃避命运的路上，与之不期而遇。心理学上有个著名的名词，叫做自证预言；经济学上也有一个很著名的定律叫做，墨菲定律；在灵修派上，还有一个很著名的法则，叫做吸引力法则。这3个领域的词，虽然看起来不太一样，但是他们都在告诉人们一个现象：你越担心什么，就越有可能会发生什么。同样的道理，你越想得到什么，就应该要积极地去创造什么。无论是自证预言，墨菲定律还是吸引力法则，对人都有正反2个维度的影响
水平垂直居中的几种方法（总结） LJ小番茄 CSS_玄学语言 html javascript 前端 css css3
1.使用flexbox的justify-content和align-items.parent{display:flex;justify-content:center;/*水平居中*/align-items:center;/*垂直居中*/height:100vh;/*需要指定高度*/}2.使用grid的place-items:center.parent{display:grid;place-item
《大清方方案》| 第二话谁佐清欢
和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数广龙宇一起学Rust #Rust设计模式 rust 设计模式开发语言
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
C#中使用split分割字符串互联网打工人no1 c#
1、用字符串分隔：usingSystem.Text.RegularExpressions;stringstr="aaajsbbbjsccc";string[]sArray=Regex.Split(str,"js",RegexOptions.IgnoreCase);foreach(stringiinsArray)Response.Write(i.ToString()+"");输出结果：aaabbbc
《庄子.达生9》钱江潮369
【原文】孔子观于吕梁，县水三十仞，流沫四十里，鼋鼍鱼鳖之所不能游也。见一丈夫游之，以为有苦而欲死也，使弟子并流而拯之。数百步而出，被发行歌而游于塘下。孔子从而问焉，曰：“吾以子为鬼，察子则人也。请问，‘蹈水有道乎’”曰：“亡，吾无道。吾始乎故，长乎性，成乎命。与齐俱入，与汩偕出，从水之道而不为私焉。此吾所以蹈之也。”孔子曰：“何谓始乎故，长乎性，成乎命？”曰：“吾生于陵而安于陵，故也；长于水而安于
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
Google earth studio 简介陟彼高冈yu 旅游
GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
linux中sdl的使用教程,sdl使用入门 Melissa Corvinus linux中sdl的使用教程
本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
LLM 词汇表落难Coder LLMs NLP 大语言模型大模型 llama 人工智能
Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
下载github patch到本地小米人er 我的博客 git patch
以下是几种从GitHub上下载以.patch结尾的补丁文件的方法：通过浏览器直接下载打开包含该.patch文件的GitHub仓库。在仓库的文件列表中找到对应的.patch文件。点击该文件，浏览器会显示文件的内容，在页面的右上角通常会有一个“Raw”按钮，点击它可以获取原始文件内容。然后在浏览器中使用快捷键（如Ctrl+S或者Command+S）将原始文件保存到本地，选择保存的文件名并确保后缀为.p
使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）编程经验分享开发工具服务器 ssh linux
目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
直返最高等级与直返APP：无需邀请码的返利新体验古楼
随着互联网的普及和电商的兴起，直返模式逐渐成为一种流行的商业模式。在这种模式下，消费者通过购买产品或服务，获得一定的返利，并可以分享给更多的人。其中，直返最高等级和直返APP是直返模式中的重要概念和工具。本文将详细介绍直返最高等级的概念、直返APP的使用以及与邀请码的关系。【高省】APP（高佣金领导者）是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几百万篇报道，运行三年，稳定可靠。高省APP，
SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQL Server 数据库 sqlserver
1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
四章-32-点要素的聚合彩云飘过
本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
高端密码学院笔记285 柚子_b4b4
高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
2020-04-12每天三百字之连接与替代冷眼看潮
不知道是不是好为人师，有时候还真想和别人分享一下我对某些现象的看法或者解释。人类社会不断发展进步的过程，就是不断连接与替代的过程。人类发现了火并应用火以后，告别了茹毛饮血的野兽般的原始生活（火烧、烹饪替代了生食）人类用石器代替了完全手工，工具的使用使人类进步一大步。类似这样的替代还有很多，随着科技的发展，有更多的原始的事物被替代，代之以更高效、更先进的技术。在近现代，汽车替代了马车，高速公路和铁路
【加密社】Solidity 中的事件机制及其应用加密社闲侃区块链智能合约区块链
加密社引言在Solidity合约开发过程中，事件（Events）是一种非常重要的机制。它们不仅能够让开发者记录智能合约的重要状态变更，还能够让外部系统（如前端应用）监听这些状态的变化。本文将详细介绍Solidity中的事件机制以及如何利用不同的手段来触发、监听和获取这些事件。事件存储的地方当我们在Solidity合约中使用emit关键字触发事件时，该事件会被记录在区块链的交易收据中。具体而言，事件
jQuery 跨域访问的三种方式 No 'Access-Control-Allow-Origin' header is present on the reque qiaolevip 每天进步一点点学习永无止境跨域众观千象
XMLHttpRequest cannot load http://v.xxx.com. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://localhost:63342' is therefore not allowed access. test.html:1
mysql 分区查询优化 annan211 java 分区优化 mysql
分区查询优化引入分区可以给查询带来一定的优势，但同时也会引入一些bug. 分区最大的优点就是优化器可以根据分区函数来过滤掉一些分区，通过分区过滤可以让查询扫描更少的数据。所以，对于访问分区表来说，很重要的一点是要在where 条件中带入分区，让优化器过滤掉无需访问的分区。可以通过查看explain执行计划，是否携带 partitions
MYSQL存储过程中使用游标 chicony Mysql存储过程
DELIMITER $$ DROP PROCEDURE IF EXISTS getUserInfo $$ CREATE PROCEDURE getUserInfo(in date_day datetime)-- -- 实例-- 存储过程名为：getUserInfo-- 参数为：date_day日期格式:2008-03-08-- BEGINdecla
mysql 和 sqlite 区别 Array_06 sqlite
转载： http://www.cnblogs.com/ygm900/p/3460663.html mysql 和 sqlite 区别 SQLITE是单机数据库。功能简约，小型化，追求最大磁盘效率 MYSQL是完善的服务器数据库。功能全面，综合化，追求最大并发效率 MYSQL、Sybase、Oracle等这些都是试用于服务器数据量大功能多需要安装，例如网站访问量比较大的。而sq
pinyin4j使用 oloz pinyin4j
首先需要pinyin4j的jar包支持；jar包已上传至附件内方法一:把汉字转换为拼音；例如：编程转换后则为biancheng /** * 将汉字转换为全拼 * @param src 你的需要转换的汉字 * @param isUPPERCASE 是否转换为大写的拼音； true:转换为大写；fal
微博发送私信随意而生微博
在前面文章中说了如和获取登陆时候所需要的cookie，现在只要拿到最后登陆所需要的cookie，然后抓包分析一下微博私信发送界面 http://weibo.com/message/history?uid=****&name=**** 可以发现其发送提交的Post请求和其中的数据，让后用程序模拟发送POST请求中的数据，带着cookie发送到私信的接入口，就可以实现发私信的功能了。
jsp 香水浓 jsp
JSP初始化容器载入JSP文件后，它会在为请求提供任何服务前调用jspInit()方法。如果您需要执行自定义的JSP初始化任务，复写jspInit()方法就行了 JSP执行这一阶段描述了JSP生命周期中一切与请求相关的交互行为，直到被销毁。当JSP网页完成初始化后
在 Windows 上安装 SVN Subversion 服务端 AdyZhang SVN
在 Windows 上安装 SVN Subversion 服务端2009-09-16高宏伟哈尔滨市道里区通达街291号最佳阅读效果请访问原地址：http://blog.donews.com/dukejoe/archive/2009/09/16/1560917.aspx 现在的Subversion已经足够稳定，而且已经进入了它的黄金时段。我们看到大量的项目都在使
android开发中如何使用 alertDialog从listView中删除数据？ aijuans android
我现在使用listView展示了很多的配置信息，我现在想在点击其中一条的时候填出 alertDialog,点击确认后就删除该条数据，（ ArrayAdapter ，ArrayList，listView 全部删除），我知道在下面的onItemLongClick 方法中参数 arg2 是选中的序号，但是我不知道如何继续处理下去 1 2 3
jdk-6u26-linux-x64.bin 安装 baalwolf linux
1.上传安装文件(jdk-6u26-linux-x64.bin) 2.修改权限 [root@localhost ~]# ls -l /usr/local/jdk-6u26-linux-x64.bin 3.执行安装文件 [root@localhost ~]# cd /usr/local [root@localhost local]# ./jdk-6u26-linux-x64.bin&nbs
MongoDB经典面试题集锦 BigBird2012 mongodb
1.什么是NoSQL数据库？NoSQL和RDBMS有什么区别？在哪些情况下使用和不使用NoSQL数据库？ NoSQL是非关系型数据库，NoSQL = Not Only SQL。关系型数据库采用的结构化的数据，NoSQL采用的是键值对的方式存储数据。在处理非结构化/半结构化的大数据时；在水平方向上进行扩展时；随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。在考虑数据库的成熟
JavaScript异步编程Promise模式的6个特性 bijian1013 JavaScript Promise
Promise是一个非常有价值的构造器，能够帮助你避免使用镶套匿名方法，而使用更具有可读性的方式组装异步代码。这里我们将介绍6个最简单的特性。在我们开始正式介绍之前，我们想看看Javascript Promise的样子： var p = new Promise(function(r
[Zookeeper学习笔记之八]Zookeeper源代码分析之Zookeeper.ZKWatchManager bit1129 zookeeper
ClientWatchManager接口 //接口的唯一方法materialize用于确定那些Watcher需要被通知 //确定Watcher需要三方面的因素1.事件状态 2.事件类型 3.znode的path public interface ClientWatchManager { /** * Return a set of watchers that should
【Scala十五】Scala核心九：隐式转换之二 bit1129 scala
隐式转换存在的必要性，在Java Swing中，按钮点击事件的处理，转换为Scala的的写法如下： val button = new JButton button.addActionListener( new ActionListener { def actionPerformed(event: ActionEvent) {
Android JSON数据的解析与封装小Demo ronin47
转自：http://www.open-open.com/lib/view/open1420529336406.html package com.example.jsondemo; import org.json.JSONArray; import org.json.JSONException; import org.json.JSONObject; impor
[设计]字体创意设计方法谈 brotherlamp UI ui自学 ui视频 ui教程 ui资料
从古至今，文字在我们的生活中是必不可少的事物，我们不能想象没有文字的世界将会是怎样。在平面设计中，UI设计师在文字上所花的心思和功夫最多，因为文字能直观地表达UI设计师所的意念。在文字上的创造设计，直接反映出平面作品的主题。如设计一幅戴尔笔记本电脑的广告海报，假设海报上没有出现“戴尔”两个文字，即使放上所有戴尔笔记本电脑的图片都不能让人们得知这些电脑是什么品牌。只要写上“戴尔笔
单调队列-用一个长度为k的窗在整数数列上移动，求窗里面所包含的数的最大值 bylijinnan java 算法面试题
import java.util.LinkedList; /* 单调队列滑动窗口单调队列是这样的一个队列：队列里面的元素是有序的，是递增或者递减题目：给定一个长度为N的整数数列a(i),i=0,1,...,N-1和窗长度k. 要求：f(i) = max{a(i-k+1),a(i-k+2),..., a(i)},i = 0,1,...,N-1 问题的另一种描述就
struts2处理一个form多个submit chiangfai struts2
web应用中，为完成不同工作，一个jsp的form标签可能有多个submit。如下代码： <s:form action="submit" method="post" namespace="/my"> <s:textfield name="msg" label="叙述：">
shell查找上个月，陷阱及野路子 chenchao051 shell
date -d "-1 month" +%F 以上这段代码，假如在2012/10/31执行，结果并不会出现你预计的9月份，而是会出现八月份，原因是10月份有31天，9月份30天，所以-1 month在10月份看来要减去31天，所以直接到了8月31日这天，这不靠谱。野路子解决：假设当天日期大于15号
mysql导出数据中文乱码问题 daizj mysql 中文乱码导数据
解决mysql导入导出数据乱码问题方法：１、进入mysql，通过如下命令查看数据库编码方式： mysql> show variables like 'character_set_%'; +--------------------------+----------------------------------------+ | Variable_name&nbs
SAE部署Smarty出现：Uncaught exception 'SmartyException' with message 'unable to write dcj3sjt126com PHP smarty sae
对于SAE出现的问题：Uncaught exception 'SmartyException' with message 'unable to write file...。官方给出了详细的FAQ：http://sae.sina.com.cn/?m=faqs&catId=11#show_213 解决方案为： 01 $path
《教父》系列台词 dcj3sjt126com
Your love is also your weak point. 你的所爱同时也是你的弱点。 If anything in this life is certain, if history has taught us anything, it is that you can kill anyone. 不顾家的人永远不可能成为一个真正的男人。 &
mongodb安装与使用 dyy_gusi mongo
一.MongoDB安装和启动,widndows和linux基本相同 1.下载数据库, linux:mongodb-linux-x86_64-ubuntu1404-3.0.3.tgz 2.解压文件,并且放置到合适的位置 tar -vxf mongodb-linux-x86_64-ubun
Git排除目录 geeksun git
在Git的版本控制中，可能有些文件是不需要加入控制的，那我们在提交代码时就需要忽略这些文件，下面讲讲应该怎么给Git配置一些忽略规则。有三种方法可以忽略掉这些文件，这三种方法都能达到目的，只不过适用情景不一样。 1. 针对单一工程排除文件这种方式会让这个工程的所有修改者在克隆代码的同时，也能克隆到过滤规则，而不用自己再写一份，这就能保证所有修改者应用的都是同一
Ubuntu 创建开机自启动脚本的方法 hongtoushizi ubuntu
转载自： http://rongjih.blog.163.com/blog/static/33574461201111504843245/ Ubuntu 创建开机自启动脚本的步骤如下： 1) 将你的启动脚本复制到 /etc/init.d目录下以下假设你的脚本文件名为 test。 2) 设置脚本文件的权限 $ sudo chmod 755
第八章流量复制/AB测试/协程 jinnianshilongnian nginx lua coroutine
流量复制在实际开发中经常涉及到项目的升级，而该升级不能简单的上线就完事了，需要验证该升级是否兼容老的上线，因此可能需要并行运行两个项目一段时间进行数据比对和校验，待没问题后再进行上线。这其实就需要进行流量复制，把流量复制到其他服务器上，一种方式是使用如tcpcopy引流；另外我们还可以使用nginx的HttpLuaModule模块中的ngx.location.capture_multi进行并发
电商系统商品表设计 lkl
DROP TABLE IF EXISTS `category`; -- 类目表 /*!40101 SET @saved_cs_client = @@character_set_client */; /*!40101 SET character_set_client = utf8 */; CREATE TABLE `category` ( `id` int(11) NOT NUL
修改phpMyAdmin导入SQL文件的大小限制 pda158 sql mysql
　用phpMyAdmin导入mysql数据库时，我的10M的数据库不能导入，提示mysql数据库最大只能导入2M。　　 phpMyAdmin数据库导入出错：　　You probably tried to upload too large file. Please refer to documentation for ways to workaround this limit.
Tomcat性能调优方案 Sobfist apache jvm tomcat 应用服务器
一、操作系统调优对于操作系统优化来说，是尽可能的增大可使用的内存容量、提高CPU的频率，保证文件系统的读写速率等。经过压力测试验证，在并发连接很多的情况下，CPU的处理能力越强，系统运行速度越快。。【适用场景】任何项目。二、Java虚拟机调优应该选择SUN的JVM，在满足项目需要的前提下，尽量选用版本较高的JVM，一般来说高版本产品在速度和效率上比低版本会有改进。 J
SQLServer学习笔记 vipbooks 数据结构 xml
1、create database school 创建数据库school 2、drop database school 删除数据库school 3、use school 连接到school数据库，使其成为当前数据库 4、create table class(classID int primary key identity not null) 创建一个名为class的表，其有一

percona-toolkit 之 【pt-query-digest】使用

背景

使用场景

一 日志类型方面

1. slow log：--type=slowlog

2. general log：--type=genlog

3. binlog：--type=binlog

属性：

4. processlist

5. tcpdump

二 分析转存方面：将查询数据从slow.log保存到MySQL

1，查询&审计转存到表

2，查询分析指标转存到表

三 总结：

你可能感兴趣的:(percona-toolkit 之 【pt-query-digest】使用)

percona-toolkit 之【pt-query-digest】使用

一日志类型方面

二分析转存方面：将查询数据从slow.log保存到MySQL

三总结：

你可能感兴趣的:(percona-toolkit 之【pt-query-digest】使用)