Demonson
Demonson

使用pt-query-digest分析MySQL日志

一、工具介绍

pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行参数化，然后对参数化以后的查询进行分组统计，统计出各查询的执行时间、次数、占比等，可以借助分析结果找出问题进行优化。

安装：Percona Toolkit工具集介绍

二、语法及重要选项

 

$ pt-query-digest --help Usage: pt-query-digest [OPTIONS] [FILES] [DSN] --host #指定MySQL地址; --port #指定MySQL端口; --socket #指定MySQL SOCK文件; --user #指定MySQL用户; --password #指定MySQL密码; --type #指定将要分析的类型,默认是slowlog,还有如binlog,general log等; --charset #指定字符集; --filter #对输入的慢查询按指定的字符串进行匹配过滤后再进行分析; --limit #限制输出结果百分比或数量,默认值是20,即将最慢的20条语句输出,如果是50%则按总响应时间占比从大到小排序,输出到总和达到50%位置截止; --review #将分析结果保存到表中,这个分析只是对查询条件进行参数化,一个类型的查询一条记录,比较简单;当下次使用--review时,如果存在相同的语句分析,就不会记录到数据表中; --history #将分析结果保存到表中,分析结果比较详细,下次再使用--history时,如果存在相同的语句,且查询所在的时间区间和历史表中的不同,则会记录到数据表中,可以通过查询同--CHECKSUM来比较某类型查询的历史变化; --since #从什么时间开始分析,值为字符串,可以是指定的某个"yyyy-mm-dd [hh:mm:ss]"格式的时间点,也可以是简单的一个时间值:s(秒)、h(小时)、m(分钟)、d(天),如12h就表示从12小时前开始统计; --until #截止时间,配合--since可以分析一段时间内的慢查询; --log #指定输出的日志文件; --output #分析结果输出类型,值可以是report(标准分析报告)、slowlog(Mysql slow log)、json、json-anon;一般使用report,以便于阅读; --create-review-table #当使用--review参数把分析结果输出到表中时,如果没有表就自动创建; --create-history-table #当使用--history参数把分析结果输出到表中时,如果没有表就自动创建;

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

$ pt-query-digest --help

Usage: pt-query-digest [OPTIONS] [FILES] [DSN]

--host      #指定MySQL地址;

--port      #指定MySQL端口;

--socket    #指定MySQL SOCK文件;

--user      #指定MySQL用户;

--password  #指定MySQL密码;

--type      #指定将要分析的类型,默认是slowlog,还有如binlog,general log等;

--charset   #指定字符集;

--filter    #对输入的慢查询按指定的字符串进行匹配过滤后再进行分析;

--limit     #限制输出结果百分比或数量,默认值是20,即将最慢的20条语句输出,如果是50%则按总响应时间占比从大到小排序,输出到总和达到50%位置截止;

--review    #将分析结果保存到表中,这个分析只是对查询条件进行参数化,一个类型的查询一条记录,比较简单;当下次使用--review时,如果存在相同的语句分析,就不会记录到数据表中;

--history   #将分析结果保存到表中,分析结果比较详细,下次再使用--history时,如果存在相同的语句,且查询所在的时间区间和历史表中的不同,则会记录到数据表中,可以通过查询同--CHECKSUM来比较某类型查询的历史变化;

--since     #从什么时间开始分析,值为字符串,可以是指定的某个"yyyy-mm-dd [hh:mm:ss]"格式的时间点,也可以是简单的一个时间值:s(秒)、h(小时)、m(分钟)、d(天),如12h就表示从12小时前开始统计;

--until     #截止时间,配合--since可以分析一段时间内的慢查询;

--log       #指定输出的日志文件;

--output    #分析结果输出类型,值可以是report(标准分析报告)、slowlog(Mysql slow log)、json、json-anon;一般使用report,以便于阅读;

--create-review-table     #当使用--review参数把分析结果输出到表中时,如果没有表就自动创建;

--create-history-table    #当使用--history参数把分析结果输出到表中时,如果没有表就自动创建;

 

三、使用示例

 

a) pt-query-digest分析慢查询日志; $ pt-query-digest --report slow.log b) 报告最近半个小时的慢查询; $ pt-query-digest --report --since 1800s slow.log c) 报告一个时间段的慢查询; $ pt-query-digest --report --since '2016-02-10 21:48:59' --until '2016-02-16 02:33:50' slow.log d) 报告只含select语句的慢查询; $ pt-query-digest --filter '$event->{fingerprint} =~ m/^select/i' slow.log e) 报告针对某个用户的慢查询; $ pt-query-digest --filter '($event->{user} || "") =~ m/^root/i' slow.log f) 报告所有的全表扫描或full join的慢查询; $ pt-query-digest --filter '(($event->{Full_scan} || "") eq "yes") || (($event->{Full_join} || "") eq "yes")' slow.log g) 把查询保存到query_review表; $ pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_review --create-review-table slow.log h) 把查询保存到query_history表; $ pt-query-digest --user=root –password=abc123 --history h=localhost,D=test,t=query_history --create-history-table slow.log i) 通过tcpdump抓取mysql的tcp协议数据,然后再分析; $ tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.tcp.txt $ pt-query-digest --type tcpdump mysql.tcp.txt> slow_report.log j) 分析binlog; $ mysqlbinlog mysql-bin.000093 > mysql-bin000093.sql $ pt-query-digest --type=binlog mysql-bin000093.sql > slow_report.log k) 分析general log; $ pt-query-digest --type=genlog localhost.log > slow_report.log

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

a) pt-query-digest分析慢查询日志;

$ pt-query-digest --report slow.log

 

b) 报告最近半个小时的慢查询;

$ pt-query-digest --report --since 1800s slow.log

 

c) 报告一个时间段的慢查询;

$ pt-query-digest --report --since '2016-02-10 21:48:59' --until '2016-02-16 02:33:50' slow.log

 

d) 报告只含select语句的慢查询;

$ pt-query-digest --filter '$event->{fingerprint} =~ m/^select/i' slow.log

 

e) 报告针对某个用户的慢查询;

$ pt-query-digest --filter '($event->{user} || "") =~ m/^root/i' slow.log

 

f) 报告所有的全表扫描或full join的慢查询;

$ pt-query-digest --filter '(($event->{Full_scan} || "") eq "yes") || (($event->{Full_join} || "") eq "yes")' slow.log

 

g) 把查询保存到query_review表;

$ pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_review --create-review-table slow.log

 

h) 把查询保存到query_history表;

$ pt-query-digest --user=root –password=abc123 --history  h=localhost,D=test,t=query_history --create-history-table slow.log

 

i) 通过tcpdump抓取mysql的tcp协议数据,然后再分析;

$ tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.tcp.txt

$ pt-query-digest --type tcpdump mysql.tcp.txt> slow_report.log

 

j) 分析binlog;

$ mysqlbinlog mysql-bin.000093 > mysql-bin000093.sql

$ pt-query-digest --type=binlog mysql-bin000093.sql > slow_report.log

 

k) 分析general log;

$ pt-query-digest --type=genlog localhost.log > slow_report.log

 

如下为输入结果示例：

 

$ pt-query-digest slow.log # 250ms user time, 20ms system time, 25.90M rss, 221.92M vsz # Current date: Fri Feb 10 15:02:48 2017 # Hostname: mysql01 # Files: /data/mysql/3306/log/slowlog/slow.log # Overall: 83 total, 36 unique, 0 QPS, 0x concurrency ____________________ # Attribute total min max avg 95% stddev median # ============ ======= ======= ======= ======= ======= ======= ======= # Exec time 589s 2s 166s 7s 15s 18s 3s # Lock time 26ms 0 2ms 308us 1ms 364us 176us # Rows sent 12.73M 0 729.17k 157.08k 562.03k 233.92k 964.41 # Rows examine 234.89M 0 197.39M 2.83M 1.26M 20.85M 535.27k # Query size 16.85k 6 1.54k 207.84 918.49 272.84 136.99 # Profile # Rank Query ID Response time Calls R/Call V/M Item # ==== ================== ============= ===== ======= ===== ============== # 1 0x67D8A5A8051864A5 98.3906 24.4% 7 14.0558 9.83 SELECT user_wallet_log_? # 2 0xE60A50618D3E289C 43.6118 10.8% 9 4.8458 0.06 SELECT bid_goods # 3 0x3C32BB875D3BDF32 33.0655 8.2% 1 33.0655 0.00 SELECT user_wallet_log_? temp_detail # 4 0x34802A1738951BF8 27.5228 6.8% 11 2.5021 0.03 SELECT user_wallet_log_? # 5 0x9A28FE84C2D79A81 20.9853 5.2% 7 2.9979 0.05 SELECT bid_focus # 6 0x556ED8DDE51C28CD 20.6676 5.1% 3 6.8892 5.33 SELECT kupai.user_wallet_log_? # 7 0x261459299CC899DF 20.4575 5.1% 1 20.4575 0.00 SELECT temp_detail user_wallet_log_? # 8 0xADA7DFED8804D36B 20.0858 5.0% 3 6.6953 5.72 SELECT kupai.bid_focus # 9 0x84811E36BDF26443 13.8947 3.5% 2 6.9474 5.71 SELECT temp_detail user_wallet_log_? # 10 0x9B3D46BE43C8B217 9.7770 2.4% 1 9.7770 0.00 SELECT kupai.funding_wechat_relationg # 11 0xD1CF1661D703A026 8.4543 2.1% 2 4.2271 0.00 SELECT kupai.bid_goods # 12 0x960F1FA20F0168C9 8.3329 2.1% 4 2.0832 0.00 SELECT user_wallet_log_? # 13 0x599EF5AEA92BD305 8.2548 2.1% 1 8.2548 0.00 SELECT kupai.deposit_log_? # 14 0x3325180FB3DE74D8 8.0086 2.0% 1 8.0086 0.00 SELECT kupai.bid_user_list # 15 0x56847A1798193E3B 7.8118 1.9% 1 7.8118 0.00 SELECT kupai.kupai_wallet_log # 16 0x71CD0AC23C069A0A 6.8504 1.7% 3 2.2835 0.02 SELECT user_wallet_log_? # 17 0xF12704E2E24C9195 6.2984 1.6% 3 2.0995 0.00 SELECT member_mapping # 18 0x8350DE3D839DE829 6.2365 1.5% 3 2.0788 0.00 SELECT UNION user_wallet_log_? # 19 0x856222EC5BF15F34 4.8287 1.2% 1 4.8287 0.00 SELECT user_wallet_log_? # 20 0xCE6B2737F1D87CAC 4.2012 1.0% 2 2.1006 0.01 SELECT UNION user_wallet_log_? # MISC 0xMISC 24.9313 6.2% 10 2.4931 0.0 <10 ITEMS> # Query 1: 0 QPS, 0x concurrency, ID 0x67D8A5A8051864A5 at byte 5903 _____ # This item is included in the report because it matches --limit. # Scores: V/M = 9.83 # Attribute pct total min max avg 95% stddev median # ============ === ======= ======= ======= ======= ======= ======= ======= # Count 9 7 # Exec time 24 98s 7s 43s 14s 42s 12s 8s # Lock time 5 1ms 167us 199us 184us 194us 12us 176us # Rows sent 34 4.19M 516.83k 729.17k 613.11k 717.31k 70.60k 590.13k # Rows examine 11 4.19M 516.83k 729.17k 613.11k 717.31k 70.60k 590.13k # Query size 14 2.01k 294 294 294 294 0 294 # String: # Hosts 10.0.8.149 # Time 2016-12-02... (1/14%), 2016-12-03... (1/14%)... 5 more # Users kupaiuser # Query_time distribution # 1us # 10us # 100us # 1ms # 10ms # 100ms # 1s ################################################################ # 10s+ ################################################ # Tables # SHOW TABLE STATUS LIKE 'user_wallet_log_0'\G # SHOW CREATE TABLE `user_wallet_log_0`\G

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

$ pt-query-digest slow.log

# 250ms user time, 20ms system time, 25.90M rss, 221.92M vsz

# Current date: Fri Feb 10 15:02:48 2017

# Hostname: mysql01

# Files: /data/mysql/3306/log/slowlog/slow.log

# Overall: 83 total, 36 unique, 0 QPS, 0x concurrency ____________________

# Attribute          total     min     max     avg     95%  stddev  median

# ============     ======= ======= ======= ======= ======= ======= =======

# Exec time           589s      2s    166s      7s     15s     18s      3s

# Lock time           26ms       0     2ms   308us     1ms   364us   176us

# Rows sent         12.73M       0 729.17k 157.08k 562.03k 233.92k  964.41

# Rows examine     234.89M       0 197.39M   2.83M   1.26M  20.85M 535.27k

# Query size        16.85k       6   1.54k  207.84  918.49  272.84  136.99

 

# Profile

# Rank Query ID           Response time Calls R/Call  V/M   Item

# ==== ================== ============= ===== ======= ===== ==============

#    1 0x67D8A5A8051864A5 98.3906 24.4%     7 14.0558  9.83 SELECT user_wallet_log_?

#    2 0xE60A50618D3E289C 43.6118 10.8%     9  4.8458  0.06 SELECT bid_goods

#    3 0x3C32BB875D3BDF32 33.0655  8.2%     1 33.0655  0.00 SELECT user_wallet_log_? temp_detail

#    4 0x34802A1738951BF8 27.5228  6.8%    11  2.5021  0.03 SELECT user_wallet_log_?

#    5 0x9A28FE84C2D79A81 20.9853  5.2%     7  2.9979  0.05 SELECT bid_focus

#    6 0x556ED8DDE51C28CD 20.6676  5.1%     3  6.8892  5.33 SELECT kupai.user_wallet_log_?

#    7 0x261459299CC899DF 20.4575  5.1%     1 20.4575  0.00 SELECT temp_detail user_wallet_log_?

#    8 0xADA7DFED8804D36B 20.0858  5.0%     3  6.6953  5.72 SELECT kupai.bid_focus

#    9 0x84811E36BDF26443 13.8947  3.5%     2  6.9474  5.71 SELECT temp_detail user_wallet_log_?

#   10 0x9B3D46BE43C8B217  9.7770  2.4%     1  9.7770  0.00 SELECT kupai.funding_wechat_relationg

#   11 0xD1CF1661D703A026  8.4543  2.1%     2  4.2271  0.00 SELECT kupai.bid_goods

#   12 0x960F1FA20F0168C9  8.3329  2.1%     4  2.0832  0.00 SELECT user_wallet_log_?

#   13 0x599EF5AEA92BD305  8.2548  2.1%     1  8.2548  0.00 SELECT kupai.deposit_log_?

#   14 0x3325180FB3DE74D8  8.0086  2.0%     1  8.0086  0.00 SELECT kupai.bid_user_list

#   15 0x56847A1798193E3B  7.8118  1.9%     1  7.8118  0.00 SELECT kupai.kupai_wallet_log

#   16 0x71CD0AC23C069A0A  6.8504  1.7%     3  2.2835  0.02 SELECT user_wallet_log_?

#   17 0xF12704E2E24C9195  6.2984  1.6%     3  2.0995  0.00 SELECT member_mapping

#   18 0x8350DE3D839DE829  6.2365  1.5%     3  2.0788  0.00 SELECT UNION user_wallet_log_?

#   19 0x856222EC5BF15F34  4.8287  1.2%     1  4.8287  0.00 SELECT user_wallet_log_?

#   20 0xCE6B2737F1D87CAC  4.2012  1.0%     2  2.1006  0.01 SELECT UNION user_wallet_log_?

# MISC 0xMISC             24.9313  6.2%    10  2.4931   0.0 <10 ITEMS>

 

# Query 1: 0 QPS, 0x concurrency, ID 0x67D8A5A8051864A5 at byte 5903 _____

# This item is included in the report because it matches --limit.

# Scores: V/M = 9.83

# Attribute    pct   total     min     max     avg     95%  stddev  median

# ============ === ======= ======= ======= ======= ======= ======= =======

# Count          9       7

# Exec time     24     98s      7s     43s     14s     42s     12s      8s

# Lock time      5     1ms   167us   199us   184us   194us    12us   176us

# Rows sent     34   4.19M 516.83k 729.17k 613.11k 717.31k  70.60k 590.13k

# Rows examine  11   4.19M 516.83k 729.17k 613.11k 717.31k  70.60k 590.13k

# Query size    14   2.01k     294     294     294     294       0     294

# String:

# Hosts        10.0.8.149

# Time         2016-12-02... (1/14%), 2016-12-03... (1/14%)... 5 more

# Users        kupaiuser

# Query_time distribution

#   1us

#  10us

# 100us

#   1ms

#  10ms

# 100ms

#    1s  ################################################################

#  10s+  ################################################

# Tables

#    SHOW TABLE STATUS LIKE 'user_wallet_log_0'\G

#    SHOW CREATE TABLE `user_wallet_log_0`\G

Overall：总共有多少条查询。

Time range：查询执行的时间范围。

unique：唯一查询数量，即对查询条件进行参数化以后，总共有多少个不同的查询。

total：查询总时间。

min：最小时间。

max：最大时间。

avg：平均时间。

95%：把所有值从小到大排列，位置位于95%的那个数，这个数一般最具有参考价值。

median：中位数，把所有值从小到大排列，位置位于中间那个数。

四、将分析结果可视化

使用pt-query-digest分析慢查询日志并将查询分析数据保存到MySQL数据库表中，然后使用应用程序来展示分析结果。目前有基于LAMP的Query-Digest-UI、Anemometer开源项目支持。

将慢日志插入表中：

 

$ pt-query-digest \ --user=mha \ --password=123456 \ --review h='10.99.73.9',D=test,t=global_query_review \ --history h='10.99.73.9',D=test,t=global_query_review_history \ --no-report \ --create-review-table \ --create-history-table \ --limit=0% slow.log

1

2

3

4

5

6

7

8

9

$ pt-query-digest \

--user=mha \

--password=123456 \

--review h='10.99.73.9',D=test,t=global_query_review \

--history h='10.99.73.9',D=test,t=global_query_review_history \

--no-report \

--create-review-table \

--create-history-table \

--limit=0% slow.log

查看表信息

mysql> select * from global_query_review limit 1\G *************************** 1. row *************************** checksum: 19915890639818927 fingerprint: select * from `bid` where buyer is not ? order by end_time sample: SELECT * FROM `bid` where buyer is not null ORDER BY end_time first_seen: 2017-02-10 15:38:10 last_seen: 2017-02-10 15:38:10 reviewed_by: NULL reviewed_on: NULL comments: NULL 1 row in set (0.00 sec) mysql> select * from global_query_review_history limit 1\G *************************** 1. row *************************** checksum: 19915890639818927 sample: SELECT * FROM `bid` where buyer is not null ORDER BY end_time ts_min: 2017-02-10 15:38:10 ts_max: 2017-02-10 15:38:10 ts_cnt: NULL Query_time_sum: 2.07545 Query_time_min: 2.07545 Query_time_max: 2.07545 Query_time_pct_95: 2.07545 Query_time_stddev: 0 Query_time_median: 2.07545 Lock_time_sum: 0.001107 Lock_time_min: 0.001107 Lock_time_max: 0.001107 Lock_time_pct_95: 0.001107 Lock_time_stddev: 0 Lock_time_median: 0.001107 Rows_sent_sum: 3089 Rows_sent_min: 3089 Rows_sent_max: 3089 Rows_sent_pct_95: 3089 Rows_sent_stddev: 0 Rows_sent_median: 3089 Rows_examined_sum: 6178 Rows_examined_min: 6178 Rows_examined_max: 6178 Rows_examined_pct_95: 6178 Rows_examined_stddev: 0 Rows_examined_median: 6178 Rows_affected_sum: NULL Rows_affected_min: NULL Rows_affected_max: NULL Rows_affected_pct_95: NULL Rows_affected_stddev: NULL Rows_affected_median: NULL Rows_read_sum: NULL Rows_read_min: NULL Rows_read_max: NULL Rows_read_pct_95: NULL Rows_read_stddev: NULL Rows_read_median: NULL Merge_passes_sum: NULL Merge_passes_min: NULL Merge_passes_max: NULL Merge_passes_pct_95: NULL Merge_passes_stddev: NULL Merge_passes_median: NULL InnoDB_IO_r_ops_min: NULL InnoDB_IO_r_ops_max: NULL InnoDB_IO_r_ops_pct_95: NULL InnoDB_IO_r_ops_stddev: NULL InnoDB_IO_r_ops_median: NULL InnoDB_IO_r_bytes_min: NULL InnoDB_IO_r_bytes_max: NULL InnoDB_IO_r_bytes_pct_95: NULL InnoDB_IO_r_bytes_stddev: NULL InnoDB_IO_r_bytes_median: NULL InnoDB_IO_r_wait_min: NULL InnoDB_IO_r_wait_max: NULL InnoDB_IO_r_wait_pct_95: NULL InnoDB_IO_r_wait_stddev: NULL InnoDB_IO_r_wait_median: NULL InnoDB_rec_lock_wait_min: NULL InnoDB_rec_lock_wait_max: NULL InnoDB_rec_lock_wait_pct_95: NULL InnoDB_rec_lock_wait_stddev: NULL InnoDB_rec_lock_wait_median: NULL InnoDB_queue_wait_min: NULL InnoDB_queue_wait_max: NULL InnoDB_queue_wait_pct_95: NULL InnoDB_queue_wait_stddev: NULL InnoDB_queue_wait_median: NULL InnoDB_pages_distinct_min: NULL InnoDB_pages_distinct_max: NULL InnoDB_pages_distinct_pct_95: NULL InnoDB_pages_distinct_stddev: NULL InnoDB_pages_distinct_median: NULL QC_Hit_cnt: NULL QC_Hit_sum: NULL Full_scan_cnt: NULL Full_scan_sum: NULL Full_join_cnt: NULL Full_join_sum: NULL Tmp_table_cnt: NULL Tmp_table_sum: NULL Tmp_table_on_disk_cnt: NULL Tmp_table_on_disk_sum: NULL Filesort_cnt: NULL Filesort_sum: NULL Filesort_on_disk_cnt: NULL Filesort_on_disk_sum: NULL 1 row in set (0.00 sec)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

mysql> select * from global_query_review limit 1\G

*************************** 1. row ***************************

   checksum: 19915890639818927

fingerprint: select * from `bid` where buyer is not ? order by end_time

     sample: SELECT * FROM `bid` where buyer is not null ORDER BY end_time

first_seen: 2017-02-10 15:38:10

  last_seen: 2017-02-10 15:38:10

reviewed_by: NULL

reviewed_on: NULL

   comments: NULL

1 row in set (0.00 sec)

 

mysql> select * from global_query_review_history limit 1\G

*************************** 1. row ***************************

                    checksum: 19915890639818927

                      sample: SELECT * FROM `bid` where buyer is not null ORDER BY end_time

                      ts_min: 2017-02-10 15:38:10

                      ts_max: 2017-02-10 15:38:10

                      ts_cnt: NULL

              Query_time_sum: 2.07545

              Query_time_min: 2.07545

              Query_time_max: 2.07545

           Query_time_pct_95: 2.07545

           Query_time_stddev: 0

           Query_time_median: 2.07545

               Lock_time_sum: 0.001107

               Lock_time_min: 0.001107

               Lock_time_max: 0.001107

            Lock_time_pct_95: 0.001107

            Lock_time_stddev: 0

            Lock_time_median: 0.001107

               Rows_sent_sum: 3089

               Rows_sent_min: 3089

               Rows_sent_max: 3089

            Rows_sent_pct_95: 3089

            Rows_sent_stddev: 0

            Rows_sent_median: 3089

           Rows_examined_sum: 6178

           Rows_examined_min: 6178

           Rows_examined_max: 6178

        Rows_examined_pct_95: 6178

        Rows_examined_stddev: 0

        Rows_examined_median: 6178

           Rows_affected_sum: NULL

           Rows_affected_min: NULL

           Rows_affected_max: NULL

        Rows_affected_pct_95: NULL

        Rows_affected_stddev: NULL

        Rows_affected_median: NULL

               Rows_read_sum: NULL

               Rows_read_min: NULL

               Rows_read_max: NULL

            Rows_read_pct_95: NULL

            Rows_read_stddev: NULL

            Rows_read_median: NULL

            Merge_passes_sum: NULL

            Merge_passes_min: NULL

            Merge_passes_max: NULL

         Merge_passes_pct_95: NULL

         Merge_passes_stddev: NULL

         Merge_passes_median: NULL

         InnoDB_IO_r_ops_min: NULL

         InnoDB_IO_r_ops_max: NULL

      InnoDB_IO_r_ops_pct_95: NULL

      InnoDB_IO_r_ops_stddev: NULL

      InnoDB_IO_r_ops_median: NULL

       InnoDB_IO_r_bytes_min: NULL

       InnoDB_IO_r_bytes_max: NULL

    InnoDB_IO_r_bytes_pct_95: NULL

    InnoDB_IO_r_bytes_stddev: NULL

    InnoDB_IO_r_bytes_median: NULL

        InnoDB_IO_r_wait_min: NULL

        InnoDB_IO_r_wait_max: NULL

     InnoDB_IO_r_wait_pct_95: NULL

     InnoDB_IO_r_wait_stddev: NULL

     InnoDB_IO_r_wait_median: NULL

    InnoDB_rec_lock_wait_min: NULL

    InnoDB_rec_lock_wait_max: NULL

InnoDB_rec_lock_wait_pct_95: NULL

InnoDB_rec_lock_wait_stddev: NULL

InnoDB_rec_lock_wait_median: NULL

       InnoDB_queue_wait_min: NULL

       InnoDB_queue_wait_max: NULL

    InnoDB_queue_wait_pct_95: NULL

    InnoDB_queue_wait_stddev: NULL

    InnoDB_queue_wait_median: NULL

   InnoDB_pages_distinct_min: NULL

   InnoDB_pages_distinct_max: NULL

InnoDB_pages_distinct_pct_95: NULL

InnoDB_pages_distinct_stddev: NULL

InnoDB_pages_distinct_median: NULL

                  QC_Hit_cnt: NULL

                  QC_Hit_sum: NULL

               Full_scan_cnt: NULL

               Full_scan_sum: NULL

               Full_join_cnt: NULL

               Full_join_sum: NULL

               Tmp_table_cnt: NULL

               Tmp_table_sum: NULL

       Tmp_table_on_disk_cnt: NULL

       Tmp_table_on_disk_sum: NULL

                Filesort_cnt: NULL

                Filesort_sum: NULL

        Filesort_on_disk_cnt: NULL

        Filesort_on_disk_sum: NULL

1 row in set (0.00 sec)

也可以自己做一个简单的web程序，即可获取慢查询日志的结果。

但不管用什么工具，都需要在服务器有一个脚本把慢日志分析结果存储到一个统一的存储中。我用的比较多的就是Anemometer，支持多数据源，支持按主机过滤，支持按库过滤，支持执行计划，并且支持历史数据（很重要，分析对比使用），基本上是足够使用了。缺点就是不支持认证及权限管理。

Anemometer在global_query_review_history表上多加了两个字段：hostname_max，db_max。分别代表主机名和库名，支持按主机或库过滤的关键。其余的跟上面展示的内容一样。

Anemometer安装配置文档很多，这里就不写了。提供一个客户端慢日志收集脚本如下：

#!/bin/bash #****************************************************************# # ScriptName:/usr/local/sbin/slowquery.sh # Create Date:2017-03-25 #***************************************************************# # configure slow log storage database; pt_db_host="172.18.212.17" pt_db_port=3306 pt_db_user="slowquerylog" pt_db_password="123456" pt_db_database="slow_query_log" # configure slow log collect database; mysql_client=`which mysql` mysql_host="172.18.204.10" mysql_port=3306 mysql_user="root" mysql_password="123456" # configure slow log file position; slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log_file';" -BN | awk '{print $2}' 2> /dev/null` slowquery_dir=`dirname $slowquery_file` pt_query_digest=`which pt-query-digest` # configure slow_query_log and slow_query_log_file; slow_query_log=1 long_query_time=0.1 # configure HOSTNAME; HOSTNAME=172.18.204.10 # configure slow log; $mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=$slow_query_log;set global long_query_time=$long_query_time" 2> /dev/null # collect mysql slow log into database; $pt_query_digest --user=$pt_db_user --password=$pt_db_password --port=$pt_db_port --charset=utf8 --review h=$pt_db_host,D=$pt_db_database,t=global_query_review --history h=$pt_db_host,D=$pt_db_database,t=global_query_review_history --no-report --limit=100% --filter="\$event->{add_column} = length(\$event->{arg}) and\$event->{hostname}=\"$HOSTNAME\" " $slowquery_file if [ $? = 0 ]; # set a new slow log; new_mysql_slow_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "select concat('$slowquery_dir','/mysql_slow_query_',date_format(now(),'%Y%m%d%H'));" -BN 2> /dev/null` # configure slow log; $mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log_file = '$new_mysql_slow_log';" 2> /dev/null # delete log before 1 days; datetime=`date -d "1 day ago" +%Y%m%d%H` if [ -d $slowquery_dir ];then cd $slowquery_dir rm -fr mysql_slow_query_${datetime}* fi fi

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

#!/bin/bash

#****************************************************************#

# ScriptName:/usr/local/sbin/slowquery.sh

# Create Date:2017-03-25

#***************************************************************#

  

# configure slow log storage database;

pt_db_host="172.18.212.17"

pt_db_port=3306

pt_db_user="slowquerylog"

pt_db_password="123456"

pt_db_database="slow_query_log"

  

# configure slow log collect database;

mysql_client=`which mysql`

mysql_host="172.18.204.10"

mysql_port=3306

mysql_user="root"

mysql_password="123456"

  

# configure slow log file position;

slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log_file';" -BN | awk '{print $2}' 2> /dev/null`

slowquery_dir=`dirname $slowquery_file`

pt_query_digest=`which pt-query-digest`

 

# configure slow_query_log and slow_query_log_file;

slow_query_log=1

long_query_time=0.1

 

# configure HOSTNAME;

HOSTNAME=172.18.204.10

 

# configure slow log;

$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=$slow_query_log;set global long_query_time=$long_query_time" 2> /dev/null

  

# collect mysql slow log into database;

$pt_query_digest --user=$pt_db_user --password=$pt_db_password --port=$pt_db_port --charset=utf8 --review h=$pt_db_host,D=$pt_db_database,t=global_query_review --history h=$pt_db_host,D=$pt_db_database,t=global_query_review_history --no-report --limit=100% --filter="\$event->{add_column} = length(\$event->{arg}) and\$event->{hostname}=\"$HOSTNAME\" " $slowquery_file

 

if [ $? = 0 ];

# set a new slow log;

new_mysql_slow_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "select concat('$slowquery_dir','/mysql_slow_query_',date_format(now(),'%Y%m%d%H'));" -BN 2> /dev/null`

 

# configure slow log;

$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log_file = '$new_mysql_slow_log';" 2> /dev/null

 

# delete log before 1 days;

datetime=`date -d "1 day ago" +%Y%m%d%H`

if [ -d $slowquery_dir ];then

  cd $slowquery_dir

  rm -fr mysql_slow_query_${datetime}*

fi

fi

或者下一个版本

#!/bin/bash #****************************************************************# # ScriptName:/home/mysql/bin/slow_query_log.sh # Create Date:2017-03-25 #***************************************************************# # configure slow log storage database; pt_db_host="172.18.212.17" pt_db_port=3306 pt_db_user="root" pt_db_password="123456" pt_db_database="slow_query_log" # configure slow log collect database; mysql_client=`which mysql` mysql_host='172.18.204.10' mysql_port=3306 mysql_user="root" mysql_password="123456" # configure slow log file position; slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log_file';" -BN | awk '{print $2}' 2> /dev/null` slowquery_dir=`dirname "$slowquery_file"` pt_query_digest=`which pt-query-digest` # configure slow_query_log and slow_query_log_file; slow_query_log=1 long_query_time=0.5 # configure HOSTNAME; HOSTNAME="172.18.204.10:3306" # configure slow log; slow_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log';" -BN | awk '{print $2}' 2> /dev/null` if [ $slow_log == "OFF" ];then $mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=$slow_query_log;set global long_query_time=$long_query_time" 2> /dev/null fi # collect mysql slow log into database; $pt_query_digest --user=$pt_db_user --password=$pt_db_password --port=$pt_db_port --charset=utf8 --review h=$pt_db_host,D=$pt_db_database,t=global_query_review --history h=$pt_db_host,D=$pt_db_database,t=global_query_review_history --no-report --limit=100% --filter="\$event->{add_column} = length(\$event->{arg}) and\$event->{hostname}=\"$HOSTNAME\" " $slowquery_file && echo > ${slowquery_file}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

#!/bin/bash

#****************************************************************#

# ScriptName:/home/mysql/bin/slow_query_log.sh

# Create Date:2017-03-25

#***************************************************************#

  

# configure slow log storage database;

pt_db_host="172.18.212.17"

pt_db_port=3306

pt_db_user="root"

pt_db_password="123456"

pt_db_database="slow_query_log"

  

# configure slow log collect database;

mysql_client=`which mysql`

mysql_host='172.18.204.10'

mysql_port=3306

mysql_user="root"

mysql_password="123456"

  

# configure slow log file position;

slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log_file';" -BN | awk '{print $2}' 2> /dev/null`

slowquery_dir=`dirname "$slowquery_file"`

pt_query_digest=`which pt-query-digest`

 

# configure slow_query_log and slow_query_log_file;

slow_query_log=1

long_query_time=0.5

 

# configure HOSTNAME;

HOSTNAME="172.18.204.10:3306"

 

# configure slow log;

slow_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log';" -BN | awk '{print $2}' 2> /dev/null`

 

if [ $slow_log == "OFF" ];then

$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=$slow_query_log;set global long_query_time=$long_query_time" 2> /dev/null

fi

  

# collect mysql slow log into database;

$pt_query_digest --user=$pt_db_user --password=$pt_db_password --port=$pt_db_port --charset=utf8 --review h=$pt_db_host,D=$pt_db_database,t=global_query_review --history h=$pt_db_host,D=$pt_db_database,t=global_query_review_history --no-report --limit=100% --filter="\$event->{add_column} = length(\$event->{arg}) and\$event->{hostname}=\"$HOSTNAME\" " $slowquery_file && echo > ${slowquery_file}

对于IP和端口，可以通过自己的环境使用命令提取出来，然后做成变量形式。然后在客户端做个执行计划就可以了，多久收集一次慢日志可以自定义。这种方式收集慢查询不是非常实时，如果需要实时性高的，可以使用filebeat类似工具把慢日志全部收集到一台服务器，可以做到实时。

你可能感兴趣的:(MySQL,MySQL,基础,MySQL,优化,MySQL,架构)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • mysql禁用远程登录 igotyback mysql
    去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
  • 如何在 Fork 的 GitHub 项目中保留自己的修改并同步上游更新？github_fork_update iBaoxing github
    如何在Fork的GitHub项目中保留自己的修改并同步上游更新？在GitHub上Fork了一个项目后，你可能会对项目进行一些修改，同时原作者也在不断更新。如果想要在保留自己修改的基础上，同步原作者的最新更新，很多人会不知所措。本文将详细讲解如何在不丢失自己改动的情况下，将上游仓库的更新合并到自己的仓库中。问题描述假设你在GitHub上Fork了一个项目，并基于该项目做了一些修改，随后你发现原作者对
  • 网易严选官方旗舰店，优质商品，卓越服务 高省_飞智666600
    网易严选官方旗舰店是网易旗下的一家电商平台，以提供优质商品和卓越服务而闻名。作为一名SEO优化师，我将为您详细介绍网易严选官方旗舰店，并重点强调其特点和优势。大家好！我是高省APP最大团队&联合创始人飞智导师。相较于其他返利app，高省APP的佣金更高，模式更好，最重要的是，终端用户不会流失！高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几
  • 腾讯云技术深度探索：构建高效云原生微服务架构 我的运维人生 云原生架构腾讯云运维开发技术共享
    腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • 基于社交网络算法优化的二维最大熵图像分割 智能算法研学社（Jack旭） 智能优化算法应用图像分割算法php开发语言
    智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • 高端密码学院笔记285 柚子_b4b4
    高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
  • 从0到500+，我是如何利用自媒体赚钱？ 一列脚印
    运营公众号半个多月，从零基础的小白到现在慢慢懂了一些运营的知识。做好公众号是很不容易的，要做很多事情；排版、码字、引流…通通需要自己解决，业余时间全都花费在这上面涨这么多粉丝是真的不容易，对比知乎大佬来说，我们这种没资源，没人脉，还没钱的小透明来说，想要一个月涨粉上万，怕是今天没睡醒（不过你有的方法，算我piapia打脸）至少我是清醒的，自己慢慢努力，实现我的万粉目标！大家快来围观、支持我吧！孩子
  • 数组去重 好奇的猫猫猫
    整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript 二挡起步 web前端期末大作业javascripthtmlcss旅游风景
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动 二挡起步 web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • MYSQL面试系列-04 king01299 面试mysql面试
    MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
  • 大伟说成语之唉声叹气 求索大伟
    ＊大伟说成语＊【唉声叹气】叹气：因心里不痛快或不如意而吐出长气，发出声音。因为痛苦、憋闷或感伤而发出叹息的声音。【大伟说】情绪外露，非人类所特有，动物亦有情绪，悲哀和欢乐所表示的情绪亦是不一样的，会嗷嗷大叫也会低吟痛哭。不同的是，人类的情绪更复杂，更多样，更丰富。唉声叹气，可以说是最基础的情绪，因为无奈而举足无措，不知该如何如何化解，只有独自一人慢慢承受，长吁短叹不知如何是好，其实是无能无力的表现
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • node.js学习 小猿L node.jsnode.js学习vim
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
  • 数据仓库——维度表一致性 墨染丶eye 背诵数据仓库
    数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
  • 高级 ECharts 技巧：自定义图表主题与样式 SnowMan1993 echarts信息可视化数据分析
    ECharts是一个强大的数据可视化库，提供了多种内置主题和样式，但你也可以根据项目的设计需求，自定义图表的主题与样式。本文将介绍如何使用ECharts自定义图表主题，以提升数据可视化的吸引力和一致性。1.什么是ECharts主题？ECharts的主题是指定义图表样式的配置项，包括颜色、字体、线条样式等。通过预设主题，你可以快速更改图表的整体风格，而自定义主题则允许你在此基础上进行个性化设置。2.
  • 01-Git初识 Meereen Gitgit
    01-Git初识概念：一个免费开源，分布式的代码版本控制系统，帮助开发团队维护代码作用：记录代码内容。切换代码版本，多人开发时高效合并代码内容如何学：个人本机使用：Git基础命令和概念多人共享使用：团队开发同一个项目的代码版本管理Git配置用户信息配置：用户名和邮箱，应用在每次提交代码版本时表明自己的身份命令：查看git版本号git-v配置用户名gitconfig--globaluser.name
  • ARM驱动学习之基础小知识 JT灬新一 ARM嵌入式arm开发学习
    ARM驱动学习之基础小知识•sch原理图工程师工作内容–方案–元器件选型–采购（能不能买到，价格）–原理图（涉及到稳定性）•layout画板工程师–layout（封装、布局，布线，log）（涉及到稳定性）–焊接的一部分工作（调试阶段板子的焊接）•驱动工程师–驱动，原理图，layout三部分的交集容易发生矛盾•PCB研发流程介绍–方案，原理图(网表)–layout工程师（gerber文件）–PCB板
  • Rust基础知识 GRKF15 rust开发语言后端
    1.Rust语言简介1.1基础语法变量声明：let关键字用于声明变量，可以指定或不指定类型，如leta=10;和letmutc=30i32;。函数定义：使用fn关键字定义函数，并指定参数类型及返回类型，如fnadd(i:i32,j:i32)->i32{i+j}。控制流：包括if、else等，控制语句后需要使用;来结束语句。1.2数据类型整数类型：i8、i16、i32、i64、i128，以及无符号的
  • 18、架构-可观测性之聚合度量 大树~~ 架构javapython后端架构
    聚合度量聚合度量是指对系统运行时产生的各种指标数据进行收集、聚合和分析，以了解系统的健康状况和性能表现。聚合度量是可观测性的关键组成部分，通过对度量数据的分析，可以及时发现系统中的异常和瓶颈。以下是对聚合度量各个方面的详细解析，并结合具体的数据案例和技术支撑。指标收集收集系统运行时产生的各种指标数据是聚合度量的基础。常见的指标包括CPU使用率、内存使用率、请求处理时间、请求数、错误率等。以下是指标
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • ExpRe[25] bash外的其它shell：zsh和fish tritone ExpRebashlinuxubuntushell
    文章目录zsh基础配置实用特性插件`autojump`语法高亮自动补全fish优点缺点时效性本篇撰写时间为2021.12.15，由于计算机技术日新月异，博客中所有内容都有时效和版本限制，具体做法不一定总行得通，链接可能改动失效，各种软件的用法可能有修改。但是其中透露的思想往往是值得学习的。本篇前置：ExpRe[10]Ubuntu[2]准备神秘软件、备份恢复软件https://www.cnblogs
  • 设计模式介绍 tntxia 设计模式
    设计模式来源于土木工程师 克里斯托弗 亚历山大（http://en.wikipedia.org/wiki/Christopher_Alexander）的早期作品。他经常发表一些作品，内容是总结他在解决设计问题方面的经验，以及这些知识与城市和建筑模式之间有何关联。有一天，亚历山大突然发现，重复使用这些模式可以让某些设计构造取得我们期望的最佳效果。 亚历山大与萨拉-石川佳纯和穆雷 西乐弗斯坦合作
  • android高级组件使用(一) 百合不是茶 androidRatingBarSpinner
    1、自动完成文本框（AutoCompleteTextView） AutoCompleteTextView从EditText派生出来，实际上也是一个文本编辑框，但它比普通编辑框多一个功能：当用户输入一个字符后，自动完成文本框会显示一个下拉菜单，供用户从中选择，当用户选择某个菜单项之后，AutoCompleteTextView按用户选择自动填写该文本框。 使用AutoCompleteTex
  • [网络与通讯]路由器市场大有潜力可挖掘 comsci 网络
              如果国内的电子厂商和计算机设备厂商觉得手机市场已经有点饱和了,那么可以考虑一下交换机和路由器市场的进入问题.....        这方面的技术和知识,目前处在一个开放型的状态,有利于各类小型电子企业进入  &nbs
  • 自写简单Redis内存统计shell 商人shang Linux shell统计Redis内存
    #!/bin/bash address="192.168.150.128:6666,192.168.150.128:6666" hosts=(${address//,/ }) sfile="staticts.log" for hostitem in ${hosts[@]} do ipport=(${hostitem
  • 单例模式(饿汉 vs懒汉) oloz 单例模式
    package 单例模式; /* * 应用场景:保证在整个应用之中某个对象的实例只有一个 * 单例模式种的《 懒汉模式》 * */ public class Singleton { //01 将构造方法私有化，外界就无法用new Singleton()的方式获得实例 private Singleton(){}; //02 申明类得唯一实例 priva
  • springMvc json支持 杨白白 json springmvc
    1.Spring mvc处理json需要使用jackson的类库，因此需要先引入jackson包 2在spring mvc中解析输入为json格式的数据:使用@RequestBody来设置输入 @RequestMapping("helloJson") public @ResponseBody JsonTest helloJson() {
  • android播放，掃描添加本地音頻文件 小桔子
            最近幾乎沒有什麽事情，繼續鼓搗我的小東西。想在項目中加入一個簡易的音樂播放器功能，就像華為p6桌面上那麼大小的音樂播放器。用過天天動聽或者QQ音樂播放器的人都知道，可已通過本地掃描添加歌曲。不知道他們是怎麼實現的，我覺得應該掃描設備上的所有文件，過濾出音頻文件，每個文件實例化為一個實體，記錄文件名、路徑、歌手、類型、大小等信息。具體算法思想，
  • oracle常用命令 aichenglong oracledba常用命令
    1 创建临时表空间 create temporary tablespace user_temp  tempfile 'D:\oracle\oradata\Oracle9i\user_temp.dbf' size 50m  autoextend on  next 50m maxsize 20480m  extent management local
  • 25个Eclipse插件 AILIKES eclipse插件
    提高代码质量的插件1. FindBugsFindBugs可以帮你找到Java代码中的bug，它使用Lesser GNU Public License的自由软件许可。2. CheckstyleCheckstyle插件可以集成到Eclipse IDE中去，能确保Java代码遵循标准代码样式。3. ECLemmaECLemma是一款拥有Eclipse Public License许可的免费工具，它提供了
  • Spring MVC拦截器+注解方式实现防止表单重复提交 baalwolf spring mvc
    原理：在新建页面中Session保存token随机码，当保存时验证，通过后删除，当再次点击保存时由于服务器端的Session中已经不存在了，所有无法验证通过。   1.新建注解：   ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
  • 《Javascript高级程序设计(第3版)》闭包理解 bijian1013 JavaScript
    “闭包是指有权访问另一个函数作用域中的变量的函数。”--《Javascript高级程序设计(第3版)》         看以下代码： <script type="text/javascript"> function outer() { var i = 10; return f
  • AngularJS Module类的方法 bijian1013 JavaScriptAngularJSModule
            AngularJS中的Module类负责定义应用如何启动，它还可以通过声明的方式定义应用中的各个片段。我们来看看它是如何实现这些功能的。 一.Main方法在哪里         如果你是从Java或者Python编程语言转过来的，那么你可能很想知道AngularJS里面的main方法在哪里？这个把所
  • [Maven学习笔记七]Maven插件和目标 bit1129 maven插件
    插件(plugin)和目标(goal) Maven，就其本质而言，是一个插件执行框架，Maven的每个目标的执行逻辑都是由插件来完成的，一个插件可以有1个或者几个目标，比如maven-compiler-plugin插件包含compile和testCompile，即maven-compiler-plugin提供了源代码编译和测试源代码编译的两个目标   使用插件和目标使得我们可以干预
  • 【Hadoop八】Yarn的资源调度策略 bit1129 hadoop
    1. Hadoop的三种调度策略 Hadoop提供了3中作业调用的策略， FIFO Scheduler Fair Scheduler Capacity Scheduler 以上三种调度算法，在Hadoop MR1中就引入了，在Yarn中对它们进行了改进和完善.Fair和Capacity Scheduler用于多用户共享的资源调度   2. 多用户资源共享的调度
  • Nginx使用Linux内存加速静态文件访问 ronin47
    Nginx是一个非常出色的静态资源web服务器。如果你嫌它还不够快，可以把放在磁盘中的文件，映射到内存中，减少高并发下的磁盘IO。 先做几个假设。nginx.conf中所配置站点的路径是/home/wwwroot/res，站点所对应文件原始存储路径：/opt/web/res shell脚本非常简单，思路就是拷贝资源文件到内存中，然后在把网站的静态文件链接指向到内存中即可。具体如下：
  • 关于Unity3D中的Shader的知识 brotherlamp unityunity资料unity教程unity视频unity自学
    首先先解释下Unity3D的Shader，Unity里面的Shaders是使用一种叫ShaderLab的语言编写的，它同微软的FX文件或者NVIDIA的CgFX有些类似。传统意义上的vertex shader和pixel shader还是使用标准的Cg/HLSL 编程语言编写的。因此Unity文档里面的Shader，都是指用ShaderLab编写的代码，然后我们来看下Unity3D自带的60多个S
  • CopyOnWriteArrayList vs ArrayList bylijinnan java
    package com.ljn.base; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.concurrent.CopyOnWriteArrayList; /** * 总述： * 1.ArrayListi不是线程安全的，CopyO
  • 内存中栈和堆的区别 chicony 内存
    1、内存分配方面：     堆：一般由程序员分配释放， 若程序员不释放，程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事，分配方式是类似于链表。可能用到的关键字如下：new、malloc、delete、free等等。     栈：由编译器(Compiler)自动分配释放，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中
  • 回答一位网友对Scala的提问 chenchao051 scalamap
    本来准备在私信里直接回复了，但是发现不太方便，就简要回答在这里。 问题 写道 对于scala的简洁十分佩服，但又觉得比较晦涩，例如一例，Map("a" -> List(11,111)).flatMap(_._2)，可否说下最后那个函数做了什么，真正在开发的时候也会如此简洁？谢谢    先回答一点，在实际使用中，Scala毫无疑问就是这么简单。
  • mysql 取每组前几条记录 daizj mysql分组最大值最小值每组三条记录
    一、对分组的记录取前N条记录：例如：取每组的前3条最大的记录 1.用子查询： SELECT * FROM tableName a  WHERE 3> (SELECT COUNT(*) FROM  tableName b WHERE b.id=a.id AND b.cnt>a. cnt) ORDER BY a.id,a.account DE
  • HTTP深入浅出 http请求 dcj3sjt126com http
      HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信的规则。计算机专家设计出HTTP，使HTTP客户（如Web浏览器）能够从HTTP服务器(Web服务器)请求信息和服务，HTTP目前协议的版本是1.1.HTTP是一种无状态的协议，无状态是指Web浏览器和Web服务器之间不需要建立持久的连接，这意味着当一个客户端向服务器端发出请求，然后We
  • 判断MySQL记录是否存在方法比较 dcj3sjt126com mysql
    把数据写入到数据库的时，常常会碰到先要检测要插入的记录是否存在，然后决定是否要写入。 　　我这里总结了判断记录是否存在的常用方法： 　　sql语句： select   count ( * )  from  tablename; 　　然后读取count(*)的值判断记录是否存在。对于这种方法性能上有些浪费，我们只是想判断记录记录是否存在，没有必要全部都查出来。
  • 对HTML XML的一点认识 e200702084 htmlxml
    感谢http://www.w3school.com.cn提供的资料 HTML 文档中的每个成分都是一个节点。 节点 根据 DOM，HTML 文档中的每个成分都是一个节点。 DOM 是这样规定的： 整个文档是一个文档节点 每个 HTML 标签是一个元素节点 包含在 HTML 元素中的文本是文本节点 每一个 HTML 属性是一个属性节点 注释属于注释节点 Node 层次
  • jquery分页插件 genaiwei jqueryWeb前端分页插件
    //jquery页码控件// 创建一个闭包    (function($) {      // 插件的定义      $.fn.pageTool = function(options) {        var totalPa
  • Mybatis与Ibatis对照入门于学习 Josh_Persistence mybatisibatis区别联系
    一、为什么使用IBatis/Mybatis         对于从事 Java EE 的开发人员来说，iBatis 是一个再熟悉不过的持久层框架了，在 Hibernate、JPA 这样的一站式对象 / 关系映射（O/R Mapping）解决方案盛行之前，iBaits 基本是持久层框架的不二选择。即使在持久层框架层出不穷的今天，iBatis 凭借着易学易用、
  • C中怎样合理决定使用那种整数类型？ 秋风扫落叶 c数据类型
    如果需要大数值(大于32767或小于32767), 使用long 型。 否则, 如果空间很重要 (如有大数组或很多结构), 使用 short 型。 除此之外, 就使用 int 型。 如果严格定义的溢出特征很重要而负值无关紧要, 或者你希望在操作二进制位和字节时避免符号扩展的问题, 请使用对应的无符号类型。 但是, 要注意在表达式中混用有符号和无符号值的情况。    &nbs
  • maven问题 zhb8015 maven问题
      问题1： Eclipse 中 新建maven项目 无法添加src/main/java 问题    eclipse创建maevn web项目，在选择maven_archetype_web原型后，默认只有src/main/resources这个Source Floder。     按照maven目录结构，添加src/main/ja
  • (二)androidpn-server tomcat版源码解析之--push消息处理 spjich javaandrodipn推送
    在 (一)androidpn-server tomcat版源码解析之--项目启动这篇中，已经描述了整个推送服务器的启动过程，并且把握到了消息的入口即XmppIoHandler这个类，今天我将继续往下分析下面的核心代码，主要分为3大块，链接创建，消息的发送，链接关闭。 先贴一段XmppIoHandler的部分代码 /** * Invoked from an I/O proc
  • 用js中的formData类型解决ajax提交表单时文件不能被serialize方法序列化的问题 中华好儿孙 JavaScriptAjaxWeb上传文件FormData
    var formData = new FormData($("#inputFileForm")[0]); $.ajax({ type:'post', url:webRoot+"/electronicContractUrl/webapp/uploadfile", data:formData, async: false, ca
  • mybatis常用jdbcType数据类型 ysj5125094 mybatismapperjdbcType
      MyBatis 通过包含的jdbcType 类型 BIT         FLOAT      CHAR          
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他