性能测试：数据库

MySQL

MySQL架构

在这里插入图片描述

查询语句生命周期

1. Mysql服务器监听3306端口；
2. 验证访问用户
3. 创建MySQL线程
4. 检查内存（Qcache）
5. 解析SQL
6. 生成查询计划
7. 打开表
8. 检查内存（Buffer Pool）
9. 到磁盘读取数据
10. 写入内存
11. 返回数据给客户端
12. 关闭表
13. 关闭线程
14. 关闭连接

MySQL连接数

MySQL数据库安装完成后，默认最大连接数是100，一般流量稍微大一点的论坛或网站这个连接数是远远不够的，连接数少的话，在大并发下连接数会不够用，会有很多线程在等待其他连接释放，就可能会导致数据库连接超时或者响应时间过长，所以需要调整最大连接数。

• 设置mysql的最大连接数
  在mysql的配置文件中增加：
  max_connectiton = 1000 #mysql的最大连接数，默认如果不写的话是100个
  wait_timeou = 10 超时时间
• 查看当前有多少连接
  show status like ‘%Threads_connected%’;
  show processlist;

MySQL缓存

缓存有两个纬度，MySQL层：查询缓存Query Cache（QCache）；存储引擎层：InnoDB_Buffer_Pool。

• 查询缓存-Qcache
  缓存完整的select查询结果，当查询命中缓存，MySQL会立即返回结果，跳过解析、优化和执行阶段。查询缓存会跟踪系统中的每张表，如果这些表发送变化，那么和这张表相关的所有查询缓存全部失效。查询缓存对应用程序是完全透明的。应用程序无须关心mysql是通过查询缓存返回的结果还是实际执行返回的结果。任何一个包含不确定的函数（比如now()，current_date()）的查询不会被缓存。
  MySQL查询缓存可以改善性能，但是在使用的时候也有一些问题需要注意：开启查询缓存对于读写都增加了额外的开销。对于读，在查询开始前需要先检查缓存；对于写，在写入后需要更新缓存。一般情况这些开销相对较小，所以查询缓存一般还是有好处的。但也需要根据业务特性权衡是否需要开启查询缓存。

  Qcache设置： Linux下为my.cnf，Windows为my.ini，[mysqld]节点下
  query_cache_type = on #是否开启查询缓存，具体选项为：on/off
  query_cache_size=200M #分配给查询缓存的总内存，一般建议不超过256M
  query_cache_limit=1M #限制MySQL存储的最大结果，如果查询的结果比这个 大，那么不会被缓存。

  查询Qcache状态：show variables like '%query_cache%';
  

  

  在这里插入图片描述
  
  have_query_cache：该mysql是否支持QueryCache
  query_cache_limit：缓存块大小，超过该大小不被缓存
  query_cache_min_res_unit：每个Qcache最新的缓存空间大小
  query_cache_size：分配给查询缓存的总内存
  query_cache_type：是否开启
  query_cache_wlock_invalidate：控制当有锁加在表上的时候，是否先让该表相关的querycache失效。

  监控Qcache使用情况：show status like '%Qcache%';
  

  

  在这里插入图片描述
  
  Qcache_free_blocks：目前还有多少的剩余blocks。如果该值比较大，说明Qcache中的内存碎片比较多，可能需要寻找合适的机会进行整理。如果该值非常大，可以使用flush query cache；语句清理查询缓存碎片来提高使用性能，该语句不从缓存中移出任何查询。
  Qcache_free_memory：目前剩余内存大小
  Qcache_hits：缓存命中率
  Qcache_inserts：多少次未命中然后插入（QueryCache命中率=Qcache_hits/（Qcache_hits+Qcache_inserts））
  Qcache_lowmen_prunes：多少条Query因为内存不足而被清除出去
  Qcache_not_cached：因为query_cache_type的设置或者不能被cache的query数量
  Qcache_queries_in_cache：当前QueryCache中的cache的Query数量
  Qcache_total_blocks：当前QueryCache中的block的数量

• 存储引擎层-innodb buffer poor
  buffer pool 是innodb存储引擎带的一个缓存池，查询数据的时候，它首先会从内存中查询，如果内存中存在的话，直接返回，从而提高查询响应时间。
  Innodb buffer pool 和qcache的区别是：qcache缓存的是sql语句对应的结果集，buffer pool中缓存的是表中的数据。Buffer pool 设置的越大越好，一般设置为服务器内存的70%。
  Innodb_buffer_pool设置
  innodb_buffer_pool_size：innodb_buffer_pool的大小（设置大小，即开启innodb）
  innodb_buffer_pool_dump_on = on ：默认为关闭OFF。如果开启此参数，停止MySQL服务时，innodb会将innodb缓存池中的热数据保存到本地硬盘；
  innodb_buffer_pool_load_at_startup = on：默认为关闭OFF。如果开启此参数，启动MySQL服务时，MySQL将本地热数据加载到innodb缓存池中。
  查询innodb_buffer_pool状态：show variables like '%innodb_buffer_pool%';
  

  

  在这里插入图片描述
  
  innodb_buffer_pool_chunk_size：设置bp的大小
  innodb_buffer_pool_dump_at_shutdown：停止mysql服务的时候是否自动保存热数据
  innodb_buffer_pool_load_at_startup：启动mysql服务时是否自动读取热数据
  查询innodb_buffer_pool当前使用情况：show status like '%innodb_buffer_pool%';
  主要关注的两个参数：
  innodb_buffer_pool_read_requests中共查询bp的次数；
  innodb_buffer_pool_reads从物理硬盘中获取到数据的次数。
  通过这两个参数可以知道bp的命中率。

MySQL慢查询

慢查询日志中记录的是执行时间较长的query，即slowquery，通过设置—log-slow-queries[=file_name]来打开该功能并设置记录位置和文件名。
慢查询日志采用简单的文本格式。其中记录了语句执行的时刻，执行消耗的时间，执行用户，连接主机等相关信息。
MySQL还提供了专门用来分析慢查询日志的工具程序mysqlslowdump，用来帮助数据库管理人员解决可能存在的性能问题。
MySQL慢查询的配置：

• Linux：my.cnf文件中增加
  log-slow-queries=/opt/data/slowquery.log ----指定日志文件存放位置，可以为空，系统会给一个缺省的文件host_name-slow.log
  long_query_time=2 ---记录超时的时间，默认为20s
  log-queries-not-using-indexs ----log下来没有使用索引的query，可以根据情况决定是否开启
• Windows：在my.ini的[mysqld]中添加语句
  log-slow-queries=E:\web\mysql\log\mysqlslowquery.log
  long_query_time =2

MySQL慢查询的执行命令
set global slow_query_log=on;
set global long_query_time=1
set global slow_query_log_file=’/opt/data/slow_query.log’

查询MySQL慢查询状态：show variables like '%query%';

解析MySQL慢查询日志：mysqldumpslow命令

# mysqldumpslow -s t -t 20 -g 'select' /var/lib/mysql/xingneng205-xingneng-test-ds-slow.log
Count: 1  Time=15.00s (15s)  Lock=0.00s (0s)  Rows=1.0 (1), root[root]@[10.103.27.205]
  select sleep(N)

Died at /server/mysql/bin/mysqldumpslow line 161, <> chunk 1.

sql分析命令

• explain
  该命令是查看查询优化器如何决定执行查询的主要方法，这个功能有局限性，其不会考虑触发器、存储过程或函数对查询的影响，不会考虑缓存对查结果的影响，不会考虑mysql执行查询所做的特定优化。只是一个统计信息的近似结果。
  使用方法就是sql语句前加explain。Explain能查看sql的执行效率，帮助我们分析select语句，让我们知道查询效率低下的原因，从而改进我们的查询。
• profile
  分析sql执行带来的开销是优化sql的重要手段。在MySQL数据库中，可以通过配置profiling参数来启用sql剖析。该参数开启后，后续执行的sql语句都将记录其资源开销，如IO，上下文切换，CPU，memory等。开启profile后，仅对当前session有效。执行的sql都会被profile记录。
  开启profile：set@@profiling=1;
  查看profile是否开启：select @@profiling；
  查看已经被记录的sql：show profiles; (可以看到sql执行计划中每步的执行时间，以及cpu、内存、IO的消耗)
  show profile for query n; ---n为show profile中的query id
  show profile cpu for query n;
  show profile block for query n;
  show profile memory for query n;
  show profile cpu,block,io for query n;

sql优化

目的：

1. 减少I/O次数；
2. 降低CPU计算

方法：改变sql的执行计划，让其尽量“少走弯路”，尽量通过各种“捷径”来找到我们需要的数据，已达到“减少IO次数”和“降低CPU计算”的目标。

优化原则

• 尽量少join
• 尽量少排序：通过利用索引来排序的方式进行优化；减少参与排序的记录条数；非必要不对数据进行排序
• 尽量避免select*：其会造成全表扫描，显示所有的列，select需要的字段即可
• 尽量用jion代替子查询：mysql子查询执行计划一直存在较大的问题
• 尽量用union all 代替union：union 和union all的差异主要是前者需要将两个（或者多个）结果集合并后再进行唯一性过滤，这就会设计到排序，增加大量的CPU运算，加大资源消耗及延迟
• 禁用外键
• 避免大sql：一个sql只能在一个cpu上运行，高并发下，大sql容易影响性能问题；可能一个大sql把数据库搞死；拆分sql
• 保持事务的短小精悍：即开即用，用户即关；无关操作剔出事务，减少资源占用；保持一致性的前提下拆分事务
• 避免大批量更新：避开高峰；白天限制速度；加sleep
• 避免类型转换
• 避免取过量数据，建议使用limit
• 避免在sql语句中进行数据运算、函数运算、逻辑判断等操作
• 避免or：同一字段，推荐in；不同字符，推荐union
• 优先优化高并发的sql，而不是执行频率低某些大sql
• 从全局出发优化，而不是片面调整
• 尽可能对每一条运行在数据库中的sql进行explain
• 优化要从整个业务逻辑上进行。针对数据库问题进行的优化，首先要考虑不查或少查数据库，如果查询不可避免，可以考虑两种优化方式：避免磁盘IO，也就是让查询在内存中完成；通过sql和索引的调整，让MySQL用更高效的方式查询

锁
Lock的对象事务，用来锁定的是数据库中的对象，如表、行，并且一般lock的对象仅在事务commit或者rollback后释放。
特点：InnDB是通过对索引上的索引项加锁来实现行锁。意味着，只有通过索引条件检索数据，InnoDB才使用行级索，否则，InnoDB使用表级锁。
查看是否是死锁：
show engine innodb status \G;（一般日志中有dblock、lock等字样）
select * from information_schema.INNODB_TRX \G;
避免死锁方法：多线程并发下才有可能死锁；避免交叉加锁；减少涉及到的表，表联接会大大增加锁范围；避免全表更新；控制更新行数

非关系型数据库

关系型数据库通过外键关联来建立表与表之间的关系，非关系型数据库通常指数据以对象的形式存储在数据库中，而对象直接的关系通过每个对象自身的属性来决定。使用nosql的场景：数据库表schema经常变化、数据库字段是复杂的数据类型、高并发数据库请求、海量数据的分布式存储。
Nosql数据库的特点：

• 模式自由：不需要定义表结构，数据库中的每条记录都可能有不同的属性和格式
• 逆规范化：不遵循范式要求，去掉完整性约束，减少表之间的依赖
• 弹性可扩展：可在系统运行过程中，动态的删除和增加节点
• 多副本异步复制：数据快速写入一个节点，其余节点通过读取写入的日志来实现异步复制
• 若事务：不能完全满足事务的ACID特性，但是可以保证事务的最终一致

MongoDB
MongoDB是一款nosql类型的文档型数据库。集合=表，文档=数据。可以使用MongVUE可视化工具来连接。
MongoDB增删改查：

• show dbs：查看数据库
• db；查看当前数据库，db.dropDatabase();
• show collections：查看集合
• create collection：创建一个集合
• use：创建一个数据或切换数据库，use mytest;
• insert：插入数据，db.collectios.insert(doc);
• find：查找数据，db.collectios.find(条件表达式);
• update：修改数据，db.collectios.update({条件}，{更新的值})
• remove：删除数据，，db.collectios.remove();

开启profile：MongoDB的profile和MySQL中的慢查询类似，用于记录执行时间超过多少的语句。
创建索引：db.collectios.ensureIndex({xx:1});，db.collectios. ensureIndex({xx:1,xx:1}); ensureIndex({xx:1},{“unique”:ture});
查看、删除索引：db.system.indexes.fine(); db.collections.getIndexes(); db.collections.dropIndex({xx:1}); db.user.dropIndexs();
expain：解析查询语句，db.colleciton.find({xx:xx}).explain();

Redis
连接redis，Linux下可以直接使用redis-cli进入redis命令行操作，也可以通过telnet方式连接，或可以通过redis-client可视化工具连接。
Redeis的增删改查：

• select 1，选择第一个数据库
• 使用set关键字插入数据，set name andashu
• 使用get关键字获取数据，get name
• 使用del关键子删除数据，del name

Memcached
Memcached是一个高性能的分布式的内存对象缓存系统，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。Memcached没有可视化工具，只能通过Telnet方式连接。
Memcached的增删改查:

• 增加使用add 关键字：
  add key 0 存放时间 数据大小
  add name 0 30 5
• 查询使用get 关键字：
  get key
  get name
• 修改使用set或者replace关键字：set和replace的区别是set一个不存在的key时，会新增，replace一个不存在key时，会报错
  set key 0 存放时间 数据大小
  replace key 0 存放时间 数据大小
  set name1 0 50 6
  replace name 0 70 5
• 删除使用delete关键字
  delete key
  delete name1