mysql 数据库学习笔记

数据库

目录

数据库

SQL语句

范式

主键外键

索引

事务

mysql

常用语句

启动关闭连接数据库

函数

DELETE与TRUNCATE的区别

索引

sql优化

表优化

查看和中止sql

慢查询日志

存储引擎

分表分区

---

• SQL语句

  • DDL语句
    • 关键字——CREATE、ALTER、DROP、TRUNCATE等
    • 使用——DDL主要定义或改变表的结构，表之间的链接和约束等，在建表实使用
  • DML语句
    • 关键字——SELECT、UPDATE、INSERT、DELETE
    • 使用——用来对数据库里的数据进行操作的语言
  • DCL语句
    • 关键字——GRANT、REVOKE等
    • 使用——用来设置或更改数据库用户或角色权限的语句

• 范式

  • 作用——减少冗余
  • 第一范式——要满足属性不可拆分
  • 第二范式——消除非主属性对主属性的部分依赖
  • 第三范式——要求一个关系中不包含已在其它关系已包含的非主关键字信息
  • BCNF范式——在3NF基础上消除对主码子集的依赖
  • 反范式——没有冗余的数据库未必是最好的数据库，有时为了提高运行效率和性能，低范式标准，适当保留冗余数据

• 主键外键

  • 主键——表的一个特殊字段。该字段能惟一地标识该表中的每条信息；可以没有主键，有主键不能为空；
  • 外键——特殊字段。字段sno是一个表A的属性，且依赖于表B的主键；外键必须依赖于已存在表的主键；可以为空值

• 索引

  • 创建删除索引
    • 创建索引——ALTER TABLE table_name ADD INDEX idx_1(code);
    • 删除索引——DROP INDEX idx_1 ON table_name ;
  • 定义——索引由数据库表中一列或多列组合而成，其作用是提高对表中数据的查询速度；
  • 缺点——索引不是万能的！会使数据修改操作变慢，占用相当大的空间，使用索引有限制
  • 优点——索引可以加快数据检索操作
  • mysql中主键(primary key)和唯一键(unique)区别
    • 主键索引——保证唯一性,不允许为空,一个表中至多一个
    • 唯一索引——保证唯一性,允许一个空值,可以有多个
  • mysql指定索引 from tables force 索引名

• 事务

  • 概念：事务是应用程序中一系列严密的操作，所有操作必须成功完成，否则在每个操作中所作的所有更改都会被撤消
  • 特性
    • 原子性：整个事务中的所有操作，要么全部完成，要么全部不完成，不可能停滞在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样
    • 一致性：在事务开始之前和事务结束以后，数据库的完整性约束没有被破坏
    • 隔离性：隔离状态执行事务，使它们好像是系统在给定时间内执行的唯一操作。
    • 持久性：在事务完成以后，该事务所对数据库所作的更改便持久的保存在数据库之中，并不会被回滚

• mysql

  • 常用语句

    • 数据导出
      • sql导出：SELECT * FROM new_product INTO OUTFILE 'D:/Program Files (x86)/export_data/new_product.sql' fields terminated by  '|' ;
    • 查看数据库版本——select version() from dual;
    • mysql8.0之后支持row_numer——ROW_NUMBER() over(PARTITION by dynastyid ) rn

  • 启动关闭连接数据库

    • 启动 mysql 服务：service mysqld start
    • 查看mysqld 状态：mysqld status
    • 关闭mysql服务：service mysql stop
    • 重启mysql服务：service restart stop
    • 连接数据库：mysql -u root -p pwd

  • 函数

    • GROUP_CONCAT()函数——group by 的聚合函数，将group by产生的同一个分组中的值连接起来，返回一个字符串结果，可以指定分隔符
    • IF(expr,v1,v2)函数——if判断类似3目运算符，expr表达式正确返回v1,错误返回v2
    • IFNULL(v1,v2)函数——空值转换函数

  • DELETE与TRUNCATE的区别

    • DELETE是可以带WHERE的，所以支持条件删除；而TRUNCATE只能删除整个表;
    • DELETE是DML，操作时原数据会被放到 rollback segment中，可以被回滚；而TRUNCATE是DDL，操作时不会进行存储，不能进行回滚;
    • 在数据量比较小的情况下，DELETE和TRUNCATE的清理速度差别不是很大。但是数据量很大的时候TRUNCATE优势大

  • 索引

    • MERGE:当使用视图时，会把查询视图的语句和创建视图的语句合并起来，形成一条语句，最后再从基表中查询
      • 视图中存在
      • 汇总函数或窗口函数（SUM()、MIN()、MAX()、COUNT()等）
      • DISTINCT
      • GROUP BY
      • HAVING
      • LIMIT
      • UNION或UNION ALL等不会使用索引
    • TEMPTABLE:当使用视图时，会把创建视图的语句的查询结果当成一张临时表，再从临时表中进行筛选
    • UNDEFINED:未定义，自动，让系统帮你选

  • sql优化

    • 索引优化
      • 索引使用情况
        • 配置全值,对索引中索引列都指定具体值;
        • 配置值得范围,对索引的值能够进行范围查找;
        • 匹配最左前缀,仅仅使用索中的最左边列进行查找,如col1+col2+col3的联合索引,能被包含col1、(col1+col2)、(col1+col2+col3)的等值查询利用到
        • 仅对索引查询,当查询的列都在索引字段中时,查询效率更高;
      • 不能使用索引的情况
        • 以%开头的like查询不能使用B-Tree索引
        • 数据类型出现隐式转换时不能使用索引
        • 复合索引使用需满足最左原则
        • 如果mysql估计使用索引比全表扫描慢,则不在使用索引
        • 用or分割开的条件
    • sql语句优化
      • 执行计划
        • 语句——EXPLAIN SELECT语句
        • id:选择标识符——id值越大优先级越高，越先被执行;id相同时，执行顺序由上至下
        • select_type:表示查询的类型
          • SIMPLE(简单SELECT，不使用UNION或子查询等)
          • PRIMARY(子查询中最外层查询，查询中若包含任何复杂的子部分，最外层的select被标记为PRIMARY)
          • UNION(UNION中的第二个或后面的SELECT语句)
          • DEPENDENT UNION(UNION中的第二个或后面的SELECT语句，取决于外面的查询)
          • UNION RESULT(UNION的结果，union语句中第二个select开始后面所有select)
          • SUBQUERY(子查询中的第一个SELECT，结果不依赖于外部查询)
          • DEPENDENT SUBQUERY(子查询中的第一个SELECT，依赖于外部查询)
          • DERIVED(派生表的SELECT, FROM子句的子查询)
          • UNCACHEABLE SUBQUERY(一个子查询的结果不能被缓存，必须重新评估外链接的第一行)
        • table:输出结果集的表
        • partitions:匹配的分区
        • type:表示表的连接类型——ALL、index、range、 ref、eq_ref、const、system、NULL（从左到右，性能从差到好）
        • possible_keys:表示查询时，可能使用的索引
        • key:表示实际使用的索引
        • key_len:索引字段的长度——不损失精确性的情况下，长度越短越好
        • ref:列与索引的比较
        • rows:扫描出的行数——估算出结果集行数，表示MySQL根据表统计信息及索引选用情况，估算读取的行数
        • filtered:按表条件过滤的行百分比
        • Extra:执行情况的描述和说明
          • Range checked for each record (index map: 0x4) (匹配字段类型，编码不相符等)
          • MySQL发现没有使用好的索引，但是发现在前面的表的列值已知之后，可能会使用一些索引。 对于上表中的每一行组合，MySQL检查是否可以使用range或index_merge访问方法来检索行。
          • https://www.cnblogs.com/MYSQLZOUQI/articles/3837828.html
          • converting HEAP to ondisk
          • 该线程正在将内部临时表从 MEMORY 表转换为磁盘表
          • Using join buffer (Block Nested Loop),
          • Using join buffer (Batched Key Access)
            • Block Nested-Loop Join算法：将外层循环的行/结果集存入join buffer, 内层循环的每一行与整个buffer中的记录做比较，从而减少内层循环的次数。优化器管理参数optimizer_switch中中的block_nested_loop参数控制着BNL是否被用于优化器。默认条件下是开启，若果设置为off，优化器在选择 join方式的时候会选择NLJ(Nested Loop Join)算法。
            • Batched Key Access原理：对于多表join语句，当MySQL使用索引访问第二个join表的时候，使用一个join buffer来收集第一个操作对象生成的相关列值。BKA构建好key后，批量传给引擎层做索引查找。key是通过MRR接口提交给引擎的（mrr目的是较为顺序）MRR使得查询更有效率，要使用BKA，必须调整系统参数optimizer_switch的值，batched_key_access设置为on，因为BKA使用了MRR，因此也要打开MRR (参考http://www.cnblogs.com/chenpingzhao/p/6720531.html)

  • 表优化

    • 分析表 ANALYZE
    • 检查表 check
    • 优化表 OPTIMIZE——通过可以消除删除和更新造成的磁盘碎片，从而减少空间的浪费 只读锁

  • 查看和中止sql

    • 查看正在运行的sql select * from information_schema.PROCESSLIST where info is not null;
    • 中止正在运行的sql kill process_id;

  • 慢查询日志

    • 查询是否开启慢查询日志(slow_query_log)——语句:show variables like "%slow%;
    • 开启慢查询日志——语句:set global slow_query_log = on
    • 查询慢查询阈值(long_query_time)——语句:show variables like "%long%;
    • 修改慢查询阈值——语句:set global long_query_time = 5

  • 存储引擎

    • 查看存储引擎
      • 查看所有支持的 engine：show engines;
      • 查看当前库的 engine：show variables like '%engine%;
    • innodb
      • 最常用，支持事务、回滚、自增、外键
      • 表结构存在.frm 文件中
      • 数据和索引存在表空间中，聚集索引方式方式
      • 读写效率稍差，占用空间大
    • myisam
      • 表结构存在.frm 文件中
      • .myd 存储数据, .myi 存储索引，采用非聚集索引方式
      • 快速，占空间小，不支持事务和并发
    • mysql索引底层数据结构采用B+树
      • hash很快，但每次IO只能取一个数
      • AVL和红黑树，在大量数据的情况下，IO操作还是太多
      • B树每个节点内存储的是数据，因此每个节点存储的分支太少
      • B+节点存储的是索引+指针(引用指向下一个节点)，可以存储大量索引，同时最终数据存储在叶子节点，并且有引用横向链接，可以在2-3次的IO操作内完成千万级别的表操作。
      • 建议索引是是自增长数字，这样适合范围查找
    • mysql回表
      • 主键索引——InnoDB 是聚集索引方式，因此数据和索引都存储在同一个文件里。首先 InnoDB 会根据主键 ID 作为 KEY 建立索引 B+树，B+树的叶子节点存储的是主键 ID 对应的数据
      • 非主键索引——叶子节点存储的数据的是主键 KEY。拿到主键 KEY 后，InnoDB 才会去主键索引树里根据刚在 非主键索引树找到的主键 KEY 查找到对应的数据。

  • 分表分区

    • 分区
      • 概念：是把一个数据表的文件和索引分散存储在不同的物理文件中
      • 分区类型
        • RANGE分区：基于属于一个给定连续区间的列值，把多行分配给分区
        • LIST分区：类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择
        • HASH分区：基于用户定义的表达式的返回值来进行选择的分区，该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL 中有效的、产生非负整数值的任何表达式。
        • KEY分区：类似于按HASH分区，区别在于KEY分区只支持计算一列或多列，且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含整数值。
    • 原理：mysql通过分区把数据保存到不同的文件里，同时索引也是分区的。相对于未分区的表来说，分区后单独的数据库文件索引文件的大小都明显降低，效率则明显的提示了。
    • 分区的限制
      • 主键或者唯一索引必须包含分区字段，如primary key (id,username),不过innoDB的大组建性能不好
      • 很多时候，使用分区就不要在使用主键了，否则可能影响性能
      • 只能通过int类型的字段或者返回int类型的表达式来分区，通常使用year或者to_days等函数（mysql 5.6 对限制开始放开了）
      • 每个表最多1024个分区，而且多分区会大量消耗内存
      • 分区的表不支持外键，相关的逻辑约束需要使用程序来实现
      • 分区后，可能会造成索引失效，需要验证分区可行性
    • 分表
      • 概念：分表和分区类似，区别是，分区是把一个逻辑表文件分成几个物理文件后进行存储，而分表则是把原先的一个表分成几个表。进行分表查询时可以通过union或者视图。
      • 分表规则
        • 水平分割
          • 水平分分割最为常用。水平分割通常是指切分到另外一个数据库或表中。
      • 垂直分割
        • 把常用、不常用的字段分开放
        • 把大字段独立存放在一个表中

思维导图：https://www.processon.com/view/link/607a41256376891132d9c9ec

密码：4URW