索引的副作用
对于MyISAM 引擎而言,索引文件和数据文件是分离的,索引文件用于保存数据记录的地址。而InnoDB引擎的表数据文件本身就是索引文件。当表很大或查询涉及到多个表时,可以成干上万倍地提高查询速度
创建一张表,当做示例
create database info;
use info;
create table test1 (id int(10),name varchar(10),cardid varchar(18),phone varchar(11),address varchar(50),remark text);
desc test1;
insert into test1 values (1,'zhangsan','123','111111','nanjing','this is vip');
insert into test1 values (4,'lisi','1234','444444','nanjing','this is normal');
insert into test1 values (2,'wangwu','12345','222222','benjing','this is normal');
insert into test1 values (5,'zhaoliu','123456','555555','nanjing','this is vip');
insert into test1 values (3,'qianqi','1234567','333333','shanghai','this is vip');
select * from test1;
最基本的索引类型,没有唯一性之类的限制
直接创建索引
CREATE INDEX 索引名 ON 表名 (列名[(length)]);
zhangsan
#(列名(length)):length是可选项。如果忽略 length 的值,则使用整个列的值作为索引。如果指定使用列前的 length 个字符来创建索引,这样有利于减小索引文件的大小。
#索引名建议以“_index”结尾。
例:
create index phone_index on test1 (phone);
select phone from test1;
show create table test1;
修改表方式创建
ALTER TABLE 表名 ADD INDEX 索引名 (列名);
例:
alter table test1 add index id_index (id);
select id from test1;
select id,name from test1;
创建表的时候指定索引
CREATE TABLE 表名 ( 字段1 数据类型,字段2 数据类型[,...],INDEX 索引名 (列名));
例:
create table test2(id int(4) not null,name varchar(10) not null,cardid varchar(18) not null,index id_index (id));
show create table test2;
与普通索引类似,但区别是唯一索引列的每个值都唯一。
唯一索引允许有空值(注意和主键不同)。如果是用组合索引创建,则列值的组合必须唯一。添加唯一键将自动创建唯一索引。
直接创建唯一索引
CREATE UNIQUE INDEX 索引名 ON 表名(列名);
例:
create unique index name_index on test1 (name);
show create table test1;
修改表方式创建
ALTER TABLE 表名 ADD UNIQUE 索引名 (列名);
例:
alter table test1 add unique cardid_index (cardid);
show create table test1;
创建表的时候指定
CREATE TABLE 表名 (字段1 数据类型,字段2 数据类型[,...],UNIQUE 索引名 (列名));
例:
create table test3 (id int,name varchar(20),unique id_index (id));
show create table test3;
是一种特殊的唯一索引,必须指定为“PRIMARY KEY”。
一个表只能有一个主键,不允许有空值。 添加主键将自动创建主键索引。
创建表的时候指定
CREATE TABLE 表名 ([...],PRIMARY KEY (列名));
例:
create table test4 (id int primary key,name varchar(20));
create table test5 (id int,name varchar(20),primary key (id));
show create table test4;
show create table test5;
修改表方式创建
ALTER TABLE 表名 ADD PRIMARY KEY (列名);
可以是单列上创建的索引,也可以是在多列上创建的索引。需要满足最左原则,因为select语句的 where条件是依次从左往右执行的,所以在使用select 语句查询时where条件使用的字段顺序必须和组合索引中的排序一致,否则索引将不会生效。
CREATE TABLE 表名 (列名1 数据类型,列名2 数据类型,列名3 数据类型,INDEX 索引名 (列名1,列名2,列名3));
select * from 表名 where 列名1='...' AND 列名2='...' AND 列名3='...';
例:
create table test6 (id int not null,name varchar(20),cardid varchar(20),index index_test6 (id,name));
show create table test6;
insert into test6 values(1,'zhangsan','123456');
select * from test6 where name='zhangsan' and id=1;
注:
组合索引创建的字段顺序是其触发索引的查询顺序
例如:
| test6 | CREATE TABLE "test6" (
"id" int(11) NOT NULL,
"name" varchar(20) DEFAULT NULL,
"cardid" varchar(20) DEFAULT NULL,
KEY "index_test6" ("id","name")
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
对以上的表进行select
select id,name from test3; #会触发组合索引
而:
select name,id from test3; #按照索引从左到右检索的顺序,则不会触发组合索引
适合在进行模糊查询的时候使用,可用于在一篇文章中检索文本信息。
在 MySQL5.6 版本以前FULLTEXT 索引仅可用于 MyISAM 引擎,在 5.6 版本之后 innodb 引擎也支持 FULLTEXT 索引。全文索引可以在 CHAR、VARCHAR 或者 TEXT 类型的列上创建。每个表只允许有一个全文索引。
●直接创建索引
CREATE FULLTEXT INDEX 索引名 ON 表名 (列名);
例:
select * from test1;
create fulltext index remark_index on test1 (remark);
show create table test1;
修改表方式创建
ALTER TABLE 表名 ADD FULLTEXT 索引名 (列名);
例:
alter table test1 add fulltext address_index (address);
创建表的时候指定索引
CREATE TABLE 表名 (字段1 数据类型[,...],FULLTEXT 索引名 (列名));
#数据类型可以为 CHAR、VARCHAR 或者 TEXT
例:
create table test7 (id int not null,name varchar(20),cardid varchar(20),fulltext name_index (name));
show create table test7;
使用全文索引查询
SELECT * FROM 表名 WHERE MATCH(列名) AGAINST('查询内容');
例:
select * from test1 where match(remark) against('this is vip');
or select * from test1 where remark='this is vip';
show index from 表名;
show index from 表名\G; 竖向显示表索引信息
show keys from 表名;
show keys from 表名\G;
字段含义:
字段 | 含义 |
---|---|
Table | 表的名称 |
Non_unique | 如果索引内容唯一,则为 0;如果可以不唯一,则为 1。 |
Key_name | 索引的名称 |
Seq_in_index | 索引中的列序号,从 1 开始 |
Column_name | 列名称 |
Collation | 列以什么方式存储在索引中。在 MySQL 中,有值‘A’(升序)或 NULL(无分类) |
Cardinality | 索引中唯一值数目的估计值 |
Sub_part | 如果列只是被部分地编入索引,则为被编入索引的字符的数目(zhangsan)。如果整列被编入索引,则为 NULL |
Packed | 指示关键字如何被压缩。如果没有被压缩,则为 NULL |
Null | 如果列含有 NULL,则含有 YES。如果没有,则该列含有 NO |
Index_type | 用过的索引方法(BTREE, FULLTEXT, HASH, RTREE) |
Comment | 备注 |
直接删除索引
DROP INDEX 索引名 ON 表名;
例:
drop index name_index on test1;
修改表方式删除索引
ALTER TABLE 表名 DROP INDEX 索引名;
例:
alter table test1 drop index id_index;
删除主键索引
ALTER TABLE 表名 DROP PRIMARY KEY;
例:
alter table test4 drop primary key;
说白了,所谓事务,它是一个操作序列,这些操作要么都执行,要么都不执行,它是一个不可分割的工作单位。
ACID,是指在可靠数据库管理系统(DBMS)中,事务(transaction)应该具有的四个特性:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。这是可靠数据库所应具备的几个特性。
指事务是一个不可再分割的工作单位,事务中的操作要么都发生,要么都不发生。
指在事务开始之前和事务结束以后,数据库的完整性约束没有被破坏。
指在并发环境中,当不同的事务同时操纵相同的数据时,每个事务都有各自的完整数据空间。
对数据进行修改的所有并发事务是彼此隔离的,表明事务必须是独立的,它不应以任何方式依赖于或影响其他事务。
修改数据的事务可在另一个使用相同数据的事务开始之前访问这些数据,或者在另一个使用相同数据的事务结束之后访问这些数据。
在事务完成以后,该事务所对数据库所作的更改便持久的保存在数据库之中,并不会被回滚。
指不管系统是否发生故障,事务处理的结果都是永久的。一旦事务被提交,事务的效果会被永久地保留在数据库中。
一个事务的执行不能被其他事务干扰,事务之间的相互影响分为几种,分别为
① **脏读(读取未提交数据):**脏读指的是读到了其他事务未提交的数据,未提交意味着这些数据可能会回滚,也就是可能最终不会存到数据库中,也就是不存在的数据。读到了并一定最终存在的数据,这就是脏读
② **不可重复读(前后多次读取,数据内容不一致):**一个事务内两个相同的查询却返回了不同数据。这是由于查询时系统中其他事务修改的提交而引起的。
③ **幻读(前后多次读取,数据总量不一致):**一个事务对一个表中的数据进行了修改,这种修改涉及到表中的全部数据行。同时,另一个事务也修改这个表中的数据,这种修改是向表中插入一行新数据。那么,操作前一个事务的用户会发现表中还有没有修改的数据行,就好象发生了幻觉一样。
④ **丢失更新:**两个事务同时读取同一条记录,A先修改记录,B也修改记录(B不知道A修改过),B提交数据后B的修改结果覆盖了A的修改结果。
① read uncommitted:读未提交的数据,不解决脏读,安全性最差,性能最好(不使用)
② read committed(提交读):读已提交的数据,可以解决脏读,安全性较差,性能较好,oracle数据库默认的类型
③ repeatable read(可重复读):可以重复读,安全性较高,可以解决脏读和不可重复读,性能较差,MySQL数据库默认类型
④ serializable(串行化):安全性高,性能最差(不使用),可以解决脏读不可重复读和幻读——相当于锁表
mysql默认的事务处理级别是 repeatable read ,而Oracle和SQL Server是 read committed 。
全局级:对所有的会话有效
会话级:只对当前的会话有效
show global variables like '%isolation%';
SELECT @@global.tx_isolation;
show session variables like '%isolation%';
SELECT @@session.tx_isolation;
SELECT @@tx_isolation;
set global transaction isolation level read committed;
set session transaction isolation level read committed;
BEGIN 或 START TRANSACTION:显式地开启一个事务。
COMMIT 或 COMMIT WORK:提交事务,并使已对数据库进行的所有修改变为永久性的。
ROLLBACK 或 ROLLBACK WORK:回滚会结束用户的事务,并撤销正在进行的所有未提交的修改。
SAVEPOINT S1:使用 SAVEPOINT 允许在事务中创建一个回滚点,一个事务中可以有多个 SAVEPOINT;“S1”代表回滚点名称。
ROLLBACK TO [SAVEPOINT] S1:把事务回滚到标记点。
准备案例:
create database school;
use school;
create table info(id int(10) primary key not null,name varchar(40),money double);
insert into info values(1,'A',1000);
insert into info values(2,'B',1000);
select * from info;
begin;
update info set money= money - 100 where name='A';
select * from info;
commit;
quit
mysql -u root -p
use school;
select * from info;
begin;
update info set money= money + 100 where name='A';
select * from info;
rollback;
quit
mysql -u root -pabc123
use school;
select * from info;
begin;
update info set money= money + 100 where name='A';
select * from info;
SAVEPOINT S1;
update info set money= money + 100 where name='B';
select * from info;
SAVEPOINT S2;
insert into info values(3,'C',1000);
select * from info;
ROLLBACK TO S1;
select * from info;
SET AUTOCOMMIT=0; #禁止自动提交
SET AUTOCOMMIT=1; #开启自动提交,Mysql默认为1
SHOW VARIABLES LIKE 'AUTOCOMMIT'; #查看Mysql中的AUTOCOMMIT值
如果没有开启自动提交,当前会话连接的mysql的所有操作都会当成一个事务直到你输入rollback|commit;当前事务才算结束。当前事务结束前新的mysql连接时无法读取到任何当前会话的操作结果。
如果开起了自动提交,mysql会把每个sql语句当成一个事务,然后自动的commit。
当然无论开启与否,begin; commit|rollback; 都是独立的事务。
use school;
select * from info;
SET AUTOCOMMIT=0;
SHOW VARIABLES LIKE 'AUTOCOMMIT';
update info set money= money + 100 where name='B';
select * from info;
quit
mysql -u root -p
use school;
select * from info;
MySQL中的数据用各种不同的技术存储在文件中,每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力,这些不同的技术以及配套的功能在MySQL中称为存储引擎
存储引擎是MySQL将数据存储在文件系统中的存储方式或者存储格式
MySQL常用存储引擎:
MySQL数据库中的组件,负责执行实际的数据I/O操作
MySQL系统中,存储引擎处于文件系统之上,在数据保存到数据文件之前会传输到存储引擎,之后按照各个存储引擎的存储格式进行存储
MyISAM特性
MyISAM不支持事务,也不支持外键约束,只支持全文索引,数据文件和索引文件是分开保存的
访问速度快,对事务完整性没有要求
MyISAM适合查询、插入为主的应用场景
MyISAM在磁盘上储存为三个文件,文件名和表名都相同,但是扩展名分别为:
MyISAM采用表级锁定形式,数据在更新时锁定整个表
数据库在读写过程中相互阻塞: ———>串行操作,按照顺序操作,每次在读或写的时候会把全表锁起来,会在数据写入的过程阻塞用户数据的读取也会在数据读取的过程中阻塞用户的数据写入
特性:数据单独写入或读取,速度过程较快且占用资源相对少
1)静态(固定长度)表
静态表是默认的存储格式。静态表中的字段都是非可变字段,这样每个记录都是固定长度的,这种存储方式的优点是存储非常迅速,容易缓存,出现故障容易恢复;缺点是占用的空间通常比动态表多。
存储非常迅速,容器缓存,故障后恢复方便
2)动态表
动态表包含可变字段(varchar),记录不是固定长度的,这样存储的优点是占用空间较少,但是频繁的更新、删除记录会产生碎片,需要定期执行 OPTIMIZE TABLE 语句或 myisamchk -r 命令来改善性能,并且出现故障的时候恢复相对比较困难。
3)压缩表
压缩表由 myisamchk 工具创建,占据非常小的空间,因为每条记录都是被单独压缩的,所以只有非常小的访问开支。
总结:MyIsam适合于单方向的任务场景、同时并发量不高、对于事务要求不高的场景
支持事务,支持4个事务隔离级别(数据不一致问题)
MySQL从5.5.5版本开始,默认的存储引擎为 InnoDB。5.5之前是myisam (isam) 默认
读写阻塞与事务隔离级别相关
能非常高效的缓存索引和数据
表与主键以簇的方式存储
支持分区、表空间,类似oracle数据库 (5.5 ——5.6 和5.7 第三代数据库8.0后版本)
支持外键约束,5.5前不支持全文索引,5.5后支持全文索引
对硬件资源要求还是比较高的
行级锁定,但是全表扫描仍然会是表级锁定 (select ),如update table set a=1 where user like ‘%lic%';
InnoDB 中不保存表的行数,如 select count() from table;时,InnoDB需要扫描一遍整个表来计算有多少行,但是 MYISAM只要简单的读出保存好的行数即可。需要注意的是,当 count(*)语句包含 where 条件时 MISAM也需要扫描整个表
对于自增长的字段,InnoDB 中必须包含只有该字段的索引,但是在 MyISAM表中可以和其他字段一起建立组合索引(可以增加访问的速度)
清空整个表时,InnoDB 是一行一行的删除,效率非常慢。MyISAM 则会重建表 (truncate)
MyISAM中是不会产生死锁的,因为MyISAM总是一次性获得所需的全部锁,要么全部满足,要么全部等待。而在InnoDB中,锁是逐步获得的,就造成了死锁的可能。
两个或两个以上的进程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁,这些永远在互相等待的进程称为死锁进程。
产生死锁的原因主要是
(1)系统资源不足。
(2)进程运行推进的顺序不合适。
(3)资源分配不当等。
如果系统资源充足,进程的资源请求都能够得到满足,死锁出现的可能性就很低,否则就会因争夺有限的资源而陷入死锁。其次,进程运行推进顺序与速度不同,也可能产生死锁。
死锁4大要素:互斥,持有并请求,不可剥夺,持续等待
(1) 互斥条件:一个资源每次只能被一个进程使用。
(2) 请求与保持条件:一个进程因请求资源而阻塞时,对已获得的资源保持不放。
(3) 不剥夺条件:进程已获得的资源,在末使用完之前,不能强行剥夺。
(4) 循环等待条件:若干进程之间形成一种头尾相接的循环等待资源关系。
这四个条件是死锁的必要条件,只要系统发生死锁,这些条件必然成立,而只要上述条件之一不满足,就不会发生死锁。
1、撤消陷于死锁的全部进程;
2、逐个撤消陷于死锁的进程,直到死锁不存在;
3、从陷于死锁的进程中逐个强迫放弃所占用的资源,直至死锁消失。
4、从另外一些进程那里强行剥夺足够数量的资源分配给死锁进程,以解除死锁状态
1.使用事务时,尽量缩短事务的逻辑处理过程,及早提交或回滚事务;
2.设置死锁超时参数为合理范围,如:3分钟-10分种;超过时间,自动放弃本次操作,避免进程悬挂;
3.优化程序,检查并避免死锁现象出现;
4.对所有的脚本和SP都要仔细测试,在正式版本之前;
5.所有的SP都要有错误处理(通过@error);
6.一般不要修改SQL SERVER事务的默认级别。不推荐强行加锁。
7.以固定的顺序访问表和行。
分为两种情景:
对于不同事务访问不同的表,尽量做到访问表的顺序一致;
对于不同事务访问相同的表,尽量对记录的id做好排序,执行顺序一致;
8.大事务拆小。大事务更倾向于死锁,如果业务允许,将大事务拆小。
9.在同一个事务中,尽可能做到一次锁定所需要的所有资源,减少死锁概率。
10.降低隔离级别。如果业务允许,将隔离级别调低也是较好的选择,比如将隔离级别从RR调整为RC,可以避免掉很多因为gap锁造成的死锁。
11.为表添加合理的索引。可以看到如果不走索引将会为表的每一行记录添加上锁,死锁的概率大大增大
如果读写的并发量大,那我们建议使用innoDB 如果是单独的写入或是插入单独的查询,那我们建议使用MyISAM
表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低;
行级锁:开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度也最高;
MyISAM不支持事务,也不支持外键约束,只支持全文索引,数据文件和索引文件是分开保存的
需要考虑每个存储引擎提供了哪些不同的核心功能及应用场景
支持的字段和数据类型
锁定类型:不同的存储引擎支持不同级别的锁定
索引的支持
事务处理的支持
show engines;
方法一
show table status from 库名 where name='表名'\G;
例:
show table status from school where name='info'\G;
方法二
use 库名;
show create table 表名;
例:
use school;
show create table info;
方法一:
通过 alter table 修改
use 库名;
alter table 表名 engine=MyISAM;
例:
use school;
alter table info engine=myisam;
show create table info;
方法二:
通过修改 /etc/my.cnf 配置文件,指定默认存储引擎并重启服务
vim /etc/my.cnf
[mysqld]
default-storage-engine=INNODB
systemctl restart mysqld.service
注意:此方法只对修改了配置文件并重启mysql服务后新创建的表有效,已经存在的表不会有变更。
修改完记得重启mysql服务
#注意:此方法只对修改了配置文件并重启mysql服务后新创建的表有效,已经存在的表不会有变更。
方法三:
通过 create table 创建表时指定存储引擎
use 库名;
create table 表名(字段1 数据类型,...) engine=MyISAM;
例:
mysql -u root -p
use school;
create table test1 (name varchar(10),age char(4)) engine=myisam;
① InnoDB支持事务,MyISAM不支持。对于InnoDB,每一条SQL语言都默认封装成事务,自动提交,这样会影响速度,所以最好把多条SQL语言放在begin和commit之间,组成一个事务;
② InnoDB支持外键,而MyISAM不支持。
③ InnoDB是聚集索引,使用B+Tree作为索引结构,数据文件是和(主键)索引绑在一起的(表数据文件本身就是按B+Tree组织的一个索引结构),必须要有主键,通过主键索引效率很高。MyISAM是非聚集索引,也是使用B+Tree作为索引结构,索引和数据文件是分离的,索引保存的是数据文件的指针。主键索引和辅助索引是独立的。
④ InnoDB不保存表的具体行数,执行select count(*) from table时需要全表扫描。而MyISAM用一个变量保存了整个表的行数,执行上述语句时只需要读出该变量即可,速度很快。
⑤ Innodb不支持全文索引,而MyISAM支持全文索引,查询效率上MyISAM要高;5.7以后的InnoDB支持全文索引了。
⑥ InnoDB支持表、行级锁(默认),而MyISAM支持表级锁。
⑦ InnoDB表必须有主键(用户没有指定的话会自己找或生产一个主键),而Myisam可以没有。
⑧ Innodb存储文件有frm、ibd,而Myisam是frm、MYD、MYI。
⑨ Innodb:frm是表定义文件,ibd是数据文件。Myisam:frm是表定义文件,myd是数据文件,myi是索引文件。
MyISAM :默认表类型,它是基于传统的ISAM类型,ISAM是Indexed Sequential Access Method (有索引的顺序访问方法) 的缩写,它是存储记录和文件的标准方法。不是事务安全的,而且不支持外键,如果执行大量的select,insert MyISAM比较适合。
InnoDB :支持事务安全的引擎,支持外键、行锁、事务是他的最大特点。如果有大量的update和insert,建议使用InnoDB,特别是针对多个并发和QPS较高的情况。注: 在MySQL 5.5之前的版本中,默认的搜索引擎是MyISAM,从MySQL 5.5之后的版本中,默认的搜索引擎变更为InnoDB。
Mysql锁机制
锁机制是为了避免,在数据库有并发事务的时候,可能会产生数据的不一致而诞生的的一个机制。
锁从类别上分为:
共享锁:又叫做读锁,当用户要进行数据的读取时,对数据加上共享锁,共享锁可以同时加上多个。
排他锁:又叫做写锁,当用户要进行数据的写入时,对数据加上排他锁,排他锁只可以加一个,他和其他的排他锁,共享锁都相斥。
MySQL有三种锁的级别:页级、表级、行级。
**表级锁:**开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低
**行级锁:**开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度最高
**页面锁:**开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度也处于中等