DBA03 - MySQL存储引擎、数据导入导出 管理表记录 匹配条件
一、mysql存储引擎
1.1 MySQL工作原理
1. connectors
与其他编程语言中的sql 语句进行交互，如php、java等。
2. Management Serveices & Utilities
系统管理和控制工具
3. Connection Pool (连接池)
管理缓冲用户连接，线程处理等需要缓存的需求
4. SQL Interface (SQL接口)
接受用户的SQL命令，并且返回用户需要查询的结果。比如select from就是调用SQL Interface
5. Parser （解析器）
SQL命令传递到解析器的时候会被解析器验证和解析。
主要功能：
a . 将SQL语句分解成数据结构，并将这个结构传递到后续步骤，后面SQL语句的传递和处理就是基于这个结构的
b. 如果在分解构成中遇到错误，那么就说明这个sql语句是不合理的，语句将不会继续执行下去
6. Optimizer (查询优化器)
SQL语句在查询之前会使用查询优化器对查询进行优化(产生多种执行计划,最终数据库会选择最优化的方案去执行,尽快返会结果) 他使用的是“选取-投影-联接”策略进行查询。
用一个例子就可以理解： select uid,name from user where gender = 1;
这个select 查询先根据where 语句进行选取，而不是先将表全部查询出来以后再进行gender过滤
这个select查询先根据uid和name进行属性投影，而不是将属性全部取出以后再进行过滤
将这两个查询条件联接起来生成最终查询结果.
7. Cache和Buffer (查询缓存)
如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据。
这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等
8.Engine (存储引擎)
存储引擎是MySql中具体的与文件打交道的子系统。也是Mysql最具有特色的一个地方。
Mysql的存储引擎是插件式的。它根据MySql AB公司提供的文件访问层的一个抽象接口来定制一种文件访问机制（这种访问机制就叫存储引擎）
SQL 语句执行过程
首先程序的请求会通过mysql的connectors与其进行交互，请求到处后，会暂时存放在连接池（connection pool)中并由处理器（Management Serveices & Utilities）管理。当该请求从等待队列进入到处理队列，管理器会将该请求丢给SQL接口（SQL Interface）。SQL接口接收到请求后，它会将请求进行hash处理并与缓存中的结果进行对比，如果完全匹配则通过缓存直接返回处理结果；否则，需要完整的走一趟流程：
(1)由SQL接口丢给后面的解释器（Parser），上面已经说到，解释器会判断SQL语句正确与否，若正确则将其转化为数据结构。
(2)解释器处理完，便来到后面的优化器（Optimizer），它会产生多种执行计划,最终数据库会选择最优化的方案去执行,尽快返会结果。
(3)确定最优执行计划后，SQL语句此时便可以交由存储引擎（Engine）处理，存储引擎将会到后端的存储设备中取得相应的数据，并原路返回给程序。
这里有几点需要注意：
(1)如何缓存查询数据？
存储引擎处理完数据，并将其返回给程序的同时，它还会将一份数据保留在缓存中，以便更快速的处理下一次相同的请求。具体情况是，mysql会将查询的语句、执行结果等进行hash，并保留在cache中，等待下次查询。
(2)buffer与cache的区别？
从上面的图可以看到，缓存那里实际上有buffer和cache两个，那它们之间是否有什么不同呢？简单的说就是，buffer是写缓存，cache是读缓存。
1.2 MySQL 存储引擎
• 作为可插拔式的组件提供
– MySQL 服务软件自带的功能程序,处理表的处理器
– 不同的存储引擎有不同的功能和数据存储方式
• 默认的存储引擎
– MySQL 5.0/5.1 ---> MyISAM
– MySQL 5.5/5.6 ---> InnoDB
1.2.1 查看数据库服务支持的存储引擎
mysql> show engines;
InnoDB DEFAULT
1.2.2 查看已有的表使用的存储引擎
show create table 表名；
1.2.3 修改数据库服务默认使用的存储引擎
]#vim /etc/my.cnf
[mysqld]
default-storage-engine=myisam
...]# systemctl restart mysqld
1.2.4 修改表/建表指定表的存储引擎
alter table 表 engine=存储引擎名；
create table 表（字段列表）engine=存储引擎名；
1.2.5 常用存储引擎的特点
innodb存储引擎特点:
支持事务 、 事务回滚、外键
支持行级锁 （客户端连接数据库服务器后，对表的数据做访问时，若表的存储引擎是innodb的话，会只给表中被访问的行加锁）
存储方式： 一个表对应2个存储文件
表名.frm 表结构
表名.ibd 数据和索引 【聚簇索引，数据和索引在一起。表名.ibd会一起放入key_buffer_size.客户端可以直接查找内存里面的数据】
myisam存储引擎特点:
不支持事务 、 事务回滚、外键
支持表级锁 （客户端连接数据库服务器后，对表的数据做访问时，若表的存储引擎是myisam的话，会给整张表加锁）
存储方式： 一个表对应3个存储文件
表名.frm 表结构
表名.MYD 数据
表名.MYI 索引 【非聚簇索引，数据和索引分开。MYI索引信息会放入key_buffer_size,客户会先找索引，然后再回行查找硬盘真实的数据】
memory存储引擎特点：
所有 的数据都在内存中，数据的处理速度快，但是安全性不高。如果需要很快的读写速度，对数据的安全性要求较低，可以选择MEMOEY。它对表的大小有要求，不能建立太大的表。所以，这类数据库只使用在相对较小的数据库表。
1. 事务（Transactions）：一次sql操作从建立连接到操作完成断开连接的访问过程给称作事务。
-- 支持事务的可以做事务回滚 ：一次sql操作有任意一步没有执行成功会恢复所有操作。（对innodb存储引擎的表 访问时 必须任意一步操作都成功，才能完成操作。）
2. mysql数据库服务使用事务日志文件记录对innodb存储引擎表执行的sql操作。
cd /var/lib/mysql/
ib_logfile0 -|
|------> 记录SQL命令
ib_logfile1 -|
insert into t1 values(8888);
ibdata1 ----> 数据源（sql命令执行后产生的数据信息）
1.2.6 MySQL 锁机制
锁粒度：
表级锁（myisam）给整张表加锁
行级锁 (innodb) 只给表中当前被操作行加锁
锁的作用：解决对表的并发访问冲突问题。 (读锁和写锁是由sql语句决定的，行锁和表锁是由存储引擎决定的)
select * from t1 where id <=20;
insert
delete from t1;
update t1 set name="bob" where name="lucy";
update t1 set name="tom" where name="jerry";
锁类型：
读锁（共享锁） 当对一张表执行查询(select)操作时 会加读锁
写锁（排他锁或互斥锁） 当对一张表执行写（insert update delete）操作时 会加写锁
1.2.7 存储引擎的选择
执行写操作多的表适合使用innodb存储引擎，可以并发访问。
update t1 set name="bob" where id=3;
update t1 set name="bob" where id=4;
执行查操作多的表适合使用myisam存储引擎,可以节省系统资源。
select * from t1 where id <=10;
select * from t1 where id >10;
二、数据导入导出（批量操作数据）
2.1 数据导入
基本用法
-- LOAD DATA INFILE "目录/文件名"
INTO TABLE 库.表
FIELDS TERMINATED BY "列间隔符号"
LINES TERMINATED BY "\n"注意事项
-- 字段分隔符要与文件内的一致
--指定导入文件的绝对路径
--导入数据的表字段类型要与文件字段匹配
--禁用Selinux保护机制
1.查看数据库的默认导入导出文件存放目录
mysql> show variables like "secure_file_priv";
2.修改默认导入导出文件目录
[root@host50 ~]# mkdir /mydata
[root@host50 ~]# chown mysql /mydata
[root@host50 ~]# vim /etc/my.cnf
[mysqld]
.. secure_file_priv="/mydata" ..
[root@host50 mydata]# systemctl restart mysqld //重启服务
mysql> show variables like "secure_file_priv";
3.创建存储数据表（表结构参考/etc/passwd）
create database db3;
create table db3.usertab(
username char(50),
password char(1),
uid int(2),
gid int(2),
comment char(100),
homedir char(100),
shell char(50),
index(username)
);
desc db3.usertab;
4.把需要导入的文件放到默认导入导出目录下
cp /etc/passwd /mydata
5.用load命令导入数据
load data infile "/mysqldata/passwd"
into table db3.usertab
fields terminated by ":"
lines terminated by "\n";
6.为usertab表添加id字段为主键并且自动增长
mysql> alter table db3.usertab add id int(2) primary key auto_increment first;
mysql> select * from db3.usertab;
mysql> select * from db3.usertab where id=20;
2.2 数据导出
基本用法
--SQL查询 into outfile "目录名/文件名"
filds terminated by "列分隔符"
lines terminated by "\n";注意事项
--导出的内容由SQL查询语句决定
--导出的是表中的记录,不包括字段名
-- 禁用SELinux
1.把查询到的数据导出到文件中
mysql>select username,uid from db3.usertab into outfile "/mysqldata/user1.txt";
mysql>select * from db3.usertab into outfile "/mysqldata/user2.txt";
mysql>select username,uid from db3.usertab into outfile "/mysqldata/user3.txt" fields terminated by "###";
# cat /mysqldata/user1.txt
# cat /mysqldata/user2.txt
# cat /mysqldata/user3.txt
三、管理表记录
3.1 插入记录
语法格式:
• 格式 1 :给所有字段赋值
– INSERT INTO 表名
VALUES
( 字段 1 值, .. .. ,字段 N 值 ) ,
( 字段 1 值, .. .. ,字段 N 值 ) ,
( 字段 1 值, .. .. ,字段 N 值 ) ,
.. .. ;• 格式 2 ,给指定字段赋值
– INSERT INTO 表名 ( 字段 1,.. .., 字段 N)
VALUES
( 字段 1 值,字段 2 值,字段 N 值 ) ,
( 字段 1 值,字段 2 值,字段 N 值 ) ,
( 字段 1 值,字段 2 值,字段 N 值 ) ,
.. .. ;
插入记录 insert into （值要与字段类型和约束条件匹配）
插入N条记录给所有字段赋值
insert into 库.表 values(字段值列表)，(字段值列表);
mysql> insert into usertab values (50,"yaya2","x",1002,1002,"","/home/yaya2","/sbin/nologin"),(51,"7yaya","x",1003,1003,"","/home/7yaya","/sbin/nologin");
插入N条记录给指定的字段赋值
insert into 库.表（字段名列表） values(字段值列表)，(字段值列表);
insert into usertab(username,homedir,shell) values
("lu8cy","/home/lu8cy","/bin/bash"),("tom","/home/tom","/bin/bash"),("lilei","/home/lilei","/bin/bash");
3.2 查看记录
语法格式:
• 格式 1
– SELECT 字段 1, .. .., 字段 N FROM 表名 ;
• 格式 2
– SELECT 字段 1, .. .., 字段 N FROM 表名 WHERE 条件表达式 ;
• 注意事项
– 使用 * 可匹配所有字段
– 指定表名时,可采用 库名 . 表名 的形式
查看表中所有行的所有字段的值
select * from 库.表 ；
select * from db3.usertab;
查看表中所有行的指定字段的值
select 字段名1，字段名2 ，字段名n from 库.表 ；
select id,username,password from db3.usertab;
查看指定行的指定字段的值
select 字段名1，字段名2 ，字段名n from 库.表 where 匹配条件 ；
select username,uid,shell from usertab where id = 1;
3.3 修改记录
语法格式
• 格式 1 ,更新表内的所有记录
– UPDATE 表名
SET
字段 1= 字段 1 值 ,
字段 2= 字段 2 值 ,
字段 N= 字段 N 值 ;• 格式 2 ,只更新符合条件的部分记录
– UPDATE 表名
SET
字段 1= 字段 1 值 ,
字段 2= 字段 2 值 ,
字段 N= 字段 N 值 ;
WHERE 条件表达式 ;
修改所有记录指定字段的值
update 库.表 set 字段名=值，字段名=值；
update db3.usertab set password="A" ;
修改与条件匹配的记录指定字段的值
update 库.表 set 字段名=值，字段名=值 where 匹配条件 ；
update db3.usertab set password="x" where id=1;
3.4 删除记录
语法格式:
• 格式 1 ,仅删除符合条件的记录
– DELETE FROM 表名 WHERE 条件表达式 ;
• 格式 2, 删除所有的表记录
– DELETE FROM 表名 ;
删除表中的所有行
delete from 库.表；
delete from db3.usertab
仅删除与条件匹配的记录
delete from 库.表 where 匹配条件 ；
delete from db3.usertab where id=3;
四、匹配条件
4.1 基本查询条件
4.1.1 数值比较 (格式:字段名 符号 数字)
- 字段类型必须是数据数值类型
| 类型 | 用途 |
| = | 等于 |
| > 、 >= | 大于、大于或等于 |
| <、<= | 小于、小于或等于 |
| != | 不等于 |
select username from usertab where uid=10;
select id,username,uid from usertab where uid=1001;
select * from usertab where id<=10;
4.1.2 字符比较/匹配空/非空 (格式: 字段名 符号 "字符串")
- 字符比较时，字段类型必须是字符类型
| 类型 | 用途 |
| = | 等于 |
| ！= | 不等于 |
| IS NULL | 匹配空 |
| IS NOT NULL | 非空 |
select username from usertab where username="apache";
select username,shell from usertab where shell!="/bin/bash";
select username,uid,gid from usertab where uid is null and gid is null;
select id from usertab where name="yaya" and uid is not null;
4.1.3 范围内匹配/去重显示
- 匹配范围内的任意一个值即可
| 类型 | 用途 |
| in(值列表) | 在...里... |
| not in(值列表) | 不在...里... |
| between 数字1 and 数字2 | 在...之间... |
| distinct 字段名 | 去重显示 |
查询不显示字段重复值 distinct 字段名(distinct只能用在查询中)
select username from usertab where uid between 100 and 150;
select username,uid from usertab where uid in (10,20,30,50);
select username from usertab where username not in ("root","bin");
select distinct shell from usertab where uid >10 and uid<=100;
4.1.4 逻辑匹配（就是有个查询条件）
- 多个判断条件时使用
| 类型 | 用途 |
| OR | 逻辑或 |
| AND | 逻辑与 |
| ！ | 逻辑非 |
| () | 提高优先级 |
select username,uid from usertab where username="root" and uid=0 and shell="/bin/bash";
select username,uid from usertab where username="root" or uid=1 or shell="/bin/bash";
select username,uid from usertab where username="root" or username="apache" or username="bob";
4.2 高级查询条件
4.2.1 模糊匹配
• 基本用法
– WHERE 字段名 LIKE ' 通配字串 '
– 通配符 _ 匹配单个字符
– % 匹配 0~N 个字符
select username from usertab where username like '_ _ _ _'; //匹配username为4个字符
select username from usertab where username like 'a_ _t';
select username from usertab where username like 'a%';
select username from usertab where username like '_%_';
select id,name from user where name like '%'; //匹配0个到多个
4.2.2 正则匹配(匹配有共同条件的数据，模糊匹配)
• 基本用法
– WHERE 字段名 REGEXP ' 正则表达式‘
– ^ $ . * [ ] (范围内) | (或)
select username from usertab where username regexp '[0-9]';
select username from usertab where username regexp '^[0-9]';
select username from usertab where username regexp '[0-9]$';
select username from usertab where username regexp 'a.*t'; //包含a和t，且at之间有零个或多个字符
select username from usertab where username regexp '^a.*t$'; //以a开头，且以t结尾，at之间有零个或多个字符
select username,uid from usertab where uid regexp '..'; //有两个字符就可以,模糊匹配
select username,uid from usertab where uid regexp '^..$'; //严格匹配只包含两个字符
4.2.3 四则运算(select 和 update 操作是可以做数学计算)
字段类型必须数值类型（整型 或浮点型）
| 类型 | 用途 |
| + | 加法 |
| - | 减法 |
| * | 乘法 |
| / | 除法 |
| % | 取余数 |
select id,username,uid from usertab where id <=10;
update usertab set uid=uid+1 where id <=10;
select username ,uid,gid, uid+gid as zh , (uid+gid)/2 as pjz from usertab where username="mysql";
select username , age , 2018-age s_year from usertab where username="root";
4.2.4 聚集函数（对字段的值做统计，字段的类型要求是数值类型；不能够做条件判断）
| 类型 | 用途 |
| count(字段名） | 统计字段值的个数 |
| sum(字段名） | 求和 |
| max(字段名） | 输出字段值的最大值 |
| min(字段名） | 输出字段值的最小值 |
| avg(字段名） | 输出字段值的平均值 |
select max(uid) from usertab;
select sum(uid) from usertab;
select min(uid) from usertab;
select avg(uid) from usertab;
select count(id) from usertab;
select count(username) from usertab where shell="/bin/bash";
mysql> select count(*) from user; //所有字段只要一个不为空就会就会算进去
mysql> select count(id),count(name) from user;
mysql> select name,id from user where name is null;
错误用法
select name,max(gid) from user; //max(gid)的值只有一个，name有很多个。
select name from user where gid=max(gid); //聚合函数不能作为查询条件
4.3 操作查询结果
4.3.1 查询分组 (group by：查询什么字段，就用什么去分组)
• 基本用法
– SQL 查询
group by 字段名 （字段名通常是字符类型）
sql查询 group by 字段名；
select shell from usertab where uid >10 and uid<=100 group by shell;
4.3.2 查询排序 (按照数值类型的字段排队)
• 基本用法
– SQL 查询
ORDER BY 字段名 [ asc | desc ] （字段名通常是数值类型）
select username,uid from usertab where uid >10 and uid<=100 order by uid;
select username,uid from usertab where uid >10 and uid<=100 order by uid desc;
4.3.3 限制查询显示行数(默认显示所有查询的记录)
• 基本用法
– SQL 查询 LIMIT N; 显示查询结果前 N 条记录
– SQL 查询 LIMIT N,M ;显示指定范围内的查询记录
– SQL 查询 where 条件查询 LIMIT N ;显示查询结果前 N 条记录
– SQL 查询 where 条件查询 LIMIT N , M ;显示指定范围内的查询记录
select username,uid from usertab where uid >10 and uid<=100 order by uid desc limit 1;
select username,uid from usertab where uid >10 and uid<=100 order by uid desc limit 2,3;
4.12 having在查询结果里面过滤数据
查询结果过滤
• 基本用法
– SQL 查询 HAVING 条件表达式;
– SQL 查询 where 条件 HAVING 条件表达式;
– SQL 查询 group by 字段名 HAVING 条件表达式;
mysql> select name,uid from user where uid>=1000 having name is not null;
mysql> select name,uid from user where uid>=1000 having uid=200;
mysql> select name,uid from user where uid>=1000 having name="bob";