MySQL高级(归纳一)之MySQL架构整体

mysql高级篇一

---

MySQL架构整体说明

1、mysql简介

1.1、mysql的概述

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公司。
MySQL是一种关联数据库管理系统，将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
 
Mysql是开源的，所以你不需要支付额外的费用。
Mysql是可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统。
 
Mysql支持大型的数据库。可以处理拥有上千万条记录的大型数据库。
MySQL使用标准的SQL数据语言形式。
Mysql可以允许于多个系统上，并且支持多种语言。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等。
MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB。

1.2、mysql大佬攻略14点

1. 数据库内部结构和原理
2. 数据库建模优化
3. 数据库索引建立
4. SQL语句优化
5. SQL编程
6. mysql服务器的安装配置
7. 数据库的性能监控分析与系统优化
8. 各种参数常量设定
9. 主从复制
10. 分布式架构搭建、垂直切割和水平切割
11. 数据迁移
12. 容灾备份和恢复
13. shell或python等脚本语言开发
14. 对开源数据库进行二次开发

---

2、安装mysql

2.1 、俩种安装位置

• 现在docker很流行，很多人将mysql安装在docker容器里面 ==>参考文章
• 不安装在docker容器里面(这边是采用rpm方式安装) ==> 参考文章

2.2、 下载安装（rpm）

mysql下载官网地址

图示：

cd 到/opt 目录（这个位置放软件）
新建个mysql文件夹将rpm文件上传，并解压缩

01、检查是否安装过mysql

rpm -qa|grep mysql

02、存在内容就先卸载

rpm -e --nodeps  mysql-libs

由于mysql安装过程中，会通过mysql用户在/tmp目录下新建tmp_db文件
所以给/tmp较大的权限

03、给tmp目录设置权限

chmod -R 777 /tmp

04、在mysql的安装文件目录下执行：
说明 rpm -ivh ==> i(install)是安装, v(visual)是日志 ,h是hash代码进度条

#MySQL-server-5.5.54-1.linux2.6.x86_64.rpm这个要改成你自己的mysql文件版本

rpm -ivh MySQL-server-5.5.54-1.linux2.6.x86_64.rpm
rpm -ivh MySQL-client-5.5.54-1.linux2.6.x86_64.rpm

05、开启服务

service mysql start

06、查看信息

#查看mysql信息
ps -ef | grep mysql

#查看版本
mysqladmin --version

#查看mysql的组和其他信息
cat /etc/passwd | grep mysql

#查看mysql的组
查看mysql的组  cat /etc/group | grep mysql

07、设置密码和登录

# 密码设置为123456
/usr/bin/mysqladmin -u root  password '123456'

# 登入
mysql -uroot -p123456

07、开机启动

# 方式一：
chkconfig mysql on

# 方式二（图形化界面）：
ntsysv

图示：

2.3、 mysql目录说明

路径	说明
/usr/bin	相关命令目录
/var/lib/mysql/	mysql数据库文件的存放路径
/usr/lib64/mysql/plugin	mysql插件存放路径
/var/lib/mysql/mysql.sock	本地连接时用的unix套接字文件
/usr/share/mysql	配置文件目录
/etc/init.d/mysql	服务启停相关脚本

2.4、修改mysql字符集(默认是latin1)

2.4.1、将配置文件复制一份到/etc/ 目录下

说明一: 这个配置文件的名称可能会因为版本的变动而改变，注意其后缀就可以了 ==> xxx.cnf
说明二: 如果在 /usr/share/mysql/目录下没找到配置文件，就直接去/etc/目录下看有没有my.cnf文件

# 切换目录
cd /usr/share/mysql/

# 查看.cnf文件
ls -l *.cnf

#拷贝
cp /usr/share/mysql/my-huge.cnf    /etc/my.cnf

2.4.2、修改my.cnf的配置

01、命令

cd /etc

vi my.cnf
插入输入 i 或者 o
退出编辑模式 esc
保存退出 :wq

02、如图（红色为添加部分）：

03、添加的内容

[client]
default-character-set=utf8

[mysqld]
character_set_server=utf8
character_set_client=utf8
collation-server=utf8_general_ci

[mysql]
default-character-set=utf8

04、字符集相关命令：

# 登入mysql后 查看字符集
show variables like 'character%'; 
show variables like '%char%';

# 修改数据库的字符集
alter database 数据库名称 character set 'utf8';

# 修改数据表的字符集
alter table 表名称 convert to  character set 'utf8';

原本建的库的字符集，不会因后面改了字符集而改变
所以安装完数据库，先改字符集，在建数据库

2.4.3 、重启mysql

service mysql stop
service mysql start

3、Mysql配置文件

3.1 、日志文件

日志类型	说明
二进制日志 （log-bin）	主从复制及备份恢复
错误日志（log-error）	默认关闭，记录查询的sql语句，如果开启会减低mysql的整体性能，因为记录日志也是需要消耗系统资源的
慢查询日志log	默认关闭，记录查询的sql语句，如果开启会减低mysql的整体性能，因为记录日志也是需要消耗系统资源的

3.2 、数据文件

系统	数据库数据存放位置
windows	…\MySQLServer5.5\data目录下很多数据库文件
Linux	默认路径：/var/lib/mysql

说明：根据mysql引擎的不同存放方式也有所不同

常见的俩个引擎Myisam和 innodb

Myisam存放方式

数据库数据组成文件	说明
frm文件(framework)	存放表结构
myd文件(data)	存放表数据
myi文件(index)	存放表索引

innodb存放方式

数据库数据组成文件	说明
ibdata1	Innodb引擎将所有表的的数据都存在这里面 /usr/share/mysql/ibdata1 而frm文件存放在库同名的包下
frm文件	存放表结构
–	–
单独存放	说明一 set innodb_file_per_table=on
单独存放	说明二 create table mmm (id int(20) auto_increment ,name varchar(20),primary key(id));
单独存放	说明三设在为 on 后 单独以 table名.ibd 的文件名存储

3.3、修改配置文件的位置

系统	位置
windows	my.ini文件(配置文件)
Linux	/etc/my.cnf文件(配置文件)

4、Mysql 的用户与权限管理

4.1、用户管理

创建用户

#创建名称为zhang3的用户，密码设为123123；
create user zhang3 identified by '123123';

了解user表

#查看用户
select host,user,password,select_priv,insert_priv,drop_priv from mysql.user;

设置密码

# 修改当前用户的密码:
set password =password('123456')
 
# 修改某个用户的密码:
update mysql.user set password=password('123456') where user='li4';

 #所有通过user表的修改，必须用该命令才能生效。
flush privileges;  

修改用户

# 修改用户名：
update mysql.user set user='li4' where user='wang5';

#所有通过user表的修改，必须用该命令才能生效。
flush privileges;   

删除用户

drop user li4 ;

#注明：不要通过delete from  user u where user='li4' 进行删除，系统会有残留信息保留。

4.2、权限管理

授予权限

授权命令：
grant 权限1,权限2,…权限n on 数据库名称.表名称 to 用户名@用户地址 identified by ‘连接口令’;
该权限如果发现没有该用户，则会直接新建一个用户。

#给li4用户用本地命令行方式下，授予atguigudb这个库下的所有表的插删改查的权限。
grant select,insert,delete,drop on atguigudb.* to li4@localhost  ;

#授予通过网络方式登录的的joe用户 ，对所有库所有表的全部权限，密码设为123.
#说明：就算 all privileges 了所有权限，grant_priv 权限也只有 root 才能拥有。
grant all privileges on *.* to joe@'%'  identified by '123'; 


 
#给root赋连接口令 
grant all privileges on *.* to root@'%'  ;

#后新建的连接没有密码，需要设置密码才能远程连接。
update user set password=password('root') where user='root' and host='%';

收回权限

命令：
revoke 权限1,权限2,…权限n on 数据库名称.表名称 from 用户名@用户地址 ;

# 若赋的全库的表就 收回全库全表的所有权限
REVOKE ALL PRIVILEGES ON mysql.* FROM joe@localhost;

# 收回mysql库下的所有表的插删改查权限
REVOKE select,insert,update,delete ON mysql.* FROM joe@localhost;

#注明： 对比赋予权限的方法。必须用户重新登录后才能生效

查看权限

# 查看当前用户权限
show grants;
 
# 查看某用户的全局权限
select  * from user ;
 
# 查看某用户的某库的权限
select * from  db;
 
# 查看某用户的某个表的权限
select * from tables_priv;

4.3、远程访问

1. 先 ping 一下数据库服务器的ip 地址确认网络畅通。
2. 关闭数据库服务的防火墙 ==> service iptables stop
3. 确认Mysql中已经有可以通过远程登录的账户 ==> select * from mysql.user where user='li4' and host='%';
4. 可化解界面，测试连接：

5、Mysql 杂项配置

5.1 、大小写问题

windows系统默认大小写不敏感，但是linux系统是大小写敏感的

查看命令 : SHOW VARIABLES LIKE ‘%lower_case_table_names%’

参数说明：

1. 默认为0，大小写敏感。
2. 设置1，大小写不敏感。创建的表，数据库都是以小写形式存放在磁盘上，对于sql语句都是转换为小写对表和DB进行查找。
3. 设置2，创建的表和DB依据语句上格式存放，凡是查找都是转换为小写进行。

设置变量常采用 set lower_case_table_names = 1； 的方式，但此变量是只读权限，所以需要在配置文件中改。

当想设置为大小写不敏感时，要在my.cnf这个配置文件 [mysqld] 中加入lower_case_table_names = 1 然后重启服务器。但是要在重启数据库实例之前就需要将原来的数据库和表转换为小写，否则更改后将找不到数据库名。

在进行数据库参数设置之前，需要掌握这个参数带来的影响，切不可盲目设置。

5.2 、(生产环境)的sql_mode

说明：

sql_mode是个很容易被忽视的变量，默认值是空值
在这种设置下是可以允许一些非法操作的，比如允许一些非法数据的插入。
在生产环境必须将这个值设置为严格模式，所以开发、测试环境的数据库也必须要设置，这样在开发测试阶段就可以发现问题。

图示：

说明：

使用 set sql_mode=ONLY_FULL_GROUP_BY; 的方式设置会将之前的设置覆盖掉

同时设置多个限制：
setsql_mode='ONLY_FULL_GROUP_BY,NO_AUTO_VALUE_ON_ZERO';

sql_mode常用值：

常用值	说明
ONLY_FULL_GROUP_BY	对于GROUP BY聚合操作，如果在SELECT中的列，没有在GROUP BY中出现，那么这个SQL是不合法的，因为列不在GROUP BY从句中
NO_AUTO_VALUE_ON_ZERO	该值影响自增长列的插入。默认设置下，插入0或NULL代表生成下一个自增长值。 如果用户 希望插入的值为0，而该列又是自增长的，那么这个选项就有用了。
STRICT_TRANS_TABLES	在该模式下，如果一个值不能插入到一个事务表中，则中断当前的操作，对非事务表不做限制
NO_ZERO_IN_DATE	在严格模式下，不允许日期和月份为零
NO_ZERO_DATE	设置该值，mysql数据库不允许插入零日期，插入零日期会抛出错误而不是警告
ERROR_FOR_DIVISION_BY_ZERO	在INSERT或UPDATE过程中，如果数据被零除，则产生错误而非警告。 如果未给出该模式，那么数据被零除时MySQL返回NULL
NO_AUTO_CREATE_USER	禁止GRANT创建密码为空的用户
NO_ENGINE_SUBSTITUTION：	如果需要的存储引擎被禁用或未编译，那么抛出错误。不设置此值时，用默认的存储引擎替代，并抛出一个异常
PIPES_AS_CONCAT	将 ||视为字符串的连接操作符而非或运算符，这和Oracle数据库是一样的，也和字符串的拼接函数Concat相类似
ANSI_QUOTES	启用ANSI_QUOTES后，不能用双引号来引用字符串，因为它被解释为识别符
ORACLE	设置等同： PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS, NO_AUTO_CREATE_USER.

6、 Mysql逻辑架构

6.1、 总体架构概览

• 和其它数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。
• 主要体现在存储引擎的架构上，插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。
• 这种架构可以根据业务的需求和实际需要选择合适的存储引擎。

逻辑架构图：

架构图说明：

1. 连接层

最上层是一些客户端和连接服务，包含本地sock通信和大多数基于客户端/服务端工具实现的类似于tcp/ip的通信。
主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。
同样在该层上可以实现基于SSL的安全链接。
服务器也会为安全接入的每个客户端验证它所具有的操作权限。

2. 服务层

Management Serveices & Utilities： 系统管理和控制工具

SQL Interface: SQL接口
接受用户的SQL命令，并且返回用户需要查询的结果。
比如select from就是调用SQL Interface

Parser: 解析器
SQL命令传递到解析器的时候会被解析器验证和解析。

Optimizer: 查询优化器。
SQL语句在查询之前会使用查询优化器对查询进行优化。
用一个例子就可以理解： select uid,name from user where gender= 1;
优化器来决定先投影还是先过滤。

Cache和Buffer： 查询缓存。
如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据。
这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等
缓存是负责读，缓冲负责写。

3. 引擎层

存储引擎层，存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API与存储引擎进行通信。
不同的存储引擎具有的功能不同，这样我们可以根据自己的实际需要进行选取。
常见的是MyISAM和InnoDB

4. 存储层

数据存储层，主要是将数据存储在运行于裸设备的文件系统之上，并完成与存储引擎的交互

6.2、sql查询说明

流程图：

mysql的查询流程大致说明：

1. mysql客户端通过协议与mysql服务器建连接，发送查询语句，先检查查询缓存，如果命中(一模一样的sql才能命中)，直接返回结果，否则进行语句解析,也就是说，在解析查询之前，服务器会先访问查询缓存(query cache)——它存储SELECT语句以及相应的查询结果集。如果某个查询结果已经位于缓存中，服务器就不会再对查询进行解析、优化、以及执行。它仅仅将缓存中的结果返回给用户即可，这将大大提高系统的性能。
2. 语法解析器和预处理：首先mysql通过关键字将SQL语句进行解析，并生成一颗对应的“解析树”。mysql解析器将使用mysql语法规则验证和解析查询；预处理器则根据一些mysql规则进一步检查解析数是否合法。
3. 查询优化器当解析树被认为是合法的了，并且由优化器将其转化成执行计划。一条查询可以有很多种执行方式，最后都返回相同的结果。优化器的作用就是找到这其中最好的执行计划。。
4. 然后，mysql默认使用的BTREE索引，并且一个大致方向是:无论怎么折腾sql，至少在目前来说，mysql最多只用到表中的一个索引。

7、 Mysql存储引擎

7.1、查看引擎命令

#首先先登入mysql  命令：mysql -u root -p 密码

#看你的mysql现在已提供什么存储引擎:
show engines;

#看你的mysql当前默认的存储引擎:
show variables like '%storage_engine%';

7.2、各个引擎简介

存储引擎类型	简介
InnoDB	InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期(short-lived)事务。 除非有非常特别的原因需要使用其他的存储引擎，否则应该优先考虑InnoDB引擎。 行级锁，适合高并发情况
MyISAM	MyISAM提供了大量的特性，包括全文索引、压缩、空间函数(GIS)等。 但MyISAM不支持事务和行级锁(myisam改表时会将整个表全锁住) 有一个毫无疑问的缺陷就是崩溃后无法安全恢复
Archive	Archive存储引擎只支持INSERT和SELECT操作，在MySQL5.1之前不支持索引。 Archive表适合日志和数据采集类应用。适合低访问量大数据等情况。 根据英文的测试结论来看，Archive表比MyISAM表要小大约75%，比支持事务处理的InnoDB表小大约83%
Blackhole	Blackhole引擎没有实现任何存储机制，它会丢弃所有插入的数据，不做任何保存。 但服务器会记录Blackhole表的日志，所以可以用于复制数据到备库，或者简单地记录到日志。但这种应用方式会碰到很多问题，因此并不推荐。
CSV	CSV引擎可以将普通的CSV文件作为MySQL的表来处理，但不支持索引。 CSV引擎可以作为一种数据交换的机制，非常有用。
Memory	如果需要快速地访问数据，并且这些数据不会被修改，重启以后丢失也没有关系，那么使用Memory表是非常有用。 Memory表至少比MyISAM表要快一个数量级。(使用专业的内存数据库更快，如redis)
Federated	Federated引擎是访问其他MySQL服务器的一个代理，尽管该引擎看起来提供了一种很好的跨服务器的灵活性，但也经常带来问题，因此默认是禁用的。

7.3、MyISAM和InnoDB对比

• innodb 索引使用 B+TREE
• myisam 索引使用 b-tree
• innodb主键为聚簇索引，基于聚簇索引的增删改查效率非常高。

对比项	MyISAM	InnoDB
主外键	不支持	不支持
事务	不支持	支持
行表锁	表锁，即使操作一条记录也会锁住整个表，不适合高并发的操作	只缓存索引，不缓存真实数据 行锁,操作时只锁某一行，不对其它行有影响，适合高并发的操作
缓存	只缓存索引，不缓存真实数据	不仅缓存索引还要缓存真实数据，对内存要求较高，而且内存大小对性能有决定性的影响
表空间	小	大
关注点	性能	事务
默认安装	Y	Y
用户表默认使用	N	Y
自带系统表使用	Y	N

7.4、Percona对MySQL的改进

1. Percona 为 MySQL 数据库服务器进行了改进，在功能和性能上较 MySQL 有着很显著的提升。该版本提升了在高负载情况下的 InnoDB 的性能、为 DBA 提供一些非常有用的性能诊断工具；另外有更多的参数和命令来控制服务器行为。
2. 该公司新建了一款存储引擎叫xtradb完全可以替代innodb,并且在性能和并发上做得更好
3. 阿里改进完推出AliSql+AliRedis。据说性能提高30%~70%
4. 但是现在orcle开始也变得很多人在用了

---

下一篇：MySQL高级篇二（索引介绍分析）