MySQL初识;

    关系型数据库:

        mysql:开源免费,可移植性好

        Oracle:一般配合Java比较多,处理大批量数据,速度快

        db2:最贵的数据库,安全性好

        sql server:微软的产品,数据量不超过几百万,企业级

        access:门户网站数据库,接受不了大数据

    非关系型数据库:

        redis:(key-value)

        memcached:

        mongoDB

    版本:

        alpha版:在公司内部运行

        beta版:完成功能开发与测试

        RC版:候选版

        GA版:正式发布的版本

    产品路线:

        1)-5.0.xx到-5.1.xx

        2)-5.4.xx到-5.7.xx

        3)-6.0.xx到-7.1.xx


        例:mysql_5.0.56.tar.gz

        5:主版本号

        0:发行级别

        5.0:发行序列号

        56:发行系列的版本号


MySQL安装方法:

1.yum安装

2.rpm安装 

3.常规安装 ./configure make makeinstall

4.源码cmake方式编译安装


所需包:

mysql-5.5.32.tar.gz 

cmake-2.8.8.tar.gz

包一定要选正确


系统:

[root@qbPC ~]# cat /etc/redhat-release 

CentOS release 6.5 (Final)

[root@qbPC ~]# uname -a

Linux qbPC 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

我在6.8系统也装成功了,应该6.x系列应该差不多


准备:

[root@qbPC ~]# cat /etc/udev/rules.d/70-persistent-net.rules 

[root@qbPC ~]#> /etc/udev/rules.d/70-persistent-net.rules 


1.3安装相关软件包

    1.3.1cmake软件

#cd /home/tools/

#tar xf cmake-2.8.8.tar.gz 

#cd cmake-2.8.8

#./configure 


------------------------------------------------------------------------------------------

这里可能遇见问题1:

---------------------------------------------

CMake 3.1.1, Copyright 2000-2015 Kitware, Inc.

C compiler on this system is: cc 

---------------------------------------------

Error when bootstrapping CMake:

Cannot find appropriate C++ compiler on this system.

Please specify one using environment variable CXX.

See cmake_bootstrap.log for compilers attempted.

解决:

yum install make cmake gcc gcc-c++ -y

------------------------------------------------------------------------------------------


gmake

gmake install

MySQL阶段一——mysql安装与调优+各版本特性_第1张图片

MySQL阶段一——mysql安装与调优+各版本特性_第2张图片

cd ..


    1.3.2依赖包

[root@qbPC tools]# yum -y install ncurses-devel 


不安装会有问题:

MySQL阶段一——mysql安装与调优+各版本特性_第3张图片

1.4开始安装MySQL

    查看系统中是否已安装 MySQL 服务:

        rpm -qa | grep mysql

    或

        yum list installed | grep mysql

    

    如果已安装则删除 MySQL 及其依赖的包:

        yum -y remove mysql-libs.x86_64



    1.4.1 创建用户和组

[root@qbPC tools]# groupadd mysql

[root@qbPC tools]# useradd mysql -s /sbin/nologin -M -g mysql


-s表示指定用户所用的shell,此处为/sbin/nologin,表示不登录。
-M表示不创建用户主目录。
-g表示指定用户的组名为mysql
最后的mysql表示用户名。


    1.4.2解压编译MySQL

[root@qbPC tools]# tar xf mysql-5.5.32.tar.gz

[root@qbPC tools]# cd mysql-5.5.32

[root@qbPC mysql-5.5.32]#cmake . -DCMAKE_INSTALL_PREFIX=/application/mysql-5.5.32 \   安装路径

-DMYSQL_DATADIR=/application/mysql-5.5.32/data \ 数据文件路径

-DMYSQL_UNIX_ADDR=/application/mysql-5.5.32/tmp/mysql.sock \  sock路径

-DDEFAULT_CHARSET=utf8 \  m默认字符集

-DDEFAULT_COLLATION=utf8_general_ci \ 默认字符集校对规则

-DEXTRA_CHARSETS=gbk,gb2312,utf8,ascii \

-DENABLED_LOCAL_INFILE=ON \

-DWITH_INNOBASE_STORAGE_ENGINE=1 \

-DWITH_FEDERATED_STORAGE_ENGINE=1 \

-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \

-DWITHOUT_EXAMPLE_STORAGE_ENGINE=1 \

-DWITHOUT_PARTITION_STORAGE_ENGINE=1 \

-DWITH_FAST_MUTEXES=1 \

-DWITH_ZLIB=bundled \

-DENABLED_LOCAL_INFILE=1 \

-DWITH_READLINE=1 \

-DWITH_EMBEDDED_SERVER=1 \

-DWITH_DEBUG=0


wKioL1kSzvOTRq39AAA1fVAfuKM187.jpg-wh_50

[root@qbPC mysql-5.5.32]# make && make install

    时间比较长


------------------------------------------------------------------------------------------

可能遇见问题2

MySQL阶段一——mysql安装与调优+各版本特性_第4张图片

解决

[root@qbPC mysql-5.5.32]# which cmake

/usr/local/bin/cmake

检查

cmake安装不正确,重新安装

------------------------------------------------------------------------------------------

编译完成

wKiom1kSz1vjAdtqAABlVFcRKTY350.jpg-wh_50


[root@qbPC mysql-5.5.32]# ln -s /application/mysql-5.5.32/ /application/mysql


到此cmake的安装就算成功了!


    1.4.3初始化配置MySQL

1.查看默认模版配置文件

2.选择配置文件

[root@qbPC tools]# cp mysql-5.5.32/support-files/my-small.cnf /etc/my.cnf 

cp: overwrite `/etc/my.cnf'? y

    测试环境选小的,生产环境可以根据硬件选择例如my-innodb-heavy-4G.cnf

3.配置环境变量

[root@qbPC tools]# echo 'export PATH=/application/mysql/bin:$PATH' >> /etc/profile

必须放在PATH的前面,因为以后可能有yum安装的客户端,如果不放在前面,如果使用mysql命令之类的,会调用系统的rpm的命令。

[root@qbPC tools]# tail /etc/profile

    fi

done


unset i

unset -f pathmunge

export JAVA_HOME=/application/jdk

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

export RESIN_HOME=/application/resin

export PATH=/application/mysql/bin:$PATH

[root@qbPC tools]# source /etc/profile

[root@qbPC tools]# echo $PATH

/application/mysql/bin:/application/jdk/bin:/......


环境变量出错的问题3:

-------------------------------------------------------------------------------------

http://oldboy.blog.51cto.com/2561410/1122867

FAQ:问题1mysqldump: Got error: 1556: You can't use locks with log tables.

    在老男孩带学生做主从同步实践时,发现学生实践操作时遇到如下问题无法解决,于是,老男孩把解决的过程总结如下:

[root@Oldboy ~]# mysqldump -uroot -p'oldboy' -S /data/3306/mysql.sock -A -B >a.sql

mysqldump: Got error: 1556: You can't use locks with log tables. when using LOCK TABLES

解决过程:


同样的操作,其他10几个学生都是OK的,只有这个学生有问题,在询问后,并查看了相关配置过程后,联系到往期也有学生发生过类似问题,于是,发现了原因。


[root@Oldboy ~]# which mysqldump

/usr/bin/mysqldump

发现原因,mysql的安装路径为/application/mysql,查看mysqldump的路径应该是/application/mysql/bin才对,但是现在的路径是rpm包安装的mysql命令路径了,至此原因找到。

[root@oldboy ~]# tail -1 /etc/profile

export PATH=$PATH:/application/mysql/bin

/etc/profile文件中,mysql的命令所在路径,该学生放到了结尾,因此,当执行mysqldump命令时,优先找到了rpm包自带的/usr/bin/mysqldump命令,从而导致了错误。

我们把把mysql的命令路径放到PATH变量的最前面:

[root@oldboy ~]# tail -1 /etc/profile

export PATH=/application/mysql/bin:$PATH

[root@Oldboy ~]# . /etc/profile

[root@Oldboy ~]# echo $PATH

/application/mysql/bin:/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/mysql/bin:/root/bin:/usr/local/mysql/bin:/application/mysql5.1.65/bin:/application/apache/bin

[root@Oldboy ~]# which mysqldump

/application/mysql/bin/mysqldump

此时在导出数据库:

[root@Oldboy ~]#mysqldump -uroot -p'oldboy' -S /data/3306/mysql.sock -A -B >a.sql

可以正常导出了。

环境变量出错的问题3-------------------------------------------------------------------------------------


4.初始化数据文件(容易出错的步骤)

[root@qbPC tools]# chown -R mysql.mysql /application/mysql/data/

[root@qbPC tools]# chmod -R 1777 /tmp/

[root@qbPC tools]# cd /application/mysql/scripts/

[root@qbPC scripts]# ./mysql_install_db --basedir=/application/mysql/ --datadir=/application/mysql/data/ --user=mysql

出现以下的两个OK即为初始化成功

MySQL阶段一——mysql安装与调优+各版本特性_第5张图片

提示:

WARNING: The host 'qbPC' could not be looked up with resolveip.
This probably means that your libc libraries are not 100 % compatible
with this binary MySQL version. The MySQL daemon, mysqld, should work
normally with the exception that host name resolving will not work.
This means that you should use IP addresses instead of hostnames
when specifying MySQL privileges !
Installing MySQL system tables...
OK
Filling help tables...
OK

启动脚本
To start mysqld at boot time you have to copy
support-files/mysql.server to the right place for your system


PLEASE REMEMBER TO SET A PASSWORD FOR THE MySQL root USER !
To do so, start the server, then issue the following commands:

修改密码
/application/mysql//bin/mysqladmin -u root password 'new-password'
/application/mysql//bin/mysqladmin -u root -h qbPC password 'new-password'

Alternatively you can run:
/application/mysql//bin/mysql_secure_installation

which will also give you the option of removing the test
databases and anonymous user created by default.  This is
strongly recommended for production servers.

See the manual for more instructions.

启动
You can start the MySQL daemon with:
cd /application/mysql/ ; /application/mysql//bin/mysqld_safe &

测试
You can test the MySQL daemon with mysql-test-run.pl
cd /application/mysql//mysql-test ; perl mysql-test-run.pl

汇报bug
Please report any problems with the /application/mysql//scripts/mysqlbug script!

对于第一句的warning,解决

[root@qbPC scripts]# vim /etc/hosts

    127.0.0.1 localhost qbPC---最后面加上主机名即可


当各种正常,在mysql的时候或者mysql -uroot -p123也不能进行,就要想想是不是初始化文件是否正确!


5.设置常规方式启动和关闭脚本

[root@qbPC mysql]# cd /home/tools/mysql-5.5.32  

[root@qbPC mysql-5.5.32]# /bin/cp support-files/mysql.server /etc/init.d/mysqld

[root@qbPC mysql-5.5.32]# /etc/init.d/m

mdmonitor   multipathd  

当tab不出来,说明有问题,进行加权限

[root@qbPC mysql-5.5.32]# chmod +x /etc/init.d/mysqld

[root@qbPC mysql-5.5.32]# /etc/init.d/mysqld start

Starting MySQL...                                          [  OK  ]

[root@qbPC mysql-5.5.32]# netstat -ntlup | grep 3306

tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      28628/mysqld

成功了!

[root@qbPC mysql-5.5.32]# chkconfig mysqld on

[root@qbPC mysql-5.5.32]# chkconfig --list mysqld

mysqld         0:off1:off2:on3:on4:on5:on6:off


6.登录mysql故障解决

wKioL1kS2-rAmV4wAAAd9teXY4w682.jpg-wh_50

mysql -uroot -p123:这样登录也不行的时候进行下面操作

pkill mysqld

lsof -i :3306

rm -rf /application/mysql/data/*

然后重复4.初始化数据文件(容易出错的步骤)


7.成功登录

先优化,安全,木桶原则

[root@qbPC mysql-5.5.32]# mysql
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.5.32 Source distribution

Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select user,host from mysql.user;
+------+-----------+
| user | host      |
+------+-----------+
| root | 127.0.0.1 |
| root | ::1       |
|      | localhost |
| root | localhost |
|      | qbPC      |
| root | qbPC      |
+------+-----------+
6 rows in set (0.00 sec)

mysql> delete from mysql.user;
Query OK, 2 rows affected (0.00 sec)

mysql> grant all privileges on *.* to root@'localhost' identified by '***' with grant option;
Query OK, 1 row affected (0.00 sec)

mysql> select user,host from mysql.user;
+------+-----------+
| user | host      |
+------+-----------+
| root | localhost |
+------+-----------+
4 rows in set (0.00 sec)

mysql> drop database test;
Query OK, 0 rows affected (0.00 sec)

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
+--------------------+
3 rows in set (0.00 sec)

mysql>

修改密码

[root@qbPC mysql-5.5.32]# /application/mysql//bin/mysqladmin -u root password '123'

[root@qbPC mysql-5.5.32]# mysql -uroot -p123

Welcome to the MySQL monitor.  Commands end with ; or \g.


字符集:

[root@qbPC ~]# cat /etc/sysconfig/i18n 

LANG="en_US.UTF-8"

SYSFONT="latarcyrheb-sun16"


问题:

解决安装;yum -y install openssl-devel



---MySQL5.5特性:


  1. 默认存储引擎更改为InnoDB


  InnoDB作为成熟、高效的事务引擎,目前已经广泛使用,但MySQL5.1之前的版本默认引擎均为MyISAM,此次MySQL5.5终于做到与时俱进,将默认数据库存储引擎改为InnoDB,并且引进了Innodb plugin 1.0.7。此次更新对数据库的好处是显而易见的:InnoDB的数据恢复时间从过去的一个甚至几个小时,缩短到几分钟(InnoDB plugin 1.0.7,InnoDB plugin 1.1, 恢复时采用红-黑树)。InnoDB Plugin 支持数据压缩存储,节约存储,提高内存命中率,并且支持adaptive flush checkpoint, 可以在某些场合避免数据库出现突发性能瓶颈。


  Multi Rollback Segments: 原来InnoDB只有一个Segment,同时只支持1023的并发。现已扩充到128个Segments,从而解决了高并发的限制。


  2. 多核性能提升


  Metadata Locking (MDL) Framework替换LOCK_open mutex (lock),使得MySQL5.1及过去版本在多核心处理器上的性能瓶颈得到解决,官方表示将继续增强对MySQL多处理器支持,直至MySQL性能“不受处理器数量的限制”


  3. 复制功能(Replication)加强


  MySQL复制特性是互联网公司应用非常广泛的特性,作为MySQL最实用最简单的扩展方式,过去的异步复制方式已经有些不上形势,对某些用户来说“异步复制”意味着极端情况下的数据风险,MySQL5.5将首次支持半同步(semi-sync replication)在MySQL的高可用方案中将产生更多更加可靠的方案。另外Slave fsync tunning;Relay log corruption recovery和Replication Heartbeat也将实现。


  4. 增强表分区功能


  MySQL 5.5的分区对用户绝对是个好消息,更易于使用的增强功能,以及TRUNCATE PARTITION命令都可以为DBA节省大量的时间,有时对最终用户亦如此:


  1) 非整数列分区:任何使用过MySQL分区的人应该都遇到过不少问题,特别是面对非整数列分区时,MySQL 5.1只能处理整数列分区,如果你想在日期或字符串列上进行分区,你不得不使用函数对其进行转换。很麻烦,而MySQL 5.5中新增了两类分区方法,RANG和LIST分区法,同时在新的函数中增加了一个COLUMNS关键词。在MySQL 5.1中使用分区另一个让人头痛的问题是date类型(即日期列),你不能直接使用它们,必须使用YEAR或TO_DAYS转换这些列,但在MySQL 5.5中情况发生了很大的变化,现在在日期列上可以直接分区,并且方法也很简单;


  2) 多列分区:COLUMNS关键字现在允许字符串和日期列作为分区定义列,同时还允许使用多个列定义一个分区;


  3) 可用性增强:truncate分区。分区最吸引人的一个功能是瞬间移除大量记录的能力,DBA都喜欢将历史记录存储到按日期分区的分区表中,这样可以定期删除过时的历史数据。 但当你需要移除分区中的部分数据时,事情就不是那么简单了,删除分区没有问题,但如果是清空分区,就很头痛了,要移除分区中的所有数据,但需要保留分区本身,你可以:使用DELETE语句,但我们知道DELETE语句的性能都很差。使用DROP PARTITION语句,紧跟着一个EORGANIZE PARTITIONS语句重新创建分区,但这样做比前一个方法的成本要高出许多。MySQL 5.5引入了TRUNCATE PARTITION,它和DROP PARTITION语句有些类似,但它保留了分区本身,也就是说分区还可以重复利用。TRUNCATE PARTITION应该是DBA工具箱中的必备工具;


  4) 更多微调功能:TO_SECONDS:分区增强包有一个新的函数处理DATE和DATETIME列,使用TO_SECONDS函数,你可以将日期/时间列转换成自0年以来的秒数,如果你想使用小于1天的间隔进行分区,那么这个函数就可以帮到你。


  5. Insert Buffering 如果在buffer pool中没找到数据,那么直接buffer起来,避免额外的IO;Delete & Purge Buffering 跟插入一样,如果buffer pool中没有命中,先buffer起来,避免额外的IO。


  6. Support for Native AIO on Linux



---MySQL5.7特性:

1. 介绍
身处MySQL这个圈子,能够切身地感受到大家对MySQL 5.7的期待和热情,似乎每个人都迫不及待的想要了解、学习和使用MySQL 5.7。那么,我们不禁要问,MySQL 5.7到底做了哪些改进,引入了哪些新功能,性能又提升了多少,能够让大家翘首以盼,甚至欢呼雀跃呢?

下面就跟随我来一起了解一下MySQL 5.7的部分新功能。想要在一篇文章中介绍完MySQL 5.7的所有改进,几乎是不可能的。所以,我会选择一些有特别意思的、特别有用的功能进行介绍。希望通过这篇文章,能够激发大家对MySQL 5.7的学习兴趣,甚至能够吸引大家将自己的业务迁移到MySQL 5.7上。
 MySQL 5.7在诸多方面都进行了大幅的改进,本文将从安全性(见2.1节)、灵活性(见2.2节)、易用性(见2.3节)、可用性(见2.4节)和性能(见2.5节)等几个方面进行介绍。最后,在第3节对本文进行了简单的总结。

2. MySQL 5.7的新特性
这一节中,将依次介绍MySQL 5.7的各种新特性。由于MySQL 5.7改进较多,因此,本文将这些新特性进行了简单的分类,分为安全性、灵活性、易用性、可用性和性能。接下来,将从各个分类依次进行介绍。 

2.1 安全性
 安全性是数据库永恒的话题,在MySQL 5.7中,有不少安全性相关的改进。包括:
 MySQL数据库初始化完成以后,会产生一个 root@localhost 用户,从MySQL 5.7开始,root用户的密码不再是空,而是随机产生一个密码,这也导致了用户安装5.7时发现的与5.6版本比较大的一个不同点
MySQL官方已经删除了test数据库,默认安装完后是没有test数据库的,就算用户创建了test库,也可以对test库进行权限控制了
MySQL 5.7版本提供了更为简单SSL安全访问配置,并且默认连接就采用SSL的加密方式
可以为用户设置密码过期策略,一定时间以后,强制用户修改密码
   ALTER USER 'jeffrey'@'localhost' PASSWORD EXPIRE INTERVAL 90 DAY; 
可以”锁”住用户,用以暂时禁用某个用户
   ALTER USER  'jeffrey'@'localhost' ACCOUNT LOCK;
   ALTER USER l 'jeffrey'@'localhost'  ACCOUNT UNLOCK; 

2.2 灵活性
在这一节,我将介绍MySQL 5.7的两个全新的功能,即JSON和generate column。充分使用这两个功能,能够极大地提高数据存储的灵活性。
 2.2.1 JSON
 随着非结构化数据存储需求的持续增长,各种非结构化数据存储的数据库应运而生(如MongoDB)。从最新的数据库使用 排行榜 来看,MongoDB已经超过了PostgreSQL,其火热程度可见一斑。
 各大关系型数据库也不甘示弱,纷纷提供对JSON的支持,以应对非结构化数据库的挑战。MySQL数据库从5.7.8版本开始,也提供了对JSON的支持。其使用方式如下:

 CREATE TABLE t1 (jdoc JSON);

INSERT INTO t1 VALUES('{"key1": "value1", "key2": "value2"}');

MySQL对支持JSON的做法是,在server层提供了一堆便于操作JSON的函数,至于存储,就是简单地将JSON编码成BLOB,然后交由存储引擎层进行处理,也就是说,MySQL 5.7的JSON支持与存储引擎没有关系,MyISAM 存储引擎也支持JSON 格式。
MySQL支持JSON以后,总是避免不了拿来与MongoDB进行一些比较。但是,MySQL对JSON的支持,至少有两点能够完胜MongoDB:
1.可以混合存储结构化数据和非结构化数据,同时拥有关系型数据库和非关系型数据库的优点
2.能够提供完整的事务支持

2.2.2 generate column
generated column是MySQL 5.7引入的新特性,所谓generated column,就是数据库中这一列由其他列计算而得。
 例如,知道直角三角形的两条直角边,要求直角三角形的面积。很明显,面积可以通过两条直角边计算而得,那么,这时候就可以在数据库中只存放直角边,面积使用generated column,如下所示:

 CREATE TABLE triangle (sidea DOUBLE, sideb DOUBLE, area DOUBLE AS (sidea * sideb / 2));

insert into triangle(sidea, sideb) values(3, 4);

select * from triangle;

+-------+-------+------+

| sidea | sideb | area |

+-------+-------+------+

|   3 |   4 |  6 |

+-------+-------+------+

 在MySQL 5.7中,支持两种generated column,即virtual generated column和stored generated column,前者只将generated column保存在数据字典中(表的元数据),并不会将这一列数据持久化到磁盘上;后者会将generated column持久化到磁盘上,而不是每次读取的时候计算所得。很明显,后者存放了可以通过已有数据计算而得的数据,需要更多的磁盘空间,与virtual column相比并没有优势。因此,在不指定generated column的类型时,默认是virtual column,如下所示:

 show create table triangle\G

*************************** 1. row ***************************

    Table: triangle

Create Table: CREATE TABLE `triangle` (

 `sidea` double DEFAULT NULL,

 `sideb` double DEFAULT NULL,

 `area` double GENERATED ALWAYS AS (((`sidea` * `sideb`) / 2)) VIRTUAL

) ENGINE=InnoDB DEFAULT CHARSET=latin1

如果读者觉得generate column提供的功能,也可以在用户代码里面实现,并没有什么了不起的地方,那么,或许还有一个功能能够吸引挑剔的你,那就是为generate column创建索引。在这个例子中,如果我们需要根据面积创建索引以加快查询,就无法在用户代码里面实现,使用generate column就变得非常简单:
alter table triangle add index ix_area(area);

2.3 易用性 
易用性是数据库永恒的话题,MySQL也在持续不断地提高数据库的易用性。在MySQL 5.7中,有很多易用性方面的改进,小到一个客户端快捷键 ctrl+c 的使用,大到专门提供一个系统库(sys)来帮助DBA和开发人员使用数据库。这一节将重点介绍MySQL 5.7引入的sys库。
 在linux下,我们经常使用 ctrl+c 来终止一个命令的运行,在MySQL 5.7 之前,如果用户输入了错误的SQL语句,按下 ctrl+c ,虽然能够”结束”SQL语句的运行,但是,也会退出当前会话,MySQL 5.7对这一违反直觉的地方进行了改进,不再退出会话。
MySQL 5.7可以explain一个正在运行的SQL,这对于DBA分析运行时间较长的语句将会非常有用
在MySQL 5.7中,performance_schema提供了更多监控信息,包括内存使用,MDL锁,存储过程等
2.3.1 sys schema
sys schema是MySQL 5.7.7中引入的一个系统库,包含了一系列视图、函数和存储过程, 该项目专注于MySQL的易用性。例如,我们可以通过sys schema快速的知道,哪些语句使用了临时表,哪个用户请求了最多的io,哪个线程占用了最多的内存,哪些索引是无用索引等
sys schema中包含了大量的视图,那么,这些视图的信息来自哪里呢?视图中的信息均来自performance schema统计信息。 这里 有一个很好的比喻:
    For Linux users I like to compare performance_schema to /proc, and SYS to vmstat.
也就是说,performance schema提供了信息源,但是,没有很好的将这些信息组织成有用的信息,从而没有很好的发挥它们的作用。而sys schema使用performance schema信息,通过视图的方式给出解决实际问题的答案。
例如,下面这些问题,在MySQL 5.7之前,需要借助外部工具才能知道,在MySQL 5.7中,直接查询sys库下相应的表就能得到答案:
 如何查看数据库中的冗余索引select * from sys.schema_redundant_indexes;
 如何获取未使用的索引select * from schema_unused_indexes;
 如何查看使用全表扫描的SQL语句select * from statements_with_full_table_scans 

2.4 可用性
MySQL 5.7在可用性方面的改进也带给人不少惊喜。这里介绍特别有用的几项改进,包括:
 在线设置 复制的过滤规则 不再需要重启MySQL,只需要停止SQL thread,修改完成以后,启动SQL thread
 在线修改buffer pool的大小
 MySQL 5.7为了支持online buffer pool resize,引入chunk的概念,每个chunk默认是128M,当我们在线修改buffer pool的时候,以chunk为单位进行增长或收缩。这个参数的引入,对innodb_buffer_pool_size的配置有了一定的影响。innodb要求buffer pool size是innodb_buffer_pool_chunk_size* innodb_buffer_pool_instances的倍数,如果不是,将会适当调大innodb_buffer_pool_size,以满足要求,因此,可能会出现buffer pool的实际分配比配置文件中指定的size要大的情况
 Online DDL MySQL 5.7支持重命名索引和修改varchar的大小,这两项操作在之前的版本中,都需要重建索引或表
   ALTER TABLE t1 ALGORITHM=INPLACE, CHANGE COLUMN c1 c1 VARCHAR(255);
 在线开启GTID ,在之前的版本中,由于不支持在线开启GTID,用户如果希望将低版本的数据库升级到支持GTID的数据库版本,需要先关闭数据库,再以GTID模式启动,所以导致升级起来特别麻烦。MySQL 5.7以后,这个问题不复存在

2.5 性能
 性能一直都是用户最关心的问题,在MySQL每次新版本中,都会有不少性能提升。在MySQL 5.7中,性能相关的改进非常多,这里仅介绍部分改进,包括临时表相关的性能改进、只读事务的性能优化、连接建立速度的优化和复制性能的改进。
2.5.1 临时表的性能改进
 MySQL 5.7 为了提高临时表相关的性能,对临时表相关的部分进行了大幅修改,包括引入新的临时表空间;对于临时表的DDL,不持久化相关表定义;对于临时表的DML,不写redo,关闭change buffer等。所有临时表的改动,都基于以下两个事实 :
1.临时表只在当前会话中可见
2.临时表的生命周期是当前连接(MySQL宕机或重启,则当前连接结束)
 也就是说,对于临时表的操作,不需要其他数据一样严格地进行一致性保证。通过不持久化元信息,避免写redo等方式,减少临时表操作的IO,以提高临时表操作的性能。
2.5.2 只读事务性能改进
 众所周知,在传统的OLTP应用中,读操作远多于写操作,并且,读操作不会对数据库进行修改,如果是非锁定读,读操作也不需要进行加锁。因此,对只读事务进行优化,是一个不错的选择。
 在MySQL 5.6中,已经对只读事务进行了许多优化。例如,将MySQL内部实现中的事务链表分为只读事务链表和普通事务链表,这样在创建ReadView的时候,需要遍历事务链表长度就会小很多。
 在MySQL 5.7中,首先假设一个事务是一个只读事务,只有在该事务发起了修改操作时,才会将其转换为一个普通事务。MySQL 5.7通过 避免为只读事务分配事务ID ,不为只读事务分配回滚段,减少锁竞争等多种方式,优化了只读事务的开销,提高了数据库的整体性能。
 2.5.3 加速连接处理
 在MySQL 5.7之前,变量的初始化操作(THD、VIO)都是在连接接收线程里面完成的,现在将这些工作下发给工作线程,以减少连接接收线程的工作量,提高连接的处理速度。这个优化对那些频繁建立短连接的应用,将会非常有用。
 2.5.4 复制性能的改进
 MySQL的复制延迟是一直被诟病的问题之一,欣喜的是,MySQL 5.7版本已经支持”真正”的并行复制功能。MySQL 5.7并行复制的思想简单易懂,简而言之,就是”一个组提交的事务都是可以并行回放的”,因为这些事务都已进入到事务的prepare阶段,则说明事务之间没有任何冲突(否则就不可能提交)。MySQL 5.7以后,复制延迟问题永不存在。
 这里需要注意的是,为了兼容MySQL 5.6基于库的并行复制,5.7引入了新的变量slave-parallel-type,该变量可以配置成DATABASE(默认)或LOGICAL_CLOCK。可以看到,MySQL的默认配置是库级别的并行复制,为了充分发挥MySQL 5.7的并行复制的功能,我们需要将slave-parallel-type配置成LOGICAL_CLOCK。
 3. 总结
 1.从本文中可以看到,MySQL 5.7确实带来了很多激动人心的功能,我们甚至不需要进行任何修改,只需要将业务迁移到MySQL 5.7上,就能带来不少性能的提升。
 2.从本文中还可以看到,虽然MySQL 5.7在易用性上有了很多的改进,但是,也有不少需要注意的地方, 例如:1)在设置innodb的buffer pool时,需要注意chunk的存在,合理设置buffer pool instance否则可能出现实际分配的buffer pool size比预想的大很多的情况;2)多线程复制需要注意将slave_parallel_type设置为LOGICAL_CLOCK,否则,MySQL使用的是库级别的并行复制,对于大多数应用,并没有什么效果。那么, 怎样才是使用MySQL 5.7的正确姿势呢?网易蜂巢是一个不错的选择 ,网易蜂巢的RDS(Relational Database Service,简称RDS)项目是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。使用RDS提供的服务,就是使用已经调优过的数据库,用户不需要对数据库参数进行任何修改,就能够获得一个性能极好的数据库服务。


在这里举两个典型案例,MySQL 5.6 和 MySQL 5.7 在初始化数据时候的安装差异。


MySQL 5.6:初始化数据时需要进到家目录的 script 目录下

执行:

1
2
/usr/ local /mysql/scripts/mysql_install_db  --basedir=/usr/local/mysql/ 
--datadir=/data/mysql --defaults-file=/etc/my.cnf --user=mysql

此时数据库密码为空。


MySQL 5.7:初始化数据时需要进到家目录的 bin 目录下

执行:

1
2
/usr/ local /mysql/bin/mysqld   --user=mysql --datadir=/data/mysql 
--basedir=/usr/local/mysql/ --initialize

已然已经废弃了使用 mysql_install_db 这个命令进行初始化数据的操作了。


注:--initialize 会自动生成密码在 error log 里面。如果加  --initialize-insecure  密码为空