Redis 的 mysql 缓存
**`redis`** 是一个高性能的 key-value 数据库。 redis 的出现,很大程度补偿了
memcached 这类 keyvalue 存储的不足,在部分场合可以对关系数据库起到很
好的补充作用。它提供了 Python,Ruby,Erlang,PHP 客户端,使用很方便。
Redis 的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上
(这称为“半持久化模式”);也可以把每一次数据变化都写入到一个 append
only file(aof)里面(这称为“全持久化模式”)。
这些可执行文件的作用如下:
redis-server: Redis 服务主程序。
redis-cli: Redis 客户端命令行工具,也可以用 telnet 来操作。redis-benchmark: Redis 性能测试工具,用于测试读写性能。
redis-check-aof:检查 redis aof 文件完整性,aof 文件持久化记录服务器执行的所有写
操作命令,用于还原数据。
redis-check-dump:检查 redis rdb 文件的完整性,rdb 就是快照存储, 即按照一定的
策略周期性的将数据保存到磁盘,是默认的持久化方式。
redis-sentinel:
redis-sentinel 是集群管理工具,主要负责主从切换。
一、配置环境
1、配置worker端
[root@server1 redis]# yum install -y nginx-1.8.0-1.el6.ngx.x86_64.rpm php-*
[root@server1 redis]# vim /etc/php.ini ##更改时区，为 Asia=Shanghai
[root@server1 php.d]# id nginx
uid=498(nginx) gid=499(nginx) groups=499(nginx)
[root@server1 php.d]# ls
curl.ini json.ini mysql.ini pdo_sqlite.ini zip.ini
fileinfo.ini mbstring.ini pdo.ini phar.ini
gd.ini mysqli.ini pdo_mysql.ini sqlite3.ini
[root@server1 php.d]# cd /etc/php-fpm.d/
[root@server1 php-fpm.d]# ls
www.conf
[root@server1 php-fpm.d]# vim www.conf
[root@server1 php-fpm.d]# /etc/init.d/php-fpm start
2、配置Rdis （servfer2） 的环境，是它成为master
[root@server2 ~]# vim /etc/redis/6379.conf ##注释掉 slaveof
[root@server2 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
[root@server2 ~]# redis-cli
3、配置 mysql 端
[root@server3 ~]# rpm -e --nodeps `rpm -qa|grep mysql`
warning: /etc/my.cnf saved as /etc/my.cnf.rpmsave
[root@server3 ~]# yum install -y mysql-server
[root@server3 ~]# cd /var/lib/mysql
[root@server3 mysql]# ls
[root@server3 mysql]# /etc/init.d/mysql start
[root@server3 mysql]# cd
[root@server3 ~]# mysql
4、在worker端配置nginx、php
[root@server1 php-fpm.d]# cd /etc/nginx/
[root@server1 nginx]# ls
conf.d koi-utf mime.types scgi_params win-utf
fastcgi_params koi-win nginx.conf uwsgi_params
[root@server1 nginx]# vim nginx.conf ##nginx的配置文件
[root@server1 nginx]# cd conf.d/
[root@server1 conf.d]# ls
default.conf example_ssl.conf
[root@server1 conf.d]# vim default.conf ##将php部分开启，并加入路径
网页上172.25.50.1查看：
[root@server1 conf.d]# cd /usr/share/nginx/html/
[root@server1 html]# ls
50x.html index.html
[root@server1 html]# vim index.php
[root@server1 html]# cd /etc/nginx/conf.d/
[root@server1 conf.d]# ls
default.conf example_ssl.conf
[root@server1 conf.d]# vim default.conf
[root@server1 conf.d]# nginx -s reload
[root@server1 ~]# cd redis/
[root@server1 redis]# cp test.php /usr/share/nginx/html/index.php
cp: overwrite `/usr/share/nginx/html/index.php'? yes
[root@server1 redis]# vim /usr/share/nginx/html/index.php
[root@server1 redis]# unzip phpredis-master.zip 
[root@server1 phpredis-master]# ./configure
[root@server1 phpredis-master]# make
[root@server1 phpredis-master]# make install[root@server1 modules]# cd /etc/php.d
[root@server1 php.d]# cp mysql.ini redis.ini
[root@server1 php.d]# vim redis.ini #加载 redis 模块
5、测试，redis 、 mysql 和 worker 是否连接成功
传一个文件给server3：
[root@server1 redis]# scp test.sql [email protected]:
test.sql 100% 493 0.5KB/s 00:00 server3： mysql 查看，发现可以看到
[root@server3 ~]# vim test.sql
[root@server3 ~]# mysql < test.sql ##导入数据
[root@server3 ~]# mysql
mysql> select * from test;
server2 ， redis 查看
在网页上输入，server1 worker IP 查看
到这里,我们已经实现了 redis 作为 mysql 的缓存服务器,但是如果更新了 mysql,redis
中仍然会有对应的 KEY,数据就不会更新,此时就会出现 mysql 和 redis 数据不一致的情
况。所以接下来就要通过 mysql 触发器将改变的数据同步到 redis 中。
mysql 端：
redis 端：
worker 端：
6、添加 gearmand 同步 mysql 端 redis 端 和 wirker 端 数据。
配置 gearman 实现数据同步
Gearman 是一个支持分布式的任务分发框架:
Gearman Job Server: Gearman 核心程序,需要编译安装并以守护进程形式运行在后台。
Gearman Client:可以理解为任务的请求者。
Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式
运行,Gearman Worker 接收到 Gearman Client 传递的任务内容后,会按顺序处理。
大致流程:下面要编写的 mysql 触发器,就相当于 Gearman 的客户端。修改表,插入表就相当于直接
下发任务。然后通过 lib_mysqludf_json UDF 库函数将关系数据映射为 JSON 格式,然后
在通过 gearman-mysql-udf 插件将任务加入到 Gearman 的任务队列中,最后通过
redis_worker.php,也就是 Gearman 的 worker 端来完成 redis 数据库的更新。
当我们在mysql更改数据的时候，发现，worker 端 和 redis 端 不会随之改变。
worker 端：
[root@server1 redis]# yum install -y gearmand-1.1.8-2.el6.x86_64.rpm libgearman-* libevent-*
mysql 端：
[root@server3 ~]# unzip lib_mysqludf_json-master.zip ## UDF 库函数将关系数据映射为 JSON 格式。通常,数据库中的数据映
射为 JSON 格式,是通过程序来转换的。
[root@server3 ~]# yum install -y gcc mysql-devel
[root@server3 ~]# cd lib_mysqludf_json-master
[root@server3 lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c
[root@server3 lib_mysqludf_json-master]# ls
lib_mysqludf_json.c lib_mysqludf_json.so README.md
lib_mysqludf_json.html lib_mysqludf_json.sql
[root@server3 lib_mysqludf_json-master]# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/
[root@server3 lib_mysqludf_json-master]# cd /usr/lib64/mysql/plugin/
[root@server3 plugin]# mysql
mysql> show global variables like 'plugin_dir'; ##查看函数
mysql> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so'; ##注册UDF 函数
[root@server3 ~]# ls
gearman-mysql-udf-0.6.tar.gz lib_mysqludf_json-master.zip redis-4.0.8.tar.gz
lib_mysqludf_json-master redis-4.0.8 test.sql
[root@server3 ~]# tar zxf gearman-mysql-udf-0.6.tar.gz ##这个插件是用来管理调用 Gearman 的分布式的队列。
[root@server3 ~]# cd gearman-mysql-udf-0.6
[root@server3 gearman-mysql-udf-0.6]# ./configure --libdir=/usr/lib64/mysql/plugin/
## 会报错，所以我们得解决
[root@server3 gearman-mysql-udf-0.6]# cd
[root@server3 ~]# yum install -y libevent-* libgearman-*
[root@server3 ~]# cd gearman-mysql-udf-0.6
[root@server3 gearman-mysql-udf-0.6]# ./configure --libdir=/usr/lib64/mysql/plugin/
[root@server3 gearman-mysql-udf-0.6]# make
[root@server3 gearman-mysql-udf-0.6]# make install
[root@server3 ~]# mysql
mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME ##注册'libgearman_mysql_udf.so';
Query OK, 0 rows affected (0.00 sec)
mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so'; ##注册
Query OK, 0 rows affected (0.00 sec)
mysql> select * from mysql.func;
mysql> SELECT gman_servers_set('172.25.50.1:4730'); 指定 gearman 的服务信息
[root@server3 ~]# vim test.sql
[root@server3 ~]# mysql < test.sql
7、配置 worker 端的 php
编写 mysql 触发器(根据实际情况编写)
[root@server1 redis]# ll gearman-1.1.2.tgz
-rw-r--r-- 1 root root 30961 8月 11 23:59 gearman-1.1.2.tgz
[root@server1 redis]# tar zxf gearman-1.1.2.tgz
[root@server1 redis]# cd gearman-1.1.2
[root@server1 gearman-1.1.2]# ls
ChangeLog examples php_gearman.h tests
config.m4 LICENSE README test_worker.php
CREDITS php_gearman.c test_client.php
[root@server1 gearman-1.1.2]# phpize
Configuring for:
PHP Api Version: 20090626
Zend Module Api No: 20090626
Zend Extension Api No: 220090626
[root@server1 gearman-1.1.2]# ./configure
[root@server1 gearman-1.1.2]# make && make install
[root@server1 gearman-1.1.2]# cd
[root@server1 ~]# cd /usr/lib64/php/modules/
[root@server1 modules]# ll gearman.so
-rwxr-xr-x 1 root root 280186 8月 12 04:14 gearman.so
[root@server1 modules]# cd /etc/php.d/
[root@server1 php.d]# ls
curl.ini json.ini mysql.ini pdo_sqlite.ini sqlite3.ini
fileinfo.ini mbstring.ini pdo.ini phar.ini zip.ini
gd.ini mysqli.ini pdo_mysql.ini redis.ini
[root@server1 php.d]# cp redis.ini gearman.ini
[root@server1 php.d]# vim gearman.ini 
刷新，并查看
[root@server1 php.d]# cd /usr/local
[root@server1 local]# ls
bin etc include lib64 sbin src
cluster games lib libexec share worker.php
[root@server1 local]# vim worker.php ##更改成 redis 端的 IP
[root@server1 local]# nohup php /usr/local/worker.php & ##打入后台
[1] 6185
[root@server1 local]# nohup: ignoring input and appending output to `nohup.out'
[root@server1 local]# 
mysql 端 ：
[root@server3 ~]# mysql
mysql> use test;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> update test set name='redhat';
Query OK, 9 rows affected (0.13 sec)
Rows matched: 9 Changed: 9 Warnings: 0
查看触发器
mysql> SHOW TRIGGERS FROM test;+-------------+--------+-------+------------------------------------------------------------------------
-------+----------------------+--------------------+
| datatoredis | UPDATE | test | BEGIN
SET @RECV=gman_do_background('syncToRedis', json_object(NEW.id as
`id`, NEW.name as `name`));
END | AFTER | NULL
|
| root@localhost | latin1
|
latin1_swedish_ci
| latin1_swedish_ci |
+-------------+--------+-------+------------------------------------------------------------------------
-------+----------------------+--------------------+完成，去 网页刷新查看是否更改成功：
去 redis 端 查看 ：
同步成功。
二、 Redis.conf 文件详解:
daemonize yes #默认值 no,该参数用于定制 redis 服务是否以守护模式运行。
pidfile /var/run/redis_6379.pid #指定 redis 服务的进程号文件路径.
port 6379
默认值 6379,指定 redis 服务的端口号。
bind 127.0.0.1 #绑定 ip,默认是本机所有网络接口;
timeout 0
客户端空闲 n 秒后断开连接;默认是 0 表示不断开。
loglevel notice #设置服务端的日志级别,有下列几种选择:
debug:记录详细信息,用于开发或调试;
verbose:提供很多有用的信息,但是又不像 debug 那么详尽,默认就是这一
选项;
notice:适度提醒,多用于产品环境;
warning:仅显示重要的警告信息;
logfile stdout
指定日志的输出路径,默认值 stdout,表示输出到屏幕,守
护模式时则输出到/dev/null;
如果要输出日志到 syslog 中,可以启动 syslog-enabled yes,默认该选项值为
no。
syslog-enabled no
databases 16
指定数据库的数量,默认为 16 个,默认使用的数据库是 DB 0,
可以使用 SELECT 命令在连接上指定数据库 id。save #指定在多长时间内,有多少次更新操作,才将数
据同步到数据文件,这个选项有两个属性值,只有当两个属性值均满足时才会触
发;可以设置多种级别:
save 900 1 #每 900 秒(15 分钟)至少一次键值变更时被触发;
save 300 10
每 300 秒(5 分钟)至少 10 次键值变更时被触发;
save 60 10000 #每 60 秒至少 10000 次键值变更时被触发;
rdbcompression yes #默认值 yes,当 dump 数据库时使用 LZF 压缩字符串对
象,如果 CPU 资源比较紧张,可以设置为 no,选择不压缩,但会导致数据库文
件变的巨大。
rdbchecksum yes
dbfilename dump.rdb #默认值 dump.rdb,dump 到文件系统中的文件名。
dir /var/lib/redis/6379 #默认值./,即当前目录,dump 出的数据文件的存储路
径。
slaveof #设置当本机为 slav 服务时,设置 master
服务的 IP 地址及端口,在 Redis 启动时,它会自动从 master 进行数据同步。
masterauth #如果 master 配置了密码的话,此处也需
做设置;
slave-serve-stale-data yes #默认值 yes。当 slave 丢失与 master 端的连接,或
者复制仍在处理,那么 slave 会有下列两种表现:
当本参数值为 yes 时,slave 为继续响应客户端请求,尽管数据已不同步甚至没
有数据(出现在初次同步的情况下);
当本参数值为 no 时, slave 会返回”SYNC with master in progreee”的错误信息;slave-read-only yes #默认 salve 是只读模式
repl-ping-slave-period 10 #默认值 10,指定 slave 定期 ping master 的周期;
repl-timeout 60 #默认值 60,指定超时时间。注意本参数包括批量传输数据
和 ping 响应的时间。
requirepass foobared #指定一个密码,客户端连接时也需要通过密码才能成
功连接;
rename-command CONFIG
b840fc02d524045429941cc15f59e41cb7be6c52 #重定义命令,例如将
CONFIG 命令更名为一个很复杂的名字:
rename-command CONFIG “” 取消这个命令;
maxclients 10000 #指定客户端的最大并发连接数,默认是没有限制,直到
redis 无法创建新的进程为止,设置该参数值为 0 也表示不限制,如果该参数指
定了值,当并发连接达到指定值时,redis 会关闭所有新连接,并返回’max
number of clients reached’的错误信息;
maxmemory #设置 redis 最大可使用内存。当达到最大内存后, redis
会尝试按照设置的回收策略删除键值。如果无法删除键值,或者保留策略设置为
不清除,那么 redis 就会向发出内存的请求返回错误信息。当把 redis 做为一级
LRU 的缓存时本参数较为有用。但仍然可以进行读取操作。 Redis 新的 vm 机制,
会把 Key 存放内存,Value 会存放在 swap 区。
maxmemory-policy volatile-lru #默认值 volatile-lru,指定清除策略,有下列
几种方法:
volatile-lru -> remove the key with an expire set using an LRU algorithmallkeys-lru -> remove any key accordingly to the LRU algorithm
volatile-random -> remove a random key with an expire set
allkeys->random -> remove a random key, any key
volatile-ttl -> remove the key with the nearest expire time (minor TTL)
noeviction -> don’t expire at all, just return an error on write operations
maxmemory-samples 3
默认值 3,LRU 和最小 TTL 策略并非严谨的策略,
而是大约估算的方式,因此可以选择取样值以便检查。
ONLY 模式的设置,默认情况下 redis 采用异步方式 dump 数据到磁盘上,极端
情况下这可能会导致丢失部分数据(比如服务器突然宕机),如果数据比较重要,
不 希望丢失,可以启用直写的模式,这种模式下 redis 会将所有接收到的写操
作同步到 appendonly.aof 文件中,该文件会在 redis 服务启动时 在内存中重建
所有数据。注意这种模式对性能影响非常之大。
appendonly no #默认值 no,指定是否启用直写模式;
appendfilename appendonly.aof #直写模式的默认文件名 appendonly.aof
appendfsync:调用 fsync()方式让操作系统写数据到磁盘上,数据同步方式,有
下列几种模式:
always:每次都调用,比如安全,但速度最慢;
everysec:每秒同步,这也是默认方式;
no:不调用 fsync,由操作系统决定何时同步,比如快的模式;
no-appendfsync-on-rewrite:默认值 no。当 AOF fsync 策略设置为 always
或 everysec,后台保存进程会执行大量的 I/O 操作。某些 linux 配置下 redis 可
能会阻塞过多的 fsync()调用。auto-aof-rewrite-percentage:默认值 100
auto-aof-rewrite-min-size:默认值 64mb
appendfsync everysec
hash-max-zipmap-entries:默认值 512,当某个 map 的元素个数达到最大值,
但是其中最大元素的长度没有达到设定阀值时,其 HASH 的编码采用一种特殊的
方式(更有效利用内存)。本参数与下面的参数组合使用来设置这两项阀值。设置
元素个数;
hash-max-zipmap-value:默认值 64,设置 map 中元素的值的最大长度;
list-max-ziplist-entries:默认值 512,与 hash 类似,满足条件的 list 数组也会
采用特殊的方式以节省空间。
list-max-ziplist-value:默认值 64
set-max-intset-entries:默认值 512,当 set 类型中的数据都是数值类型,并且
set 中整型元素的数量不超过指定值时,使用特殊的编码方式。
zset-max-ziplist-entries:默认值 128,与 hash 和 list 类似。
zset-max-ziplist-value:默认值 64
activerehashing:默认值 yes,用来控制是否自动重建 hash。Active rehashing
每 100 微秒使用 1 微秒 cpu 时间排序,以重组 Redis 的 hash 表。重建是通过一
种 lazy 方式,写入 hash 表的操作越多,需要执行 rehashing 的步骤也越多,如
果服务器当前空闲,那么 rehashing 操作会一直执行。如果对实时性要求较高,
难以接受 redis 时不时出现的 2 微秒的延迟,则可以设置 activerehashing 为 no,
否则建议设置为 yes,以节省内存空间。设置内存分配策略(可选,根据服务器的实际情况进行设置)
/proc/sys/vm/overcommit_memory
可选值:0、1、2。
0, 表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用
内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。
1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何。
2, 表示内核允许分配超过所有物理内存和交换空间总和的内存
值得注意的一点是,redis 在 dump 数据的时候,会 fork 出一个子进程,理论上
child 进程所占用的内存和 parent 是一样的,比如 parent 占用的内存为 8G,这
个时候也要同样分配 8G 的内存给 child,如果内存无法负担,往往会造成 redis
服务器的 down 机或者 IO 负载过高,效率下 降。所以这里比较优化的内存分配
策略应该设置为 1 (表示内核允许分配所有的物理内存,而不管当前的内存状态
如何)