redis（1）
文章目录
- 一、redis基础
-
- redis简介
- redis 特性
- 单线程
- redis 对比 memcached
- redis 典型应用场景
- 二、redis安装及连接
-
- yum安装redis
-
- 查看yum仓库redis版本
- yum安装 redis
- 编译安装 redis
-
- 编译安装
- 前台启动redis
- 启动多实例
- 解决启动时的三个警告提示
- 创建 redis 用户
- 编辑 redis 服务器启动文件
- 验证 redis 启动
- 使用客户端连接redis
- 设置密码登录
- 创建命令软连接
- 编译安装后的命令
- 一键编译安装Redis脚本
- 连接到 Redis
-
- 客户端连接redis
- 程序连接 Redis
- shell连接方式
- python连接方式
- redis 的多实例
一、redis基础
redis主要用来做缓存
redis简介
短短几年，Redis就有了很大的用户群体，目前国内外使用的公司众多，比如：阿里，百度，新浪微博，知乎网，Github，Twitter等。
Redis是一个开源的，遵循BSD协议的，基于内存的而且目前比较流行的键值数据库（key-value database），是一个非关系型数据库，redis提供将内存通过网络远程共享的一种服务，提供类似的功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久化等功能。
redis在高并发、低延迟环境要求比较高的环境使用量非常广泛，目前redis在DB-Engine月排行榜一致比较靠前，而且一直是键值型存储类的首位
官网地址：https://redis.io/
redis 特性
- 速度快：10W QPS，基于内存，C语言实现
- 单线程
- 持久化
- 支持多种数据结构
- 支持多种编程语言
- 功能丰富：支持Lua脚本，发布订阅，事务，pipline等功能
- 简单：代码短小精悍（单机核心代码只有23000行左右），单线程开发容易，不依赖外部库，使用简单
- 主从复制
- 支持高可用和分布式
单线程
Redis6.0版本之前一直都是单线程方式处理用户请求
单线程为何如此快？
- 纯内存
- 非阻塞
- 避免线程切换和竞态消耗
注意事项：
- 一次只运行一条命令
- 拒绝长（慢）命令：keys，flushall，flushdb，show lua script，multi/exec，operate big value（collection）
- 其实不是单线程：早期版本是单进程单线程，3版本后实际还有其他线程，fsync file descriptor, close file descriptor
redis 对比 memcached
- 支持数据的持久化：可以将内存中的数据保持在磁盘中，重启redis服务或者服务器之后可以从备份文件中恢复数据到内存继续使用
- 支持更多的数据类型：支持string（字符串）、hash（哈希数据）、list（列表）、set（集合）、zset（有序集合）
- 支持数据的备份：可以实现类似于数据的master-slave模式的数据备份，另外也支持使用快照+AOF
- 支持更大的value数据：memcache单个key value最大支持1MB，而redis最大支持512MB（生产不建议超过2M，性能受影响）
- 在Redis6版本前，redis是单线程，而memcached是多线程，所以单机情况下没有memcached并发高，性能更好，但redis支持分布式集群以实现更高的并发，单redis实例可以实现数万并发
- 支持集群横向扩展：基于redis cluster的横向扩展，可以实现分布式集群，大幅提升性能和数据安全性
- 都是基于C语言开发
redis 典型应用场景
- session共享：常见于web集群中的Tomcat或者PHP中的多web服务器session共享
- 缓存：数据查询、电商网站商品信息、新闻内容
- 计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
- 微博/微信社交场合：共同好友，粉丝数，关注，点赞评论等
- 消息队列：ELK的日志缓存、部分业务的订阅发布系统
- 地理位置：基于GEO（地理位置信息定位），实现摇一摇，附近的人，外卖等功能
数据更新操作流程：
数据还是存在mysql中，redis用来做缓存
数据读操作流程：
二、redis安装及连接
官方下载地址：http://download.redis.io/releases/
yum安装redis
在centos系统上需要安装epel源
查看yum仓库redis版本
yum -y install epel-release
yum info redis
yum安装 redis
yum -y install redis
systemctl enable --now redis
pstree -p |grep redis
redis-cli # 客户端连接工具
127.0.0.1：6379> ping
PONG
127.0.0.1：6379> info
编译安装 redis
下载redis源码包
网站：http://download.redis.io/releases/
编译安装
- 获取软件安装包，安装编译环境
yum -y install make gcc tcl
wget https://download.redis.io/releases/redis-5.0.9.tar.gz
tar xf redis-5.0.9.tar.gz
- 编译安装
cd redis-5.0.9
cd src/
make
make PREFIX=/apps/redis install
- 配置变量
echo "PATH=/apps/redis/bin:$PATH" > /etc/profile.d/redis.sh
. /etc/profile.d/redis.sh
- 目录结构
tree /apps/redis/
准备相关目录和文件
mkdir /apps/redis/{etc,log,data,run}
cp ~/redis-5.0.9/redis.conf /apps/redis/etc
前台启动redis
redis-server 是redis服务器程序
redis-server --help
前台启动redis
redis-server /apps/redis/etc/redis.conf
ss -tnl
默认端口：6379
启动多实例
- 刚刚启动的案例是6379端口，我们可以在6380端口上开启第二个redis服务
- 为6380准备相关目录和文件
mkdir /apps/redis/6380
cp -ar /apps/redis/* /apps/redis/6380/
tree -d /apps/redis/6380
vim /apps/redis/6380/etc/redis.conf
port 6380
- 前端启动6380
redis-server /apps/redis/6380/etc/redis.conf
ss -tnl
连接客户端指定端口，进入到某个实例
redis-cli -p 6380
redis-cli -p 6379
解决启动时的三个警告提示
默认情况，redis配置文件的参数和内核参数不匹配，因此还需要修改配置参数，否则启动时会有警告，但是并不影响使用
- tcp-backlog
- backlog参数控制的是三次握手的时候server端收到client.ack确认后之后的队列值，即全连接队列
echo "net.core.somaxconn = 1024" >> /etc/systecl.conf
sysctl -p
net.core.somaxconn = 1024
- vm.overcommit_memory
- 查看警告信息有提示，建议将其值改为1
- 0表示内核将检查是否有足够的可用内存供应应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用程序
- 1 表示内核允许分配所有的物理内存，而不管当前的内存状态如何
- 2 表示内核允许分配超过所有物理内存和交换空间总和的内存
echo "vm.overcommit_memory=1" >> /etc/systcl.conf
systcl -p
net.core.somaxconn = 1024
vm.overcommit_memory=1
- transparent huge pages
- 警告：您在内核中启用了透明大页面（THP，不同于一般内存页的4k为2M）支持。这将在Redis中造成延迟和内存使用问题。要解决此问题，请以root用户身份允许命令
echo never> /sys/kernel/mm/transparent_hugepage/enabled，并将其添加到/etc/rc.local中，以便在重启后保留设置。禁用THP后，必须重新启动redis
- 警告：您在内核中启用了透明大页面（THP，不同于一般内存页的4k为2M）支持。这将在Redis中造成延迟和内存使用问题。要解决此问题，请以root用户身份允许命令
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo "/sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local
- 再次启动redis可以看到警告消除，建议在其他redis服务器上做以上配置
创建 redis 用户
useradd -r -s /sbin/nologin redis
chown -R redis.redis /apps/redis/
编辑 redis 服务器启动文件
- 复制其他主机yum安装生产的redis.server文件进行修改
vim /lib/systemd/system/redis.service
[Unit]
Description=Redis persistent key-value database
After=network.target
[Service]
ExecStart=/apps/redis/bin/redis-server /apps/redis/etc/redis.conf --supervised systemd
ExecStop=/bin/kill -s QUIT $MAINPID
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectory=0755
[Install]
WantedBy=multi-user.target
验证 redis 启动
systemctl daemon-reload
systemctl start redis
systemctl enable --now redis
ss -tnl
使用客户端连接redis
- 格式
redis-cli -h IP/HOSTNAME -p PORT -a PASSWORD
- 连接示例
redis-cli
127.0.0.1:6739> info
设置密码登录
vim /apps/redis/etc/redis.conf
解除下面一行的注释
# requirepass foobared
后面写自己的密码
requirepass centos
systemctl restart redis
redis-cli
127.0.0.1:6739> info
127.0.0.1:6739> auth centos
创建命令软连接
ln -s /apps/redis/bin/ /usr/bin/
编译安装后的命令
ll /apps/redis/bin/
- 工具作用
| 工具 | 作用 |
|---|---|
| redis-benchmark | redis性能检测工具 |
| redis-check-aof | AOF文件检查工具 |
| redis-check-rdb | RDB文件检查工具 |
| redic-cli | 客户端工具 |
| redis-sentinel->redis-server | 哨兵，软连接到server |
| redis-server | redis服务启动命令 |
一键编译安装Redis脚本
vim redis_install.sh
#!/bin/bash
. /etc/init.d/functions
VERSION=redis-5.0.9
DIR1=/apps/redis
PASSWORD=centos
install(){
yum -y install make gcc tcl &> /dev/null || {action "安装所需包失败，请检查包或网络设置" false;exit;}
wget http://download.redis.io/releases/${VERSION}.tar.gz &> /dev/null || { action "Redis 源码下载失败" false; exit;}
tar xf $VERSION.tar.gz
cd $VERSION/src
make -j 2 &> /dev/null && make PREFIX=${DIR1} install &> /dev/null && action "Redis 编译安装成功" || { action "Redis 安装编译失败" false;exit;}
ln -s ${DIR1}/bin/* /usr/bin
mkdir -p ${DIR1}/{etc,data,log,run}
cd
cp $VERSION/redis.conf $DIR1/etc
sed -i -e "s/bind 127.0.0.1/bind 0.0.0.0/" -e "/# requirepass/a reuqirepass ${PASSWOORD}" -e "/^dir.*/c dir ${DIR1}/data" -e "logfile .*/c logfile ${DIR1}/log/redis_6379.log" -e "/^pidfile .*/c pidfile ${DIR1}/run/redis_6379.pid" ${DIR1}/etc/redis.conf
if id redis &> /dev/null;then
action "redis 用户已存在" false
else
useradd -r -s /sbin/nologin redis
action "reids 用户创建成功"
fi
chown -R redis.redis ${DIR1}
cat >> /etc/systcl.conf <<EOF
net.core.somaxconn = 1024
vm.overcommit_memory=1
EOF
systcl -p
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo "/sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local
/etc/rc.d/rc.local
cat >> /lib/systemd/system/redis.server <<EOF
[Unit]
Description=Redis persistent key-value database
After=network.target
[Service]
ExecStart=/apps/redis/bin/redis-server /apps/redis/etc/redis.conf --supervised systemd
ExecStop=/bin/kill -s QUIT $MAINPID
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectory=0755
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl start redis
systemctl enable --now redis &> /dev/null && action "Redis 服务启动成功" || { action "redis 服务启动失败" false;exit; }
}
install
chmod +x vim redis_install.sh
./redis_install.sh
连接到 Redis
主要分为客户端连接和程序的连接
客户端连接redis
- 本机无密码连接
redis-cli
- 跨主机无密码连接，跨机连不上去要看配置文件的bind的IP是不是不允许网络连接
redis-cli -h 192.168.64.129 -p 6379
192.168.64.129:6379>
- 跨主机密码连接
vim /apps/redis/etc/redis.conf
requirepass centos
systemctl restart redis
redic-cli -h 192.168.64.129 -p 6379 -a centos --no-auth-warning
192.168.64.129:6379>
程序连接 Redis
- redis支持多种开发语言访问https://redis.io/clients
shell连接方式
vim redis_test.sh
#!/bin/bash
NUM=`seq 1 10000`
PASS= centos
for i in ${NUM};do
redis-cli -h 127.0.0.1 -a "$PASS" --no-auth-warning set key-${i} value-${i}
echo "key-${i} value-${i} 写入完成"
done
echo "一万个key写入到redis完成"
vim /apps/redis/etc/redis.conf
# 临时关闭RDB，不然会报错
save "" 不用管快照
systemctl restart redis
time bash redis_test.sh
redis-cli
> auto centos
> keys *
> get key-996
>flushdb # 清空当前库的数据
> keys *
> flushall # 清空所有的数据
python连接方式
redis 的多实例
和上次6380的多实例类似