关系型数据库是一个结构化的数据库,创建在关系模型 (二维表格模型) 基础上,一般面向于记录。SQL 语句 (标准数据查询语言) 就是一种基于关系型数据库的语言,用于执行对关系型数据库中数据的检索和操作。
主流的关系型数据库包括 Oracle、MySQL(mariadb)、SQL Server、Microsoft Access、DB2 等。
NoSQL (NoSQL=NotOnlySQL),意思是 不仅仅是 SQL
,是非关系型数据库的总称。除了主流的关系型数据库外的数据库,都认为是非关系型。
主流的 NoSQL 数据库有 Redis、MongoDB、Hbase、Memcached、Postgresql 等。
关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的,因此存储在数据表的行和列中。数据表可以彼此关联协作存储,也很容易提取数据。
与其相反,非关系型数据不适合存储在数据表的行和列中,而是大块组合在一起。非关系型数据通常存储在数据集中,就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素。
SQL 和 NoSQL 数据库最大的差别可能是在扩展方式上,要支持日益增长的需求当然要扩展。
要支持更多并发量,SQL 数据库是纵向扩展,也就是说提高处理能力,使用速度更快速的计算机,这样处理相同的数据集就更快了。因为数据存储在关系表中,操作的性能瓶颈可能涉及很多个表,这都需要通过提高计算机性能来克服。虽然 SQL 数据库有很大扩展空间,但最终肯定会达到纵向扩展的上限。
NoSQL 数据库是横向扩展的。因为非关系型数据存储天然就是分布式的,NoSQL 数据库的扩展可以通过给资源池添加更多普通的数据库服务器 (节点) 来分担负载。
如果数据操作需要高事务性或者复杂数据查询需要控制执行计划,那么传统的 SQL 数据库从性能和稳定性方面考虑是最佳选择。SQL 数据库支持对事务(ACID)原子性细粒度控制,并且易于回滚事务。
虽然 NoSQL 数据库也可以使用事务操作,但稳定性方面没法和关系型数据库比较,所以它们真正闪亮的价值是在操作的扩展性和大数据量处理方面。
用于应对 Web2.0 纯动态网站类型的三高问题:
对数据库高并发读写需求
对海量数据高效存储与访问需求
对数据库高可扩展性与高可用性需求
关系型数据库和非关系型数据库都有各自的特点与应用场景,两者的紧密结合将会给 Web2.0 的数据库发展带来新的思路。让关系数据库关注在关系上,非关系型数据库关注在存储上。例如,在读写分离的 MySQL 数据库环境中,可以把经常访问的数据存储在非关系型数据库中,提升访问速度。
mysql 高热数据 -> redis
web -> redis -> mysql
cpu -> 内存/缓存 -> 磁盘
关系型数据库存储过程:
实例 -> 数据库 -> 表 -> 记录行、数据字段 -> 存储数据
非关系型数据库:
实例 -> 数据库 -> 集合 -> 键值对(key-value)
PS:
非关系型数据库不需要手动建库和表。
redis 服务在一台服务器上可以同时启动多个 redis 进程,redis 的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个 redis 进程,当多个客户端同时访问时,服务器的处理能力是会有一定程度的下降;若在同一台服务器上开启多个 redis 进程,redis 在提高并发处理能力的同时会给服务器的 CPU 造成很大压力。即:在实际生产环境中,需要根据实际的需求来决定开启多少个Redis进程。
通常建议开 2 个进程,原因:
若对高并发要求更高一些,可能会考虑在同一台服务器上开启多个进程。若 CPU 资源比较紧张,采用单进程即可。
string 字符串:可以为整形、浮点和字符型,统称为元素
list 列表:实现队列,元素不唯一,先入先出原则
set 集合:各不相同的元素
hash 散列值:hash 的 key 必须是唯一的
set/ordered sets:集合/有序集合
redis 作为基于内存运行的数据库,缓存是其最常应用的场景之一。除此之外,redis 常见应用场景还包括获取最新 N 个数据的操作、排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。
I/O 多路复用程序虽然会同时监听多个 socket 连接,但是其会将监听的 socket 都放到一个队列里面,然后通过这个队列有序的,同步的将每个 socket 对应的时间传送到文件事件分派器,再由文件事件分派器给对应的事件处理器进行处理,只有当一个 socket 所对应的事件被处理完毕之后,I/O 多路复用程序才会继续向文件事件分派器传送下一个 socket 所对应的的事件,这也可以验证上面的结论,处理客户端的命令请求是单线程的方式逐个处理,但是事件处理器内并不是只有一个线程。
活跃
的连接 ,而跟连接总数无关,因此在实际的网络环境中,epoll 的效率就会远远高于 select 和 poll。epoll 模型所实现的 I/O 多路复用可以定义为如下:
socket 1 —>
socket 2 —> I/O多路复用程序 —>文件事件分派器(从队列中获取,再分发给对应处理器)—>命令处理、请求、连接应答等处理器
socket 3 —>
多个 socket 会定义为一个 fd 文件描述符(每有一个新建、打开、修改等 “事件” 内核就会返回一个fd(可理解为索引)),在每个 fd 激活时,会进行内核中的回调函数。
I/O 多路复用程序会监听 socket 活跃的链接,然后调用该 socket(而此 socket 文件句柄主要实现的是网络上的 ip+port+协议所标识的网络中的进程
)可以简单理解为虚拟接口(抽象层)。本质而言就是使用一个线程来追踪多个 socket(I/O流)的状态,来管理多个 I/O。
I/O 复用:一个线程同时追踪、管理多个连接(原本默认情况下是一个线程对应一个连接)。
回调:预先定义具体的执行过程(定义一个方法),等待调用。在一个线程给执行时,可以根据 触发器
钩子
完成回调,回调的目的是提高处理性能和节省资源。
systemctl stop firewalld && systemctl disable firewalld
setenforce 0
wget http://101.34.22.188/redis/redis-5.0.7.tar.gz -P /opt
yum -y install gcc gcc-c++ make
yum repolist && yum -y install gcc*
cd /opt
tar zxvf /opt/redis-5.0.7.tar.gz -C /opt
cd /opt/redis-5.0.7/
# redis 源码包中直接提供了 Makefile 文件,所以在解压完软件包后,不用先执行./configure 进行配置,可直接执行 make 与 make install 命令进行安装
make && make PREFIX=/usr/local/redis install
cd /opt/redis-5.0.7/utils
#执行软件包提供的 install_server.sh 脚本文件设置 redis 服务所需要的相关配置文件
./install_server.sh
....... #一直回车
Please select the redis executable path [] /usr/local/redis/bin/redis-server
#需要手动输入 /usr/local/redis/bin/redis-server #注意要一次性正确输入
Port : 6379 #默认侦听端口为 6379
Config file : /etc/redis/6379.conf #配置文件路径
Log file : /var/log/redis_6379.log #日志文件路径
Data dir : /var/lib/redis/6379 #数据文件路径
Executable : /usr/local/redis/bin/redis-server #可执行文件路径
Cli Executable : /usr/local/redis/bin/redis-cli #客户端命令工具
redis.conf 最新官方配置
Redis configuration
#把 redis 的可执行程序文件放入路径环境变量的目录中便于系统识别
ln -s /usr/local/redis/bin/* /usr/local/bin/
#当 install_server.sh 脚本运行完毕,redis 服务就已经启动,默认监听端口为 6379
netstat -natp | grep redis
/etc/init.d/redis_6379 stop #停止
/etc/init.d/redis_6379 start #启动
/etc/init.d/redis_6379 restart #重启
/etc/init.d/redis_6379 status #状态
vim /etc/redis/6379.conf
+
bind 127.0.0.1 192.168.10.20 #70行,添加监听的主机地址
port 6379 #93行,redis 默认的监听端口
daemonize yes #137行,启用守护进程
pidfile /var/run/redis_6379.pid #159行,指定 PID 文件
loglevel notice #167行,日志级别
logfile /var/log/redis_6379.log #172行,指定日志文件
----------------------------------------------------------
/etc/init.d/redis_6379 restart
cat > /usr/lib/systemd/system/redis.service <<EOF
[Unit]
Description=Redis
After=syslog.target network.target remote-fs.target nss-lookup.target
[Service]
Type=forking
PIDFile=/var/run/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /etc/redis/6379.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl restart redis && systemctl enable redis
systemctl status redis
#!/bin/bash
systemctl stop firewalld && systemctl disable firewalld
setenforce 0
yum -y install gcc gcc-c++ make net-tools tcl expect
sleep 5 - 10
cd /opt
if [ ! -f " redis-5.0.7.tar.gz" ]; then
wget http://101.34.22.188/redis/redis-5.0.7.tar.gz
#wget http://download.redis.io/releases/redis-5.0.7.tar.gz
fi
tar zxvf redis-5.0.7.tar.gz -C /opt/
cd redis-5.0.7/
make
make PREFIX=/usr/local/redis install
cd /opt/redis-5.0.7/utils/
/usr/bin/expect <<EOF
spawn ./install_server.sh
expect "instance" {send "\r"}
expect "config" {send "\r"}
expect "log" {send "\r"}
expect "data" {send "\r"}
expect "executable" {send "/usr/local/redis/bin/redis-server\r"}
expect "abort" {send "\r"}
expect eof
EOF
ln -s /usr/local/redis/bin/* /usr/local/bin/
sed -i '/bind 127.0.0.1/c bind 0.0.0.0' /etc/redis/6379.conf
sed -i 's/appendonly no/appendonly yes/' /etc/redis/6379.conf
cat > /usr/lib/systemd/system/redis.service <<EOF
[Unit]
Description=Redis
After=syslog.target network.target remote-fs.target nss-lookup.target
[Service]
Type=forking
PIDFile=/var/run/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /etc/redis/6379.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl restart redis && systemctl enable redis
netstat -natp | grep "redis"
pgrep "redis" &> /dev/null
if [ $? -eq 0 ];then
echo -e "\033[46;37m Redis 服务运行正常 \033[0m"
else
echo -e "\033[46;37m Redis 服务运行异常,请检查 \033[0m"
fi
sleep 2
echo ' '
echo -e "\033[46;37m Redis 未设置密码,执行 redis-cli 命令登录 \033[0m"
redis-server: 用于启动 redis 的工具
redis-benchmark: 用于检测 redis 在本机的运行效率
redis-check-aof: 修复 AOF 持久化文件
redis-check-rdb: 修复 RDB 持久化文件
redis-cli: redis 命令行工具,常用于登陆至 redis 数据库
RDB 和 AOF 是 redis 服务中持久化功能的两种形式:
语法:
redis-cli -h host -p port -a password
-h 指定远程主机
-p 指定 redis 服务的端口号
-a 指定密码,未设置数据库密码可以省略 -a 选项
#若不添加任何选项表示,则使用 127.0.0.1:6379 连接本机上的 redis 数据库
示例:
[root@c7-1 ~]#redis-cli -h 192.168.10.20 -p 6379
192.168.10.20:6379> quit
[root@c7-1 ~]#redis-cli
127.0.0.1:6379> quit
redis-benchmark 是官方自带的 redis 性能测试工具,可以有效的测试 redis 服务的性能。
基本的测试语法:redis-benchmark [选项] [选项值]
-h 指定服务器主机名
-p 指定服务器端口
-s 指定服务器 socket(套接字)
-c 指定并发连接数
-n 指定请求数
-d 以字节的形式指定 SET/GET 值的数据大小
-k 1=keep alive 0=reconnect
-r SET/GET/INCR 使用随机 key,SADD 使用随机值
-P 通过管道传输 <numreq> 请求
-q 强制退出 redis,仅显示 query/sec 值
-l 生成循环,永久执行测试
-t 仅运行以逗号分隔的测试命令列表
-I Idle 模式,仅打开 N 个 idle 连接并等待
--csv 以 CSV 格式输出
测试示例:
#向 IP 地址为 192.168.10.20,端口为 6379 的 redis 服务器发送 100 个并发连接与 100000 个请求测试性能
redis-benchmark -h 192.168.10.20 -p 6379 -c 100 -n 100000
#测试存取大小为 100 字节的数据包的性能
redis-benchmark -h 192.168.10.20 -p 6379 -q -d 100
#测试本机上 redis 服务在进行 set 与 lpush 操作时的性能
redis-benchmark -t set,lpush -n 100000 -q
[root@c7-1 ~]#redis-cli
127.0.0.1:6379> set name zc
OK
127.0.0.1:6379> get name
"zc"
keys 命令可以取符合规则的键值列表,通常情况可以结合 * ? 等选项来使用
[root@c7-1 ~]#redis-cli
127.0.0.1:6379> keys *
1) "name"
2) "myset:__rand_int__"
3) "key:__rand_int__"
4) "counter:__rand_int__"
5) "mylist"
创建键后匹配
[root@c7-1 ~]#redis-cli
127.0.0.1:6379> keys * #查看当前数据库中所有键
1) "name"
2) "myset:__rand_int__"
3) "key:__rand_int__"
4) "counter:__rand_int__"
5) "mylist"
127.0.0.1:6379> keys v?
(empty list or set)
127.0.0.1:6379> set k1 1
OK
127.0.0.1:6379> set k1 2
OK
127.0.0.1:6379> set k1 3
OK
127.0.0.1:6379> keys *
1) "name"
2) "myset:__rand_int__"
3) "key:__rand_int__"
4) "counter:__rand_int__"
5) "mylist"
6) "k1"
127.0.0.1:6379> set v1 1
OK
127.0.0.1:6379> set v1 2
OK
127.0.0.1:6379> set v2 1
OK
127.0.0.1:6379> set v2 2
OK
127.0.0.1:6379> keys *
1) "name"
2) "myset:__rand_int__"
3) "key:__rand_int__"
4) "counter:__rand_int__"
5) "mylist"
6) "v2"
7) "v1"
8) "k1"
127.0.0.1:6379> keys v* #查看当前数据库中以 v 开头的数据
1) "v2"
2) "v1"
127.0.0.1:6379> keys k* #查看当前数据库中以 k 开头的数据
1) "key:__rand_int__"
2) "k1"
127.0.0.1:6379> keys *1 #查看当前数据库中以 1 结尾的数据
1) "v1"
2) "k1"
127.0.0.1:6379> keys ?1 #查看当前数据库中以 1 结尾并且 1 前面包含任意一位的数据
1) "v1"
2) "k1"
127.0.0.1:6379> keys ??1 #查看当前数据库中以 1 结尾并且 1 前面包含任意两位的数据
(empty list or set)
exists 命令可以判断键值是否存在
127.0.0.1:6379> EXISTS name
(integer) 1 #表示 name 键是存在的
127.0.0.1:6379> EXISTS na
(integer) 0 #表示 na 键是不存在的
del 命令可以删除当前数据库的指定 key
127.0.0.1:6379> del name
(integer) 1
127.0.0.1:6379> get name
(nil)
127.0.0.1:6379> EXISTS name
(integer) 0
127.0.0.1:6379> KEYS name
(empty list or set)
type 命令可以获取 key 对应的 value 值类型
127.0.0.1:6379> type k1
string
127.0.0.1:6379> type v1
string
rename 命令是对已有 key 进行重命名(覆盖)
命令格式:
rename [源key] [目标key]
使用 rename 命令进行重命名时,无论目标 key 是否存在都进行重命名,且源 key 的值会覆盖目标 key 的值。在实际使用过程中,建议先用 exists 命令查看目标 key 是否存在,然后再决定是都执行 rename 命令,以避免覆盖重要数据。
重命名
127.0.0.1:6379> keys v*
1) "v2"
2) "v1"
127.0.0.1:6379> rename v1 v5
OK
127.0.0.1:6379> keys v*
1) "v5"
2) "v2"
覆盖
127.0.0.1:6379> get v2
"2"
127.0.0.1:6379> get v5
"2"
127.0.0.1:6379> rename v2 v4
OK
127.0.0.1:6379> keys v*
1) "v4"
2) "v5"
127.0.0.1:6379> get v4
"2"
127.0.0.1:6379> get v2
(nil)
renamenx 命令的作用是对已有 key 进行重命名,并检测新名是否存在,如果目标 key 存在则不进行重命名(不覆盖)。
命令格式:
renamenx [源key] [目标key]
127.0.0.1:6379> keys v*
1) "v4"
2) "v5"
127.0.0.1:6379> renamenx v4 v1
(integer) 1
127.0.0.1:6379> keys v*
1) "v5"
2) "v1"
127.0.0.1:6379> renamenx v5 v1
(integer) 0
127.0.0.1:6379> keys v*
1) "v5"
2) "v1"
dbsize 命令的作用是查看当前数据库中 key 的数目
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
127.0.0.1:6379> dbsize
(integer) 7
使用 config set requirepass password
命令设置密码
127.0.0.1:6379> config set requirepass 123456
OK
使用 auth 命令验证密码,一旦设置密码,每次登陆后必须先验证通过密码,否则所有操作不可用
127.0.0.1:6379> keys *
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
也可在登录时使用 -a 选项,输入密码
[root@c7-1 ~]#redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
#由于密码将被直接暴露,有被 history 盗密的风险,因此需谨慎使用
使用 config get requirepass
命令查看密码
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "123456"
使用 config set requirepass ''
命令通过重定义空密码的方式,清空密码并取消密码验证
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "123456"
127.0.0.1:6379> config set requirepass ''
OK
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) ""
127.0.0.1:6379> quit
[root@c7-1 ~]#redis-cli
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
redis 支持多数据库,redis 默认情况下包含 16 个数据库,数据库名称是用数字 0-15 来依次命名的。多数据库相互独立,互不干扰。
使用 redis-cli 连接 redis 数据库后,默认使用的是序号为 0 的数据库。
命令格式:select 序号
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> keys *
(empty list or set)
格式:move 键值 序号
127.0.0.1:6379[1]> select 0 #切换 0 库
OK
127.0.0.1:6379> set name zhangsan #创建 name 键,赋值 zhangsan
OK
127.0.0.1:6379> get name #查看 name 键内容
"zhangsan"
127.0.0.1:6379> select 1 #切换 1 库
OK
127.0.0.1:6379[1]> get name #查看是否有 name 键
(nil)
127.0.0.1:6379[1]> select 0 #切换 0 库
OK
127.0.0.1:6379> move name 1 #将 name 键移动到库 1
(integer) 1
127.0.0.1:6379> get name # 0 库中已无 name 键
(nil)
127.0.0.1:6379> select 1 #切换 1 库
OK
127.0.0.1:6379[1]> get name #查看 name 键
"zhangsan"
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> keys *
1) "name"
127.0.0.1:6379[1]> flushdb
OK
127.0.0.1:6379[1]> keys *
(empty list or set)
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> flushall
OK
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> keys *
(empty list or set)