当存在海量用户与高并发时
关系型数据库:
性能瓶颈:磁盘IO性能低下
扩展瓶颈:数据关系复杂,扩展性差,不便于大规模集群
解决思路:
降低磁盘IO次数,越低越好—— 内存存储
去除数据间关系,越简单越好 —— 不存储关系,仅存储数据
而这就是NoSQL: not only SQL, 泛指非关系型的数据库, 作为关系型数据库的补充
作用:应对基于海量用户和海量数据前提下的数据处理问题。
常见 Nosql 数据库:
特征:
示例:
使用redis解决电商场景下的高并发:
概念:Redis (REmote DIctionary Server) 是用 C 语言开发的一个开源的高性能键值对(key-value)数据库
特征:
数据间没有必然的关联关系
内部采用单线程机制进行工作
高性能。官方提供的测试数据,50个并发执行100000 个请求,读的速度是110000 次/s,写的速度是81000次/s。
多数据类型支持
字符串类型 string
列表类型 list
散列类型 hash
集合类型 set
有序集合类型 sorted_set
持久化支持。可以进行数据灾难恢复
应用:
为热点数据加速查询(主要场景),如热点商品、热点新闻、热点资讯、推广类等高访问量信息等
任务队列,如秒杀、抢购、购票排队等
即时信息查询,如各大排行榜、各类网站访问统计、公交到站信息、在线人数信息(聊天室、网站)、设备信号等
时效性信息控制,如验证码控制、投票控制等
分布式数据共享,如分布式集群架构中的 session 分离
消息队列
分布式锁
…
核心文件:
redis端口:6379
PID:随机生成, 每启动一个redis相当于启动一个redis对象, PID就是这个实例对象的ID, 也就是进程ID
Windows使用redis:
首先打开redis服务端, 相当于启动服务器, 再打开redis客户端, 即命令行窗口相当于连接你的服务端, 接着就可以敲指令了
注意:此时你在redis中存入数据, 只要服务端未关闭则不论客户端开关几次数据都还在, 但是当服务端关闭之后再次打开就没有数据了, 证明redis将数据存到内存中
redis是命令行模式的工具, 而命令行模式工具不外乎以下四种命令:
功能:设置 key,value 数据
命令 :
set key value
set age 20
get key
get age
del key
clear
help 命令名称如set
help @组名
quit
exit
作为缓存使用:
1)原始业务功能设计
2)运营平台监控到的突发高频访问数据
3)高频、复杂的统计数据
在线人数
投票排行榜
附加功能
1)系统功能优化或升级
因此redis提供了五种数据类型(每种都可以对应于java中的一种类型,但不完全类同):
首先说一下redis存储数据的格式:
redis 自身是一个 Map,其中所有的数据都是采用 key : value 的形式存储
数据类型指的是存储的数据的类型,也就是 value 部分的类型,key 部分永远都是字符串
string类型介绍:
存储的数据:单个数据,最简单的数据存储类型,也是最常用的数据存储类型
存储数据的格式:一个存储空间保存一个数据
存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用
除了上述三个命令之外, string还提供了四个基本命令:
mset key1 value1 key2 value2 ....
mget key1 key2 ...
注意:
对于选择使用多数据操作和单数据操作只需要衡量执行速度即可, 例如多条数据使用单操作, 不仅执行过程长了, 发请求与响应也变多了, 但如果使用多数据操作, 则只有执行过程变长, 请求和响应只有一次
但也不可以一次执行几十几百万数据的操作, 不太现实, 可以拆分为多次执行多数据操作
strlen key
append key value
大型企业级应用中,分表操作是基本操作,使用多张表存储同类型数据,但是对应的主键 id 必须保证统一性,不能重复。Oracle 数据库具有 sequence 设定,可以解决该问题,但是 MySQL数据库并不具有类似的机制, 此时就可以使用redis来解决这种分布式的ID问题: 使用redis控制数据库表主键id,为数据库表主键提供生成策略,保障数据库表的主键唯一性, 并且适用于所有数据库, 且支持数据库集群
解决方案:
incr key
incrby key increment
incrbyfloat key increment
decr key
decrby key increment
string数值操作注意点:
string在redis内部存储默认就是一个字符串,当遇到增减类操作incr,decr时会转成数值型进行计算。
redis所有的操作都是原子性的(无关联无事务),即采用单线程处理所有业务,命令是一个一个执行的,因此无需考虑并发带来的数据影响,
也由于原子性, 我们可以使用redis的INCR,INCRBY与DESR等来完成原子计数, 例如三个客户端同时读取一个数的值并进行+1, 那么最后这个值就一定被+3(也就是说不会因为多线程而最终只+1), 可以利用redis的这个特性来实现业务上的统计计数需求
注意:按数值进行操作的数据,如果原始数据不能转成数值,或超越了redis 数值上限范围,将报错(可以在代码中利用这一点做限制,在catch中做处理)。
上限: 9223372036854775807(java中long型数据最大值,Long.MAX_VALUE)
例如投票操作控制每个微信号多久投一次, 控制热门商品,热点新闻时效性等等
redis解决方案
setex key seconds value
psetex key milliseconds value
当key一致时, 后存储覆盖前
数据不存在时返回nil, 相当于null
有时候返回的数字 表示运行是否成功:
(integer) 0 → false 失败
(integer) 1 → true 成功
有时候表示运行影响结果值:
(integer) 3 → 3 3个
(integer) 1 → 1 1个
数据最大存储量 : 512MB
数值计算最大范围 : 9223372036854775807(java中long型数据最大值,Long.MAX_VALUE)
key的命名规范 : 表名:主键名:主键值:字段名(解决NoSQL没有表级结构, 因此使用键的层级结构)
or : 项目名:业务名:类型:id (这里的数据类型不是redis的数据类型, 而是Java的, 例如实体类User)
除了上述分布式ID与失效性信息外还可以用于主页高频访问信息