什么是NoSql
为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案,就是NoSql数据库。
NoSQL,泛指非关系型的数据库,NoSQL即Not-Only SQL,它可以作为关系型数据库的良好补充。但
是它不能替代关系型数据库,而且它是存储在内存中,所以它的访问速度很快。
键值(Key-Value)存储数据库
相关产品: Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB
典型应用:内容缓存,主要用于处理大量数据的高访问负载。
数据模型:一系列键值对
优势:快速查询
劣势:存储的数据缺少结构化
列存储数据库
相关产品:Cassandra, HBase, Riak
典型应用:分布式的文件系统
数据模型:以列簇式存储,将同一列数据存在文件系统中
优势:查找速度快,可扩展性强,更容易进行分布式扩展
劣势:功能相对局限
文档型数据库
相关产品:CouchDB、MongoDB
典型应用:Web应用(与Key-Value类似,Value是结构化的)
数据模型:一系列键值对
优势:数据结构要求不严格
劣势:查询性能不高,而且缺乏统一的查询语法
图形(Graph)数据库
相关数据库:Neo4J、InfoGrid、Infinite Graph
典型应用:社交网络
数据模型:图结构
优势:利用图结构相关算法。
劣势:需要对整个图做计算才能得出结果,不容易做分布式的集群方案。
2008年,意大利的一家创业公司Merzia推出了一款基于MySQL的网站实时统计系统LLOOGG,然而没过多久该公司的创始人 Salvatore Sanfilippo便对MySQL的性能感到失望,于是他决定亲自为LLOOGG量身定做一个数据库,并于2009年开发完成,这个数据库就是Redis。
不过Salvatore Sanfilippo并不满足只将Redis用于LLOOGG这一款产品,而是希望更多的人使用它,于是在同一年Salvatore Sanfilippo将Redis开源发布,并开始和Redis的另一名主要的代码贡献者Pieter Noordhuis一起继续着Redis的开发,直到今天。
SalvatoreSanfilippo自己也没有想到,短短的几年时间,Redis就拥有了庞大的用户群体。HackerNews在2012年发布了一份数据库的使用情况调查,结果显示有近12%的公司在使用Redis。国内如新浪微博、街旁网、知乎网,国外如GitHub、Stack Overflow、Flickr等都是Redis的用户。
VMware公司从2010年开始赞助Redis的开发,Salvatore Sanfilippo和Pieter Noordhuis也分别在3月和5月加入VMware,全职开发Redis。
Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型如下:
缓存(数据查询、短连接、新闻内容、商品内容等等)。(最多使用)
分布式集群架构中的session分离。
聊天室的在线好友列表。
任务队列。(秒杀、抢购、12306等等)
应用排行榜。
网站访问统计。
数据过期处理(可以精确到毫秒)
redis数据访问速度快(数据在内存中)
redis有数据持久化机制(持久化机制有两种:
redis支持集群模式(容量可以线性扩展)
redis相比其他缓存工具(ehcach/memcached),有一个鲜明的优势:支持丰富的数据结构
下载Redis
官网地址:
中文官网:http://www.redis.cn/
下载地址:httpRedis.assets//download.redis.io/releases/redis-3.0.0.tar.gz
Redis安装环境
Redis安装一般会在Linux系统下进行安装,又因为redis是使用c语言开发,所以需要c语言环境。
Linux:centOS
VMware:10
C语言环境:
Redis安装
第一步:在VMware中安装CentOS系统(Linux)。
第二步:在Linux系统中安装c语言环境
yum install gcc-c++
第三步:将redis的源码包上传到Linux系统。
第四步:解压源码包
第五步:进入redis-3.3.3包,然后执行make命令,编译redis的源码
[root@redis01 redis-3.0.0]# make
第六步:安装
[[email protected]]# make install PREFIX=/usr/local/redis
前端启动,如果客户端关掉或者执行ctrl+c命令。则整个redis服务也停掉。
前端启动,即在客户端中执行以下命令:
[root@redis01 bin]# ./redis-server
第一步:执行cp命令将redis解压缩包中的redis.conf文件拷贝到bin目录下
第二步:修改redis.conf文件:
第三步:启动redis服务
字符串(String)、散列(Hash)、列表(List)、集合(Set)、有序集合(Sort Set)
这些数据都支持push/pop/add/remove等操作
1.缓存(数据查询,短连接,新闻内容,商品内容) (使用最多的)
2.分布式计算框架中Seesion分离
3.聊天室在线好友列表
4.任务对象(秒杀,12306购票)
5.应用排行榜
6.网站访问统计
7.数据过期处理(可以精确到毫秒)
Redis作用:
Ø 高性能共享:当数据需要被多个不同线程/进程/节点频繁读取时,redis基于内存读写效率高;
Ø 并发缓冲:当多个写请求需要连接其它数据库时,使用redis做一个缓冲,将多个并发连接转化为一次连接;
什么是缓存击穿
由于高并发请求刚好失效的key或黑客攻击导致,后端大量请求redis中不存在的key,一般业务程序在redis不存在缓存时会到数据库中查询,因此这种情况就会导致数据库瞬间并发大量连接,造成数据库崩溃。
解决方案:
1.为mysql各表的key设置布隆过滤器,请求mysql前先用布隆过滤器确认一遍,存在才申请(防黑客)
2.使用互斥锁,缓存不存在时向数据库发起带锁的读取请求,其他并发请求获取不到锁则休眠重试读取(防止并发失败)
什么是缓存击穿
缓存在同一时间大面积失效,此时大量请求失效key,造成数据库高并发连接崩溃。
解决方案:
1.缓存预热:根据大数据统计结果提前缓存热]数据(防初启动)
2.同样采用互斥锁
3.过期时间追加随机值
RDB持久化(默认持久化方式),每达到持久化的条件时(例如:10秒进行一次持久化),就会将Redis内存中的数据固化到磁盘上的RDB文件中
RDB用来做数据持久化,一旦Redis异常退出,就会丢失最后一次快照以后更改的所有数据,这样一来就会出现数据丢失问题
AOF持久化,将用户的操作通过文件记录下来,由于每次写操作都会记录日志,因此AOF会降低性能,但比起RDB的一次性阻塞式备份数据,AOF消耗的内存和资源更少。
什么时候开启这个机制?
数据很重要以至于无法承受任何数据损失,可以考虑开启AOF
开启AOF需要修改Redis的redis.conf文件
1.需要在redis.conf文件中查找到当前属性
appendonly no
修改属性值为yes 即
appendonly yes
2.在属性的下面有文件的默认名称
appendfilename “appendonly.aof”
public static void main(String[] args) {
//节点设置
HashSet<HostAndPort> nodes = new HashSet<>();
nodes.add(new HostAndPort("node01", 7001));
nodes.add(new HostAndPort("node02", 7002));
nodes.add(new HostAndPort("node03", 7003));
nodes.add(new HostAndPort("node04", 7004));
nodes.add(new HostAndPort("node05", 7005));
nodes.add(new HostAndPort("node06", 7006));
//创建JedisCluster实例
JedisCluster cluster = new JedisCluster(nodes);
cluster.set("ruhua", "rightgirl");
String s = cluster.get("ruhua");
System.out.println(s);
cluster.close();
}
第一:聊聊你对 Redis 分布式锁的理解。
第二:Redis 持久化是如何工作的?Redis在持久化过程中和可以对外服务么?如果可以的话,Redis又是如何处理新命令的?
第三:Redis 内存不够时间,如何处理新的请求?Redis 是如何处理过期数据的
第四:Redis 有序数据结构zset底层原理有了解过么?
第五:Redis 位图应用场景及实现原理可以讲一下么?
第六:Redis 的缓存穿透/缓存雪崩/缓存重建/这类问题,可以讲讲么
第七:Redis 集群分片原理是怎样的?
第八:Redis 单线程和Redis6.0 的多线程是如何工作的?
有收获?希望烙铁们来个三连击,让更多的同学看到这篇文章
1、烙铁们,关注我看完保证有所收获,不信你打我。
2、点个赞呗,可以让更多的人看到这篇文章,后续还会有很哇塞的产出。
本文章仅供学习及个人复习使用,如需转载请标明转载出处,如有错漏欢迎指出
务必注明来源(注明: 来源:csdn , 作者:-马什么梅-)