Redis学习笔记——NoSQL概述

学习参考资料:Redis学习笔记、B站redis学习视频

目录

  • 1. NoSQL的概念
    • 1.1 技术发展
    • 1.2 MySQL的扩展性瓶颈
    • 1.3 什么是NoSQL
  • 2. NoSQL的特点
  • 3.NoSQL的四大分类
  • 4.CAP理论

1. NoSQL的概念

1.1 技术发展

回顾NoSQL之前的技术!!!

1、单机MySQL的年代

一开始,网站的访问量比较小,单个MySQL数据库完全够用。
Redis学习笔记——NoSQL概述_第1张图片

但这样的网站有如下瓶颈

  • 数据库总大小一台机器硬盘内存放不下
  • 数据的索引(B + tree)一个机器的运行内存放不下
  • 访问量(读写混合)一个服务器(实例)承受不了

出现了这三种情况之一,就需要升级!!!

2、Memcached(缓存)+ MySQL+垂直拆分

随着访问量的不断增加,程序猿们开始大量使用缓存技术来缓解数据库的压力,优化数据库的结构和索引,开始比较流行的是通过文件缓存来缓解数据库压力,但是当访问量继续增大的时候,多台web机器通过文件缓存不能共享,大量的小文件缓存也带了比较高的IO压力,在这个时候,Memcached就自然的成为一个非常时尚的技术产品。

垂直拆分:分成多个数据库存储数据(如:卖家库与买家库)
Redis学习笔记——NoSQL概述_第2张图片

3、MySQL主从复制来实现读写分离

由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力,读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术来达到读写分离,以提高读写性能和读库的可扩展性,MySQL的master-slave模式成为这个时候的网站标配了。

主从复制、读写分离就是为了数据库能支持更大的并发

  • 主从复制:主库来一条数据,从库立刻插入一条
  • 读写分离:master负责写,slave负责读

Redis学习笔记——NoSQL概述_第3张图片

4、分表分库+水平拆分+MySQL集群

在Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这时MySQL主库的写压力开始出现瓶颈,而数据量的持续猛增,由于MyISAM使用表锁,在高并发下会出现严重的锁问题,大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM

同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题,这个时候,分表分库成了一个热门技术,是面试的热门问题,也是业界讨论的热门技术问题。

  • 分库:根据业务相关紧耦合在同一个库,对不同的数据读写进行分库(如注册信息等不常改动的冷库与购物信息等热门库分开)
  • 分表:切割表数据(例如90W条数据,id 1-30W的放在A库,30W-60W的放在B库,60W-90W的放在C库)
    Redis学习笔记——NoSQL概述_第4张图片

1.2 MySQL的扩展性瓶颈

MySQL数据库也经常存储一些大文本的字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容易快速恢复数据库,比如1000万4KB大小的文本就接近40GB的大小,如果能把这些数据从MySQL省去,MySQL将变的非常的小,关系数据库很强大,但是它并不能很好的应付所有的应用场景,MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大表结构更改困难,正是当前使用MySQL的开发人员面临的问题。

1.3 什么是NoSQL

NoSQL = Not Only SQL,意思:不仅仅是SQL;

泛指非关系型的数据库,随着互联网Web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的社交网络服务类型的Web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展,NoSQL数据库的产生就是为了解决大规模数据集合多种数据种类带来的挑战,尤其是大数据应用难题,包括超大规模数据的存储。

2. NoSQL的特点

(1)易扩展
NoSQL 数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展,也无形之间,在架构的层面上带来了可扩展的能力。
(2)大数据量高性能
NoSQL数据库都具有非常高的读写性能,尤其是在大数据量下,同样表现优秀。这得益于它的非关系性,数据库的结构简单。
一般MySQL使用Query Cache,每次表的更新Cache就失效,是一种大力度的Cache,在针对Web2.0的交互频繁应用,Cache性能不高,而NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说就要性能高很多了。
官方记录:Redis 一秒可以写8万次,读11万次!!!
(3)多样灵活的数据模型
NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式,而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是噩梦。

3.NoSQL的四大分类

KV键值对

  • 新浪:BerkeleyDB+redis
  • 美团:redis+tair
  • 阿里、百度:memcache+redis

文档型数据库(bson格式比较多):

  • CouchDB
  • MongoDB
    • MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
    • MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。

列存储数据库:

  • Cassandra, HBase
  • 分布式文件系统

图关系数据库:

  • 它不是放图形的,放的是关系比如:朋友圈社交网络、广告推荐系统
  • 社交网络,推荐系统等。专注于构建关系图谱
  • Neo4J, InfoGrid

Redis学习笔记——NoSQL概述_第5张图片

4.CAP理论

在学习MySQL事务的时候,学习过事务的ACID四大特性,如下:

  • A(Atomicity)原子性

原子性很容易理解,也就是说事务里的所有操作要么全部做完要么都不做,事务成功的条件是事务里的所有操作都成功,只要有一个操作失败,整个事务就失败,需要回滚。
例子:
比如银行转账,从A账户转100元至B账户,分为两个步骤:
1)从A账户取100元;
2)存入100元至B账户。
这两步要么一起完成,要么一起不完成,如果只完成第一步,第二步失败,钱会莫名其妙少了100元。

  • C(Consistency)一致性

事务前后数据的完整性必须保持一致。

  • I(Isolation)隔离性

所谓的独立性是指并发的事务之间不会互相影响,如果一个事务要访问的数据正在被另外一个事务修改,只要另外一个事务未提交,它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户,在这个交易还未完成的情况下,如果此时B查询自己的账户,是看不到新增加的100元的。

  • D(Durability)持久性

持久性是指一旦事务提交后,它所做的修改将会永久的保存在数据库上,即使出现宕机也不会丢失。

CAP理论

  • C : Consistency(强一致性)
  • A : Availability(可用性)
  • P : Partition tolerance(分区容错性)

CAP理论就是说在分布式存储系统中,最多只能实现上面的两点。而由于当前的网络硬件肯定会出现延迟丢包等问题,所以分区容错性是我们必须需要实现的。所以我们只能在一致性和可用性之间进行权衡,没有NoSQL系统能同时保证这三点。

注意:分布式架构的时候必须做出取舍。

一致性和可用性之间取一个平衡。多余大多数web应用,其实并不需要强一致性。因此牺牲C换取P,这是目前分布式数据库产品的方向!!!

CAP理论的核心是:一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求,最多只能同时较好的满足两个。因此,根据 CAP 原理将 NoSQL 数据库分成了满足CA原则、满足CP原则和满足AP原则三 大类:

  • CA - 单点集群,满足一致性,可用性的系统,通常在可扩展性上不太强大。
  • CP - 满足一致性,分区容忍必的系统,通常性能不是特别高。
  • AP - 满足可用性,分区容忍性的系统,通常可能对一致性要求低一些。

你可能感兴趣的:(redis,redis,nosql)