1、单机MySQL的年代!
90年代,一个基本的网站访问量一般不会太大,单个数据库完全足够!
那个时候,更多的去使用静态网页Html~服务器没有太大的压力!
这种情况下:整个网站的瓶颈是什么?
1、数据量如果太大,一台机器放不下了!
2、数据的索引(B+tree),一个机器内存也放不下(mysql数据库当数据量达到300万条,就需要建立索引,不然查询就会非常慢)
3、访问量(读写混合),一个服务器承受不了
只要有以上三种情况之一,就需要晋级了!
2、Memcached(缓存)+ MySQL+垂直分布(读写分离)
网站80%的情况都是在读,每次都要去查询数据数据库的话就十分的麻烦。
为了减轻数据库的压力,我们可以使用缓存来保证效率!
发展过程:优化mysql数据结构和索引–>文件缓存(IO)–>Memcached(当时最热门的技术!)
3、分库分表+水平拆分+MySql集群
技术和业务在发展的同时,对人的要求也越来越高!
本质:数据库(读,写)
mysql数据库引擎:MyISAM和Innodb
MyISAM:表锁(100万数据,在去查张三的密码会把整个用户表锁起来,剩下的进程由于加锁了只能等待),十分影响效率!高并发下会出现严重的锁问题。
Innodb:行锁
慢慢的就开始使用分库分表来解决写的压力!MySQL在那个年代推出了表分区,但是这个并没有多少公司去使用。有推出了MySQL的集群,很好的满足那个年代的所有需求!
4、最近的年代
2010-2020十年之间,世界已经发生了翻天覆地的变化;(定位也是一种数据,音乐,热榜)
MySQL等关系型数据库就不够用了!数据量很多,变化很快~
MySQL有的使用它来存储一些比较大的文件,如博客,图片。数据库表很大,效率就低了。如果有一种数据库来专门处理这种数据,MySQL压力就会变小(研究如何处理这些问题!)大数据的IO压力下,表几乎没法更改。(一亿条数据动态的加个列,要加一亿条数据太多了)
5、目前一个基本的互联网项目
为什么要用Nosql
用户的个人信息,社交网络,地理位置。用户自己产生的数据,用户日志等爆发式增长。
这个时候我们就需要使用Nosql数据库了,Nosql可以很好的处理以上情况!
NoSQL
NoSQL == Not Only SQL (不仅仅是sql)
关系型数据库:表格(由行和列组成)
泛指非关系型数据库,随着web2.0互联网的诞生。传统的关系型数据库很难对付web2.0时代!尤其是超大规模的高并发的社区,暴露出来很多难以克服的问题,NoSQL在当今大数据环境下发展的十分迅速,Redis是发展最快的,而且是我们当下必须要掌握的一个技术。
很多的数据类型:用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式!不需要多余的操作就可以横向扩展(用多台机器来实行。集群)。
NoSQL特点
1.方便扩展(数据之间没有关系,很好扩展)
2.大数据量高性能(Redis一秒写8万次,读11万次。NoSQL的缓存,记录级,是一种细粒度的缓存,性能会比较高!)
3.数据类型是多样型的!(不需要事先设计数据库!随取随用!如果是数据量十分大的表,很多人就无法设计了!)
4.传统RDBMS(关系型数据库)和 NoSQL(非关系数据库)区别
传统的RDBMS
- 结构化组织(行和列)
- SQL
- 数据和关系都存在单独的表中 row col
- 数据操作语言(CRUD),数据定义语言
- 严格的一致性
- 基础的事务
- 。。。
NoSQL
- 不仅仅是数据
- 没有固定的查询语句
- 键值对存储,列存储,文档存储,图形数据库(社交关系)
- 最终一致性
- CAP定理 和 BASE理论 (异地多活)
- 高性能,高可用,高可扩展性
- 。。。
了解:3v + 3高
大数据时代的3v:主要描述问题的
1.海量Volume
2.多样Variety
3.实时Velocity
大数据时代的3高:主要是对程序的要求
1.高并发
2.高可扩(随时水平拆分,机器不够了,可以扩展机器来解决)
3.高性能
真正在公司中实践:NoSQL + RDBMS 一起使用才是最强的
# 1.商品的基本信息
名称、价格、商家信息;
关系型数据库就可以解决 Mysql/Oracle(淘宝IOE)
# 2.商品的描述、评论(文字比较多)
文档型数据库 MongoDB
# 3.图片
分布式文件系统 FastDFS
- 淘宝自己的 TFS
- Google GFS
- Hadoop HDFS
- 阿里云 oss
# 4.商品的关键字(搜索)
- 搜索引擎 solr elasticsearch
- ISerach 多隆
# 5.商品热门的波段信息
- 内存数据库
- Redis Tair、Memcached
# 6.商品的交易,外部的支付接口
- 三方应用