为什么要用Nosql
1、单机mysql
90年代,一个基本的网站访问量一般不会太大,单个数据库完全足够!
那个时候,更多的去使用静态网页Html~服务器根本没有太大的压力!
思考一下,这种情况下:整个网站的瓶颈是什么?
1、数据量如果太大、一个机器放不下了?
2、数据的索引(B+Tree),一个机器内存放不下
3、访问量(读写混合),一个服务器承受不了
只要你开始出现以上的三种情况之一,那么你就必须要晋级!
2、Memcached(缓存)+mysql+垂直拆分
网站80%的情况都是在读,每次都要去查询数据库的话就十分的麻烦!所以说我们希望减轻数据的压力,我们可以使用缓存来保证效率!
发展过程:优化数据结构和索引–>文件索引(IO)–>Memcached(当前最热门的技术!)
3、分库分表+水平拆分+MySQL集群
本质:数据库(读,写)
早些年MyISAM:表锁,十分影响效率!高并发下就会出现严重的锁问题
转站Innodb:行锁
慢慢的就开始使用分库分表来解决写的压力!MySQL在那个年代推出表分区!
单未被多少公司使用!
MySQL集群很好的满足了需求!
4、如今的年代
(定位,音乐,热榜也是数据)
MySQL等关系型数据库就不够用了!数据量很多,变化很快!
MySQL有的使用它来存储一些比较大的文件,博客,图片!数据库表很大,效率就低了!如果有一种数据库专门来处理这种数据,MySQL压力就变小了。(研究如何处理这些问题!)大数据的IO压力下,表几乎没法更大。
目前一个基本的互联网项目
为什么要用NoSQL!
用户的个人信息,社交网络,地理位置。用户自己产生的数据,用户日志等等爆发式增长!
这时候我们就需要使用NoSQL数据库,Nosql可以很好的处理以上的情况!
NoSQL=not Only SQL(不仅仅是sql)
关系型数据库:表格,行,列
泛指非关系型数据库的,随着web2.0互联网的诞生!传统的关系型数据库很难对付web2.0时代!尤其是超大规模的高并发的社区!暴露出来很多难以克服的困难,NoSQL在当今大数据环境下发展十分迅速,Redis是发展最快的,而且是我们当下必须要掌握的一个技术!
很多的数据类型用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式!不需要多余的操作就可以横向扩展的!Map
NoSQL的特点
解耦!
1、方便扩展(数据之间没有关系,很好扩展!)
2、大数据量高性能(redis一秒写8万次,读取11万,Nosql的缓存记录级,是一种 细粒度的缓存,性能会比较高!)
3、数据类型是多样型的!(不需要事先设计数据库!随取随用!如果是数据量十分大的表,很多人就无法设计了!)
4、传统RDBMS(关系型数据库)和Nosql
传统的RDBMS
-结构化组织
-sql
-数据和关系都存在单独的表中
-数据操作,数据定义语言
-严格的一致性
--基础的事务
-...
Nosql
-不仅仅是数据
-没有固定的查询语句
-键值对存储,列存储,文档存储,图形数据库(社交关系)
-最终一致性
-CAP定理和BASE理论(异地多活)
-高性能,高可用,高可扩
-...
了解:3V+3高
大数据时代的3V:主要是描述问题的
海量Volume
多样Variety
实时Velocity
大数据时代的3高:主要是对程序的要求
高并发
高可扩
高性能
真正在公司中的实践:NoSQL+RDBMS一起使用才是最强的
如果你未来相当一个架构师:没有什么是加一层解决不了的!
#1、商品的基本信息
名称、价格、商家信息;
关系型数据库就可以解决了! MysQL / oracle(淘宝早年就去TOE了! -王坚:推荐文章:阿里云的这群疯子:40分钟重要!)淘宝内部的MysQL不是大家用的MysQL
#2、商品的播述、评论(文字比较多)
文档型数据库中,MongoDB
#3、图片
分布式文件系统FastDFS
-淘宝自己的 TFS
- Gooale的GFS
- Hadoop HDFS
-阿里云的oss
#4、商品的关键字(搜索)
–搜索引擎so1r elasticsearch
- Iserach:多隆
#5、商品热门的波段信息
-内存数据库
-Redis Tair、Memcache
#6、商品的交易,外部的支付接口
-三方应用
KV键值对:
文档型数据库(bson格式和json一样):
列存储数据库
图关系数据库
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RKSGmc8W-1643898920040)(C:\Users\hong’qin\Desktop\md文件\Redis.assets\1643100559965.png)]
Redis是什么?
Redis ( Remote Dictionary Server ),即远程字典服务!
是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
免费和开源!是当下最热门的NoSQL技术之一!也被人们称之为结构化数据库!
Redis能干嘛?
特性
1、下载安装包
2、解压
3、配置文件
4、基本的环境配置
yum install gcc-c++
注意·目前最新版本已经是6.2.6了。 Redis6以上需要gcc版本在7以上。
yum -y install centos-release-scl
yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils
#临时修改gcc版本
scl enable devtoolset-9 bash
#永久修改gcc版本
echo "source /opt/rh/devtoolset-9/enable" >>/etc/profile
make编译
make install 安装
5、进入redis.cofig 配置文件中 redis默认不是后台开启的,修改配置文件!
6、启动Redis服务!
redis-server myconfig/redis-conf
7、使用Redis-cli进行连接
8、查看redis进程
9、关闭redis服务
**redis-benchmark:**Redis官方提供的性能测试工具,参数选项如下
简单测试:
# 测试:100个并发连接 100000请求
redis-benchmark -h localhost -p 6379 -c 100 -n 100000
结果:
redis默认有16个数据库
默认使用的第0个;
可以使用select切换数据库
keys *
:查看当前数据库中所有的key
flushdb
:清空当前数据库中的键值对。
flushall
:清空所有数据库的键值对。
Redis是单线程的,Redis是基于内存操作的。
所以Redis的性能瓶颈不是CPU,而是机器内存和网络带宽。
那么为什么Redis的速度如此快呢,性能这么高呢?QPS达到10W+
Redis为什么单线程还这么快?
先去cpu>内存>硬盘的速度要有所了解
核心:Redis是将所有的数据放在内存中的,所有说单线程去操作效率就是最高的 ,多线程(CPU上下文会切换:耗时的操作!),对于内存系统来说,如果没有上下文切换效率就是最高的,多次读写都是在一个CPU上的,在内存存储数据情况下,单线程就是最佳的方案。