开发人员面对突如其来的变化,无论在架构选型,还是在日常开发中,总会面临各种挑战和考验。唯有系统性地掌握 Java 核心编程思想、设计理念,以及具体的实现方式,方可游刃有余,以免进退失据。
作为 Java 技术生态的基石,Dubbo
、ElasticSearch
、JVM
、多线程/高并发
、消息中间件
、Spring Cloud
都是你进军大厂、获得更好的职业发展必须跨过的一道难关。
作为面向人民币编程社群的一份子,我们不但要关注技术面的发展,而且也要重视经济面的收益。
所以,为了大家更好的提升自己,更好的迎接即将到来的金三银四,博主亲自总结了一些宝藏级 BATJ互联网公司高级面经笔记,下面我们花几分钟来看看究竟有些什么不同之处。
由于篇幅过长,为使得文章看起来美观悦目,本文章仅展示笔记的部分核心内容,觉得对自己有帮助需要完整PDF的朋友,请添加 助教小姐姐VX:C18173184271
来获取免费获取方式!
Redis 的全称是:Remote Dictionary.Server
,本质上是一个 Key-Value 类型 的内存数据库,很像 memcached
,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据 flush
到硬盘上进行保存。
因为是纯内存操作,Redis 的性能非常出色,每秒可以处理超过 10 万次读写操作,是已知性能最快的 Key-Value DB
。
Redis 的出色之处不仅仅是性能,Redis 最大的魅力是支持保存多种数据结构,此外单个 value
的最大限制是 1GB,不像 memcached
只能保存 1MB 的数据,因此 Redis 可以用来实现很多有用的功能。
比方说用他的 List
来做 FIFO 双向链表,实现一个轻量级的高性 能消息队列服务,用他的 Set
可以做高性能的 tag 系统等等。
另外 Redis 也可以对存入的 Key-Value
设置 expire
时间,因此也可以被当作一 个功能加强版的 memcached
来用。 Redis 的主要缺点是数据库容量受到物理内存的限制,不能用作海量数据的高性能读写,因此 Redis 适合的场景主要局限在较小数据量的高性能操作和运算上。
memcached
所有的值均是简单的字符串,redis
作为其替代者,支持更为丰富的数据类型redis
的速度比 memcached
快很多 redis
的速度比 memcached
快很多redis
可以持久化其数据 redis
可以持久化其数据因为目前 Linux 版本已经相当稳定,而且用户量很大,无需开发 windows 版本,反而会带来兼容性等问题。
twemproxy
一致的效果,但它支持在节点数量改变情况下,旧节点数据可恢复到新 hash
节点。redis cluster3.0
自带的集群,特点在于他的分布式算法不是一致性 hash
,而是 hash
槽的概念,以及自身支持节点设置从节点。具体看官方文档介绍。redis
实例,在代码层,对 key
进行 hash
计算,然后去对应的 redis
实例操作数据。这种方式对 hash
层代码要求比较高,考虑部分包括,节点失效后的替代算法方案,数据震荡后的自动脚本恢复,实例的监控,等等。redis 内存数据集大小上升到一定大小的时候,就会施行数据淘汰策略。
最常用的一种使用 Redis 的情景是 会话缓存(sessioncache),用 Redis 缓存会话比其他存储(如 Memcached
)的优势在于:Redis 提供持久化。当维护一个不是严格要求一致性的缓存时,如果用户的购物车信息全部丢失,大部分人都会不高兴的,现在,他们还会这样吗?
幸运的是,随着 Redis 这些年的改进,很容易找到怎么恰当的使用 Redis 来缓存会话的文档。甚至广为人知的商业平台 Magento
也提供 Redis 的插件。
除基本的 会话 token 之外,Redis 还提供很简便的 FPC 平台。回到一致性问题,即使重启了 Redis 实例,因为有磁盘的持久化,用户也不会看到页面加载速度的下降,这是一个极大改进,类似 PHP 本地 FPC。
再次以 Magento
为例,Magento
提供一个插件来使用 Redis 作为全页缓存后端。
此外,对 WordPress
的用户来说,Pantheon
有一个非常好的插件 wp-redis
,这个插件能帮助你以最快速度加载你曾浏览过的页面。
Reids 在内存存储引擎领域的一大优点是提供 list
和 set
操作,这使得 Redis 能作为一个很好的消息队列平台来使用。Redis 作为队列使用的操作,就类似于本地程序语言(如 Python)对 list
的 push/pop操作。
如果你快速的在 Google 中搜索“Redis queues”
,你马上就能找到大量的开源项目,这些项目的目的就是利用 Redis 创建非常好的后端工具,以满足各种队列需求。例如,Celery 有一个后台就是使用 Redis 作为 broker
,你可以从这里去查看。
Redis 在内存中对数字进行递增或递减的操作实现的非常好。集合(Set) 和 有序集合(SortedSet) 也使得我们在执行这些操作的时候变的非常简单,Redis 只是正好提供了这两种数据结构。
所以,我们要从排序集合中获取到排名最靠前的 10 个用户–我们称之为“user_scores”
,我们只需要像下面一样执行即可:
当然,这是假定你是根据你用户的分数做递增的排序。如果你想返回用户及用户的分数,你需要这样执行:
ZRANGE user_scores 0 10 WITHSCORES
Agora Games 就是一个很好的例子,用 Ruby
实现的,它的排行榜就是使用 Redis 来存储数据的,你可以在这里看到。
最后(但肯定不是最不重要的)是 Redis 的 发布/订阅 功能。发布/订阅的使用场景确实非常多。我已看见人们在社交网络连接中使用,还可作为基于发布/订阅的脚本触发器,甚至用 Redis 的发布/订阅功能来建立聊天系统!
Redisson 是一个高级的 分布式协调 Redis 客服端,能帮助用户在分布式环境中轻松实现一些 Java 的对象 (Bloom filter, BitSet, Set, SetMultimap, ScoredSortedSet, SortedSet, Map, ConcurrentMap,List, ListMultimap, Queue, BlockingQueue, Deque, BlockingDeque, Semaphore, Lock,ReadWriteLock, AtomicLong, CountDownLatch, Publish / Subscribe, HyperLogLog
)。
其实上面那种方案最大的问题,就是如果你对某个 redis master
实例,写入了 myLock
这种锁 key
的 value
,此时会异步复制给对应的 master slave
实例。但是这个过程中一旦发生 redis master
宕机,主备切换,redis slave
变为了 redis master
。
接着就会导致,客户端 2 来尝试加锁的时候,在新的 redis master
上完成了加锁,而客户端 1 也以为自己成功加了锁。此时就会导致多个客户端对一个分布式锁完成了加锁。这时系统在业务语义上一定会出现问题,导致各种脏数据的产生。
所以这个就是 redis cluster
,或者是 redis master-slave 架构的主从异步复制导致的 redis 分布式锁 的最大缺陷:在 redis master
实例宕机的时候,可能导致多个客户端同时完成加锁。
一般的缓存系统,都是按照
key
去缓存查询,如果不存在对应的value
,就应该去后端系统查找(比如 DB)。一些恶意的请求会故意查询不存在的key,
请求量很大,就会对后端系统造成很大的压力。这就叫做缓存穿透。
key
对应的数据 insert
了之后清理缓存。key
进行过滤。可以把所有的可能存在的 key
放到一个大的 Bitmap
中,查询时通过该 bitmap
过滤。当缓存服务器重启或者大量缓存集中在某一个时间段失效,这样在失效的时候,会给后端系统带来很大压力。导致系统崩溃。
key
只允许一个线程查询数据和写缓存,其他线程等待。一切技术的产生与发展都离不开最基本的原理,只要追本溯源,了解技术体系最基本、最底层的原理,我们就能根据这些知识储备建立自己的后端技术框架,从而搭建一条完整的成长道路。
记得帮忙点个赞;手留余香,添加
助教小姐姐VX:C18173184271
即可获取本文上所有的资料下载地址。