隐风
隐风

面试题之java缓存总结，从单机缓存到分布式缓存架构

1、缓存定义

高速数据存储层，提高程序性能

2、为什么要用缓存（读多写少，高并发）

1、提高读取吞吐量

2、提升应用程序性能

3、降低数据库成本

4、减少后端负载

5、消除数据库热点

6、可预测的性能

3、缓存分类

3.1、单机缓存（localCache）

实现方案

1、基于JSR107规范自研（了解即可）：

1、Java Caching定义了5个核心接口，分别是CachingProvider, CacheManager, Cache, Entry 和 Expiry。
2、CachingProvider定义了创建、配置、获取、管理和控制多个CacheManager。一个应用可以在运行期访问多个CachingProvider。
3、CacheManager定义了创建、配置、获取、管理和控制多个唯一命名的Cache，这些Cache存在于CacheManager的上下文中。一个CacheManager仅被一个CachingProvider所拥有。
4、Cache是一个类似Map的数据结构并临时存储以Key为索引的值。一个Cache仅被一个CacheManager所拥有。
5、Entry是一个存储在Cache中的key-value对。
每一个存储在Cache中的条目有一个定义的有效期，即Expiry Duration。
一旦超过这个时间，条目为过期的状态。一旦过期，条目将不可访问、更新和删除。缓存有效期可以通过ExpiryPolicy设置。

2、基于ConcurrentHashMap实现数据缓存

3.2、分布式缓存（redis、Memcached）

4、单机缓存

1、自己实现一个单机缓存

创建缓存类

/**
 * @author yinfeng
 * @description 本地缓存实现：用map实现一个简单的缓存功能
 * @since 2022/2/8 13:54
 */
public class MapCacheDemo {

    /**
     * 在构造函数中，创建了一个守护程序线程，每5秒扫描一次并清理过期的对象
     */
    private static final int CLEAN_UP_PERIOD_IN_SEC = 5;

    /**
     * ConcurrentHashMap保证线程安全的要求
     * SoftReference   作为映射值，因为软引用可以保证在抛出OutOfMemory之前，如果缺少内存，将删除引用的对象。
     */
    private final ConcurrentHashMap> cache = new ConcurrentHashMap<>();

    public MapCacheDemo() {
        //创建了一个守护程序线程，每5秒扫描一次并清理过期的对象
        Thread cleanerThread = new Thread(() -> {
            while (!Thread.currentThread().isInterrupted()) {
                try {
                    Thread.sleep(CLEAN_UP_PERIOD_IN_SEC * 1000);
                    cache.entrySet().removeIf(entry -> Optional.ofNullable(entry.getValue()).map(SoftReference::get).map(CacheObject::isExpired).orElse(false));
                } catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                }
            }
        });
        cleanerThread.setDaemon(true);
        cleanerThread.start();
    }

    public void add(String key, Object value, long periodInMillis) {
        if (key == null) {
            return;
        }
        if (value == null) {
            cache.remove(key);
        } else {
            long expiryTime = System.currentTimeMillis() + periodInMillis;
            cache.put(key, new SoftReference<>(new CacheObject(value, expiryTime)));
        }
    }

    public void remove(String key) {
        cache.remove(key);
    }

    public Object get(String key) {
        return Optional.ofNullable(cache.get(key)).map(SoftReference::get).filter(cacheObject -> !cacheObject.isExpired()).map(CacheObject::getValue).orElse(null);
    }

    public void clear() {
        cache.clear();
    }

    public long size() {
        return cache.entrySet().stream().filter(entry -> Optional.ofNullable(entry.getValue()).map(SoftReference::get).map(cacheObject -> !cacheObject.isExpired()).orElse(false)).count();
    }

    /**
     * 缓存对象value
     */
    private static class CacheObject {
        private Object value;
        private final long expiryTime;

        private CacheObject(Object value, long expiryTime) {
            this.value = value;
            this.expiryTime = expiryTime;
        }

        boolean isExpired() {
            return System.currentTimeMillis() > expiryTime;
        }

        public Object getValue() {
            return value;
        }

        public void setValue(Object value) {
            this.value = value;
        }
    }

  
}
 
 
写个main方法测试一下
 
 
public static void main(String[] args) throws InterruptedException {
        MapCacheDemo mapCacheDemo = new MapCacheDemo();
        mapCacheDemo.add("uid_10001", "{1}", 5 * 1000);
        mapCacheDemo.add("uid_10002", "{2}", 5 * 1000);
        System.out.println("从缓存中取出值:" + mapCacheDemo.get("uid_10001"));
        Thread.sleep(5000L);
        System.out.println("5秒钟过后");
        // 5秒后数据自动清除了
        System.out.println("从缓存中取出值:" + mapCacheDemo.get("uid_10001"));
    }

 
 
2、谷歌guava cache缓存框架
 
 
2.1、简介
 
 
 
  
Guava Cache是一个内存缓存模块，用于将数据缓存到jvm内存中，是单个应用运行时的本地缓存，他不将数据放到文件或外部服务器。
 
 
 
 
2.2 简单使用
 
 
/**
 * @author yinfeng
 * @description guava测试，https://github.com/google/guava
 * @since 2022/2/8 14:13
 */
public class GuavaCacheDemo {
    public static void main(String[] args) throws ExecutionException {
        //缓存接口这里是LoadingCache，LoadingCache在缓存项不存在时可以自动加载缓存
        LoadingCache userCache
                //CacheBuilder的构造函数是私有的，只能通过其静态方法newBuilder()来获得CacheBuilder的实例
                = CacheBuilder.newBuilder()
                //设置并发级别为8，并发级别是指可以同时写缓存的线程数
                .concurrencyLevel(8)
                //设置写缓存后8秒钟过期
                .expireAfterWrite(8, TimeUnit.SECONDS)
                //设置写缓存后1秒钟刷新
                .refreshAfterWrite(1, TimeUnit.SECONDS)
                //设置缓存容器的初始容量为10
                .initialCapacity(10)
                //设置缓存最大容量为100，超过100之后就会按照LRU最近虽少使用算法来移除缓存项
                .maximumSize(100)
                //设置要统计缓存的命中率
                .recordStats()
                //设置缓存的移除通知
                .removalListener(notification -> System.out.println(notification.getKey() + " 被移除了，原因： " + notification.getCause()))
                //build方法中可以指定CacheLoader，在缓存不存在时通过CacheLoader的实现自动加载缓存
                .build(
                        new CacheLoader() {
                            @Override
                            public User load(String key) {
                                System.out.println("缓存没有时，从数据库加载" + key);
                                // TODO jdbc的代码~~忽略掉
                                return new User("yinfeng" + key, key);
                            }
                        }
                );
        // 第一次读取
        for (int i = 0; i < 20; i++) {
            User user = userCache.get("uid" + i);
            System.out.println(user);
        }
        // 第二次读取
        for (int i = 0; i < 20; i++) {
            User user = userCache.get("uid" + i);
            System.out.println(user);
        }
        System.out.println("cache stats:");
        //最后打印缓存的命中率等 情况
        System.out.println(userCache.stats().toString());
    }

    @Data
    @AllArgsConstructor
    public static class User implements Serializable {
        private String userName;
        private String userId;
        @Override
        public String toString() {
            return userId + " --- " + userName;
        }
    }
}

 
 
5、分布式缓存
 
 
5.1 redis
 
 
5.1.1 介绍
 
 
 
  
Redis是一个开源的使用C语言缩写、支持网络、可基于内存亦可持久化的日志型，Key-Value数据库，并提供多种语言的API。
 
  
本质是客户端-服务端应用软件程序。
 
  
特点是使用简单,性能强悍,功能应用场景丰富。
 
 
 
 
5.1.2通用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    DEL key 
    用于在key存在是删除key 
   
 
   
 
    DUMP key 
    序列化给定的key，并返回给定的值 
   
 
   
 
    EXISTS key 
    检查给定key是否存在 
   
 
   
 
    EXPIRE key seconds 
    为给定key设置过期时间，单位秒 
   
 
   
 
    TTL key 
    以秒为单位，返回给定key的剩余生存时间 
   
 
   
 
    TYPE key 
    返回key所存储的值的类型 
   
 
   
 
 
 
5.1.3 数据结构
 
 
1. String
 
 
定义
 
 
 
  
String数据结构是简单的key-value类型，value其实不仅是String，也可以是数字。
 
  
使用场景：微博数，粉丝数(常规计数)
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Get 
    获取指定key的值 
   
 
   
 
    Set 
    设置指定key的值 
   
 
   
 
    Incr 
    将key中储存的数字值增一 
   
 
   
 
    Decr 
    将key中储存的数字值减一 
   
 
   
 
    Mget 
    获取所有(一个或多个)给定key的值 
   
 
   
 
 
 
2. List
 
 
定义
 
 
 
  
List就是链表，依赖于链表结构
 
  
使用场景：微博的关注列表，粉丝列表
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Lpush 
    将一个或多个值插入到列表头部 
   
 
   
 
    Rpush 
    在列表中添加一个或多个值 
   
 
   
 
    Lpop 
    移出并获取列表的第一个元素 
   
 
   
 
    Rpop 
    移除列表的最后一个元素,返回值为移除的元素 
   
 
   
 
    Lrange 
    获取所有(一个或多个)给定key的值 
   
 
   
 
 
 
3. Set
 
 
定义
 
 
 
  
Set就是一个集合，集合的概念就是一堆不重复值的组合。利用Reds提供的Set数据结构，可以存储一些集合性的数据。
 
  
使用场景：实现如共同关注，共同喜好，二度好友
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Lpush 
    向集合中添加一个或多个成员 
   
 
   
 
    Rpush 
    移除并返回集合中的一个随机元素 
   
 
   
 
    Lpop 
    返回集合中的所有成员 
   
 
   
 
    Rpop 
    返回所有给定集合的并集 
   
 
   
 
 
 
4. Sorted set
 
 
定义
 
 
 
  
Sorted set的使用场景与set类似，区别是set不是自动有序的，而sorted set可以通过用户额外提供一个优先级（score）的参数来为成员排序，并且是插入有序的，即自动排序。
 
  
使用场景：排行榜、按照用户投票和时间排序
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Zadd 
    向有序集合添加一个或多个成员,或者更新已存在成员的分数 
   
 
   
 
    Zrange 
    通过索引区间返回有序集合中指定区间内的成员 
   
 
   
 
    Zrem 
    移除有序集合中的一个或多个成员 
   
 
   
 
    Zcard 
    获取有序集合的成员数 
   
 
   
 
 
 
5. Hash
 
 
定义
 
 
 
  
Hash是一个sting类型的field和value的映射表
 
  
使用场景：存储部分变更数据，如用户信息
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Zadd 
    获取存储在哈希表中指定字段的值 
   
 
   
 
    Zrange 
    将哈希表key中的字段field的值设为value 
   
 
   
 
    Hgetall 
    获取在哈希表中指定key的所有字段和值 
   
 
   
 
 
 
6. GEO
 
 
定义
 
 
 
  
GEO3.2版本开始对GEO(地理位置)的支持
 
  
使用场景：LBS应用开发
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    GEOADD 
    增加地理位置的坐标,可以批量添加地理位置 
   
 
   
 
    GEODIST 
    获取两个地理位置的距离 
   
 
   
 
    GEOHASH 
    获取某个地理位置的geohash值 
   
 
   
 
    GEOPOS 
    获取指定位置的坐标,可以批量获取多个地理位置的坐标 
   
 
   
 
    GEORADIUS 
    根据给定地理位置坐标获取指定范围内的地理位置集合(注意:该命令的中心点由输入的经度和结度决定) 
   
 
   
 
    GEORADIUSBYMEMBER 
    根据给定成员的位置获取指定范围内的位置信息集合(注意:该命令的中心点足由给定的位置元素决定) 
   
 
   
 
 
 
7. Stream
 
 
定义
 
 
 
  
Stream5.0版本开始的新结构“流”
 
  
使用场景:消费者生产者场景(类似MO)
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    XADD 
    增加地理位置的坐标,可以批量添加地理位置 
   
 
   
 
    XLEN 
    stream流中的消息数量 
   
 
   
 
    XDEL 
    删除流中的消息 
   
 
   
 
    XRANGE 
    返回流中满足给定ID范围的消息 
   
 
   
 
    XREAD 
    从一个或者多个流中读取消息 
   
 
   
 
    XINFO 
    检索关于流和关联的消费者组的不同的信息 
   
 
   
 
 
 
5.1.4 持久化机制
 
 
1. 介绍
 
 
 
  
redis的数据都存放在内存中，如果没有配置持久化，重启后数据就全丢失，于是需要开启redis的持久化功能，将数据保存到磁盘上，当redis重启后,可以从磁盘中恢复数据
 
 
 
 
2. 持久化方式
 
 
 
  
     
   
  1. RDB持久化：RDB持久化方式能够在指定的时间间隔对你的数据进行快照存储
    2.  
   
  2. AOF持久化： AOF持久化方式记录每次对服务器写的操作,当服务器重后的时候会重新执行这些命令来恢复原始的数据
    3.  
  
 
 
 
 
3.RDB方式
 
 
 
  
客户端直接通过命令BGSAVE或者SAVE来创建一个内存快照：
 
  
     
   
  1. BGSAVE调用fork来创建一个子进程，子进程负责将快照写入磁盘,而父进程仍然继续处理命令。
    2.  
   
  2. SAVE执行SAVE命令过程中,不再响应其他命令。
    3.  
  
 
 
 
 
在redis.conf中调整save配置选项，当在规定的时间内，redis发生了写操作的个数满足条件会触发BGSAVE命令
 
 
#900秒之内至少一次写操作
save 900 1
#300秒之内至少发生10次写操作
save 300 10

 
 
优缺点
 
 
 
   
   
 
    优点 
    缺点 
   
 
   
   
   
 
    对性能影响最小 
    同步时丢失数据 
   
 
   
 
    RDB文件进行数据恢复比使用AOF要快很多 
    如果数据集非常大且CPU不够强(比如单核CPU)，Redis在fork子进程时可能会消耗相对较长的时间,影响RediS对外提供服务的能力 
   
 
   
 
 
 
4. AOF持久化方式
 
 
**开启AOF持久化 **
 
 
appendonty yes

 
 
AOF策略调整
 
 
#每次有数据修改发生时都会写入AOF文件
appendfsync always
#每秒钟同步一次,该策略为AOF的默认策略
appendfsync everysec
#从不同步。高效但是数据不会被持久化
appendfsync no

 
 
优点
 
 
 
   
   
 
    优点 
    缺点 
   
 
   
   
   
 
    最安全 
    文件体积大 
   
 
   
 
    容灾 
    性能消耗比RDB高 
   
 
   
 
    易读,可修改 
    数据恢复速度比RDB慢 
   
 
   
 
 
 
5.1.5 内存管理
 
 
1、内存分配
 
 
不同数据类型的大小限制：
 
 
 
  
Strings类型：一个Strings类型的Value最大可以存储512M。
 
  
Lists类型：list的元素个数最多为2^32-1个
 
  
Sets类型：元素个数最多为2^32-1个
 
  
Hashes类型：键值对个数最多为2^32-1个
 
 
 
 
最大内存控制：
 
 
 
  
maxmemory 最大内存阈值
 
  
maxmemory-policy 到达阈值的执行策略
 
 
 
 
2、内存压缩
 
 
#配置字段最多512个
hash-max-zipmap-entries 512
#配置value最大为64字节
hash-max-zipmap-value 64
#配置元素个数最多512个
lst-max-zipmap-entries 512
#配置value最大为64字节
list-max-zipmap-value 64
#配置元素个数最多512个
set-max-zipmap-entries 512

 
 
大小超出压缩范围，溢出后redis将自动将其转换为正常大小
 
 
3、过期数据的处理策略
 
 
主动处理(redis主动触发检测key足否过期)每秒抗行10次。过程如下：
 
 
 
  
     
   
  1. 从具有相关过期的key集合中测试20个随机key
    2.  
   
  2. 删除找到的所有已过期key
    3.  
   
  3. 如果超过25%的key已过期,请从步骤1重新开始
    4.  
  
 
 
 
 
被动处理:
 
 
 
  
     
   
  1. 每次访问key的时候，发现超时后被动过期，清理掉
    2.  
  
 
 
 
 
数据恢复阶段过期数据的处理策略：
 
 
 
  
RDB方式：过期的Key不会被持久化到文件中。载入时过期的key，会通过redis的主动和被动方式清理掉。
 
  
AOF方式：每次遇到过期的key，redis会追加一条DEL命令到AOF文件，也就是说只要我们顺序载入执行AOF命令文件就会删除过期的key
 
  
注意：过期数据的计算和计算机本身的时间是有直接联系的!
 
 
 
 
Redis内存回收策略：
 
 
 
  
配置文件中设置：maxmemory-poIicy noeviction
 
  
命令动态调整：config set maxmemory-policy noeviction
 
 
 
 
 
   
   
 
    回收策略 
    说明 
   
 
   
   
   
 
    noeviction 
    客户端尝试执行会让更多内存被使用的命令直接报错 
   
 
   
 
    allkeys-lru 
    在所有key里执行LRU算法清除 
   
 
   
 
    volatile-lru 
    在所有已经过期的key里执行LRU算法清除 
   
 
   
 
    allkeys-lfu 
    在所有key里执行LFU算法清除 
   
 
   
 
    volatile-lfu 
    在所有已经过期的key里执行LFU算法清除 
   
 
   
 
    allkeys-random 
    在所有key里随机回收 
   
 
   
 
    volatile-random 
    在已经过期的key里随机回收 
   
 
   
 
    volatile-ttl 
    回收已经过期的key，并且优先回收存活时间(TTL)较短的key 
   
 
   
 
 
 
4、LRU算法
 
 
LRU(最近最少使用)：根据数据的历史访问记录来进行沟汰数据
 
 
 
  
核心思想：如果数据最近被访问过，那么将来被访问的几率也更高。
 
  
注意：Redis的LRU算法并非完整的实现，完整的LRU实现需要太多的内存。
 
  
方法：通过对少量keys进行取样(50%)，然后回收其中一个最好的key。
 
  
配置方式：maxmemory-samples 5
 
 
 
 
5、LFU算法
 
 
LFU：根据数据的历史访问频率来沟汰数据
 
 
 
  
核心思想：如果数据过去被访问多次,那么将来被访问的频率也更高。
 
  
启用LFU算法后，可以使用热点数据分析功能。
 
 
 
 
5.1.6 主从复制
 
 
1、介绍
 
 
为什么要主从复制
 
 
 
  
redis-server单点故障
 
  
单节点QPS有限
 
 
 
 
应用场景分析
 
 
 
  
读写分离场景，规避redis单机瓶颈
 
  
故障切换，master出问题后还有slave节点可以使用
 
 
 
 
2、搭建主从复制
 
 
主Redis Server以普通模式启动，主要是启动从服务器的方式
 
 
     
  
  1.  
    命令行
     
    #连接需要实现从节点的rediS,执行下面的命令
slaveof [ip] [port]

     
    2.  
  
  2.  
    redis.conf配置文件
     
    #配置文件中增加
slaveof [ip] [port]
#从服务器是否只读(默认yes)
slave-read-only yes

     
    3.  
  
  3.  
    退出主从集群的方式
     
    slaveof no one

     
    4.  
 
 
 
3、检查主从复制
 
 
#redis客户端执行
info replication

 
 
4、主从复制流程
 
 
 
  
     
   
  1. 从服务器通过psync命令发送服务器已有的同步进度(同步源ID，同步进度offset)
    2.  
   
  2. master收到请求，同步源为当前master，则根据偏移量增量同步
    3.  
   
  3. 同步源非当前master，则进入全量同步：maser生成rdb，传输到slave，加载到slave内存
    4.  
  
 
 
 
 
5、主从复制核心知识
 
 
 
  
     
   
  1. Redis默认使用异步复制，slave和master之间异步地确认处理的数据量
    2.  
   
  2. 一个master可以拥有多个slave
    3.  
   
  3. Slave可以接受其他slave的连接。slave可以有下级sub slave
    4.  
   
  4. 主从同步过程在master侧是非阻塞的
    5.  
   
  5. slave初次同步需要删除旧数据，加载新数据，会阻塞到来的连接请求
    6.  
  
 
 
 
 
6、应用场景
 
 
 
  
     
   
  1. 主从复制可以用来支持读写分离
    2.  
   
  2. slave服务器设定为只读，可以用在数据安全的场景下。
    3.  
   
  3. 可以使用主从复制来避免master持久化造成的开销。master关闭持久化，slave设置为不定期保存或开启AOF
    4.  
   
  4. 注意：重新启动的master程序将从一个空数据集开始,如果一个slave试图与它同步，那么这个slave也会被清空。
    5.  
  
 
 
 
 
7、注意事项
 
 
     
  
  1.  
    读写分离场景:
     
   
     
    
    数据复制延时导致读到过期数据或者读不到数据(网络原因，slave阻塞)
     
    
    从节点故障(多个client如何迁移)
     
   
     
    2.  
  
  2.  
    全量复制情况下:
     
   
     
    
    第一次建立主从关系或者runid不匹配会导致全量复制
     
    
    故障转移的时候也会出现全量复制
     
   
     
    3.  
  
  3.  
    复制风暴:
     
   
     
    
    master故障重启，如果slave节点过多，所有slave都要复制，对服务器的性能，网络的压力都有很大影响。
     
    
    如果一个机器部署了多个master
     
   
     
    4.  
  
  4.  
    写能力有限
     
   
     
    
    主从复制还是只有一台master，提供的写服务能力有限
     
   
     
    5.  
  
  5.  
    master故障情况下:
     
   
     
    
    如果是mater无持久化，Slave开启持久化来保留数据的场展，建议不要配置redis自动重启。
     
    
    启动redis自动重启，master启动后，无备份数据，可能导致集群数据丢失的情况
     
   
     
    6.  
  
  6.  
    带有效期的key:
     
   
     
    
    Slave不会让key过期，而是等待master让key过期
     
    
    在Lua脚本执行期间，不执行任何key过期操作
     
   
     
    7.  
 
 
 
5.1.7 哨兵模式
 
 
1、哨兵(Sentinel)机制核心作用
 
 
客户端 询问主redis地址> redis哨兵 监控、提醒、故障转移（主从切换）> 主redis（master） 主从复制关系> 从redis（slave）
 
 
2、核心运作流程
 
 
服务发现和健康检查流程
 
 
 
  
搭建redis主从集群 ==> 启动哨兵(客户端通过哨兵发现Redis实例信息) ==> 哨兵通过连接master发现主从集群内的所有实例信息 ==> 哨兵监控redis实例的健康状况
 
 
 
 
故障切换流程
 
 
 
  
哨兵一旦发现master不能正常提供服务，则通知给其他哨兵 ==> 当一定数量的哨兵都认为master挂了 ==> 选举一个哨兵作为故障转移的执行者 ==> 执行者在slave中选取一个作为新的master ==> 将其他slave重新设定为新master的从属
 
 
 
 
3、哨兵如何知道Redis主从信息
 
 
 
  
哨兵配置文件中，保存着主从集群中master的信息，可以通过info replication命令，进行主从信息自动发现。
 
 
 
 
4、什么是主观下线(sdown)
 
 
 
  
主观下线：单个哨兵自身认为redis实例已经不能提供服务
 
  
检测机制：哨兵向redis发送ping请求，+PONG，-LOADING，-MASTERDOWN三种情况视为正常，其他回复均视为无效
 
  
对应配置文件的配置项：sentinel down-after-milliseconds mymaster 1000
 
 
 
 
5、什么是客观下线(odown)
 
 
 
  
客观下线：一定数量值的哨兵认为master已经下线。
 
  
检测机制：当哨兵主观认为maser下线后，则会通过SENTINEL is-master-down-by-addr命令询问其他哨兵是否认为master已经下线，如果达成共识（达到quorum个数），就会认为master节点客观下线，开始故障转移流程
 
  
对应配置文件的配置项：sentinel monitor mymaster 1.0.0.1 6380 2
 
 
 
 
6、哨兵之间如何通信
 
 
     
  
  1. 哨兵之间的自动发现：发布自己的信息，订阅其他哨兵消息（pub/sub）
    2.  
  
  2. 哨兵之间通过命令进行通信：直连发送命令
    3.  
  
  3. 哨兵之间通过订阅发布进行通信：相互订阅指定主题（pub/sub）
    4.  
 
 
 
7、哨兵领导选举机制
 
 
基于Raft算法实现的选举机制，流程简述如下:
 
 
     
  
  1. 拉票阶段：每个哨兵节点希望自己成为领导者;
    2.  
  
  2. Sentinel节点收到拉票命令后，如果没有收到或同意过其他sentinel节点的请求，就同意该sentinel节点的请求(每个sentinel只持有一个同意票数)
    3.  
  
  3. 如果sentinel节点发现自己的票数已经超过一半的数值，那么它将成为领导者，去执行故障转移
    4.  
  
  4. 投票结束后，如果超过failover-timeout的时间内，没进行实际的故障转移操作，则重新拉票选举。
    5.  
 
 
 
8、slave选举方案
 
 
 
  
slave节点状态 > 优先级 > 数据同步情况 > 最小的run id
 
 
 
 
9、最终主从切换的过程
 
 
 
  
针对即将成为master的slave节点，将其撒出主从集群，自动执行：slaveof NO ONE
 
  
针对其他slave节点，使它们成为新master的从属，自动执行：slaveof new_master_host new_master_port
 
 
 
 
10、哨兵服务部署方案
 
 
 
  
不推荐：一主一从，两个哨兵
 
  
推荐：一主两从，三个哨兵
 
  
redis集群非强一致：一主两从,网络分区下可能出现数据不一致或丢失。
 
 
 
 
5.1.8 redis集群分片存储
 
 
1、为什么要分片存储
 
 
 
  
redis的内存需求可能超过机器的最大内存。(一台机器不够用)
 
 
 
 
2、官方集群方案
 
 
 
  
redis cluster是redis的分布式集科解决方案，在3.0版本推出后有效地解决了redis分布式分面的需求，实现了数据在多个Redis节点之间自动分片,故障自动转移,扩容机制等功能。
 
  
主要基于CRC16(key) % 16384 计算出每个key对应的slot，然后根据redis集群中实例的预设槽slot（16384个）进行对应的操作，slot不存储数据，仅仅用来做片区划分。
 
 
 
 
3、搭建集群
 
 
 
  
     
   
  1. 准备6个独立的redis服务
    2.  
   
  2. 通过redis-cli工具创建集群
    3.  
   
  3. 检验集群
    4.  
   
  4. 故障转移测试
    5.  
   
  5. 集群扩容
    6.  
   
  6. 集群节点删除
    7.  
  
 
 
 
 
4、集群关心的问题
 
 
     
  
  1.  
    增加了slot槽的计算,是不是比单机性能差?
     
   
     
    
    不是的，为了避免每次都需要服务器计算重定向，优秀的Java客户端都实现了本地计算，并且缓存服务器slots分配，有变动时再更新本地内容，从而避免了多次重定向带来的性能损耗。
     
   
     
    2.  
  
  2.  
    redis集群大小,到底可以装多少数据?
     
   
     
    
    理论是可以做到16384个槽，每个槽对应一个实例，但是redis宫方建议是最大1000个实例，因为存储已经足够大了。
     
   
     
    3.  
  
  3.  
    集群节点间是怎么通信的?
     
   
     
    
    每个Redis群集节点都有一个额外的TCP端口，每个节点使用TCP连接与每个其他节点连接。检测和故障转移这些步骤基本和哨兵模式类似。
     
   
     
    4.  
  
  4.  
    ask和moved重定向的区别
     
    重定向包括两种情况
     
   
     
    
    若确定slot不属于当前节点，redis会返回moved。
     
    
    若当前redis节点正在处理slot迁移，则代表此处请求对应的key暂时不在此节点，返回ask，告诉客户端本次请求重定向。
     
   
     
    5.  
  
  5.  
    数据倾斜和访问倾斜的问题
     
    倾斜导致集群中部分节点数据多，压力大。解决方案分为前期和后期:
     
   
     
    
    前期是业务层面提前预测，哪些key是热点，在设计的过程中规避。
     
    
    后期是slot迁移，尽量将压力分摊(slot调整有自动rebalance、reshard和手动)。
     
   
     
    6.  
  
  6.  
    slot手动迁移怎么做?
     
   
     
    
       
     
    1. 在迁移目的节点执行cluster setslot IMPORTING 命令，指明需要迁移的slot和迁移源节点。 
      2.  
     
    2. 在迁移源节点执行cluster setslot MIGRATING 命令，指明需要迁移的slot和迁移目的节点。 
      3.  
     
    3. 在迁移源节点执行cluster getkeysinslot获取该slot的key列表
      4.  
     
    4. 在迁移源节点执行对每个key执行migrate命令，该命令会同步把该key迁移到目的节点。
      5.  
     
    5. 在迁移源节点反复执行cluster getkeysinslo命令，直到该slot的列表为空。
      6.  
     
    6. 在迁移源节点和目的节点执行cluster setslot NODE ，完成迁移操作。 
      7.  
    
     
   
     
    7.  
  
  7.  
    节点之间会交换信息，传递的消息包括槽的信息，带来带宽消耗。注意：避免使用大的一个集群,可以分多个集群。
     
    8.  
  
  8.  
    Pub/Sub发布订阅机制：对集群内任意的一个节点执行pubish发布消息，这个消息会在集群中进行传播，其他节点都接收到发布的消息。
     
    9.  
  
  9.  
    读写分离：
     
   
     
    
    redis-cluster默认所有从节点上的读写，都会重定向到key对应槽的主节点上。
     
    
    可以通过readonly设置当前连接可读，通过readwrite取消当前连接的可读状态。
     
    
    注意：主从节点依然存在数据不一致的问题
     
   
     
    10.  
 
 
 
5.1.9 redis监控
 
 
1、monitor命令
 
 
monitor是一个调试命令，返回服务器处理的每个命令。对于发现程序的错误非常有用。出于安全考虑，某些特殊管理命令CONFIG不会记录到MONITOR输出。
 
 
注意：运行一个MONITOR命令能够降低50%的吞吐量，运行多个MONITOR命令降低的吞吐量更多。
 
 
2、info命令
 
 
INFO命令以一种易于理解和阅读的格式，返回关于Redis服务器的各种信息和统计数值。
 
 
 
   
   
 
    info命令 
    返回信息 
   
 
   
   
   
 
    server 
    Redis服务器的一般信息 
   
 
   
 
    clients 
    客户端的连接部分 
   
 
   
 
    memory 
    内存消耗相关信息 
   
 
   
 
    persistence 
    持久化相关信息 
   
 
   
 
    stats 
    一般统计 
   
 
   
 
    replication 
    主/从复制信息 
   
 
   
 
    cpu 
    统计CPU的消耗 
   
 
   
 
    commandstats 
    Redis命令统计 
   
 
   
 
    cluster 
    Redis集群信息 
   
 
   
 
    keyspace 
    数据库的相关统计 
   
 
   
 
 
 
可以通过section返回部分信息，如果没有使用任何参数时，默认为detault。
 
 
3、图形化监控工具： Redis-Live
 
 
5.2 memcached入门
 
 
由于memcached慢慢淡出了人们的视野，使用的公司越来越少，所以这里只是做个入门介绍。
 
 
1、简介
 
 
是一个免费开源的、高性能的、具有分布式内存对象的缓存系统，它通过减轻数据库负载加速动态web应用。
 
 
 
  
本质上就是一个内存key-Value缓存
 
  
协议简单，使用的是基于文本行的协议
 
  
不支持数据的持久化，服务器关闭之后数据全部丢失
 
  
Memcached简洁而强大，便于快速开发，上手较为容易
 
  
没有安全机制
 
 
 
 
2、设计理念
 
 
     
  
  1.  
    简单的键/值存储：服务器不关心你的数据是什么样的，只管数据存储
     
    2.  
  
  2.  
    服务端功能简单，很多逻辑依赖客户端实现
     
   
     
    
    客户端专注如何选择读取或写入的服务器，以及无法联系服务器时要执行的操作。
     
    
    服务器专注如何存储和管理何时清除或重用内存
     
   
     
    3.  
  
  3.  
    Memcached实例之间没有通信机制
     
    4.  
  
  4.  
    每个命令的复杂度为0(1)：慢速机器上的查询应该在1ms以下运行。高端服务器的吞吐量可以达到每秒数百万
     
    5.  
  
  5.  
    缓存自动清除机制
     
    6.  
  
  6.  
    缓存失效机制
     
    7.  
 
 
 
3、常用命令
 
 
 
   
   
 
    分组 
    命令 
    描述 
   
 
   
   
   
 
    存储命令 
    set 
    用于将value存储在指定的key中。key已经存在，更新该key所对应的原来的数据。 
   
 
   
 
     
    add 
    用于将value存储在指定的key中，存在则不更新。 
   
 
   
 
     
    replace 
    替换已存在的key的Value，不存在，则替换失败。 
   
 
   
 
     
    append 
    用于向已存在key的value后面追加数据 
   
 
   
 
     
    prepend 
    向已存在key的value前面追加数据 
   
 
   
 
     
    cas 
    比较和替换，比对后，没有被其他客户端修改的情况下才能写入。 
   
 
   
 
    检索命令 
    get 
    获取存储在key中的value，不存在，则返回空。 
   
 
   
 
     
    gets 
    获取带有CAS令牌存的value，若key不存在，则返回为空 
   
 
   
 
    删除 
    delete 
    删除已存在的key 
   
 
   
 
    计算 
    incr/decr 
    对已存在的key的数字值进行自增或自减操作 
   
 
   
 
    统计 
    stats 
    返回统计信息如PID(进程号)、版本号、连接数等 
   
 
   
 
     
    stats items 
    显示各个slab中item的数目和存储时长(最后一次访问距离现在的秒数) 
   
 
   
 
     
    stats slabs 
    显示各个slab的信息，包括chunk的大小、数目、使用情况等。 
   
 
   
 
     
    stats sizes 
    显示所有item的大小和个数 
   
 
   
 
    清除 
    flush_all 
    清除所有内容 
   
 
   
 
 
 
4、客户端使用
 
 
客户端支持的特性：集群下多服务器选择，节点权重配置，失败/故障转移，数据压缩，连接管理
 
 
5、服务端配置
 
 
     
  
  1.  
    命令行参数
     
   
     
    
    查看memcached-h或man memcached获取最新文档
     
   
     
    2.  
  
  2.  
    init脚本
     
   
     
    
    如果通过yum应用商店安装，可以使用/etc/sysconfig/memcached文件进行参数配置
     
   
     
    3.  
  
  3.  
    检查运行配置
     
   
     
    
    stats settings查看运行中的memcached的配置
     
   
     
    4.  
 
 
 
6、memcached性能
 
 
Memcached性能的关键是硬件，内部实现是hash表，读写操作都是0(1)。硬件好，几百万的OPS都是没问题的。
 
 
最大连接数限制：内部基于事件机制(类似JAVA NIO)所以这个限制和nio类似，只要内存，操作系统参数进行调整，轻松几十万。
 
 
集群节点数量限制：理论是没限制的，但是节点越多，客户端需要建立的连接就会越多。
 
 
注意：memcached服务端没有分布式的功能，所以不论是集群还是主从备份，都需要第三方产品支持。
 
 
7、服务器硬件需要
 
 
CPU要求：CPU占用率低，默认为4个工作线程
 
 
内存要求：
 
 
 
  
memcached内容存在内存里面，所有内存使用率高。
 
  
建议memcached实例独占服务器,而不是混用。
 
  
建议每个memcached实例内存大小都足一致的，如果不一致则需要进行权重调整
 
 
 
 
网络要求：
 
 
 
  
根据项目传输的内容来定，网络越大越好，虽然通常10M就够用了
 
  
建议:项目往memcached传输的内容保持尽可能的小
 
 
 
 
8、Memcached应用场景
 
 
 
  
     
   
  1. 数据查询缓存：将数据库中的数据加载到memcached，提供程序的访问速度
    2.  
   
  2. 计数器的场景：通过incr/decr命令实现评论数量、点击数统计，操作次数等等场景。
    3.  
   
  3. 乐观锁实现：例如计划任务多实例部暑的场景下，通过CAS实现不重复执行
    4.  
   
  4. 防止重复处理：CAS命令
    5.  
  
 
 
 
 
5.3 互联网高并发缓存架构
 
 
5.3.1 缓存架构分析图
 
 
面试题之java缓存总结，从单机缓存到分布式缓存架构_第1张图片
 
 
5.3.2 缓存雪崩
 
 
定义：因为缓存服务挂掉或者热点缓存失效，从而导致所有请求都去查数据库，导致数据库连接不够用或者数据库处理不过来，从而导致整个系统不可用。
 
 
常用解决方案：
 
 
 
  
     
   
  1. 缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。
    2.  
   
  2. 缓存降级，直接返回错误码；
    3.  
   
  3. 加锁实现防止大量请求堆到数据库。
    4.  
   
  4. 设置热点数据永远不过期，防止了自动失效的情况，通过其他后台检查程序，防止缓存数据和数据库长期不同步
    5.  
  
 
 
 
 
5.3.2 缓存击穿
 
 
定义：查询必然不存在的数据，请求透过Redis，直击数据库。
 
 
常用解决方案：
 
 
 
  
     
   
  1. 用户内容预生成。
    2.  
   
  2. 访问频率限制。
    3.  
   
  3. 缓存中无数据，也不查询数据库，直接返回错误码。
    4.  
   
  4. 布隆过滤器
    5.  
  
 
 
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(面试题之java缓存总结，从单机缓存到分布式缓存架构)

        

            

                
    
                    
  • 机器学习与深度学习间关系与区别
                        ℒℴѵℯ心·动ꦿ໊ོ꫞
人工智能学习深度学习python
                        
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
    
                    
    • 
                    
  • 铭刻于星（四十二）
                        随风至

                        
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
    
                    
    • 
                    
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说
                        造命者说

                        
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
    
                    
    • 
                    
  • 【iOS】MVC设计模式
                        Magnetic_h
iosmvc设计模式objective-c学习ui
                        
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
    
                    
    • 
                    
  • OC语言多界面传值五大方式
                        Magnetic_h
iosui学习objective-c开发语言
                        
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
    
                    
    • 
                    
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹
                        黄错错加油

                        
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
    
                    
    • 
                    
  • 扫地机类清洁产品之直流无刷电机控制
                        悟空胆好小
清洁服务机器人单片机人工智能
                        
    扫地机类清洁产品之直流无刷电机控制1.1前言扫地机产品有很多的电机控制，滚刷电机1个，边刷电机1-2个，清水泵电机，风机一个，部分中高端产品支持抹布功能，也就是存在抹布盘电机，还有追觅科沃斯石头等边刷抬升电机，滚刷抬升电机等的，这些电机有直流有刷电机，直接无刷电机，步进电机，电磁阀，挪动泵等不同类型。电机的原理，驱动控制方式也不行。接下来一段时间的几个文章会作个专题分析分享。直流有刷电机会自动持续
    
                    
    • 
                    
  • 消息中间件有哪些常见类型
                        xmh-sxh-1314
java
                        
    消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
    
                    
    • 
                    
  • 三大师传
                        beca酱

                        
    巴尔扎克的作品被誉为“法国社会的一面镜子”。文学大师维克多·雨果对巴尔扎克的评价是：“在最伟大的人物中间，巴尔扎克是名列前茅者；在最优秀的人物中间，巴尔扎克是佼佼者之一。”一个原本寂寂无名的小人物，从地中海的某个海岛上，只身一人来到巴黎，没有朋友，也没有名望。作为一个一文不名的外乡人，凭着赤手空拳赢得了巴黎，征服了整个法兰西，并且赢得了世界。这个人就是十九世纪法国伟大的军事家、政治家，法兰西第一帝
    
                    
    • 
                    
  • 2018-07-23-催眠日作业-#不一样的31天#-66小鹿
                        小鹿_33

                        
    预言日：人总是在逃避命运的路上，与之不期而遇。心理学上有个著名的名词，叫做自证预言；经济学上也有一个很著名的定律叫做，墨菲定律；在灵修派上，还有一个很著名的法则，叫做吸引力法则。这3个领域的词，虽然看起来不太一样，但是他们都在告诉人们一个现象：你越担心什么，就越有可能会发生什么。同样的道理，你越想得到什么，就应该要积极地去创造什么。无论是自证预言，墨菲定律还是吸引力法则，对人都有正反2个维度的影响
    
                    
    • 
                    
  • 水平垂直居中的几种方法（总结）
                        LJ小番茄
CSS_玄学语言htmljavascript前端csscss3
                        
    1.使用flexbox的justify-content和align-items.parent{display:flex;justify-content:center;/*水平居中*/align-items:center;/*垂直居中*/height:100vh;/*需要指定高度*/}2.使用grid的place-items:center.parent{display:grid;place-item
    
                    
    • 
                    
  • 《大清方方案》| 第二话
                        谁佐清欢

                        
    和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
    
                    
    • 
                    
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数
                        广龙宇
一起学Rust#Rust设计模式rust设计模式开发语言
                        
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
    
                    
    • 
                    
  • 回溯 Leetcode 332 重新安排行程
                        mmaerd
Leetcode刷题学习记录leetcode算法职场和发展
                        
    重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
    
                    
    • 
                    
  • 《庄子.达生9》
                        钱江潮369

                        
    【原文】孔子观于吕梁，县水三十仞，流沫四十里，鼋鼍鱼鳖之所不能游也。见一丈夫游之，以为有苦而欲死也，使弟子并流而拯之。数百步而出，被发行歌而游于塘下。孔子从而问焉，曰：“吾以子为鬼，察子则人也。请问，‘蹈水有道乎’”曰：“亡，吾无道。吾始乎故，长乎性，成乎命。与齐俱入，与汩偕出，从水之道而不为私焉。此吾所以蹈之也。”孔子曰：“何谓始乎故，长乎性，成乎命？”曰：“吾生于陵而安于陵，故也；长于水而安于
    
                    
    • 
                    
  • 第四天旅游线路预览——从换乘中心到喀纳斯湖
                        陟彼高冈yu
基于Googleearthstudio的旅游规划和预览旅游
                        
    第四天：从贾登峪到喀纳斯风景区入口，晚上住宿贾登峪；换乘中心有4路车，喀纳斯①号车，去喀纳斯湖，路程时长约5分钟；将上面的的行程安排进行动态展示，具体步骤见”Googleearthstudio进行动态轨迹显示制作过程“、“Googleearthstudio入门教程”和“Googleearthstudio进阶教程“相关内容，得到行程如下所示：Day4-2-480p
    
                    
    • 
                    
  • Python教程：一文了解使用Python处理XPath
                        旦莫
Python进阶python开发语言
                        
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
    
                    
    • 
                    
  • 从鸡肉高汤到记忆的魔法再到有效提示的艺术
                        步子哥
人工智能
                        
    还记得小时候那些天马行空的白日梦吗？也许只要按下键盘上的某个神奇组合，电脑就会发出滴滴的声响，一个隐藏的世界突然在你眼前展开，让你获得超凡的能力，摆脱平凡的生活。这听起来像是玩过太多电子游戏的幻想，但实际上，间隔重复系统给人的感觉惊人地相似。在最佳状态下，这些系统就像魔法一样神奇。本文将以一个看似平凡的鸡肉高汤食谱为例，深入浅出地探讨如何编写有效的间隔重复提示，让你像掌握烹饪技巧一样轻松地掌握记忆
    
                    
    • 
                    
  • 谁家酒器最绝唱，藏在酒厂人未知？景阳冈酒厂先秦藏品大揭秘
                        李虓酒评论

                        
    文/王赛时中国的酒器酒具历史久远，举世闻名。从北京的故宫博物院、中国国家博物馆，到世界各国的大型博物馆，都以能够收藏中国古代酒具而夸耀。但很少有人知道，在山东阳谷景阳冈酒厂，默默地收藏了两千件中国酒器。这些酒器，就封藏在景阳冈的酒道馆里。其中有一些青铜酒器，一睡就是三、四千年，堪称无声国宝，堪作无字史书！今天，我将引领诸位首先窥视一下景阳冈酒道馆的9件先秦藏品，你自己来说震撼不震撼。提示：这只是景
    
                    
    • 
                    
  • 下载github patch到本地
                        小米人er
我的博客gitpatch
                        
    以下是几种从GitHub上下载以.patch结尾的补丁文件的方法：通过浏览器直接下载打开包含该.patch文件的GitHub仓库。在仓库的文件列表中找到对应的.patch文件。点击该文件，浏览器会显示文件的内容，在页面的右上角通常会有一个“Raw”按钮，点击它可以获取原始文件内容。然后在浏览器中使用快捷键（如Ctrl+S或者Command+S）将原始文件保存到本地，选择保存的文件名并确保后缀为.p
    
                    
    • 
                    
  • 关于提高复杂业务逻辑代码可读性的思考
                        编程经验分享
开发经验java数据库开发语言
                        
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
    
                    
    • 
                    
  • 18-115 一切思考不能有效转化为行动，都TM是扯淡！
                        成长时间线

                        
    7月25号写了一篇关于为什么会断更如此严重的反思，然而，之后日更仅仅维持了一周，又出现了这次更严重的现象。从8月2号到昨天8月6号，5天！又是5天没有更文！虽然这次断更时间和上次一样，那为什么说这次更严重？因为上次之后就分析了问题的原因，以及应该如何解决，按理说应该会好转，然而，没过几天严重断更的现象再次出现，想想，经过反思，问题依然没有解决与改变，这让我有些担忧。到底是哪里出了问题，难道我就真的
    
                    
    • 
                    
  • 山东大学小树林支教调研团青青仓木队——翟晓楠
                        山东大学青青仓木队

                        
    过了半年，又一次启程，又一次回到支教的初心之地。比起上一次的试探与不安，我更多了一丝稳重与熟练。心境、处境也都随着半个学期的过去而变得不同，半个学期中，身体上的，心理上的，太多的逆境让我变得步履维艰，曲曲折折，弯弯绕绕，我仿佛打不起精神，没有胃口，没有动力。感觉走的不顺畅的时候，支教这个旅程，给了我力量。自告奋勇承担起队长这一职务的我，从组织时的复杂和困难的经历，协调各种问题，从无到有，和校长和队
    
                    
    • 
                    
  • 拥有断舍离的心态，过精简生活--《断舍离》读书笔记
                        爱吃丸子的小樱桃

                        
    不知不觉间房间里的东西越来越多，虽然摆放整齐，但也时常会觉得空间逼仄，令人心生烦闷。抱着断舍离的态度，我开始阅读《断舍离》这本书，希望从书中能找到一些有效的方法，帮助我实现空间、物品上的断舍离。《断舍离》是日本作家山下英子通过自己的经历、思考和实践总结而成的，整体内涵也从刚开始的私人生活哲学的“断舍离”升华成了“人生实践哲学”，接着又成为每个人都能实行的“改变人生的断舍离”，从“哲学”逐渐升华成“
    
                    
    • 
                    
  • SQL Server_查询某一数据库中的所有表的内容
                        qq_42772833
SQLServer数据库sqlserver
                        
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
    
                    
    • 
                    
  • 高端密码学院笔记285
                        柚子_b4b4

                        
    高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
    
                    
    • 
                    
  • 2020-04-12每天三百字之连接与替代
                        冷眼看潮

                        
    不知道是不是好为人师，有时候还真想和别人分享一下我对某些现象的看法或者解释。人类社会不断发展进步的过程，就是不断连接与替代的过程。人类发现了火并应用火以后，告别了茹毛饮血的野兽般的原始生活（火烧、烹饪替代了生食）人类用石器代替了完全手工，工具的使用使人类进步一大步。类似这样的替代还有很多，随着科技的发展，有更多的原始的事物被替代，代之以更高效、更先进的技术。在近现代，汽车替代了马车，高速公路和铁路
    
                    
    • 
                    
  • 从0到500+，我是如何利用自媒体赚钱？
                        一列脚印

                        
    运营公众号半个多月，从零基础的小白到现在慢慢懂了一些运营的知识。做好公众号是很不容易的，要做很多事情；排版、码字、引流…通通需要自己解决，业余时间全都花费在这上面涨这么多粉丝是真的不容易，对比知乎大佬来说，我们这种没资源，没人脉，还没钱的小透明来说，想要一个月涨粉上万，怕是今天没睡醒（不过你有的方法，算我piapia打脸）至少我是清醒的，自己慢慢努力，实现我的万粉目标！大家快来围观、支持我吧！孩子
    
                    
    • 
                    
  • 凤凰公园
                        吴侬暖语sym

                        
    凤凰公园距离我们家880米，大概步行12分钟就到了，这是我们每天饭后散步或者闲暇时的去处。现在夏季徬晚时分广场舞大妈们总是热情非凡，那里的大门口就是一个好地方，每天总有两拨人在那踩着节奏翩翩起舞呢！而且一路上，从我们小区到公园，或者从昆仑西苑沿河到公园，都是饭后锻炼的人们，川流不息，老人小孩，年轻人，…！哪哪都是。最早家乡的公园，所有公园都是要收门票的，那时候也就是休息天会有人花钱去转转，平时一般
    
                    
    • 
                    
  • 使用Apify加载Twitter消息以进行微调的完整指南
                        nseejrukjhad
twittereasyui前端python
                        
    #使用Apify加载Twitter消息以进行微调的完整指南##引言在自然语言处理领域，微调模型以适应特定任务是提升模型性能的常见方法。本文将介绍如何使用Apify从Twitter导出聊天信息，以便进一步进行微调。##主要内容###使用Apify导出推文首先，我们需要从Twitter导出推文。Apify可以帮助我们做到这一点。通过Apify的强大功能，我们可以批量抓取和导出数据，适用于各类应用场景。
    
                    
    • 
                                
  • js动画html标签（持续更新中）
                                    843977358
htmljs动画mediaopacity
                                    
    1.jQuery 效果 - animate() 方法    改变 "div" 元素的高度：    $(".btn1").click(function(){      $("#box").animate({height:"300px
    
                                
    • 
                                
  • springMVC学习笔记
                                    caoyong
springMVC
                                    
    1、搭建开发环境 
   a>、添加jar文件，在ioc所需jar包的基础上添加spring-web.jar,spring-webmvc.jar 
   b>、在web.xml中配置前端控制器 
      <servlet> 
    &nbs
    
                                
    • 
                                
  • POI中设置Excel单元格格式
                                    107x
poistyle列宽合并单元格自动换行
                                    
    引用：http://apps.hi.baidu.com/share/detail/17249059 
POI中可能会用到一些需要设置EXCEL单元格格式的操作小结： 
先获取工作薄对象: 
HSSFWorkbook wb = new HSSFWorkbook(); 
HSSFSheet sheet = wb.createSheet(); 
HSSFCellStyle setBorder = wb.
    
                                
    • 
                                
  • jquery 获取A href 触发js方法的this参数 无效的情况
                                    一炮送你回车库
jquery
                                    
    html如下：  
<td class=\"bord-r-n bord-l-n c-333\"> 
<a class=\"table-icon edit\" onclick=\"editTrValues(this);\">修改</a> 
</td>" 
  
j
    
                                
    • 
                                
  • md5
                                    3213213333332132
MD5
                                    
    
import java.security.MessageDigest;  
import java.security.NoSuchAlgorithmException;  
  
public class MDFive {  
    public static void main(String[] args) {  
        String md5Str = "cq
    
                                
    • 
                                
  • 完全卸载干净Oracle11g
                                    sophia天雪
orale数据库卸载干净清理注册表
                                    
    完全卸载干净Oracle11g 
A、存在OUI卸载工具的情况下： 
    第一步：停用所有Oracle相关的已启动的服务； 
    第二步：找到OUI卸载工具：在“开始”菜单中找到“oracle_OraDb11g_home”文件夹中 
        &
    
                                
    • 
                                
  • apache 的access.log 日志文件太大如何解决
                                    darkranger
apache
                                    
    CustomLog logs/access.log common  此写法导致日志数据一致自增变大。 
直接注释上面的语法 
#CustomLog logs/access.log common 
增加： 
CustomLog "|bin/rotatelogs.exe -l logs/access-%Y-%m-d.log 
    
                                
    • 
                                
  • Hadoop单机模式环境搭建关键步骤
                                    aijuans
分布式
                                    
            Hadoop环境需要sshd服务一直开启，故，在服务器上需要按照ssh服务，以Ubuntu Linux为例，按照ssh服务如下： 
sudo apt-get install ssh 
sudo apt-get install rsync 
编辑HADOOP_HOME/conf/hadoop-env.sh文件，将JAVA_HOME设置为Java
    
                                
    • 
                                
  • PL/SQL DEVELOPER 使用的一些技巧
                                    atongyeye
javasql
                                    
    1 记住密码  
 
这是个有争议的功能，因为记住密码会给带来数据安全的问题。 但假如是开发用的库，密码甚至可以和用户名相同，每次输入密码实在没什么意义，可以考虑让PLSQL Developer记住密码。 位置：Tools菜单－－Preferences－－Oracle－－Logon HIstory－－Store with password 
 
 
2 特殊Copy  
 
在SQL Window
    
                                
    • 
                                
  • PHP：在对象上动态添加一个新的方法
                                    bardo
方法动态添加闭包
                                    
    有关在一个对象上动态添加方法，如果你来自Ruby语言或您熟悉这门语言，你已经知道它是什么...... Ruby提供给你一种方式来获得一个instancied对象，并给这个对象添加一个额外的方法。 
  
好！不说Ruby了，让我们来谈谈PHP 
  
PHP未提供一个“标准的方式”做这样的事情，这也是没有核心的一部分... 
  
但无论如何，它并没有说我们不能做这样
    
                                
    • 
                                
  • ThreadLocal与线程安全
                                    bijian1013
javajava多线程threadLocal
                                    
    首先来看一下线程安全问题产生的两个前提条件：  
1.数据共享，多个线程访问同样的数据。  
2.共享数据是可变的，多个线程对访问的共享数据作出了修改。  
  
实例： 
        定义一个共享数据： 
public static int a = 0; 
        
    
                                
    • 
                                
  • Tomcat 架包冲突解决
                                    征客丶
tomcatWeb
                                    
    环境： 
Tomcat 7.0.6 
win7 x64 
 
错误表象：【我的冲突的架包是：catalina.jar 与 tomcat-catalina-7.0.61.jar 冲突，不知道其他架包冲突时是不是也报这个错误】 
严重: End event threw exception 
java.lang.NoSuchMethodException: org.apache.catalina.dep
    
                                
    • 
                                
  • 【Scala三】分析Spark源代码总结的Scala语法一
                                    bit1129
scala
                                    
    Scala语法 1. classOf运算符 
Scala中的classOf[T]是一个class对象，等价于Java的T.class,比如classOf[TextInputFormat]等价于TextInputFormat.class 
   2. 方法默认值 
defaultMinPartitions就是一个默认值，类似C++的方法默认值 
  
  
 
    
                                
    • 
                                
  • java 线程池管理机制
                                    BlueSkator
java线程池管理机制
                                    
    编辑 
Add 
Tools 
  jdk线程池 
  
一、引言 
第一：降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。第二：提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。第三：提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。 
  
    
                                
    • 
                                
  • 关于hql中使用本地sql函数的问题（问-答）
                                    BreakingBad
HQL存储函数
                                    
    转自于：http://www.iteye.com/problems/23775 
问： 
我在开发过程中，使用hql进行查询（mysql5）使用到了mysql自带的函数find_in_set()这个函数作为匹配字符串的来讲效率非常好，但是我直接把它写在hql语句里面（from ForumMemberInfo fm,ForumArea fa where find_in_set(fm.userId,f
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-迭代器模式-Iterator
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 



import java.util.Arrays;
import java.util.List;

/**
 * Iterator模式提供一种方法顺序访问一个聚合对象中各个元素，而又不暴露该对象内部表示
 * 
 * 个人觉得，为了不暴露该
    
                                
    • 
                                
  • 常用SQL
                                    chenjunt3
oraclesqlC++cC#
                                    
      
  
--NC建库
CREATE TABLESPACE NNC_DATA01 DATAFILE 'E:\oracle\product\10.2.0\oradata\orcl\nnc_data01.dbf' SIZE 500M AUTOEXTEND ON NEXT 50M EXTENT MANAGEMENT LOCAL UNIFORM SIZE 256K ;
CREATE TABLESPA
    
                                
    • 
                                
  • 数学是科学技术的语言
                                    comsci
工作活动领域模型
                                    
      从小学到大学都在学习数学，从小学开始了解数字的概念和背诵九九表到大学学习复变函数和离散数学，看起来好像掌握了这些数学知识，但是在工作中却很少真正用到这些知识，为什么？ 
 
   最近在研究一种开源软件-CARROT2的源代码的时候，又一次感觉到数学在计算机技术中的不可动摇的基础作用，CARROT2是一种用于自动语言分类（聚类）的工具性软件，用JAVA语言编写，它
    
                                
    • 
                                
  • Linux系统手动安装rzsz 软件包
                                    daizj
linuxszrz
                                    
    1、下载软件 rzsz-3.34.tar.gz。登录linux，用命令 
 
wget http://freeware.sgi.com/source/rzsz/rzsz-3.48.tar.gz下载。 
 
2、解压 tar zxvf  rzsz-3.34.tar.gz 
 
3、安装  cd rzsz-3.34 ; make posix 。注意：这个软件安装与常规的GNU软件不
    
                                
    • 
                                
  • 读源码之:ArrayBlockingQueue
                                    dieslrae
java
                                    
        ArrayBlockingQueue是concurrent包提供的一个线程安全的队列,由一个数组来保存队列元素.通过 
takeIndex和 
putIndex来分别记录出队列和入队列的下标,以保证在出队列时 
不进行元素移动. 
 
 

//在出队列或者入队列的时候对takeIndex或者putIndex进行累加,如果已经到了数组末尾就又从0开始,保证数
    
                                
    • 
                                
  • C语言学习九枚举的定义和应用
                                    dcj3sjt126com
c
                                    
    枚举的定义 
# include <stdio.h>

enum WeekDay
{
	MonDay, TuesDay, WednesDay, ThursDay, FriDay, SaturDay, SunDay	
};

int main(void)
{	
	//int day;	//day定义成int类型不合适
	enum WeekDay day = Wedne
    
                                
    • 
                                
  • Vagrant 三种网络配置详解
                                    dcj3sjt126com
vagrant
                                    
     
 Forwarded port 
 Private network 
 Public network 
 
Vagrant 中一共有三种网络配置，下面我们将会详解三种网络配置各自优缺点。 
端口映射(Forwarded port)，顾名思义是指把宿主计算机的端口映射到虚拟机的某一个端口上，访问宿主计算机端口时，请求实际是被转发到虚拟机上指定端口的。Vagrantfile中设定语法为：   
c
    
                                
    • 
                                
  • 16.性能优化-完结
                                    frank1234
性能优化
                                    
    性能调优是一个宏大的工程，需要从宏观架构(比如拆分，冗余，读写分离，集群，缓存等)， 软件设计（比如多线程并行化，选择合适的数据结构）， 数据库设计层面（合理的表设计，汇总表，索引，分区，拆分，冗余等） 以及微观（软件的配置，SQL语句的编写，操作系统配置等）根据软件的应用场景做综合的考虑和权衡，并经验实际测试验证才能达到最优。 
 
性能水很深， 笔者经验尚浅 ，赶脚也就了解了点皮毛而已，我觉得
    
                                
    • 
                                
  • Word Search
                                    hcx2013
search
                                    
    Given a 2D board and a word, find if the word exists in the grid. 
The word can be constructed from letters of sequentially adjacent cell, where "adjacent" cells are those horizontally or ve
    
                                
    • 
                                
  • Spring4新特性——Web开发的增强
                                    jinnianshilongnian
springspring mvcspring4
                                    
    Spring4新特性——泛型限定式依赖注入 
Spring4新特性——核心容器的其他改进 
Spring4新特性——Web开发的增强 
Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  
Spring4新特性——Groovy Bean定义DSL 
Spring4新特性——更好的Java泛型操作API  
Spring4新
    
                                
    • 
                                
  • CentOS安装配置tengine并设置开机启动
                                    liuxingguome
centos
                                    
    yum install gcc-c++  
yum install pcre pcre-devel  
yum install zlib zlib-devel  
yum install openssl openssl-devel 
 
Ubuntu上可以这样安装 
sudo aptitude install libdmalloc-dev libcurl4-opens
    
                                
    • 
                                
  • 第14章 工具函数（上）
                                    onestopweb
函数
                                    
    index.html 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
    
                                
    • 
                                
  • Xelsius 2008 and SAP BW at a glance
                                    blueoxygen
BOXelsius
                                    
    Xelsius提供了丰富多样的数据连接方式，其中为SAP BW专属提供的是BICS。那么Xelsius的各种连接的优缺点比较以及Xelsius是如何直接连接到BEx Query的呢？ 以下Wiki文章应该提供了全面的概览。 
  
http://wiki.sdn.sap.com/wiki/display/BOBJ/Xcelsius+2008+and+SAP+NetWeaver+BW+Co
    
                                
    • 
                                
  • oracle表空间相关
                                    tongsh6
oracle
                                    
    在oracle数据库中，一个用户对应一个表空间，当表空间不足时，可以采用增加表空间的数据文件容量，也可以增加数据文件，方法有如下几种： 
 
1.给表空间增加数据文件 
   ALTER TABLESPACE "表空间的名字" ADD DATAFILE 
   '表空间的数据文件路径' SIZE 50M; 
  &nb
    
                                
    • 
                                
  • .Net framework4.0安装失败
                                    yangjuanjava
.netwindows
                                    
    上午的.net framework 4.0，各种失败，查了好多答案，各种不靠谱，最后终于找到答案了 
和Windows Update有关系，给目录名重命名一下再次安装，即安装成功了！ 
下载地址：http://www.microsoft.com/en-us/download/details.aspx?id=17113 
方法： 
1.运行cmd，输入net stop WuAuServ 
2.点击开
    
                                
    •