面试题之java缓存总结，从单机缓存到分布式缓存架构

1、缓存定义

高速数据存储层，提高程序性能

2、为什么要用缓存（读多写少，高并发）

1、提高读取吞吐量

2、提升应用程序性能

3、降低数据库成本

4、减少后端负载

5、消除数据库热点

6、可预测的性能

3、缓存分类

3.1、单机缓存（localCache）

实现方案

1、基于JSR107规范自研（了解即可）：

1、Java Caching定义了5个核心接口，分别是CachingProvider, CacheManager, Cache, Entry 和 Expiry。
2、CachingProvider定义了创建、配置、获取、管理和控制多个CacheManager。一个应用可以在运行期访问多个CachingProvider。
3、CacheManager定义了创建、配置、获取、管理和控制多个唯一命名的Cache，这些Cache存在于CacheManager的上下文中。一个CacheManager仅被一个CachingProvider所拥有。
4、Cache是一个类似Map的数据结构并临时存储以Key为索引的值。一个Cache仅被一个CacheManager所拥有。
5、Entry是一个存储在Cache中的key-value对。
每一个存储在Cache中的条目有一个定义的有效期，即Expiry Duration。
一旦超过这个时间，条目为过期的状态。一旦过期，条目将不可访问、更新和删除。缓存有效期可以通过ExpiryPolicy设置。

2、基于ConcurrentHashMap实现数据缓存

3.2、分布式缓存（redis、Memcached）

4、单机缓存

1、自己实现一个单机缓存

创建缓存类

/**
 * @author yinfeng
 * @description 本地缓存实现：用map实现一个简单的缓存功能
 * @since 2022/2/8 13:54
 */
public class MapCacheDemo {

    /**
     * 在构造函数中，创建了一个守护程序线程，每5秒扫描一次并清理过期的对象
     */
    private static final int CLEAN_UP_PERIOD_IN_SEC = 5;

    /**
     * ConcurrentHashMap保证线程安全的要求
     * SoftReference   作为映射值，因为软引用可以保证在抛出OutOfMemory之前，如果缺少内存，将删除引用的对象。
     */
    private final ConcurrentHashMap> cache = new ConcurrentHashMap<>();

    public MapCacheDemo() {
        //创建了一个守护程序线程，每5秒扫描一次并清理过期的对象
        Thread cleanerThread = new Thread(() -> {
            while (!Thread.currentThread().isInterrupted()) {
                try {
                    Thread.sleep(CLEAN_UP_PERIOD_IN_SEC * 1000);
                    cache.entrySet().removeIf(entry -> Optional.ofNullable(entry.getValue()).map(SoftReference::get).map(CacheObject::isExpired).orElse(false));
                } catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                }
            }
        });
        cleanerThread.setDaemon(true);
        cleanerThread.start();
    }

    public void add(String key, Object value, long periodInMillis) {
        if (key == null) {
            return;
        }
        if (value == null) {
            cache.remove(key);
        } else {
            long expiryTime = System.currentTimeMillis() + periodInMillis;
            cache.put(key, new SoftReference<>(new CacheObject(value, expiryTime)));
        }
    }

    public void remove(String key) {
        cache.remove(key);
    }

    public Object get(String key) {
        return Optional.ofNullable(cache.get(key)).map(SoftReference::get).filter(cacheObject -> !cacheObject.isExpired()).map(CacheObject::getValue).orElse(null);
    }

    public void clear() {
        cache.clear();
    }

    public long size() {
        return cache.entrySet().stream().filter(entry -> Optional.ofNullable(entry.getValue()).map(SoftReference::get).map(cacheObject -> !cacheObject.isExpired()).orElse(false)).count();
    }

    /**
     * 缓存对象value
     */
    private static class CacheObject {
        private Object value;
        private final long expiryTime;

        private CacheObject(Object value, long expiryTime) {
            this.value = value;
            this.expiryTime = expiryTime;
        }

        boolean isExpired() {
            return System.currentTimeMillis() > expiryTime;
        }

        public Object getValue() {
            return value;
        }

        public void setValue(Object value) {
            this.value = value;
        }
    }

  
} 
 
写个main方法测试一下
 
 
public static void main(String[] args) throws InterruptedException {
        MapCacheDemo mapCacheDemo = new MapCacheDemo();
        mapCacheDemo.add("uid_10001", "{1}", 5 * 1000);
        mapCacheDemo.add("uid_10002", "{2}", 5 * 1000);
        System.out.println("从缓存中取出值:" + mapCacheDemo.get("uid_10001"));
        Thread.sleep(5000L);
        System.out.println("5秒钟过后");
        // 5秒后数据自动清除了
        System.out.println("从缓存中取出值:" + mapCacheDemo.get("uid_10001"));
    }
 
 
2、谷歌guava cache缓存框架
 
 
2.1、简介
 
 

   Guava Cache是一个内存缓存模块，用于将数据缓存到jvm内存中，是单个应用运行时的本地缓存，他不将数据放到文件或外部服务器。 
 
 
 
2.2 简单使用
 
 
/**
 * @author yinfeng
 * @description guava测试，https://github.com/google/guava
 * @since 2022/2/8 14:13
 */
public class GuavaCacheDemo {
    public static void main(String[] args) throws ExecutionException {
        //缓存接口这里是LoadingCache，LoadingCache在缓存项不存在时可以自动加载缓存
        LoadingCache userCache
                //CacheBuilder的构造函数是私有的，只能通过其静态方法newBuilder()来获得CacheBuilder的实例
                = CacheBuilder.newBuilder()
                //设置并发级别为8，并发级别是指可以同时写缓存的线程数
                .concurrencyLevel(8)
                //设置写缓存后8秒钟过期
                .expireAfterWrite(8, TimeUnit.SECONDS)
                //设置写缓存后1秒钟刷新
                .refreshAfterWrite(1, TimeUnit.SECONDS)
                //设置缓存容器的初始容量为10
                .initialCapacity(10)
                //设置缓存最大容量为100，超过100之后就会按照LRU最近虽少使用算法来移除缓存项
                .maximumSize(100)
                //设置要统计缓存的命中率
                .recordStats()
                //设置缓存的移除通知
                .removalListener(notification -> System.out.println(notification.getKey() + " 被移除了，原因： " + notification.getCause()))
                //build方法中可以指定CacheLoader，在缓存不存在时通过CacheLoader的实现自动加载缓存
                .build(
                        new CacheLoader() {
                            @Override
                            public User load(String key) {
                                System.out.println("缓存没有时，从数据库加载" + key);
                                // TODO jdbc的代码~~忽略掉
                                return new User("yinfeng" + key, key);
                            }
                        }
                );
        // 第一次读取
        for (int i = 0; i < 20; i++) {
            User user = userCache.get("uid" + i);
            System.out.println(user);
        }
        // 第二次读取
        for (int i = 0; i < 20; i++) {
            User user = userCache.get("uid" + i);
            System.out.println(user);
        }
        System.out.println("cache stats:");
        //最后打印缓存的命中率等 情况
        System.out.println(userCache.stats().toString());
    }

    @Data
    @AllArgsConstructor
    public static class User implements Serializable {
        private String userName;
        private String userId;
        @Override
        public String toString() {
            return userId + " --- " + userName;
        }
    }
}
 
 
5、分布式缓存
 
 
5.1 redis
 
 
5.1.1 介绍
 
 
 
  
Redis是一个开源的使用C语言缩写、支持网络、可基于内存亦可持久化的日志型，Key-Value数据库，并提供多种语言的API。
 
  
本质是客户端-服务端应用软件程序。
 
  
特点是使用简单,性能强悍,功能应用场景丰富。
 
 
 
 
5.1.2通用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    DEL key 
    用于在key存在是删除key 
   
 
   
 
    DUMP key 
    序列化给定的key，并返回给定的值 
   
 
   
 
    EXISTS key 
    检查给定key是否存在 
   
 
   
 
    EXPIRE key seconds 
    为给定key设置过期时间，单位秒 
   
 
   
 
    TTL key 
    以秒为单位，返回给定key的剩余生存时间 
   
 
   
 
    TYPE key 
    返回key所存储的值的类型 
   
 
   
 
 
 
5.1.3 数据结构
 
 
1. String
 
 
定义
 
 
 
  
String数据结构是简单的key-value类型，value其实不仅是String，也可以是数字。
 
  
使用场景：微博数，粉丝数(常规计数)
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Get 
    获取指定key的值 
   
 
   
 
    Set 
    设置指定key的值 
   
 
   
 
    Incr 
    将key中储存的数字值增一 
   
 
   
 
    Decr 
    将key中储存的数字值减一 
   
 
   
 
    Mget 
    获取所有(一个或多个)给定key的值 
   
 
   
 
 
 
2. List
 
 
定义
 
 
 
  
List就是链表，依赖于链表结构
 
  
使用场景：微博的关注列表，粉丝列表
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Lpush 
    将一个或多个值插入到列表头部 
   
 
   
 
    Rpush 
    在列表中添加一个或多个值 
   
 
   
 
    Lpop 
    移出并获取列表的第一个元素 
   
 
   
 
    Rpop 
    移除列表的最后一个元素,返回值为移除的元素 
   
 
   
 
    Lrange 
    获取所有(一个或多个)给定key的值 
   
 
   
 
 
 
3. Set
 
 
定义
 
 
 
  
Set就是一个集合，集合的概念就是一堆不重复值的组合。利用Reds提供的Set数据结构，可以存储一些集合性的数据。
 
  
使用场景：实现如共同关注，共同喜好，二度好友
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Sadd 
    向集合中添加一个或多个成员 
   
 
   
 
    Spop 
    移除并返回集合中的一个随机元素 
   
 
   
 
    Smembers 
    返回集合中的所有成员 
   
 
   
 
    Sunion 
    返回所有给定集合的并集 
   
 
   
 
 
 
4. Sorted set
 
 
定义
 
 
 
  
Sorted set的使用场景与set类似，区别是set不是自动有序的，而sorted set可以通过用户额外提供一个优先级（score）的参数来为成员排序，并且是插入有序的，即自动排序。
 
  
使用场景：排行榜、按照用户投票和时间排序
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Zadd 
    向有序集合添加一个或多个成员,或者更新已存在成员的分数 
   
 
   
 
    Zrange 
    通过索引区间返回有序集合中指定区间内的成员 
   
 
   
 
    Zrem 
    移除有序集合中的一个或多个成员 
   
 
   
 
    Zcard 
    获取有序集合的成员数 
   
 
   
 
 
 
5. Hash
 
 
定义
 
 
 
  
Hash是一个sting类型的field和value的映射表
 
  
使用场景：存储部分变更数据，如用户信息
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    Zadd 
    获取存储在哈希表中指定字段的值 
   
 
   
 
    Zrange 
    将哈希表key中的字段field的值设为value 
   
 
   
 
    Hgetall 
    获取在哈希表中指定key的所有字段和值 
   
 
   
 
 
 
6. GEO
 
 
定义
 
 
 
  
GEO3.2版本开始对GEO(地理位置)的支持
 
  
使用场景：LBS应用开发
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    GEOADD 
    增加地理位置的坐标,可以批量添加地理位置 
   
 
   
 
    GEODIST 
    获取两个地理位置的距离 
   
 
   
 
    GEOHASH 
    获取某个地理位置的geohash值 
   
 
   
 
    GEOPOS 
    获取指定位置的坐标,可以批量获取多个地理位置的坐标 
   
 
   
 
    GEORADIUS 
    根据给定地理位置坐标获取指定范围内的地理位置集合(注意:该命令的中心点由输入的经度和结度决定) 
   
 
   
 
    GEORADIUSBYMEMBER 
    根据给定成员的位置获取指定范围内的位置信息集合(注意:该命令的中心点足由给定的位置元素决定) 
   
 
   
 
 
 
7. Stream
 
 
定义
 
 
 
  
Stream5.0版本开始的新结构“流”
 
  
使用场景:消费者生产者场景(类似MO)
 
 
 
 
常用命令
 
 
 
   
   
 
    命令 
    作用 
   
 
   
   
   
 
    XADD 
    增加地理位置的坐标,可以批量添加地理位置 
   
 
   
 
    XLEN 
    stream流中的消息数量 
   
 
   
 
    XDEL 
    删除流中的消息 
   
 
   
 
    XRANGE 
    返回流中满足给定ID范围的消息 
   
 
   
 
    XREAD 
    从一个或者多个流中读取消息 
   
 
   
 
    XINFO 
    检索关于流和关联的消费者组的不同的信息 
   
 
   
 
 
 
5.1.4 持久化机制
 
 
1. 介绍
 
 

   redis的数据都存放在内存中，如果没有配置持久化，重启后数据就全丢失，于是需要开启redis的持久化功能，将数据保存到磁盘上，当redis重启后,可以从磁盘中恢复数据 
 
 
 
2. 持久化方式
 
 
 
  
     
   
  1. RDB持久化：RDB持久化方式能够在指定的时间间隔对你的数据进行快照存储
    2.  
   
  2. AOF持久化： AOF持久化方式记录每次对服务器写的操作,当服务器重后的时候会重新执行这些命令来恢复原始的数据
    3.  
  
 
 
 
 
3.RDB方式
 
 
 
  
客户端直接通过命令BGSAVE或者SAVE来创建一个内存快照：
 
  
     
   
  1. BGSAVE调用fork来创建一个子进程，子进程负责将快照写入磁盘,而父进程仍然继续处理命令。
    2.  
   
  2. SAVE执行SAVE命令过程中,不再响应其他命令。
    3.  
  
 
 
 
 
在redis.conf中调整save配置选项，当在规定的时间内，redis发生了写操作的个数满足条件会触发BGSAVE命令
 
 
#900秒之内至少一次写操作
save 900 1
#300秒之内至少发生10次写操作
save 300 10
 
 
优缺点
 
 
 
   
   
 
    优点 
    缺点 
   
 
   
   
   
 
    对性能影响最小 
    同步时丢失数据 
   
 
   
 
    RDB文件进行数据恢复比使用AOF要快很多 
    如果数据集非常大且CPU不够强(比如单核CPU)，Redis在fork子进程时可能会消耗相对较长的时间,影响RediS对外提供服务的能力 
   
 
   
 
 
 
4. AOF持久化方式
 
 
开启AOF持久化 
 
 
appendonty yes
 
 
AOF策略调整
 
 
#每次有数据修改发生时都会写入AOF文件
appendfsync always
#每秒钟同步一次,该策略为AOF的默认策略
appendfsync everysec
#从不同步。高效但是数据不会被持久化
appendfsync no
 
 
优点
 
 
 
   
   
 
    优点 
    缺点 
   
 
   
   
   
 
    最安全 
    文件体积大 
   
 
   
 
    容灾 
    性能消耗比RDB高 
   
 
   
 
    易读,可修改 
    数据恢复速度比RDB慢 
   
 
   
 
 
 
5.1.5 内存管理
 
 
1、内存分配
 
 
不同数据类型的大小限制：
 
 
 
  
Strings类型：一个Strings类型的Value最大可以存储512M。
 
  
Lists类型：list的元素个数最多为2^32-1个
 
  
Sets类型：元素个数最多为2^32-1个
 
  
Hashes类型：键值对个数最多为2^32-1个
 
 
 
 
最大内存控制：
 
 
 
  
maxmemory 最大内存阈值
 
  
maxmemory-policy 到达阈值的执行策略
 
 
 
 
2、内存压缩
 
 
#配置字段最多512个
hash-max-zipmap-entries 512
#配置value最大为64字节
hash-max-zipmap-value 64
#配置元素个数最多512个
lst-max-zipmap-entries 512
#配置value最大为64字节
list-max-zipmap-value 64
#配置元素个数最多512个
set-max-zipmap-entries 512
 
 
大小超出压缩范围，溢出后redis将自动将其转换为正常大小
 
 
3、过期数据的处理策略
 
 
主动处理(redis主动触发检测key足否过期)每秒抗行10次。过程如下：
 
 
 
  
     
   
  1. 从具有相关过期的key集合中测试20个随机key
    2.  
   
  2. 删除找到的所有已过期key
    3.  
   
  3. 如果超过25%的key已过期,请从步骤1重新开始
    4.  
  
 
 
 
 
被动处理:
 
 
 
  
     
   
  1. 每次访问key的时候，发现超时后被动过期，清理掉
    2.  
  
 
 
 
 
数据恢复阶段过期数据的处理策略：
 
 
 
  
RDB方式：过期的Key不会被持久化到文件中。载入时过期的key，会通过redis的主动和被动方式清理掉。
 
  
AOF方式：每次遇到过期的key，redis会追加一条DEL命令到AOF文件，也就是说只要我们顺序载入执行AOF命令文件就会删除过期的key
 
  
注意：过期数据的计算和计算机本身的时间是有直接联系的!
 
 
 
 
Redis内存回收策略：
 
 
 
  
配置文件中设置：maxmemory-poIicy noeviction
 
  
命令动态调整：config set maxmemory-policy noeviction
 
 
 
 
 
   
   
 
    回收策略 
    说明 
   
 
   
   
   
 
    noeviction 
    客户端尝试执行会让更多内存被使用的命令直接报错 
   
 
   
 
    allkeys-lru 
    在所有key里执行LRU算法清除 
   
 
   
 
    volatile-lru 
    在所有已经过期的key里执行LRU算法清除 
   
 
   
 
    allkeys-lfu 
    在所有key里执行LFU算法清除 
   
 
   
 
    volatile-lfu 
    在所有已经过期的key里执行LFU算法清除 
   
 
   
 
    allkeys-random 
    在所有key里随机回收 
   
 
   
 
    volatile-random 
    在已经过期的key里随机回收 
   
 
   
 
    volatile-ttl 
    回收已经过期的key，并且优先回收存活时间(TTL)较短的key 
   
 
   
 
 
 
4、LRU算法
 
 
LRU(最近最少使用)：根据数据的历史访问记录来进行沟汰数据
 
 
 
  
核心思想：如果数据最近被访问过，那么将来被访问的几率也更高。
 
  
注意：Redis的LRU算法并非完整的实现，完整的LRU实现需要太多的内存。
 
  
方法：通过对少量keys进行取样(50%)，然后回收其中一个最好的key。
 
  
配置方式：maxmemory-samples 5
 
 
 
 
5、LFU算法
 
 
LFU：根据数据的历史访问频率来沟汰数据
 
 
 
  
核心思想：如果数据过去被访问多次,那么将来被访问的频率也更高。
 
  
启用LFU算法后，可以使用热点数据分析功能。
 
 
 
 
5.1.6 主从复制
 
 
1、介绍
 
 
为什么要主从复制
 
 
 
  
redis-server单点故障
 
  
单节点QPS有限
 
 
 
 
应用场景分析
 
 
 
  
读写分离场景，规避redis单机瓶颈
 
  
故障切换，master出问题后还有slave节点可以使用
 
 
 
 
2、搭建主从复制
 
 
主Redis Server以普通模式启动，主要是启动从服务器的方式
 
 
     
  
  1. 命令行
    #连接需要实现从节点的rediS,执行下面的命令
slaveof [ip] [port]
    2.  
 
 
 
     
  
  1. redis.conf配置文件
    #配置文件中增加
slaveof [ip] [port]
#从服务器是否只读(默认yes)
slave-read-only yes
    2.  
  
  2. 退出主从集群的方式
    slaveof no one
    3.  
 
 
 
3、检查主从复制
 
 
#redis客户端执行
info replication
 
 
4、主从复制流程
 
 
 
  
     
   
  1. 从服务器通过psync命令发送服务器已有的同步进度(同步源ID，同步进度offset)
    2.  
   
  2. master收到请求，同步源为当前master，则根据偏移量增量同步
    3.  
   
  3. 同步源非当前master，则进入全量同步：maser生成rdb，传输到slave，加载到slave内存
    4.  
  
 
 
 
 
5、主从复制核心知识
 
 
 
  
     
   
  1. Redis默认使用异步复制，slave和master之间异步地确认处理的数据量
    2.  
   
  2. 一个master可以拥有多个slave
    3.  
   
  3. Slave可以接受其他slave的连接。slave可以有下级sub slave
    4.  
   
  4. 主从同步过程在master侧是非阻塞的
    5.  
   
  5. slave初次同步需要删除旧数据，加载新数据，会阻塞到来的连接请求
    6.  
  
 
 
 
 
6、应用场景
 
 
 
  
     
   
  1. 主从复制可以用来支持读写分离
    2.  
   
  2. slave服务器设定为只读，可以用在数据安全的场景下。
    3.  
   
  3. 可以使用主从复制来避免master持久化造成的开销。master关闭持久化，slave设置为不定期保存或开启AOF
    4.  
   
  4. 注意：重新启动的master程序将从一个空数据集开始,如果一个slave试图与它同步，那么这个slave也会被清空。
    5.  
  
 
 
 
 
7、注意事项
 
 
     
  
  1. 读写分离场景:
     
   
     
    
    数据复制延时导致读到过期数据或者读不到数据(网络原因，slave阻塞)
     
    
    从节点故障(多个client如何迁移)
     
   
    2.  
  
  2. 全量复制情况下:
     
   
     
    
    第一次建立主从关系或者runid不匹配会导致全量复制
     
    
    故障转移的时候也会出现全量复制
     
   
    3.  
  
  3. 复制风暴:
     
   
     
    
    master故障重启，如果slave节点过多，所有slave都要复制，对服务器的性能，网络的压力都有很大影响。
     
    
    如果一个机器部署了多个master
     
   
    4.  
  
  4. 写能力有限
     
   
    
     主从复制还是只有一台master，提供的写服务能力有限 
   
    5.  
  
  5. master故障情况下:
     
   
     
    
    如果是mater无持久化，Slave开启持久化来保留数据的场展，建议不要配置redis自动重启。
     
    
    启动redis自动重启，master启动后，无备份数据，可能导致集群数据丢失的情况
     
   
    6.  
  
  6. 带有效期的key:
     
   
     
    
    Slave不会让key过期，而是等待master让key过期
     
    
    在Lua脚本执行期间，不执行任何key过期操作
     
   
    7.  
 
 
 
5.1.7 哨兵模式
 
 
1、哨兵(Sentinel)机制核心作用
 
 
面试题之java缓存总结，从单机缓存到分布式缓存架构_第1张图片
 
 
2、核心运作流程
 
 
服务发现和健康检查流程
 
 

   搭建redis主从集群 ==> 启动哨兵(客户端通过哨兵发现Redis实例信息) ==> 哨兵通过连接master发现主从集群内的所有实例信息 ==> 哨兵监控redis实例的健康状况 
 
 
 
故障切换流程
 
 

   哨兵一旦发现master不能正常提供服务，则通知给其他哨兵 ==> 当一定数量的哨兵都认为master挂了 ==> 选举一个哨兵作为故障转移的执行者 ==> 执行者在slave中选取一个作为新的master ==> 将其他slave重新设定为新master的从属 
 
 
 
3、哨兵如何知道Redis主从信息
 
 

   哨兵配置文件中，保存着主从集群中master的信息，可以通过info replication命令，进行主从信息自动发现。 
 
 
 
4、什么是主观下线(sdown)
 
 
 
  
主观下线：单个哨兵自身认为redis实例已经不能提供服务
 
  
检测机制：哨兵向redis发送ping请求，+PONG，-LOADING，-MASTERDOWN三种情况视为正常，其他回复均视为无效
 
  
对应配置文件的配置项：sentinel down-after-milliseconds mymaster 1000
 
 
 
 
5、什么是客观下线(odown)
 
 
 
  
客观下线：一定数量值的哨兵认为master已经下线。
 
  
检测机制：当哨兵主观认为maser下线后，则会通过SENTINEL is-master-down-by-addr命令询问其他哨兵是否认为master已经下线，如果达成共识（达到quorum个数），就会认为master节点客观下线，开始故障转移流程
 
  
对应配置文件的配置项：sentinel monitor mymaster 1.0.0.1 6380 2
 
 
 
 
6、哨兵之间如何通信
 
 
     
  
  1. 哨兵之间的自动发现：发布自己的信息，订阅其他哨兵消息（pub/sub）
    2.  
  
  2. 哨兵之间通过命令进行通信：直连发送命令
    3.  
  
  3. 哨兵之间通过订阅发布进行通信：相互订阅指定主题（pub/sub）
    4.  
 
 
 
7、哨兵领导选举机制
 
 
基于Raft算法实现的选举机制，流程简述如下:
 
 
     
  
  1. 拉票阶段：每个哨兵节点希望自己成为领导者;
    2.  
  
  2. Sentinel节点收到拉票命令后，如果没有收到或同意过其他sentinel节点的请求，就同意该sentinel节点的请求(每个sentinel只持有一个同意票数)
    3.  
  
  3. 如果sentinel节点发现自己的票数已经超过一半的数值，那么它将成为领导者，去执行故障转移
    4.  
  
  4. 投票结束后，如果超过failover-timeout的时间内，没进行实际的故障转移操作，则重新拉票选举。
    5.  
 
 
 
8、slave选举方案
 
 

   slave节点状态 > 优先级 > 数据同步情况 > 最小的run id 
 
 
 
9、最终主从切换的过程
 
 
 
  
针对即将成为master的slave节点，将其撒出主从集群，自动执行：slaveof NO ONE
 
  
针对其他slave节点，使它们成为新master的从属，自动执行：slaveof new_master_host new_master_port
 
 
 
 
10、哨兵服务部署方案
 
 
 
  
不推荐：一主一从，两个哨兵
 
  
推荐：一主两从，三个哨兵
 
  
redis集群非强一致：一主两从,网络分区下可能出现数据不一致或丢失。
 
 
 
 
5.1.8 redis集群分片存储
 
 
1、为什么要分片存储
 
 

   redis的内存需求可能超过机器的最大内存。(一台机器不够用) 
 
 
 
2、官方集群方案
 
 
 
  
redis cluster是redis的分布式集科解决方案，在3.0版本推出后有效地解决了redis分布式分面的需求，实现了数据在多个Redis节点之间自动分片,故障自动转移,扩容机制等功能。
 
  
主要基于CRC16(key) % 16384 计算出每个key对应的slot，然后根据redis集群中实例的预设槽slot（16384个）进行对应的操作，slot不存储数据，仅仅用来做片区划分。
 
 
 
 
#### 3、搭建集群
 
 
 
  
     
   
  1. 准备6个独立的redis服务
    2.  
   
  2. 通过redis-cli工具创建集群
    3.  
   
  3. 检验集群
    4.  
   
  4. 故障转移测试
    5.  
   
  5. 集群扩容
    6.  
   
  6. 集群节点删除
    7.  
  
 
 
 
 
4、集群关心的问题
 
 
     
  
  1. 增加了slot槽的计算,是不是比单机性能差?
     
   
    
     不是的，为了避免每次都需要服务器计算重定向，优秀的Java客户端都实现了本地计算，并且缓存服务器slots分配，有变动时再更新本地内容，从而避免了多次重定向带来的性能损耗。 
   
    2.  
  
  2. redis集群大小,到底可以装多少数据?
     
   
    
     理论是可以做到16384个槽，每个槽对应一个实例，但是redis宫方建议是最大1000个实例，因为存储已经足够大了。 
   
    3.  
  
  3. 集群节点间是怎么通信的?
     
   
    
     每个Redis群集节点都有一个额外的TCP端口，每个节点使用TCP连接与每个其他节点连接。检测和故障转移这些步骤基本和哨兵模式类似。 
   
    4.  
  
  4. ask和moved重定向的区别
    重定向包括两种情况
     
   
     
    
    若确定slot不属于当前节点，redis会返回moved。
     
    
    若当前redis节点正在处理slot迁移，则代表此处请求对应的key暂时不在此节点，返回ask，告诉客户端本次请求重定向。
     
   
    5.  
  
  5. 数据倾斜和访问倾斜的问题
    倾斜导致集群中部分节点数据多，压力大。解决方案分为前期和后期:
     
   
     
    
    前期是业务层面提前预测，哪些key是热点，在设计的过程中规避。
     
    
    后期是slot迁移，尽量将压力分摊(slot调整有自动rebalance、reshard和手动)。
     
   
    6.  
  
  6. slot手动迁移怎么做?
     
   
     
    
       
     
    1. 在迁移目的节点执行cluster setslot  IMPORTING 命令，指明需要迁移的slot和迁移源节点。
      2.  
     
    2. 在迁移源节点执行cluster setslot  MIGRATING 命令，指明需要迁移的slot和迁移目的节点。
      3.  
     
    3. 在迁移源节点执行cluster getkeysinslot获取该slot的key列表
      4.  
     
    4. 在迁移源节点执行对每个key执行migrate命令，该命令会同步把该key迁移到目的节点。
      5.  
     
    5. 在迁移源节点反复执行cluster getkeysinslo命令，直到该slot的列表为空。
      6.  
     
    6. 在迁移源节点和目的节点执行cluster setslot  NODE ，完成迁移操作。
      7.  
    
     
   
    7.  
  
  7. 节点之间会交换信息，传递的消息包括槽的信息，带来带宽消耗。注意：避免使用大的一个集群,可以分多个集群。
    8.  
  
  8. Pub/Sub发布订阅机制：对集群内任意的一个节点执行pubish发布消息，这个消息会在集群中进行传播，其他节点都接收到发布的消息。
    9.  
  
  9. 读写分离：
     
   
     
    
    redis-cluster默认所有从节点上的读写，都会重定向到key对应槽的主节点上。
     
    
    可以通过readonly设置当前连接可读，通过readwrite取消当前连接的可读状态。
     
    
    注意：主从节点依然存在数据不一致的问题
     
   
    10.  
 
 
 
5.1.9 redis监控
 
 
1、monitor命令
 
 
monitor是一个调试命令，返回服务器处理的每个命令。对于发现程序的错误非常有用。出于安全考虑，某些特殊管理命令CONFIG不会记录到MONITOR输出。
 
 
注意：运行一个MONITOR命令能够降低50%的吞吐量，运行多个MONITOR命令降低的吞吐量更多。
 
 
2、info命令
 
 
INFO命令以一种易于理解和阅读的格式，返回关于Redis服务器的各种信息和统计数值。
 
 
 
   
   
 
    info命令 
    返回信息 
   
 
   
   
   
 
    server 
    Redis服务器的一般信息 
   
 
   
 
    clients 
    客户端的连接部分 
   
 
   
 
    memory 
    内存消耗相关信息 
   
 
   
 
    persistence 
    持久化相关信息 
   
 
   
 
    stats 
    一般统计 
   
 
   
 
    replication 
    主/从复制信息 
   
 
   
 
    cpu 
    统计CPU的消耗 
   
 
   
 
    commandstats 
    Redis命令统计 
   
 
   
 
    cluster 
    Redis集群信息 
   
 
   
 
    keyspace 
    数据库的相关统计 
   
 
   
 
 
 
可以通过section返回部分信息，如果没有使用任何参数时，默认为detault。
 
 
3、图形化监控工具： Redis-Live
 
 
5.2 memcached入门
 
 
由于memcached慢慢淡出了人们的视野，使用的公司越来越少，所以这里只是做个入门介绍。
 
 
1、简介
 
 
是一个免费开源的、高性能的、具有分布式内存对象的缓存系统，它通过减轻数据库负载加速动态web应用。
 
 
 
  
本质上就是一个内存key-Value缓存
 
  
协议简单，使用的是基于文本行的协议
 
  
不支持数据的持久化，服务器关闭之后数据全部丢失
 
  
Memcached简洁而强大，便于快速开发，上手较为容易
 
  
没有安全机制
 
 
 
 
2、设计理念
 
 
     
  
  1. 简单的键/值存储：服务器不关心你的数据是什么样的，只管数据存储
    2.  
  
  2. 服务端功能简单，很多逻辑依赖客户端实现
     
   
     
    
    客户端专注如何选择读取或写入的服务器，以及无法联系服务器时要执行的操作。
     
    
    服务器专注如何存储和管理何时清除或重用内存
     
   
    3.  
  
  3. Memcached实例之间没有通信机制
    4.  
  
  4. 每个命令的复杂度为0(1)：慢速机器上的查询应该在1ms以下运行。高端服务器的吞吐量可以达到每秒数百万
    5.  
  
  5. 缓存自动清除机制
    6.  
  
  6. 缓存失效机制
    7.  
 
 
 
3、常用命令
 
 
 
   
   
 
    分组 
    命令 
    描述 
   
 
   
   
   
 
    存储命令 
    set 
    用于将value存储在指定的key中。key已经存在，更新该key所对应的原来的数据。 
   
 
   
 
      
    add 
    用于将value存储在指定的key中，存在则不更新。 
   
 
   
 
      
    replace 
    替换已存在的key的Value，不存在，则替换失败。 
   
 
   
 
      
    append 
    用于向已存在key的value后面追加数据 
   
 
   
 
      
    prepend 
    向已存在key的value前面追加数据 
   
 
   
 
      
    cas 
    比较和替换，比对后，没有被其他客户端修改的情况下才能写入。 
   
 
   
 
    检索命令 
    get 
    获取存储在key中的value，不存在，则返回空。 
   
 
   
 
      
    gets 
    获取带有CAS令牌存的value，若key不存在，则返回为空 
   
 
   
 
    删除 
    delete 
    删除已存在的key 
   
 
   
 
    计算 
    incr/decr 
    对已存在的key的数字值进行自增或自减操作 
   
 
   
 
    统计 
    stats 
    返回统计信息如PID(进程号)、版本号、连接数等 
   
 
   
 
      
    stats items 
    显示各个slab中item的数目和存储时长(最后一次访问距离现在的秒数) 
   
 
   
 
      
    stats slabs 
    显示各个slab的信息，包括chunk的大小、数目、使用情况等。 
   
 
   
 
      
    stats sizes 
    显示所有item的大小和个数 
   
 
   
 
    清除 
    flush_all 
    清除所有内容 
   
 
   
 
 
 
4、客户端使用
 
 
客户端支持的特性：集群下多服务器选择，节点权重配置，失败/故障转移，数据压缩，连接管理
 
 
5、服务端配置
 
 
     
  
  1. 命令行参数
     
   
    
     查看memcached-h或man memcached获取最新文档 
   
    2.  
  
  2. init脚本
     
   
    
     如果通过yum应用商店安装，可以使用/etc/sysconfig/memcached文件进行参数配置 
   
    3.  
  
  3. 检查运行配置
     
   
    
     stats settings查看运行中的memcached的配置 
   
    4.  
 
 
 
6、memcached性能
 
 
Memcached性能的关键是硬件，内部实现是hash表，读写操作都是0(1)。硬件好，几百万的OPS都是没问题的。
 
 
最大连接数限制：内部基于事件机制(类似JAVA NIO)所以这个限制和nio类似，只要内存，操作系统参数进行调整，轻松几十万。
 
 
集群节点数量限制：理论是没限制的，但是节点越多，客户端需要建立的连接就会越多。
 
 
注意：memcached服务端没有分布式的功能，所以不论是集群还是主从备份，都需要第三方产品支持。
 
 
7、服务器硬件需要
 
 
CPU要求：CPU占用率低，默认为4个工作线程
 
 
内存要求：
 
 
 
  
memcached内容存在内存里面，所有内存使用率高。
 
  
建议memcached实例独占服务器,而不是混用。
 
  
建议每个memcached实例内存大小都足一致的，如果不一致则需要进行权重调整
 
 
 
 
网络要求：
 
 
 
  
根据项目传输的内容来定，网络越大越好，虽然通常10M就够用了
 
  
建议:项目往memcached传输的内容保持尽可能的小
 
 
 
 
8、Memcached应用场景
 
 
 
  
     
   
  1. 数据查询缓存：将数据库中的数据加载到memcached，提供程序的访问速度
    2.  
   
  2. 计数器的场景：通过incr/decr命令实现评论数量、点击数统计，操作次数等等场景。
    3.  
   
  3. 乐观锁实现：例如计划任务多实例部暑的场景下，通过CAS实现不重复执行
    4.  
   
  4. 防止重复处理：CAS命令
    5.  
  
 
 
 
 
5.3 互联网高并发缓存架构
 
 
5.3.1 缓存架构分析图
 
 
在这里插入图片描述
 
 
5.3.2 缓存雪崩
 
 
定义：因为缓存服务挂掉或者热点缓存失效，从而导致所有请求都去查数据库，导致数据库连接不够用或者数据库处理不过来，从而导致整个系统不可用。
 
 
常用解决方案：
 
 
 
  
     
   
  1. 缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。
    2.  
   
  2. 缓存降级，直接返回错误码；
    3.  
   
  3. 加锁实现防止大量请求堆到数据库。
    4.  
   
  4. 设置热点数据永远不过期，防止了自动失效的情况，通过其他后台检查程序，防止缓存数据和数据库长期不同步
    5.  
  
 
 
 
 
5.3.2 缓存击穿
 
 
定义：查询必然不存在的数据，请求透过Redis，直击数据库。
 
 
常用解决方案：
 
 
 
  
     
   
  1. 用户内容预生成。
    2.  
   
  2. 访问频率限制。
    3.  
   
  3. 缓存中无数据，也不查询数据库，直接返回错误码。
    4.  
   
  4. 布隆过滤器
    5.  
  
 
 
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(javaredis缓存)

        

            

                
    
                    
  • Long类型前后端数据不一致
                        igotyback
前端
                        
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    
                    
    • 
                    
  • LocalDateTime 转 String
                        igotyback
java开发语言
                        
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
    
                    
    • 
                    
  • Linux下QT开发的动态库界面弹出操作（SDL2）
                        13jjyao
QT类qt开发语言sdl2linux
                        
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
    
                    
    • 
                    
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
                        STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
                        
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    
                    
    • 
                    
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team
                        若博豆
java算法华为javascript
                        
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
    
                    
    • 
                    
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript
                        二挡起步
web前端期末大作业javascripthtmlcss旅游风景
                        
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
    
                    
    • 
                    
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
                        二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
                        
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    
                    
    • 
                    
  • node.js学习
                        小猿L
node.jsnode.js学习vim
                        
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
    
                    
    • 
                    
  • Java 重写(Override)与重载(Overload)
                        叨唧唧的

                        
    Java重写(Override)与重载(Overload)重写(Override)重写是子类对父类的允许访问的方法的实现过程进行重新编写,返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如：父类的一个方法申明了一个检查异常IOExceptio
    
                    
    • 
                    
  • 简单了解 JVM
                        记得开心一点啊
jvm
                        
    目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
    
                    
    • 
                    
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven
                        Energet!c
开发语言
                        
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
    
                    
    • 
                    
  • Java企业面试题3
                        马龙强_
java
                        
    1.break和continue的作用(智*图)break：用于完全退出一个循环（如for,while）或一个switch语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在for循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。2.if分支语句和switch分
    
                    
    • 
                    
  • JVM、JRE和 JDK：理解Java开发的三大核心组件
                        Y雨何时停T
Javajava
                        
    Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
    
                    
    • 
                    
  • Java面试题精选：消息队列(二)
                        芒果不是芒
Java面试题精选javakafka
                        
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
    
                    
    • 
                    
  • 白骑士的Java教学基础篇 2.5 控制流语句
                        白骑士所长
Java教学java开发语言
                        
    欢迎继续学习Java编程的基础篇！在前面的章节中，我们了解了Java的变量、数据类型和运算符。接下来，我们将探讨Java中的控制流语句。控制流语句用于控制程序的执行顺序，使我们能够根据特定条件执行不同的代码块，或重复执行某段代码。这是编写复杂程序的基础。通过学习这一节内容，你将掌握如何使用条件语句和循环语句来编写更加灵活和高效的代码。条件语句条件语句用于根据条件的真假来执行不同的代码块。if语句‘
    
                    
    • 
                    
  • python语法——三目运算符
                        HappyRocking
pythonpython三目运算符
                        
    在java中，有三目运算符，如：intc=(a>b)?a:b表示c取两者中的较大值。但是在python，不能直接这样使用，估计是因为冒号在python有分行的关键作用。那么在python中，如何实现类似功能呢？可以使用ifelse语句，也是一行可以完成，格式为：aifbelsec表示如果b为True，则表达式等于a，否则等于c。如：c=(aif(a>b)elseb)同样是完成了取最大值的功能。
    
                    
    • 
                    
  • ArrayList 源码解析
                        程序猿进阶
Java基础ArrayListListjava面试性能优化架构设计idea
                        
    ArrayList是Java集合框架中的一个动态数组实现，提供了可变大小的数组功能。它继承自AbstractList并实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量capacity，表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添
    
                    
    • 
                    
  • Java爬虫框架（一）--架构设计
                        狼图腾-狼之传说
java框架java任务html解析器存储电子商务
                        
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    
                    
    • 
                    
  • Java：爬虫框架
                        dingcho
Javajava爬虫
                        
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
    
                    
    • 
                    
  • python怎么将png转为tif_png转tif
                        weixin_39977276

                        
    发国外的文章要求图片是tif，cmyk色彩空间的。大小尺寸还有要求。比如网上大神多，找到了一段代码，感谢！https://www.jianshu.com/p/ec2af4311f56https://github.com/KevinZc007/image2Tifimportjava.awt.image.BufferedImage;importjava.io.File;importjava.io.Fi
    
                    
    • 
                    
  • JavaScript 中，深拷贝（Deep Copy）和浅拷贝（Shallow Copy）
                        跳房子的前端
前端面试javascript开发语言ecmascript
                        
    在JavaScript中，深拷贝（DeepCopy）和浅拷贝（ShallowCopy）是用于复制对象或数组的两种不同方法。了解它们的区别和应用场景对于避免潜在的bugs和高效地处理数据非常重要。以下是对深拷贝和浅拷贝的详细解释，包括它们的概念、用途、优缺点以及实现方式。1.浅拷贝（ShallowCopy）概念定义：浅拷贝是指创建一个新的对象或数组，其中包含了原对象或数组的基本数据类型的值和对引用数
    
                    
    • 
                    
  • JAVA·一个简单的登录窗口
                        MortalTom
java开发语言学习
                        
    文章目录概要整体架构流程技术名词解释技术细节资源概要JavaSwing是Java基础类库的一部分，主要用于开发图形用户界面（GUI）程序整体架构流程新建项目，导入sql.jar包（链接放在了文末），编译项目并运行技术名词解释一、特点丰富的组件提供了多种可视化组件，如按钮（JButton）、文本框（JTextField）、标签（JLabel）、下拉列表（JComboBox）等，可以满足不同的界面设计
    
                    
    • 
                    
  • WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
    
                    
    • 
                    
  • 博客网站制作教程
                        2401_85194651
javamaven
                        
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
    
                    
    • 
                    
  • 00. 这里整理了最全的爬虫框架（Java + Python）
                        有一只柴犬
爬虫系列爬虫javapython
                        
    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
    
                    
    • 
                    
  • JAVA学习笔记之23种设计模式学习
                        victorfreedom
Java技术设计模式androidjava常用设计模式
                        
    博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
    
                    
    • 
                    
  • JavaScript `Map` 和 `WeakMap`详细解释
                        跳房子的前端
JavaScript原生方法javascript前端开发语言
                        
    在JavaScript中，Map和WeakMap都是用于存储键值对的数据结构，但它们有一些关键的不同之处。MapMap是一种可以存储任意类型的键值对的集合。它保持了键值对的插入顺序，并且可以通过键快速查找对应的值。Map提供了一些非常有用的方法和属性来操作这些数据对：set(key,value):将一个键值对添加到Map中。如果键已经存在，则更新其对应的值。get(key):获取指定键的值。如果键
    
                    
    • 
                    
  • 切换淘宝最新npm镜像源是
                        hai40587
npm前端node.js
                        
    切换淘宝最新npm镜像源是一个相对简单的过程，但首先需要明确当前淘宝npm镜像源的状态和最新的镜像地址。由于网络环境和服务更新，镜像源的具体地址可能会发生变化，因此，我将基于当前可获取的信息，提供一个通用的切换步骤，并附上最新的镜像地址（截至回答时）。一、了解npm镜像源npm（NodePackageManager）是JavaScript的包管理器，用于安装、更新和管理项目依赖。由于npm官方仓库
    
                    
    • 
                    
  • 【Java】已解决：java.util.concurrent.CompletionException
                        屿小夏
java开发语言
                        
    文章目录一、分析问题背景出现问题的场景代码片段二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：java.util.concurrent.CompletionException一、分析问题背景在Java并发编程中，java.util.concurrent.CompletionException是一种常见的运行时异常，通常在使用CompletableFuture进行异步计算时出现
    
                    
    • 
                    
  • 设计模式之建造者模式(通俗易懂--代码辅助理解【Java版】）
                        ok!ko
设计模式设计模式建造者模式java
                        
    文章目录设计模式概述1、建造者模式2、建造者模式使用场景3、优点4、缺点5、主要角色6、代码示例：1）实现要求2）UML图3)实现步骤：1）创建一个表示食物条目和食物包装的接口2）创建实现Packing接口的实体类3）创建实现Item接口的抽象类，该类提供了默认的功能4）创建扩展了Burger和ColdDrink的实体类5）创建一个Meal类，带有上面定义的Item对象6）创建一个MealBuil
    
                    
    • 
                                
  • ASM系列五 利用TreeApi 解析生成Class
                                    lijingyao8206
ASM字节码动态生成ClassNodeTreeAPI
                                    
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。 
         在介绍前，先要知道一点， Tree工程的接口基本可以完
    
                                
    • 
                                
  • 链表树——复合数据结构应用实例
                                    bardo
数据结构树型结构表结构设计链表菜单排序
                                    
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 
需求简介： 
经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
    
                                
    • 
                                
  • 为啥要用位运算代替取模呢
                                    chenchao051
位运算哈希汇编
                                    
      
  在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧， 
  
  JDK6中的HashMap中的indexFor方法： 
    /**
     * Returns index for hash code h.
     */
    static int indexFor(int h, int length) {

    
                                
    • 
                                
  • 最近的情况
                                    麦田的设计者
生活感悟计划软考想
                                    
          今天是2015年4月27号 
     整理一下最近的思绪以及要完成的任务 
            1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
    
                                
    • 
                                
  • PHP去掉字符串中最后一个字符的方法
                                    IT独行者
PHP字符串
                                    
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： 
$str = "1,2,3,4,5,6,";
$newstr = substr($str,0,strlen($str)-1);
echo $newstr; 
    
                                
    • 
                                
  • hadoop在linux上单机安装过程
                                    _wy_
linuxhadoop
                                    
    1、安装JDK 
    jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行： 
   export JAVA_HOME=/usr/java/jdk1.7.0_25  
    
                                
    • 
                                
  • JAVA进阶----分布式事务的一种简单处理方法
                                    无量
多系统交互分布式事务
                                    
    每个方法都是原子操作： 
 
提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 
 
A系统调用B,C,D系统完成分布式事务 
 
 
=========执行开始======== 
A.aa(); 
 
try { 
 B.bb(); 
} catch(Exception e) { 
 A.rollbackAa(); 
} 
 
try { 
 C.cc(); 
} catch(Excep
    
                                
    • 
                                
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉
                                    矮蛋蛋
hadoop互联网
                                    
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 
 
　　到底什么是移动DSP呢? 
 
　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广 
    
                                
    • 
                                
  • myelipse设置
                                    alafqq
IP
                                    
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 
 
 
 
注释模板导入步骤  
 
 
 
安装方法： 
打开eclipse/myeclipse 
选择 window-->Preferences-->JAVA-->Code-->Code 
    
                                
    • 
                                
  • java数组
                                    百合不是茶
java数组
                                    
    java数组的   声明  创建  初始化；   java支持C语言 
   
  
数组中的每个数都有唯一的一个下标 
  一维数组的定义   声明：  int[] a = new int[3];声明数组中有三个数int[3]    
int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数


    
                                
    • 
                                
  • javascript读取表单数据
                                    bijian1013
JavaScript
                                    
    利用javascript读取表单数据，可以利用以下三种方法获取： 
1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 
2、通过表单名称属性：var b = document.getElementsByName("name"); 
3、直接通过表单名字获取：var c = form.content.
    
                                
    • 
                                
  • 探索JUnit4扩展：使用Theory
                                    bijian1013
javaJUnitTheory
                                    
    理论机制（Theory） 
一.为什么要引用理论机制（Theory） 
        当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 
TDD 的优点： 
    &nb
    
                                
    • 
                                
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB
                                    bit1129
template
                                    
    什么是Spring Data Mongo 
Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 
1. 封装客户端跟MongoDB的链接管理 
2. 文档-对象映射，通过注解:@Document(collectio
    
                                
    • 
                                
  • 【Kafka八】Zookeeper上关于Kafka的配置信息
                                    bit1129
zookeeper
                                    
    问题： 
1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 
3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 
4. Producer跟Zookeeper究竟有没有关系？没有关系！！！ 
  
//consumers、config、brokers、cont
    
                                
    • 
                                
  • java OOM内存异常的四种类型及异常与解决方案
                                    ronin47
java OOM 内存异常
                                    
          　OOM异常的四种类型： 
　　　 
　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。 
  
  　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
    
                                
    • 
                                
  • java-实现链表反转-递归和非递归实现
                                    bylijinnan
java
                                    
    20120422更新： 
对链表中部分节点进行反转操作，这些节点相隔k个： 
0->1->2->3->4->5->6->7->8->9 
k=2 
8->1->6->3->4->5->2->7->0->9 
注意1 3 5 7 9 位置是不变的。 
解法： 
将链表拆成两部分： 
a.0-&
    
                                
    • 
                                
  • Netty源码学习-DelimiterBasedFrameDecoder
                                    bylijinnan
javanetty
                                    
     看DelimiterBasedFrameDecoder的API，有举例： 
 接收到的ChannelBuffer如下： 
 
 +--------------+
 | ABC\nDEF\r\n |
 +--------------+ 
 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： 
 
 +-----+----
    
                                
    • 
                                
  • linux的一些命令 -查看cc攻击-网口ip统计等
                                    hotsunshine
linux
                                    
    Linux判断CC攻击命令详解 
2011年12月23日 ⁄ 安全 ⁄ 暂无评论 
查看所有80端口的连接数 
 
 
netstat -nat|grep -i '80'|wc -l
对连接的IP按连接数量进行排序

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n
查看TCP连接状态

n
    
                                
    • 
                                
  • Spring获取SessionFactory
                                    ctrain
sessionFactory
                                    
    
String sql = "select sysdate from dual";
		
WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); 
String[] names = wac.getBeanDefinitionNames();
for(int i=0; i&
    
                                
    • 
                                
  • Hive几种导出数据方式
                                    daizj
hive数据导出
                                    
    Hive几种导出数据方式 
     
1.拷贝文件 
  
如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 
hadoop fs –cp source_path target_path 
  
2.导出到本地文件系统 
  
--不能使用insert into local directory来导出数据，会报错 
--只能使用
    
                                
    • 
                                
  • 编程之美
                                    dcj3sjt126com
编程PHP重构
                                    
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解 
  
header("Content-type: text/plain");
function static_function () {
    static $i = 0;
    if ($i++ < 1
    
                                
    • 
                                
  • Android保存用户名和密码
                                    dcj3sjt126com
android
                                    
    转自：http://www.2cto.com/kf/201401/272336.html 
我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 
1、通过普通 的txt文本存储 
2、通过properties属性文件进行存
    
                                
    • 
                                
  • Oracle 复习笔记之同义词
                                    eksliang
Oracle 同义词Oracle synonym
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 
1.什么是同义词 
      同义词是现有模式对象的一个别名。 
      概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
    
                                
    • 
                                
  • Ajax案例
                                    gongmeitao
Ajaxjsp
                                    
    数据库采用Sql Server2005 
项目名称为:Ajax_Demo 
1.com.demo.conn包 
package com.demo.conn; 
import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; 
//获取数据库连接的类public class DBConnec
    
                                
    • 
                                
  • ASP.NET中Request.RawUrl、Request.Url的区别
                                    hvt
.netWebC#asp.nethovertree
                                    
      
如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
    
                                
    • 
                                
  • SVG 教程 （七）SVG 实例，SVG 参考手册
                                    天梯梦
svg
                                    
    SVG 实例   在线实例 
下面的例子是把SVG代码直接嵌入到HTML代码中。 
谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 
注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。    SVG 实例 
SVG基本形状 
一个圆 
矩形 
不透明矩形 
一个矩形不透明2 
一个带圆角矩
    
                                
    • 
                                
  • 事务管理
                                    luyulong
javaspring编程事务
                                    
    事物管理 
 
spring事物的好处 
 
为不同的事物API提供了一致的编程模型 
支持声明式事务管理 
提供比大多数事务API更简单更易于使用的编程式事务管理API 
整合spring的各种数据访问抽象 
 
TransactionDefinition 
定义了事务策略 
 
int getIsolationLevel()得到当前事务的隔离级别 
 
READ_COMMITTED 
    
                                
    • 
                                
  • 基础数据结构和算法十一：Red-black binary search tree
                                    sunwinner
AlgorithmRed-black
                                    
      
The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
    
                                
    • 
                                
  • centos同步时间
                                    stunizhengjia
linux集群同步时间
                                    
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
    
                                
    • 
                                
  • ITeye 9月技术图书有奖试读获奖名单公布
                                    ITeye管理员
ITeye
                                    
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：  
  
  
《NFC：Arduino、Andro
    
                                
    •