用生命研发技术
用生命研发技术

高性能分布式缓存Redis-第三篇章

高性能分布式缓存Redis-第三篇章

  • 一、分布式锁
    • 1.1、高并发下单超卖问题
    • 1.2、何为分布式锁
    • 1.3、分布式锁特点
    • 1.4、基于Redis实现分布式锁
      • 1.4.1、实现思路：
      • 1.4.2、实现代码版本
      • 1.4.3、错误解锁问题解决
      • 1.4.4、锁续期/锁续命
      • 1.4.5、锁的可重入/阻塞锁（redisson）
    • 1.5、redisson
  • 二、布隆过滤器（BloomFilter）
    • 2.1、什么是 BloomFilter
      • 2.1.1、产生的契机
      • 2.1.2、数据结构&设计思想
      • 2.1.3、误判率问题分析
      • 2.1.4、不支持删除
      • 2.1.5、如何选择哈希函数个数和布隆过滤器长度
    • 2.2、布隆过滤器实现
      • 2.2.1、第一种方式： Guava
      • 2.2.2、第二种方式：Redisson

  • 分布式锁
  • 布隆过滤器
  • Twemproxy
  • Redis Cluster
  • Redis经典面试题分享（redis6.x）

一、分布式锁

在并发编程中，我们通过锁，来避免由于竞争而造成的数据不一致问题。通常，我们以synchronized、Lock 来使用它（单机情况）。

1.1、高并发下单超卖问题

@Autowired
RedisTemplate<String, String> redisTemplate;

String key = "maotai20210319001";//茅台商品编号

ScheduledExecutorService executorService;
ConcurrentSkipListSet<String> set = new ConcurrentSkipListSet<>();

@PostConstruct
void init() {
    redisTemplate.opsForValue().set(key, "100");

    executorService = Executors.newScheduledThreadPool(1);
    String renewlua = "" +
            "if redis.call('get',KEYS[1]) == ARGV[1] then redis.call('expire',KEYS[1],ARGV[2]) ; return true " +
            "else return false " +
            "end";
    executorService.scheduleAtFixedRate(new Runnable() {
        @Override
        public void run() {
            Iterator<String> iterator = set.iterator();
            while (iterator.hasNext()) {
                String clientid = iterator.next();
                Boolean renew = redisTemplate.execute(new RedisCallback<Boolean>() {
                    @Override
                    public Boolean doInRedis(RedisConnection redisConnection) throws DataAccessException {
                        Boolean eval = null;
                        try {
                            eval = redisConnection.eval(
                                    renewlua.getBytes(),
                                    ReturnType.BOOLEAN,
                                    1,
                                    lockKey.getBytes(),
                                    clientid.getBytes(),
                                    "5".getBytes()

                            );
                        } catch (Exception e) {
                            e.printStackTrace();
                        }
                        return eval;
                    }
                });
            }
        }
    }, 0, 1, TimeUnit.SECONDS);
}

问题分析

  • 现象：本地锁在多节点下失效(集群/分布式)

  • 原因：本地锁它只能锁住本地JVM进程中的多个线程，对于多个JVM进程的不同线程间是锁不住的

  • 解决：分布式锁（在分布式环境下提供锁服务，并且达到本地锁的效果）

1.2、何为分布式锁

  • 当在分布式架构下，数据只有一份（或有限制），此时需要利用锁的技术控制某一时刻修改数据的进程数。

  • 用一个状态值表示锁，对锁的占用和释放通过状态值来标识。

1.3、分布式锁特点

  • 互斥性：不仅要在同一jvm进程下的不同线程间互斥，更要在不同jvm进程下的不同线程间互斥。

  • 锁超时：支持锁的自动释放，防止死锁。

  • 正确，高效，高可用：解铃还须系铃人（加锁和解锁必须是同一个线程），加锁和解锁操作一定要高效，提供锁的服务要具备容错性。

  • 可重入：如果一个线程拿到了锁之后继续去获取锁还能获取到，我们称锁是可重入的（方法的递归调用）。

  • 阻塞/非阻塞：如果获取不到直接返回视为非阻塞的，如果获取不到会等待锁的释放直到获取锁或者等待超时，视为阻塞的。

  • 公平/非公平：按照请求的顺序获取锁视为公平的。

1.4、基于Redis实现分布式锁

1.4.1、实现思路：

锁的实现主要基于redis的 SETNX 命令

SETNX key value
将 key 的值设为 value ，当且仅当 key 不存在。
若给定的 key 已经存在，则 SETNX 不做任何动作。
SETNX 是『SET if Not eXists』(如果不存在，则 SET)的简写。
返回值：
设置成功，返回 1
设置失败，返回 0

使用 SETNX 完成同步锁的流程及事项如下

  1. 使用 SETNX 命令获取锁，若返回0（key已存在，锁已存在）则获取失败，反之获取成功。

  2. 为了防止获取锁后程序出现异常，导致其他线程/进程调用 SETNX 命令总是返回0而进入死锁状态，需要为该key设置一个“合理”的过期时间。

  3. 释放锁，使用 DEL 命令将锁数据删除。

1.4.2、实现代码版本

@GetMapping("/get/maotai3")
public String seckillMaotai3() {
    //先获取锁,如果能获取到则进行业务操作
//        Boolean execute = redisTemplate.execute(new RedisCallback() {
//            @Override
//            public Boolean doInRedis(RedisConnection redisConnection) throws DataAccessException {
//                Boolean aBoolean = redisConnection.setNX(lockKey.getBytes(StandardCharsets.UTF_8), "1".getBytes(StandardCharsets.UTF_8));
//                redisConnection.expire(lockKey.getBytes(StandardCharsets.UTF_8),10);
//                return aBoolean;
//            }
//        });
    String clientId = UUID.randomUUID().toString() + Thread.currentThread().getId();
    Boolean ifAbsent = redisTemplate.opsForValue().setIfAbsent(lockKey, clientId, 5, TimeUnit.SECONDS);
    if (ifAbsent) {
        //获取到了锁,给锁设置一个过期时间
        // redisTemplate.expire(lockKey,10,TimeUnit.SECONDS);
        //开始进行业务操作
        try {
            Integer count = Integer.parseInt(redisTemplate.opsForValue().get(key));
            //如果还有库存
            if (count > 0) {
                //抢到了茅台，库存减一
                redisTemplate.opsForValue().set(key, String.valueOf(count - 1));
                //后续操作 do something
                log.info("我抢到茅台了!");
                //模拟故障退出
                System.exit(1);
                return "ok";
            } else {
                return "no";
            }
        } catch (NumberFormatException e) {
            e.printStackTrace();
        } finally {
            //保证锁一定会被释放
            // 自己的锁自己释放 但是需要保证原子操作，此处无法保证
            String lockvalue = redisTemplate.opsForValue().get(lockKey);
            if (lockvalue != null && lockvalue.equals(clientId)) {
                redisTemplate.delete(lockKey);
            }
        }
    }
    return "dont get lock";
}

问题分析

  1. setnx 和 expire是非原子性操作（解决：2.6以前可用使用lua脚本，2.6以后可用set命令）。

  2. 错误解锁（如何保证解铃还须系铃人：给锁加一个唯一标识）。

1.4.3、错误解锁问题解决

@GetMapping("/get/maotai4")
public String seckillMaotai4() {
    //先获取锁,如果能获取到则进行业务操作
    String clientId = UUID.randomUUID().toString() + Thread.currentThread().getId();
    /*String locklua = "" +
            "if redis.call('setnx',KEYS[1],ARGV[1]) == 1 then redis.call('expire',KEYS[1],ARGV[2]) ; return true " +
            "else return false " +
            "end";
    Boolean islock = redisTemplate.execute(new RedisCallback() {
        @Override
        public Boolean doInRedis(RedisConnection redisConnection) throws DataAccessException {
            Boolean lock = redisConnection.eval(
                    locklua.getBytes(),
                    ReturnType.BOOLEAN,
                    1,
                    lockKey.getBytes(),
                    clientId.getBytes(),
                    "5".getBytes()
            );
            return lock;
        }
    });*/
    Boolean islock = redisTemplate.opsForValue().setIfAbsent(lockKey, clientId, 5, TimeUnit.SECONDS);//可以改用lua脚本，不改也可以
    if (islock) {
        //开始进行业务操作
        try {
            Integer count = Integer.parseInt(redisTemplate.opsForValue().get(key));
            //如果还有库存
            if (count > 0) {
                //抢到了茅台，库存减一
                redisTemplate.opsForValue().set(key, String.valueOf(count - 1));
                //后续操作 do something
                log.info("我抢到茅台了!");
                //模拟故障退出
                // System.exit(1);
                return "ok";
            } else {
                return "no";
            }
        } catch (NumberFormatException e) {
            e.printStackTrace();
        } finally {
            //保证锁一定会被释放
            String unlocklua = "" +
                    "if redis.call('get',KEYS[1]) == ARGV[1] then redis.call('del',KEYS[1]); return true " +
                    "else return false " +
                    "end";
            Boolean unlock = redisTemplate.execute(new RedisCallback<Boolean>() {
                @Override
                public Boolean doInRedis(RedisConnection redisConnection) throws DataAccessException {
                    Boolean unlock = redisConnection.eval(unlocklua.getBytes(),
                            ReturnType.BOOLEAN,
                            1,
                            lockKey.getBytes(),
                            clientId.getBytes());
                    return unlock;
                }
            });
        }
    }
    return "dont get lock";
}

1.4.4、锁续期/锁续命

/**
 * 3,锁续期/锁续命
 *  拿到锁之后执行业务，业务的执行时间超过了锁的过期时间
 *
 *  如何做？
 *  给拿到锁的线程创建一个守护线程(看门狗)，守护线程定时/延迟 判断拿到锁的线程是否还继续持有锁，如果持有则为其续期
 *
 */
//模拟一下守护线程为其续期
ScheduledExecutorService executorService;//创建守护线程池
ConcurrentSkipListSet<String> set = new ConcurrentSkipListSet<String>();//队列

@PostConstruct
public void init2(){
    executorService = Executors.newScheduledThreadPool(1);

    //编写续期的lua
    String expirrenew = "" +
            "if redis.call('get',KEYS[1]) == ARGV[1] then redis.call('expire',KEYS[1],ARGV[2]) ; return true " +
            "else return false " +
            "end";

    executorService.scheduleAtFixedRate(new Runnable() {
        @Override
        public void run() {
            Iterator<String> iterator = set.iterator();
            while (iterator.hasNext()) {
                String rquestid = iterator.next();

                redisTemplate.execute(new RedisCallback<Boolean>() {
                    @Override
                    public Boolean doInRedis(RedisConnection redisConnection) throws DataAccessException {
                        Boolean eval = false;
                        try {
                            eval = redisConnection.eval(
                                    expirrenew.getBytes(),
                                    ReturnType.BOOLEAN,
                                    1,
                                    lockey.getBytes(),
                                    rquestid.getBytes(),
                                    "5".getBytes()
                            );
                        } catch (Exception e) {
                            log.error("锁续期失败,{}",e.getMessage());
                        }
                        return eval;
                    }
                });

            }
        }
    },0,1,TimeUnit.SECONDS);
}
@GetMapping("/get/maotai5")
public String seckillMaotai5() {
    String requestid = UUID.randomUUID().toString() + Thread.currentThread().getId();
    //获取锁
    Boolean islock = redisTemplate.opsForValue().setIfAbsent(lockey,requestid,5,TimeUnit.SECONDS);
    if (islock) {
        //获取锁成功后让守护线程为其续期
        set.add(requestid);
        try {
            Integer count = Integer.parseInt(redisTemplate.opsForValue().get(maotai)); // 1
            //如果还有库存
            if (count > 0) {
                //抢到了茅台，库存减一
                redisTemplate.opsForValue().set(maotai,String.valueOf(count-1));
                //后续操作 do something
                //seckillMaotai5();
                //模拟业务超时
                TimeUnit.SECONDS.sleep(10);
                log.info("我抢到茅台了!");
                return "ok";
            }else {
                return "no";
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            //解除锁续期
           set.remove(requestid);
            //释放锁
            String unlocklua = "" +
                    "if redis.call('get',KEYS[1]) == ARGV[1] then redis.call('del',KEYS[1]) ; return true " +
                    "else return false " +
                    "end";
            redisTemplate.execute(new RedisCallback<Boolean>() {
                @Override
                public Boolean doInRedis(RedisConnection redisConnection) throws DataAccessException {
                    Boolean eval = redisConnection.eval(
                            unlocklua.getBytes(),
                            ReturnType.BOOLEAN,
                            1,
                            lockey.getBytes(),
                            requestid.getBytes()
                    );
                    return eval;
                }
            });
        }
    }
    return "dont get lock";
}

1.4.5、锁的可重入/阻塞锁（redisson）

/**
 *
 * 4,如何支持可重入
 *   重入次数/过期时间
 *    获取
 *         获取
 *               获取
 *
 *               释放
 *         释放
 *    释放
 *
 *   基于本地实现
 *   还是基于redis但是更换了数据类型，采用hash类型来实现
 *    key   field  value
 *   锁key  请求id  重入次数
 *   用lua实现
 *
 *
 *   5,阻塞/非阻塞的问题：现在的锁是非阻塞的，一旦获取不到锁直接返回了
 *   如何做一个阻塞锁呢？
 *    获取不到就等待锁的释放，直到获取到锁或者等待超时
 *    1：基于客户端轮询的方案
 *    2：基于redis的发布/订阅方案
 *
 *
 *    有没有好的实现呢？
 *    Redisson
 *
 */
@Value("${spring.redis.host}")
String host;
@Value("${spring.redis.port}")
String port;

@Bean
public RedissonClient redissonClient() {
    Config config = new Config();
    config.useSingleServer().setAddress("redis://"+host+":"+port);
    return Redisson.create(config);
}

@Autowired
RedissonClient redissonClient;


@GetMapping("/get/maotai6")
public String seckillMaotai6() {
    //要去获取锁
    RLock lock = redissonClient.getLock(lockey);
    lock.lock();
    try {
        Integer count = Integer.parseInt(redisTemplate.opsForValue().get(maotai)); // 1
        //如果还有库存
        if (count > 0) {
            //抢到了茅台，库存减一
            redisTemplate.opsForValue().set(maotai,String.valueOf(count-1));
            //后续操作 do something
            log.info("我抢到茅台了!");
            return "ok";
        }else {
            return "no";
        }
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        lock.unlock();;
    }
    return "";
}

1.5、redisson

Redisson内置了一系列的分布式对象，分布式集合，分布式锁，分布式服务等诸多功能特性，是一款基于Redis实现，拥有一系列分布式系统功能特性的工具包，是实现分布式系统架构中缓存中间件的最佳选择。

下载地址：https://github.com/redisson/redisson

实现

<dependency>
    <groupId>org.redissongroupId>
    <artifactId>redissonartifactId>
    <version>3.8.2version>
dependency>

@Value("${spring.redis.host}")
String host;
@Value("${spring.redis.port}")
String port;
@Bean
public RedissonClient redissonClient() {
    Config config = new Config();
    config.useSingleServer().setAddress("redis://"+host+":"+port);
    return Redisson.create(config);
}

@Autowired
RedissonClient redissonClient;

@GetMapping("/get/maotai6")
public String seckillMaotai6() {
    RLock lock = redissonClient.getLock(lockey);
    //获取锁
    lock.lock();

    try {
        Integer count = Integer.parseInt(redisTemplate.opsForValue().get(maotai));
        //如果还有库存
        if (count > 0) {
            //抢到了茅台，库存减一
            redisTemplate.opsForValue().set(maotai,String.valueOf(count-1));
            //后续操作 do something
            log.info("我抢到茅台了!");
            return "ok";
        }else {
            return "no";
        }
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        lock.unlock();
    }
    return "dont get lock";
}

源码剖析

  1. 加锁的（是否支持重入）
  2. 锁续期的
  3. 阻塞获取
  4. 释放
/**
 * 原理
 * 1，加锁
 *  RFuture tryLockInnerAsync(long leaseTime, TimeUnit unit, long threadId, RedisStrictCommand command) {
 *         internalLockLeaseTime = unit.toMillis(leaseTime);
 *
 *         return commandExecutor.evalWriteAsync(getName(), LongCodec.INSTANCE, command,
 *                    #如果锁key不存在
 *                   "if (redis.call('exists', KEYS[1]) == 0) then " +
 *                        #设置锁key,field是唯一标识,value是重入次数
 *                       "redis.call('hset', KEYS[1], ARGV[2], 1); " +
 *                       #设置锁key的过期时间 默认30s
 *                       "redis.call('pexpire', KEYS[1], ARGV[1]); " +
 *                       "return nil; " +
 *                   "end; " +
 *                   #如果锁key存在
 *                   "if (redis.call('hexists', KEYS[1], ARGV[2]) == 1) then " +
 *                        #重入次数+1
 *                       "redis.call('hincrby', KEYS[1], ARGV[2], 1); " +
 *                        #重置过期时间
 *                       "redis.call('pexpire', KEYS[1], ARGV[1]); " +
 *                       "return nil; " +
 *                   "end; " +
 *                   "return redis.call('pttl', KEYS[1]);",
 *                     Collections.singletonList(getName()), internalLockLeaseTime, getLockName(threadId));
 *     }
 *
 *  2，锁续期
 *   private void scheduleExpirationRenewal(final long threadId) {
 *         if (expirationRenewalMap.containsKey(getEntryName())) {
 *             return;
 *         }
 *
 *         Timeout task = commandExecutor.getConnectionManager().newTimeout(new TimerTask() {
 *             @Override
 *             public void run(Timeout timeout) throws Exception {
 *                 //续期函数的真正实现
 *                 RFuture future = renewExpirationAsync(threadId);
 *
 *                 future.addListener(new FutureListener() {
 *                     @Override
 *                     public void operationComplete(Future future) throws Exception {
 *                         expirationRenewalMap.remove(getEntryName());
 *                         if (!future.isSuccess()) {
 *                             log.error("Can't update lock " + getName() + " expiration", future.cause());
 *                             return;
 *                         }
 *
 *                         if (future.getNow()) {
 *                             // reschedule itself  再次调用自己,最终形成的结果就是每隔10秒续期一次
 *                             scheduleExpirationRenewal(threadId);
 *                         }
 *                     }
 *                 });
 *             }
 *          // internalLockLeaseTime=30 * 1000 即30秒
 *         }, internalLockLeaseTime / 3, TimeUnit.MILLISECONDS); //30/3=10秒后异步执行续期函数
 *
 *         if (expirationRenewalMap.putIfAbsent(getEntryName(), new ExpirationEntry(threadId, task)) != null) {
 *             task.cancel();
 *         }
 *     }
 *
 *     续期的lua脚本:判断key，field存在则重置过期时间
 *     protected RFuture renewExpirationAsync(long threadId) {
 *         return commandExecutor.evalWriteAsync(getName(), LongCodec.INSTANCE, RedisCommands.EVAL_BOOLEAN,
 *                 "if (redis.call('hexists', KEYS[1], ARGV[2]) == 1) then " +
 *                     "redis.call('pexpire', KEYS[1], ARGV[1]); " +
 *                     "return 1; " +
 *                 "end; " +
 *                 "return 0;",
 *             Collections.singletonList(getName()),
 *             internalLockLeaseTime, getLockName(threadId));
 *     }
 *
 *
 *
 * 4，阻塞锁实现
 *  public void lockInterruptibly(long leaseTime, TimeUnit unit) throws InterruptedException {
 *         long threadId = Thread.currentThread().getId();
 *         Long ttl = tryAcquire(leaseTime, unit, threadId);
 *         // lock acquired
 *         if (ttl == null) {
 *             return;
 *         }
 *         //如果没有获取到锁，则订阅：redisson_lock__channel:{key} 频道
 *         RFuture future = subscribe(threadId);
 *         commandExecutor.syncSubscription(future);
 *
 *         try {
 *             while (true) {
 *                //尝试再获取一次
 *                 ttl = tryAcquire(leaseTime, unit, threadId);
 *                 // lock acquired
 *                 if (ttl == null) {
 *                     break;
 *                 }
 *
 *                 // waiting for message 阻塞等待锁订阅频道的消息,一旦锁被释放,就会得到信号通知,继续尝试获取锁
 *                 if (ttl >= 0) {
 *                     getEntry(threadId).getLatch().tryAcquire(ttl, TimeUnit.MILLISECONDS);
 *                 } else {
 *                     getEntry(threadId).getLatch().acquire();
 *                 }
 *             }
 *         } finally {
 *            //获取到锁后取消订阅
 *             unsubscribe(future, threadId);
 *         }
 * //        get(lockAsync(leaseTime, unit));
 *     }
 *
 *
 * 5，解锁
 * protected RFuture unlockInnerAsync(long threadId) {
 *         return commandExecutor.evalWriteAsync(getName(), LongCodec.INSTANCE, RedisCommands.EVAL_BOOLEAN,
 *                 //key已经不存在了，则向redisson_lock__channel:{key}频道发布锁释放消息
 *                 "if (redis.call('exists', KEYS[1]) == 0) then " +
 *                     "redis.call('publish', KEYS[2], ARGV[1]); " +
 *                     "return 1; " +
 *                 "end;" +
 *                  // hash 中的field 不存在时直接返回,
 *                 "if (redis.call('hexists', KEYS[1], ARGV[3]) == 0) then " +
 *                     "return nil;" +
 *                 "end; " +
 *                 "local counter = redis.call('hincrby', KEYS[1], ARGV[3], -1); " +
 *                 //重入次数-1后如果还大于0,延长过期时间
 *                 "if (counter > 0) then " +
 *                     "redis.call('pexpire', KEYS[1], ARGV[2]); " +
 *                     "return 0; " +
 *                 "else " +
 *                 //重入次数-1后如果归0,则删除key，并向redisson_lock__channel:{key}频道发布锁释放消息
 *                     "redis.call('del', KEYS[1]); " +
 *                     "redis.call('publish', KEYS[2], ARGV[1]); " +
 *                     "return 1; "+
 *                 "end; " +
 *                 "return nil;",
 *                 Arrays.asList(getName(), getChannelName()), LockPubSub.unlockMessage, internalLockLeaseTime, getLockName(threadId));
 *
 *     }
 */
 
  
二、布隆过滤器（BloomFilter）
 
  
引言
 
  
     
   
  •  
    问题1：什么是Redis缓存穿透？缓存穿透如何解决？
     
    •  
   
  •  
    问题2：如何在海量元素中（例如 10 亿无序、不定长、不重复）快速判断一个元素是否存在？
     
    •  
  
 
  
2.1、什么是 BloomFilter
 
  
布隆过滤器（英语：Bloom Filter）是 1970 年由Burton Howard Bloom提出的，是一种空间效率高的概率型数据结构。
 
  
本质上其实就是一个很长的二进制向量和一系列随机映射函数。专门用来检测集合中是否存在特定的元素。
 
  
2.1.1、产生的契机
 
  
回想一下，我们平常在检测集合中是否存在某元素时，都会采用比较的方法。考虑以下情况
 
  
     
   
  •  
    如果集合用线性表存储，查找的时间复杂度为O(n)。
     
    •  
   
  •  
    如果用平衡BST（如AVL树、红黑树）存储，时间复杂度为O(logn)。
     
    •  
   
  •  
    如果用哈希表存储，并用链地址法与平衡BST解决哈希冲突（参考JDK8的HashMap实现方法），时间复杂度也要有O[log(n/m)]，m为哈希分桶数。
     
    •  
  
 
  
高性能分布式缓存Redis-第三篇章_第1张图片
 总而言之，当集合中元素的数量极多时，不仅查找会变得很慢，而且占用的空间也会大到无法想象。BF就是解决这个矛盾的利器。
 
  
2.1.2、数据结构&设计思想
 
  
BF是由一个长度为m比特的位数组（bit array）与k个哈希函数（hash function）组成的数据结构。位数组均初始化为0，所有哈希函数都可以分别把输入数据尽量均匀地散列。
 高性能分布式缓存Redis-第三篇章_第2张图片
 基于BitMap
 高性能分布式缓存Redis-第三篇章_第3张图片
 如果我们要映射一个值到布隆过滤器中，我们需要使用多个不同的哈希函数生成多个哈希值，并对每个生成的哈希值指向的 bit 位，设置为1。
 高性能分布式缓存Redis-第三篇章_第4张图片
 高性能分布式缓存Redis-第三篇章_第5张图片
 当要插入一个元素时，将其数据分别输入k个哈希函数，产生k个哈希值。以哈希值作为位数组中的下标，将所有k个对应的比特置为1。
 
  
当要查询（即判断是否存在）一个元素时，同样将其数据输入哈希函数，然后检查对应的k个比特。如果有任意一个比特为0，表明该元素一定不在集合中。如果所有比特均为1，表明该集合有（较大的）可能性在集合中。为什么不是一定在集合中呢？因为一个比特被置为1有可能会受到其他元素的影响，这就是所谓“假阳性”（false positive）。相对地，“假阴性”（false negative）在BF中是绝不会出现的。
 
  
     
   
  •  
    如果这些点有任何一个 0，则被检索元素一定不在；
     
    •  
   
  •  
    如果都是 1，则被检索元素很可能在。
     
    •  
  
 
  
2.1.3、误判率问题分析
 
  
高性能分布式缓存Redis-第三篇章_第6张图片
 哈希函数有以下两个特点
 
  
     
   
  •  
    如果两个散列值是不相同的（根据同一函数），那么这两个散列值的原始输入也是不相同的。
     
    •  
   
  •  
    散列函数的输入和输出不是唯一对应关系的，如果两个散列值相同，两个输入值很可能是相同的。但也可能不同，这种情况称为 “散列碰撞”（或者 “散列冲突”）
     
    •  
  
 
  
高性能分布式缓存Redis-第三篇章_第7张图片
 布隆过滤器的误判是指多个输入经过哈希之后在相同的bit位置1了，这样就无法判断究竟是哪个输入产生的，因此误判的根源在于相同的 bit 位被多次映射且置 1。
 
  
2.1.4、不支持删除
 
  
hash碰撞这种情况也造成了布隆过滤器的删除问题，传统的布隆过滤器并不支持删除操作，因为布隆过滤器的每一个 bit 并不是独占的，很有可能多个元素共享了某一位。如果我们直接删除这一位的话，会影响其他的元素。
 
  
2.1.5、如何选择哈希函数个数和布隆过滤器长度
 
  
很显然，过小的布隆过滤器很快所有的 bit 位均为 1，那么查询任何值都会返回“可能存在”，起不到过滤的目的了。布隆过滤器的长度会直接影响误报率，布隆过滤器越长其误报率越小。
 
  
另外，哈希函数的个数也需要权衡，个数越多则布隆过滤器 bit 位置位 1 的速度越快，且布隆过滤器的效率越低；但是如果太少的话，那我们的误报率会变高。
 高性能分布式缓存Redis-第三篇章_第8张图片
 如何选择适合业务的 k 和 m 值呢，这里直接贴一个公式
 高性能分布式缓存Redis-第三篇章_第9张图片
 
  
2.2、布隆过滤器实现
 
  
2.2.1、第一种方式： Guava
 
  
1、引入Guava pom配置
 
  
<dependency>
  <groupId>com.google.guavagroupId>
  <artifactId>guavaartifactId>
  <version>29.0-jreversion>

 
  
2、代码实现
 
  
public class BloomFilterTest {
    @Test
    public void test1() {
        BloomFilter<Integer> bloomFilter =
                BloomFilter.create(Funnels.integerFunnel(), size, fpp);
        // 插入10万样本数据
        for (int i = 0; i < size; i++) {
            bloomFilter.put(i);
        }
        // 用另外十万测试数据，测试误判率
        int count = 0;
        for (int i = capacity; i < size + 100000; i++) {
            if (bloomFilter.mightContain(i)) {
                count++;
                System.out.println(i + "误判了");
            }
        }
        System.out.println("总共的误判数:" + count);
    }
}

 
  
运行结果：
 在这里插入图片描述
 10万数据里有947个误判，约等于0.01%，也就是代码里设置的误判率：fpp = 0.01。
 
  
代码分析
 
  
核心BloomFilter.create 方法
 
  
@VisibleForTesting
static <T> BloomFilter<T> create(
	Funnel<? super T> funnel, long expectedInsertions, double fpp, Strategy
strategy) {
......
}

 
  
这里有四个参数
 
  
     
   
  •  
    funnel ：数据类型(通常是调用Funnels工具类中的)
     
    •  
   
  •  
    expectedInsertions ：指望插入的值的个数
     
    •  
   
  •  
    fpp ：误判率(默认值为0.03)
     
    •  
   
  •  
    strategy ：哈希算法
     
    •  
  
 
  
fpp误判率
 
  
     
   
  •  
    情景一： fpp = 0.01
     误判个数：947 占内存大小：9585058位数
     
    •  
   
  •  
    情景二： fpp = 0.03 （默认参数）
     误判个数：3033 占内存大小：7298440位数
     
    •  
  
 
  
总结
 
  
     
   
  •  
    误判率能够经过fpp 参数进行调节。
     
    •  
   
  •  
    fpp越小，须要的内存空间就越大：0.01须要900多万位数，0.03须要700多万位数。
     
    •  
   
  •  
    fpp越小，集合添加数据时，就须要更多的hash函数运算更多的hash值，去存储到对应的数组下标里（忘了去看上面的布隆过滤存入数据的过程）。
     
    •  
  
 
  
2.2.2、第二种方式：Redisson
 
  
上面使用Guava实现的布隆过滤器是把数据放在了本地内存中。分布式的场景中就不合适了，没法共享内存。
 
  
还能够用Redis来实现布隆过滤器，这里使用Redis封装好的客户端工具Redisson。
 
  
pom配置
 
  
<dependency>
	<groupId>org.redissongroupId>
	<artifactId>redisson-spring-boot-starterartifactId>
	<version>3.13.4version>
dependency>

 
  
Java代码
 
  
public class RedissonBloomFilter {
    public static void main(String[] args) {
        Config config = new Config();
        config.useSingleServer().setAddress("redis://127.0.0.1:6379");
        config.useSingleServer().setPassword("1234");
        //构造Redisson
        RedissonClient redisson = Redisson.create(config);
        RBloomFilter<String> bloomFilter = redisson.getBloomFilter("phoneList");
        //初始化布隆过滤器：预计元素为100000000L,偏差率为3%
        bloomFilter.tryInit(100000000L,0.03);
        //将号码10086插入到布隆过滤器中
        bloomFilter.add("10086");
        //判断下面号码是否在布隆过滤器中
        //输出false
        System.out.println(bloomFilter.contains("123456"));
        //输出true
        System.out.println(bloomFilter.contains("10086"));
    }
}

 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(Java,redis,缓存,数据库,分片集群,分布式锁)

        

            

                
    
                    
  • Long类型前后端数据不一致
                        igotyback
前端
                        
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    
                    
    • 
                    
  • LocalDateTime 转 String
                        igotyback
java开发语言
                        
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
    
                    
    • 
                    
  • Linux下QT开发的动态库界面弹出操作（SDL2）
                        13jjyao
QT类qt开发语言sdl2linux
                        
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
    
                    
    • 
                    
  • Google earth studio 简介
                        陟彼高冈yu
旅游
                        
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
    
                    
    • 
                    
  • 关于提高复杂业务逻辑代码可读性的思考
                        编程经验分享
开发经验java数据库开发语言
                        
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
    
                    
    • 
                    
  • SQL Server_查询某一数据库中的所有表的内容
                        qq_42772833
SQLServer数据库sqlserver
                        
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
    
                    
    • 
                    
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
                        STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
                        
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    
                    
    • 
                    
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team
                        若博豆
java算法华为javascript
                        
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
    
                    
    • 
                    
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具
                        nseejrukjhad
数据库python
                        
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
    
                    
    • 
                    
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript
                        二挡起步
web前端期末大作业javascripthtmlcss旅游风景
                        
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
    
                    
    • 
                    
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
                        二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
                        
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    
                    
    • 
                    
  • MongoDB Oplog 窗口
                        喝醉酒的小白
MongoDB运维
                        
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
    
                    
    • 
                    
  • node.js学习
                        小猿L
node.jsnode.js学习vim
                        
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
    
                    
    • 
                    
  • python os 环境变量
                        CV矿工
python开发语言numpy
                        
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    
                    
    • 
                    
  • Redis系列：Geo 类型赋能亿级地图位置计算
                        Ly768768
redisbootstrap数据库
                        
    1前言我们在篇深刻理解高性能Redis的本质的时候就介绍过Redis的几种基本数据结构，它是基于不同业务场景而设计的：动态字符串(REDIS_STRING)：整数(REDIS_ENCODING_INT)、字符串(REDIS_ENCODING_RAW)双端列表(REDIS_ENCODING_LINKEDLIST)压缩列表(REDIS_ENCODING_ZIPLIST)跳跃表(REDIS_ENCODI
    
                    
    • 
                    
  • 【PG】常见数据库、表属性设置
                        江无羡
数据库
                        
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
    
                    
    • 
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • insert into select 主键自增_mybatis拦截器实现主键自动生成
                        weixin_39521651
insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
                        
    前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
    
                    
    • 
                    
  • Java 重写(Override)与重载(Overload)
                        叨唧唧的

                        
    Java重写(Override)与重载(Overload)重写(Override)重写是子类对父类的允许访问的方法的实现过程进行重新编写,返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如：父类的一个方法申明了一个检查异常IOExceptio
    
                    
    • 
                    
  • 简单了解 JVM
                        记得开心一点啊
jvm
                        
    目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
    
                    
    • 
                    
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解
                        秋刀prince
mysqlmysql数据库
                        
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
    
                    
    • 
                    
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven
                        Energet!c
开发语言
                        
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
    
                    
    • 
                    
  • Java企业面试题3
                        马龙强_
java
                        
    1.break和continue的作用(智*图)break：用于完全退出一个循环（如for,while）或一个switch语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在for循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。2.if分支语句和switch分
    
                    
    • 
                    
  • JVM、JRE和 JDK：理解Java开发的三大核心组件
                        Y雨何时停T
Javajava
                        
    Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
    
                    
    • 
                    
  • Java面试题精选：消息队列(二)
                        芒果不是芒
Java面试题精选javakafka
                        
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
    
                    
    • 
                    
  • 白骑士的Java教学基础篇 2.5 控制流语句
                        白骑士所长
Java教学java开发语言
                        
    欢迎继续学习Java编程的基础篇！在前面的章节中，我们了解了Java的变量、数据类型和运算符。接下来，我们将探讨Java中的控制流语句。控制流语句用于控制程序的执行顺序，使我们能够根据特定条件执行不同的代码块，或重复执行某段代码。这是编写复杂程序的基础。通过学习这一节内容，你将掌握如何使用条件语句和循环语句来编写更加灵活和高效的代码。条件语句条件语句用于根据条件的真假来执行不同的代码块。if语句‘
    
                    
    • 
                    
  • python语法——三目运算符
                        HappyRocking
pythonpython三目运算符
                        
    在java中，有三目运算符，如：intc=(a>b)?a:b表示c取两者中的较大值。但是在python，不能直接这样使用，估计是因为冒号在python有分行的关键作用。那么在python中，如何实现类似功能呢？可以使用ifelse语句，也是一行可以完成，格式为：aifbelsec表示如果b为True，则表达式等于a，否则等于c。如：c=(aif(a>b)elseb)同样是完成了取最大值的功能。
    
                    
    • 
                    
  • ArrayList 源码解析
                        程序猿进阶
Java基础ArrayListListjava面试性能优化架构设计idea
                        
    ArrayList是Java集合框架中的一个动态数组实现，提供了可变大小的数组功能。它继承自AbstractList并实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量capacity，表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添
    
                    
    • 
                    
  • Java爬虫框架（一）--架构设计
                        狼图腾-狼之传说
java框架java任务html解析器存储电子商务
                        
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    
                    
    • 
                    
  • Java：爬虫框架
                        dingcho
Javajava爬虫
                        
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
    
                    
    • 
                                
  • ASM系列五 利用TreeApi 解析生成Class
                                    lijingyao8206
ASM字节码动态生成ClassNodeTreeAPI
                                    
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。 
         在介绍前，先要知道一点， Tree工程的接口基本可以完
    
                                
    • 
                                
  • 链表树——复合数据结构应用实例
                                    bardo
数据结构树型结构表结构设计链表菜单排序
                                    
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 
需求简介： 
经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
    
                                
    • 
                                
  • 为啥要用位运算代替取模呢
                                    chenchao051
位运算哈希汇编
                                    
      
  在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧， 
  
  JDK6中的HashMap中的indexFor方法： 
    /**
     * Returns index for hash code h.
     */
    static int indexFor(int h, int length) {

    
                                
    • 
                                
  • 最近的情况
                                    麦田的设计者
生活感悟计划软考想
                                    
          今天是2015年4月27号 
     整理一下最近的思绪以及要完成的任务 
            1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
    
                                
    • 
                                
  • PHP去掉字符串中最后一个字符的方法
                                    IT独行者
PHP字符串
                                    
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： 
$str = "1,2,3,4,5,6,";
$newstr = substr($str,0,strlen($str)-1);
echo $newstr; 
    
                                
    • 
                                
  • hadoop在linux上单机安装过程
                                    _wy_
linuxhadoop
                                    
    1、安装JDK 
    jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行： 
   export JAVA_HOME=/usr/java/jdk1.7.0_25  
    
                                
    • 
                                
  • JAVA进阶----分布式事务的一种简单处理方法
                                    无量
多系统交互分布式事务
                                    
    每个方法都是原子操作： 
 
提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 
 
A系统调用B,C,D系统完成分布式事务 
 
 
=========执行开始======== 
A.aa(); 
 
try { 
 B.bb(); 
} catch(Exception e) { 
 A.rollbackAa(); 
} 
 
try { 
 C.cc(); 
} catch(Excep
    
                                
    • 
                                
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉
                                    矮蛋蛋
hadoop互联网
                                    
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 
 
　　到底什么是移动DSP呢? 
 
　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广 
    
                                
    • 
                                
  • myelipse设置
                                    alafqq
IP
                                    
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 
 
 
 
注释模板导入步骤  
 
 
 
安装方法： 
打开eclipse/myeclipse 
选择 window-->Preferences-->JAVA-->Code-->Code 
    
                                
    • 
                                
  • java数组
                                    百合不是茶
java数组
                                    
    java数组的   声明  创建  初始化；   java支持C语言 
   
  
数组中的每个数都有唯一的一个下标 
  一维数组的定义   声明：  int[] a = new int[3];声明数组中有三个数int[3]    
int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数


    
                                
    • 
                                
  • javascript读取表单数据
                                    bijian1013
JavaScript
                                    
    利用javascript读取表单数据，可以利用以下三种方法获取： 
1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 
2、通过表单名称属性：var b = document.getElementsByName("name"); 
3、直接通过表单名字获取：var c = form.content.
    
                                
    • 
                                
  • 探索JUnit4扩展：使用Theory
                                    bijian1013
javaJUnitTheory
                                    
    理论机制（Theory） 
一.为什么要引用理论机制（Theory） 
        当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 
TDD 的优点： 
    &nb
    
                                
    • 
                                
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB
                                    bit1129
template
                                    
    什么是Spring Data Mongo 
Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 
1. 封装客户端跟MongoDB的链接管理 
2. 文档-对象映射，通过注解:@Document(collectio
    
                                
    • 
                                
  • 【Kafka八】Zookeeper上关于Kafka的配置信息
                                    bit1129
zookeeper
                                    
    问题： 
1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 
3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 
4. Producer跟Zookeeper究竟有没有关系？没有关系！！！ 
  
//consumers、config、brokers、cont
    
                                
    • 
                                
  • java OOM内存异常的四种类型及异常与解决方案
                                    ronin47
java OOM 内存异常
                                    
          　OOM异常的四种类型： 
　　　 
　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。 
  
  　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
    
                                
    • 
                                
  • java-实现链表反转-递归和非递归实现
                                    bylijinnan
java
                                    
    20120422更新： 
对链表中部分节点进行反转操作，这些节点相隔k个： 
0->1->2->3->4->5->6->7->8->9 
k=2 
8->1->6->3->4->5->2->7->0->9 
注意1 3 5 7 9 位置是不变的。 
解法： 
将链表拆成两部分： 
a.0-&
    
                                
    • 
                                
  • Netty源码学习-DelimiterBasedFrameDecoder
                                    bylijinnan
javanetty
                                    
     看DelimiterBasedFrameDecoder的API，有举例： 
 接收到的ChannelBuffer如下： 
 
 +--------------+
 | ABC\nDEF\r\n |
 +--------------+ 
 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： 
 
 +-----+----
    
                                
    • 
                                
  • linux的一些命令 -查看cc攻击-网口ip统计等
                                    hotsunshine
linux
                                    
    Linux判断CC攻击命令详解 
2011年12月23日 ⁄ 安全 ⁄ 暂无评论 
查看所有80端口的连接数 
 
 
netstat -nat|grep -i '80'|wc -l
对连接的IP按连接数量进行排序

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n
查看TCP连接状态

n
    
                                
    • 
                                
  • Spring获取SessionFactory
                                    ctrain
sessionFactory
                                    
    
String sql = "select sysdate from dual";
		
WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); 
String[] names = wac.getBeanDefinitionNames();
for(int i=0; i&
    
                                
    • 
                                
  • Hive几种导出数据方式
                                    daizj
hive数据导出
                                    
    Hive几种导出数据方式 
     
1.拷贝文件 
  
如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 
hadoop fs –cp source_path target_path 
  
2.导出到本地文件系统 
  
--不能使用insert into local directory来导出数据，会报错 
--只能使用
    
                                
    • 
                                
  • 编程之美
                                    dcj3sjt126com
编程PHP重构
                                    
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解 
  
header("Content-type: text/plain");
function static_function () {
    static $i = 0;
    if ($i++ < 1
    
                                
    • 
                                
  • Android保存用户名和密码
                                    dcj3sjt126com
android
                                    
    转自：http://www.2cto.com/kf/201401/272336.html 
我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 
1、通过普通 的txt文本存储 
2、通过properties属性文件进行存
    
                                
    • 
                                
  • Oracle 复习笔记之同义词
                                    eksliang
Oracle 同义词Oracle synonym
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 
1.什么是同义词 
      同义词是现有模式对象的一个别名。 
      概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
    
                                
    • 
                                
  • Ajax案例
                                    gongmeitao
Ajaxjsp
                                    
    数据库采用Sql Server2005 
项目名称为:Ajax_Demo 
1.com.demo.conn包 
package com.demo.conn; 
import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; 
//获取数据库连接的类public class DBConnec
    
                                
    • 
                                
  • ASP.NET中Request.RawUrl、Request.Url的区别
                                    hvt
.netWebC#asp.nethovertree
                                    
      
如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
    
                                
    • 
                                
  • SVG 教程 （七）SVG 实例，SVG 参考手册
                                    天梯梦
svg
                                    
    SVG 实例   在线实例 
下面的例子是把SVG代码直接嵌入到HTML代码中。 
谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 
注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。    SVG 实例 
SVG基本形状 
一个圆 
矩形 
不透明矩形 
一个矩形不透明2 
一个带圆角矩
    
                                
    • 
                                
  • 事务管理
                                    luyulong
javaspring编程事务
                                    
    事物管理 
 
spring事物的好处 
 
为不同的事物API提供了一致的编程模型 
支持声明式事务管理 
提供比大多数事务API更简单更易于使用的编程式事务管理API 
整合spring的各种数据访问抽象 
 
TransactionDefinition 
定义了事务策略 
 
int getIsolationLevel()得到当前事务的隔离级别 
 
READ_COMMITTED 
    
                                
    • 
                                
  • 基础数据结构和算法十一：Red-black binary search tree
                                    sunwinner
AlgorithmRed-black
                                    
      
The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
    
                                
    • 
                                
  • centos同步时间
                                    stunizhengjia
linux集群同步时间
                                    
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
    
                                
    • 
                                
  • ITeye 9月技术图书有奖试读获奖名单公布
                                    ITeye管理员
ITeye
                                    
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：  
  
  
《NFC：Arduino、Andro
    
                                
    •