布隆过滤器

Redis从精通到入门——bitmap实现源码详解

Redis数据类型之bimap详解bitmap简介bitmap常用操作应用场景源码阅读布隆过滤器图解布隆过滤器bitmap简介bitmap在Redis中又叫bitops，它就是通过一个bit位来表示某个元素对应的值或者状态
zhibo_lv·2023-10-03 02:07

[中间件～大厂面试题] 腾讯三面，40亿的QQ号如何去重

)最粗鲁的方式1.使用HashSet去重：2.使用Java8的Stream去重：3.使用数据库的去重功能：限制1GB内存，文件的方式4.文件分片5.外部排序算法使用中间件redis6.bitmap7.布隆过滤器
程序员三木·2023-10-02 16:32

[中间件～大厂面试题] 腾讯三面，40亿的QQ号如何去重

)最粗鲁的方式1.使用HashSet去重：2.使用Java8的Stream去重：3.使用数据库的去重功能：限制1GB内存，文件的方式4.文件分片5.外部排序算法使用中间件redis6.bitmap7.布隆过滤器
专注于Java中间件的程序员木木·2023-10-02 15:44

位图&布隆过滤器

文章目录位图&布隆过滤器1.位图1.1位图概念1.2位图原理1.3位图实现1.4位图排序2.布隆过滤器2.1引入布隆过滤器2.2概念2.3布隆过滤器插入2.4布隆过滤器的查找2.5布隆过滤器模拟实现2.6
爱敲代码的三毛·2023-10-02 07:52

【C++】布隆过滤器简单操纵模拟以及常见题目

文章目录前言一、求下标仿函数的建议二、布隆过滤器代码面试题1.近似算法：2.精确算法前言`布隆过滤器特点是高效地插入和查询，可以用来告诉你“某样东西一定不存在或者可能存在”，它是用多个哈希函数，将一个数据映射到位图结构中
Satoru_Kaugo·2023-09-30 17:00

【数据结构】哈希应用——位图、布隆过滤器

文章目录一、位图1.基本概念2.基本实现3.基本应用3.1找100亿个整数只出现一次的数3.2两个文件分别有100亿整数，1G内存，求交集二、布隆过滤器1、基本实现2、基本应用2.1过滤一部分的数据2.2
舜华丶·2023-09-30 11:48

硬核｜Redis 布隆（Bloom Filter）过滤器原理与实战

一、简介布隆过滤器（BloomFilter）是一种数据结构，用于快速检查一个元素是否属于某个集合中。它可以快速判断一个元素是否在一个大型集合中，且判断速度很快且不占用太多内存空间。
Bee.F·2023-09-29 15:24

位图与布隆过滤器

一、位图的引入我们先来看一道题。题目描述：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。思路一：遍历拿到这道题，我们最先想到的方法就是直接遍历了。从头到尾遍历一遍，一定可以判断出一个数是否在其中。时间复杂度为o(N)。思路二：排序+二分查找时间复杂度为排序o(N*logN)+二分查找o(logN)。思路三：位图上面两种方法很常用，但是在面对40亿
dbln·2023-09-29 12:52

华为云云耀云服务器L实例评测｜在Redis的Docker容器中安装BloomFilter & 在Spring中使用Redis插件版的布隆过滤器

前言最近华为云云耀云服务器L实例上新，也搞了一台来玩，期间遇到各种问题，在解决问题的过程中学到不少和运维相关的知识。本篇博客介绍如何在Redis的docker容器中安装BloomFilter，并且结合spring的使用方式。其他相关的华为云云耀云服务器L实例评测文章列表如下：初始化配置SSH连接&安装MySQL的docker镜像&安装redis以及主从搭建&7.2版本redis.conf配置文件安
Perley620·2023-09-28 14:26

redis实现布隆过滤器

1概述布隆过滤器是一种基于概率的数据结构，用于判断一个元素是否存在于一个集合中。相比于传统的数据结构，布隆过滤器具有占用空间少、查询速度快的特点，常被用于缓存、爬虫去重等场景。
十二又十三·2023-09-28 10:39

缓存相关

缓存中查不到，则需要去db中取值；若查询的value一定不存在，但对该key的请求并发很大，则会对db造成压力，称为缓存穿透；避免value不存在也进行缓存，可设置较短的缓存时间；对要查询的key进行过滤，如布隆过滤器
一只码农816·2023-09-28 02:09

布隆过滤器

布隆过滤器，可以简单的理解为布隆过滤器=一个位数组+一系列哈希函数，位数组就是数组中的值只能为0或1，每个值只占用一个bit的数组，初始时位数组中的值全部置为0。
atwdy·2023-09-27 08:24

知识点二十七：位图、布隆过滤器

前言网页爬虫是搜索引擎中的非常重要的系统，负责爬取几十亿、上百亿的网页。爬虫的工作原理是，通过解析已经爬取页面中的网页链接，然后再爬取这些链接对应的网页。但是，同一个网页链接有可能被包含在多个页面中，这就会导致爬虫在爬取的过程中，重复爬取到相同的网页。那么，如何避免这些重复的爬取呢？最容易想到的方法就是，我们记录已经爬取过的网页链接（也就是uniformresourcelocator；URL），在
码农谷阿莫·2023-09-27 08:24

高阶数据结构之哈希的应用

文章目录位图（bitMap）位图的实现将数据添加到位图中检查数据是否在位图中存在将数据的对应位置置为0位图的应用布隆过滤器为什么会有误差布隆过滤器的实现布隆过滤器的删除使用Google下的guava组件操作布隆过滤器布隆过滤器的缺陷布隆过滤器的使用场景海量数据的处理
蔡欣致·2023-09-27 08:23

【高阶数据结构】哈希的应用 {位图；std::bitset；位图的应用；布隆过滤器；布隆过滤器的应用}

一、位图1.1位图概念面试题给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】遍历查找：内存中无法存放40亿个整数（约占内存15-16G）；时间复杂度O(N)；先排序O(NlogN)，再利用二分查找O(logN)：数据太大，只能存放在磁盘文件中，数据读取速度慢。位图数据是否在给定的集合中，结果是在或者不在，刚好是两种状态，那么可以使用一个二进
芥末虾·2023-09-27 08:22

海量数据查重问题一网打尽：哈希表、位图、布隆过滤器

目录海量数据查重问题一网打尽：哈希表、位图、布隆过滤器一、概述二、哈希表三、位图四、布隆过滤器总结海量数据查重问题一网打尽：哈希表、位图、布隆过滤器一、概述在面试的时候可能经常会问道海量数据的查重问题，
zsiming·2023-09-25 03:59

哈量数据处理面试题(哈希切割，位图，布隆过滤器)

目录前言一.位图应用二.布隆过滤器三.哈希切割前言海量数据处理，顾名思义。就是数据两很大，内存不足以保存这么多数据的问题该如何解决。一般可以使用位图(整形)，布隆过滤器(非整形)，哈希切割的方法。
两片空白·2023-09-25 03:58

C++--哈希思想的应用--位图--布隆过滤器的介绍--1112

位图位图解决的问题给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。分析：如果把每个数都放进来，需要的空间就是40亿*4字节，大概是16G空间。需要的空间过大，以至于用前几篇博客实现的哈希表、二叉树搜索树等都不能完整存储下来。位图思想数据是否在给定的整形数据中，结果是在或者不在，刚好是两种状态，那么可以使用一个二进制比特位来代表数据是否存在的信息，如
Gosolo！·2023-09-25 03:57

C++--程序员修炼手册--海量数据处理--位图--布隆过滤器

目录一，位图是什么：二，位图怎么实现2.1，数据处理方法2.2，位图的实现1，数据插入操作2，数据删除操作3，查找元素三，布隆过滤器3.1，布隆过滤器是做什么的：3.2，布隆过滤器的实现1，数据插入2，
想找后端开发的小杜·2023-09-25 03:55

哈希扩展应用--位图与布隆过滤器

哈希扩展应用–位图与布隆过滤器介绍及实现文章目录哈希扩展应用--位图与布隆过滤器介绍及实现一、位图1.概念2.实现3.应用二、布隆过滤器1.引入2.概念3.实现4.应用编译环境：vs2013一、位图1.
饱和泽·2023-09-25 03:55

哈希思想的应用 - 位图，布隆过滤器

目录位图海量数据处理问题：哈希思想的应用：位图位图实现：位图处理海量数据布隆过滤器引：布隆过滤器的概念：布隆过滤器简单实现：布隆过滤器的查找布隆过滤器的删除布隆过滤器优点布隆过滤器缺点有关布隆过滤器中，
__zz11·2023-09-25 03:25

哈希切割 + 位图 + 布隆过滤器 —— 海量数据面试题

目录题目一：给一个超过100G大小的logfile,log中存着IP地址,设计算法找到出现次数最多的IP地址？哈希切割题目二：给定100亿个整数，设计算法找到只出现一次的整数？解法一：哈希切割解法二：利用2个位图解法三：利用1个位图题目三：给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集？解法一：哈希切割解法二：位图位图拓展：如何获取数据的交集、并集、差集？题目四：位图应用
龙洋静·2023-09-25 03:54

数据结构-哈希-位图与布隆过滤器

位图与布隆过滤器一，位图题目分析位图设计位图代码经典题目二，布隆过滤器布隆过滤器概念布隆过滤器的插入布隆过滤器的结构布隆过滤器总结经典题目三，哈希切割一，位图题目分析给40亿个不重复的无符号整数，没排过序
大理寺j·2023-09-25 03:24

哈希 -- 位图、布隆过滤器、海量数据处理

目录一、位图1.1经典题目1.2位图概念1.3位图的应用1.4关于位图的三个经典问题二、布隆过滤器2.1布隆过滤器的提出2.2布隆过滤器的概念2.3布隆过滤器的插入2.4布隆过滤器的查找2.5布隆过滤器删除
高比仔824·2023-09-25 03:53

解决redis缓存穿透

目录一、什么是缓存穿透二、解决缓存穿透2.1缓存空对象2.2拉黑ip2.3参数合法性校验2.4布隆过滤器一、什么是缓存穿透1.客户端请求的数据在数据库中没有，这样缓存永远不会生效，所有客户端请求都会访问数据库二
DBA-fashion·2023-09-24 18:15

Java面试

一、redis1、缓存-缓存穿透缓存穿透就是查询一个数据库不存在的数据，这样就会缓存不命中导致一直查询数据库解决方案：1、设置空值2、布隆过滤器布隆过滤器误判解决：1、redis分布式锁2、给布隆过滤器设置误判率
杭州下小雨~·2023-09-24 13:27

本地布隆过滤器同步至redis

本地服务器定时从redis拉取最新的bitmap值并更新本地的bitmap值，如果本地服务器有新增值，则将新增的值同步到redis服务器上实现代码如下：publicclassBloomFilterHelper{privateintnumHashFunctions;privateFunnelfunnel;privateintbitSize;privateBitArraybitArray;privat
xiaxiaoying2012·2023-09-24 07:57

SpringBoot 如何集成 Redis 实现布隆过滤器

使用场景针对Redis的缓存穿透问题，布隆过滤器是一个常见的解决办法。在单机的场景下，我们可以使用谷歌的guava包里面提供的布隆过滤器。在分布式的场景下，我们也可以选用
·2023-09-23 15:44

布隆过滤器原理及实现

今天，我们就来学习下布隆过滤器的原理以及作用。代码已经上传到githubhttps://github.com/HobbyBear/code
蓝胖子的编程梦·2023-09-23 08:24

Redis应用（7）——Redis的项目应用（六）：布隆过滤器---白名单 ----＞ Reids的问题，雪崩/ 击穿 / 穿透【重要】& 布隆过滤器

目录引出Redis的问题缓存雪崩：key不存在缓存击穿：热点key缓存穿透【重要】穿透的解决方案：布隆过滤器问题：如何存储100w纯数字布隆过滤器项目应用：布隆过滤器≈白名单htool工具包案例Redis
Perley620·2023-09-23 05:02

BD就业复习第四天

1.布隆过滤器怎么实现去重布隆过滤器是一种用于快速检查一个元素是否可能存在于一个大集合中的数据结构，但它并不适用于精确去重。
密斯特.张先生·2023-09-22 12:48

阿里面试Redis最常问的三个问题：缓存穿透、缓存击穿、缓存雪崩（带答案）

解决方案：1、使用布隆过滤器“过滤器”这个名
长头发的程序猿·2023-09-21 22:04

【C++】哈希位图和布隆过滤器

哈希位图优缺点位图应用模拟实现代码哈希布隆过滤器哈希布隆过滤器的提出哈希布隆过滤器概念模拟实现代码为什么哈希布隆图要比位图省空间哈希位图和布隆过滤器都是常用的概率数据结构，用于高效地判断一个元素是否存在于一个集合当中
Fre丸子_·2023-09-21 19:09

【C++】哈希思想的应用——位图、布隆过滤器和哈希切割

目录（一）位图1、概念2、海量数据处理的思路3、位图的模拟实现4、位图的应用应用一：应用二：应用三：（二）布隆过滤器1、概念2、布隆过滤器的
朱C.·2023-09-21 06:09

【微服务】Day17（酷鲨商城前台业务总结、布隆过滤器、Docker）

显示购物车列表,添加购物车,删除购物车,修改购物车数量)生成订单(减少库存,删除购物车,新增订单,新增订单项,修改订单状态等)搜索商品(使用ES完成根据关键字完成全文搜索)商品秒杀功能(缓存预热库存\随机码\布隆过滤器
shortcutsuccess·2023-09-21 01:55

【Flink实战】新老用户方案优化使用状态与布隆过滤器的方式

作者：“大数据小禅”文章简介：新老用户方案优化使用状态与布隆过滤器的方式欢迎小伙伴们点赞、收藏⭐、留言目录导航什么是布隆过滤器新的需求：使用Flink新老用户->状态+布隆过滤器标识核心代码代码详解结果字段截取什么是布隆过滤器布隆过滤器
大数据小禅·2023-09-20 22:10

布隆过滤器算法应用拓展案例

布隆过滤器算法应用拓展案例布隆过滤器算法应用关键布隆过滤器（BloomFilter）是一种空间效率高、查询效率快的概率型数据结构，主要用于判断一个元素是否属于一个集合。
全栈项目讲解·2023-09-20 19:59

面试redis主题一“什么是缓存穿透”

解决方法使用布隆过滤器它是一种基于概率的数据结构，主要用来判断某个元素是否在集合内，它具有运行速度快（时间效率），占用内存小的优点（空间效率），但是有一定的误识别率和删除困难的问题。
DS程序员·2023-09-19 23:03

数据结构与算法之Set&布隆过滤器

一：引入1.常见的基础数据存储容器有哪些？基础数据结构：数组+链表+map+set（树）2.假设给你一个10亿的黑名单email，如何来进行黑名单过滤？垃圾邮件：HashMap或者Hash算法白名单3.缓存相信大家都知道，但是缓存并不是百分百命中的，通常我们会根据一个id（字符串uuid）判断缓存里面有没有数据，如果没有再去数据库查询，那你有没有想过突然来了一个超级并发去查询一个缓存不存在的id怎
玛卡巴咖·2023-09-19 00:35

数据结构与算法之Hash&BitMap

分治：布隆过滤器：神器RedisHash:开3亿个空间，HashMapput（key,value）put(1,true);数组：年龄问题；data[2亿]，开始都为0，data[1]=1表示存在可行吗？
玛卡巴咖·2023-09-19 00:32

7.缓存穿透、缓存击穿、缓存雪崩

解决方案：接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；（或者使用布隆过滤器在缓存层前拦截非法请求、自动为空值添加黑名单，同时可能要为误判的记录添加白名单，但需要考虑布
xMustang·2023-09-18 21:08

Redis的缓存穿透，缓存雪崩，缓存击穿的原因和解决方案

例如：一些恶意攻击、爬虫等造成大量空命中（爬取线上商城商品数据，超大循环递增商品的ID）.缓存穿透示意图：解决方案：1、布隆过滤器拦截将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被这个
归来少年Plus·2023-09-17 17:23

位图+布隆过滤器+海量数据问题(它们都是哈希的应用)

一)位图:首先计算一下存储一下10亿个整形数据，需要多大内存呢，多少个G呢？2^30=10亿，10亿个字节bytekbmbgb100000000个字节/1024/1024/1024=1G所以10亿个字节就是1G，所以40亿个字节就是4G，也就是10个整形数据给定40亿个不重复的无符号整数，没有排过序，给定一个无符号整数，如何可以快速地判断出一个数是否在这40亿个数中？解法1:哈希表，10亿个字节，
辅助东皇燕双鹰·2023-09-17 15:21

【算法系列 | 8】深入解析查找算法之—二分查找

以下是一些常见的查找算法及其应用场景：布隆过滤器（BloomFilter）：适用于判断一个元素是否存在于一个大
颜淡慕潇·2023-09-16 16:23

高并发笔记

mp.weixin.qq.com/s/yFc-70DEhloWn0G3GDa6Yw分布式ID服务实践：https://mp.weixin.qq.com/s/KAts9Zjj8JpEd0Q6pqLlgQ一文聊透布隆过滤器
xy294636185·2023-09-16 14:15

Python 潮流周刊第 19 期摘要

3、用500行Python代码写一个C语言编译器4、简单介绍如何用Python作协议缓冲区编程5、用Python和matplotlib创建漂亮的极坐标直方图6、布隆过滤器图解与Python实现7、Python
Python猫·2023-09-16 12:40

大数据 - （七-5）- Redis - 经典问题解析

问题：缓存太多空值占用了更多的空间2）使用布隆过滤器。在缓存
啦啦啦喽啰·2023-09-16 12:55

详解哈希，理解及应用

全文目录概念哈希冲突及原因解决哈希冲突的方法闭散列线性探测二次探测扩容开散列扩容哈希的应用位图布隆过滤器概念通过映射关系将关键字映射到存储位置，并实现增删改查操作。
_featherbrain·2023-09-16 04:51

redis缓存穿透、击穿、雪崩介绍

缓存穿透概念缓存穿透指某一特定时间批量请求打进来并访问了缓存和数据库都没有的key，此时会直接穿透缓存直达数据库，从而造成数据库瞬时压力倍增导致响应速度下降甚至崩溃的风险；解决方案一、通过布隆过滤器解决原理
xmh-sxh-1314·2023-09-16 01:56

位图和布隆过滤器的实现

前言位图和布隆过滤器是基于哈希思想实现的数据结构，他们在很多的方面都有应用，比如：操作系统中的磁盘标记，快速查找某个数据是否在集合中。
小羊byte·2023-09-15 18:49
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他