布隆过滤器

哈希切割 + 位图 + 布隆过滤器 —— 海量数据面试题

目录题目一：给一个超过100G大小的logfile,log中存着IP地址,设计算法找到出现次数最多的IP地址？哈希切割题目二：给定100亿个整数，设计算法找到只出现一次的整数？解法一：哈希切割解法二：利用2个位图解法三：利用1个位图题目三：给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集？解法一：哈希切割解法二：位图位图拓展：如何获取数据的交集、并集、差集？题目四：位图应用
龙洋静·2023-09-25 03:54

数据结构-哈希-位图与布隆过滤器

位图与布隆过滤器一，位图题目分析位图设计位图代码经典题目二，布隆过滤器布隆过滤器概念布隆过滤器的插入布隆过滤器的结构布隆过滤器总结经典题目三，哈希切割一，位图题目分析给40亿个不重复的无符号整数，没排过序
大理寺j·2023-09-25 03:24

哈希 -- 位图、布隆过滤器、海量数据处理

目录一、位图1.1经典题目1.2位图概念1.3位图的应用1.4关于位图的三个经典问题二、布隆过滤器2.1布隆过滤器的提出2.2布隆过滤器的概念2.3布隆过滤器的插入2.4布隆过滤器的查找2.5布隆过滤器删除
高比仔824·2023-09-25 03:53

解决redis缓存穿透

目录一、什么是缓存穿透二、解决缓存穿透2.1缓存空对象2.2拉黑ip2.3参数合法性校验2.4布隆过滤器一、什么是缓存穿透1.客户端请求的数据在数据库中没有，这样缓存永远不会生效，所有客户端请求都会访问数据库二
DBA-fashion·2023-09-24 18:15

Java面试

一、redis1、缓存-缓存穿透缓存穿透就是查询一个数据库不存在的数据，这样就会缓存不命中导致一直查询数据库解决方案：1、设置空值2、布隆过滤器布隆过滤器误判解决：1、redis分布式锁2、给布隆过滤器设置误判率
杭州下小雨~·2023-09-24 13:27

本地布隆过滤器同步至redis

本地服务器定时从redis拉取最新的bitmap值并更新本地的bitmap值，如果本地服务器有新增值，则将新增的值同步到redis服务器上实现代码如下：publicclassBloomFilterHelper{privateintnumHashFunctions;privateFunnelfunnel;privateintbitSize;privateBitArraybitArray;privat
xiaxiaoying2012·2023-09-24 07:57

SpringBoot 如何集成 Redis 实现布隆过滤器

使用场景针对Redis的缓存穿透问题，布隆过滤器是一个常见的解决办法。在单机的场景下，我们可以使用谷歌的guava包里面提供的布隆过滤器。在分布式的场景下，我们也可以选用
·2023-09-23 15:44

布隆过滤器原理及实现

今天，我们就来学习下布隆过滤器的原理以及作用。代码已经上传到githubhttps://github.com/HobbyBear/code
蓝胖子的编程梦·2023-09-23 08:24

Redis应用（7）——Redis的项目应用（六）：布隆过滤器---白名单 ----＞ Reids的问题，雪崩/ 击穿 / 穿透【重要】& 布隆过滤器

目录引出Redis的问题缓存雪崩：key不存在缓存击穿：热点key缓存穿透【重要】穿透的解决方案：布隆过滤器问题：如何存储100w纯数字布隆过滤器项目应用：布隆过滤器≈白名单htool工具包案例Redis
Perley620·2023-09-23 05:02

BD就业复习第四天

1.布隆过滤器怎么实现去重布隆过滤器是一种用于快速检查一个元素是否可能存在于一个大集合中的数据结构，但它并不适用于精确去重。
密斯特.张先生·2023-09-22 12:48

阿里面试Redis最常问的三个问题：缓存穿透、缓存击穿、缓存雪崩（带答案）

解决方案：1、使用布隆过滤器“过滤器”这个名
长头发的程序猿·2023-09-21 22:04

【C++】哈希位图和布隆过滤器

哈希位图优缺点位图应用模拟实现代码哈希布隆过滤器哈希布隆过滤器的提出哈希布隆过滤器概念模拟实现代码为什么哈希布隆图要比位图省空间哈希位图和布隆过滤器都是常用的概率数据结构，用于高效地判断一个元素是否存在于一个集合当中
Fre丸子_·2023-09-21 19:09

【C++】哈希思想的应用——位图、布隆过滤器和哈希切割

目录（一）位图1、概念2、海量数据处理的思路3、位图的模拟实现4、位图的应用应用一：应用二：应用三：（二）布隆过滤器1、概念2、布隆过滤器的
朱C.·2023-09-21 06:09

【微服务】Day17（酷鲨商城前台业务总结、布隆过滤器、Docker）

显示购物车列表,添加购物车,删除购物车,修改购物车数量)生成订单(减少库存,删除购物车,新增订单,新增订单项,修改订单状态等)搜索商品(使用ES完成根据关键字完成全文搜索)商品秒杀功能(缓存预热库存\随机码\布隆过滤器
shortcutsuccess·2023-09-21 01:55

【Flink实战】新老用户方案优化使用状态与布隆过滤器的方式

作者：“大数据小禅”文章简介：新老用户方案优化使用状态与布隆过滤器的方式欢迎小伙伴们点赞、收藏⭐、留言目录导航什么是布隆过滤器新的需求：使用Flink新老用户->状态+布隆过滤器标识核心代码代码详解结果字段截取什么是布隆过滤器布隆过滤器
大数据小禅·2023-09-20 22:10

布隆过滤器算法应用拓展案例

布隆过滤器算法应用拓展案例布隆过滤器算法应用关键布隆过滤器（BloomFilter）是一种空间效率高、查询效率快的概率型数据结构，主要用于判断一个元素是否属于一个集合。
全栈项目讲解·2023-09-20 19:59

面试redis主题一“什么是缓存穿透”

解决方法使用布隆过滤器它是一种基于概率的数据结构，主要用来判断某个元素是否在集合内，它具有运行速度快（时间效率），占用内存小的优点（空间效率），但是有一定的误识别率和删除困难的问题。
DS程序员·2023-09-19 23:03

数据结构与算法之Set&布隆过滤器

一：引入1.常见的基础数据存储容器有哪些？基础数据结构：数组+链表+map+set（树）2.假设给你一个10亿的黑名单email，如何来进行黑名单过滤？垃圾邮件：HashMap或者Hash算法白名单3.缓存相信大家都知道，但是缓存并不是百分百命中的，通常我们会根据一个id（字符串uuid）判断缓存里面有没有数据，如果没有再去数据库查询，那你有没有想过突然来了一个超级并发去查询一个缓存不存在的id怎
玛卡巴咖·2023-09-19 00:35

数据结构与算法之Hash&BitMap

分治：布隆过滤器：神器RedisHash:开3亿个空间，HashMapput（key,value）put(1,true);数组：年龄问题；data[2亿]，开始都为0，data[1]=1表示存在可行吗？
玛卡巴咖·2023-09-19 00:32

7.缓存穿透、缓存击穿、缓存雪崩

解决方案：接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；（或者使用布隆过滤器在缓存层前拦截非法请求、自动为空值添加黑名单，同时可能要为误判的记录添加白名单，但需要考虑布
xMustang·2023-09-18 21:08

Redis的缓存穿透，缓存雪崩，缓存击穿的原因和解决方案

例如：一些恶意攻击、爬虫等造成大量空命中（爬取线上商城商品数据，超大循环递增商品的ID）.缓存穿透示意图：解决方案：1、布隆过滤器拦截将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被这个
归来少年Plus·2023-09-17 17:23

位图+布隆过滤器+海量数据问题(它们都是哈希的应用)

一)位图:首先计算一下存储一下10亿个整形数据，需要多大内存呢，多少个G呢？2^30=10亿，10亿个字节bytekbmbgb100000000个字节/1024/1024/1024=1G所以10亿个字节就是1G，所以40亿个字节就是4G，也就是10个整形数据给定40亿个不重复的无符号整数，没有排过序，给定一个无符号整数，如何可以快速地判断出一个数是否在这40亿个数中？解法1:哈希表，10亿个字节，
辅助东皇燕双鹰·2023-09-17 15:21

【算法系列 | 8】深入解析查找算法之—二分查找

以下是一些常见的查找算法及其应用场景：布隆过滤器（BloomFilter）：适用于判断一个元素是否存在于一个大
颜淡慕潇·2023-09-16 16:23

高并发笔记

mp.weixin.qq.com/s/yFc-70DEhloWn0G3GDa6Yw分布式ID服务实践：https://mp.weixin.qq.com/s/KAts9Zjj8JpEd0Q6pqLlgQ一文聊透布隆过滤器
xy294636185·2023-09-16 14:15

Python 潮流周刊第 19 期摘要

3、用500行Python代码写一个C语言编译器4、简单介绍如何用Python作协议缓冲区编程5、用Python和matplotlib创建漂亮的极坐标直方图6、布隆过滤器图解与Python实现7、Python
Python猫·2023-09-16 12:40

大数据 - （七-5）- Redis - 经典问题解析

问题：缓存太多空值占用了更多的空间2）使用布隆过滤器。在缓存
啦啦啦喽啰·2023-09-16 12:55

详解哈希，理解及应用

全文目录概念哈希冲突及原因解决哈希冲突的方法闭散列线性探测二次探测扩容开散列扩容哈希的应用位图布隆过滤器概念通过映射关系将关键字映射到存储位置，并实现增删改查操作。
_featherbrain·2023-09-16 04:51

redis缓存穿透、击穿、雪崩介绍

缓存穿透概念缓存穿透指某一特定时间批量请求打进来并访问了缓存和数据库都没有的key，此时会直接穿透缓存直达数据库，从而造成数据库瞬时压力倍增导致响应速度下降甚至崩溃的风险；解决方案一、通过布隆过滤器解决原理
xmh-sxh-1314·2023-09-16 01:56

位图和布隆过滤器的实现

前言位图和布隆过滤器是基于哈希思想实现的数据结构，他们在很多的方面都有应用，比如：操作系统中的磁盘标记，快速查找某个数据是否在集合中。
小羊byte·2023-09-15 18:49

哈希的进阶（位图STL-BitSet、布隆过滤器等的模拟实现）

STL-BitSet）位图的应用场景1位图的模拟实现基础框架set函数reset函数test函数位图的整体代码最终测试位图的其他应用场景应用场景2应用场景3应用场景4位图的缺陷和优点使用STL的位图时的栈溢出问题布隆过滤器布隆过滤器的提出布隆过滤器的误判以及相关知识点为什么布隆过滤器会出现误判
work_hard423·2023-09-15 09:07

一线大厂Redis高并发缓存架构实战与性能优化

缓存穿透问题解决方案：1、缓存空对象2、布隆过滤器对于恶意
will.tsang·2023-09-15 06:56

redis缓存相关问题及解决方案

缓存问题击穿，穿透，雪崩，一致性解决方案：1.击穿：给操作加锁（缓存为空，查数据库，更新缓存）2.穿透：查数据库，存储返回空值，或者使用布隆过滤器过滤数据库中没有的数据3.雪崩：设置随机过期时间4.数据一致性
丢雷劳谋·2023-09-15 04:10

(python)常用算法-查找算法

前言Python中常用的算法有很多，分析一下实现的原理和demo.查找算法：线性查找，二分查找，插值查找，哈希查找，二叉查找树，平衡二叉查找树，B树，布隆过滤器等.时间复杂度算法时间复杂度顺序查找O(n
Marst Code·2023-09-14 23:18

布隆过滤器（Bloom Filter）

一，布隆过滤器介绍布隆过滤器（BloomFilter）是一个很长的二进制向量（位图BitMap）和一系列随机映射函数（Hash函数）。
逐梦的白鹰·2023-09-14 17:04

【Redis缓存：常见问题及解决方案】

目录①缓存雪崩常见的解决方案加锁排队随机化过期时间设置⼆级缓存②缓存穿透常见的解决方案布隆过滤器缓存空结果接口层增加校验③缓存击穿常见的解决方案加锁排队设置热点数据永远不过期分布式缓存系统④缓存预热缓存预热的实现思路
TheMythWS·2023-09-14 17:37

时序数据库的关键技术点总结

总结时序数据库的关键技术点内存SQL解析LSMTree（WAL）skiplist内存合并，有序落盘LRU时序文件索引缓存存储层时间分区+设备分区索引文件时间戳范围索引布隆过滤器索引brin索引btree
Muroidea·2023-09-14 09:01

【Java】面试常问知识点（数据库相关知识）

布隆过滤器的底层原理Redis数据结构有5中数据结构，string（字符串类型）、list（列表类型）、hash（哈希表类型，即key-value），set（无序集合且元素唯一），Zset（有序集合，且元素唯一
Aaron_Liu0730·2023-09-12 21:29

Redis布隆过滤亿级大数据

假设openid的总量可能达到10亿级别解决思路：基于redis使用布隆过滤器方案介绍1.布隆过滤器布隆过滤器（BloomFilt
hjxisking·2023-09-12 10:43

哈希切割 及 海量数据处理面试题讲解

分别给出精确算法和近似算法近似算法：把一个文件的内容set到布隆过滤器中，然后遍历另一个文件判断在不在，在的就是交集。精确算法：首先我们估算一下100亿个字符串大概占多少空间？
YIN_尹·2023-09-12 01:24

【1++的数据结构】之哈希（二）

作者主页：进击的1++专栏链接：【1++的数据结构】文章目录一，前言二，位图1.位图2.位图的应用三，布隆过滤器一，前言上一节我们讲解了哈希表，简单的了解了哈希思想，这一节我们对哈希思想进行更深入的了解
进击的1++·2023-09-11 21:19

第16章 服务安全控制

目标1、Gateway限流Gateway限流方案基于令牌桶限流实现2、Nginx限流Nginx速率限流Nginx并发量限流3、Redis集群应用Redis集群搭建Redis扩容与数据迁移4、缓存灾难处理布隆过滤器原理
Eclipse_2019·2023-09-11 11:49

Python 潮流周刊第 19 期摘要

3、用500行Python代码写一个C语言编译器4、简单介绍如何用Python作协议缓冲区编程5、用Python和matplotlib创建漂亮的极坐标直方图6、布隆过滤器图解与Python实现7、Python
·2023-09-10 21:16

flink实战二 -用户行为分析二

用户行为分析二1.实时统计热门商品2.实时统计热门页面3.实时统计PV/UV/GMV3.1.需求是:统计每小时pv统计3.2每个小时的UV统计3.3每个小时的UV统计--布隆过滤器来实现3.4布隆过滤器
大数据学习爱好者·2023-09-10 15:04

Redis经典问题：缓存穿透

常见的解决方式有缓存空对象和布隆过滤器。
夏娃同学·2023-09-09 23:53

带上问题来学redis，看到不吃亏（什么是redis？缓存问题、数据一致性、redis配置文件汉化版）

方案一：缓存空值方案二：布隆过滤器布隆过滤器两种方案比较缓存雪崩雪崩？到点了，键值通通下班了。。。如何处置乎？？？方案一：永不下班（设置永不过期）方案二
猿天下·2023-09-09 18:59

哈希的应用——布隆过滤器

文章目录前言1.布隆过滤器提出2.布隆过滤器概念3.布隆过滤器的插入多哈希函数映射减少冲突结构定义及set（插入）函数实现4.布隆过滤器的查找test（查找）函数实现布隆过滤器允许误判5.布隆过滤器的适用场景
YIN_尹·2023-09-09 17:29

Redis -- 缓存穿透和缓存雪崩

还有最常见的则是采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被这个bitmap拦截掉，从
比博·2023-09-09 02:32

聊聊布隆过滤器

聊聊布隆过滤器(qq.com)https://github.com/RedisBloom/RedisBloomhttps://docs.redis.com/latest/stack/bloom/一、什么是布隆过滤器
青霄·2023-09-08 20:47

redis缓存击穿、穿透、雪崩 - 测试发布

采用布隆过滤器是一
qq_43675412·2023-09-07 13:14

缓存穿透、缓存击穿和缓存雪崩详解

解决方案：（1）布隆过滤器（对可能查询的数据先用hash存储），不存在真的不存在，存在不一定存在，并非百分百准确，有一定的穿透风险。
种下一颗小白菜·2023-09-07 13:13
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他