海量数据处理

海量数据处理

十道海量数据处理面试题与十个方法大总结-CSDN博客这类博客写的有的有问题，注意辨别1000瓶药其中1瓶毒药，最少多少只老鼠可以验出毒药（药可以混合）1000个瓶子中有一瓶毒药，一只老鼠吃到毒药一周之内会死
坠金·2023-09-28 11:47

哈量数据处理面试题(哈希切割，位图，布隆过滤器)

目录前言一.位图应用二.布隆过滤器三.哈希切割前言海量数据处理，顾名思义。就是数据两很大，内存不足以保存这么多数据的问题该如何解决。一般可以使用位图(整形)，布隆过滤器(非整形)，哈希切割的方法。
两片空白·2023-09-25 03:58

C++--程序员修炼手册--海量数据处理--位图--布隆过滤器

目录一，位图是什么：二，位图怎么实现2.1，数据处理方法2.2，位图的实现1，数据插入操作2，数据删除操作3，查找元素三，布隆过滤器3.1，布隆过滤器是做什么的：3.2，布隆过滤器的实现1，数据插入2，数据查询四，哈希切分五，海量数据面试题1，哈希切分2，位图应用3，布隆过滤器一，位图是什么：位图是用来判断某一个数据在不在一个文件里，优点：是节省空间，效率高，采用哈希映射（直接定址）确定某个数在不
想找后端开发的小杜·2023-09-25 03:55

哈希思想的应用 - 位图，布隆过滤器

目录位图海量数据处理问题：哈希思想的应用：位图位图实现：位图处理海量数据布隆过滤器引：布隆过滤器的概念：布隆过滤器简单实现：布隆过滤器的查找布隆过滤器的删除布隆过滤器优点布隆过滤器缺点有关布隆过滤器中，
__zz11·2023-09-25 03:25

哈希 -- 位图、布隆过滤器、海量数据处理

布隆过滤器2.1布隆过滤器的提出2.2布隆过滤器的概念2.3布隆过滤器的插入2.4布隆过滤器的查找2.5布隆过滤器删除2.6代码实现2.7布隆过滤器的优点2.8布隆过滤器的缺陷2.9布隆过滤器的应用场景三、海量数据处理
高比仔824·2023-09-25 03:53

简单几个配置 Go 实现敏感数据脱敏，可以自定义数据脱敏规则（附完整实现源码）

介绍为了保障企业的数据安全和隐私安全，godlp提供了一系列针对敏感数据的识别和处置方案，其中包含敏感数据识别算法，数据脱敏处理方式，业务自定义的配置选项和海量数据处理能力。
代码讲故事·2023-09-21 07:51

【C++】哈希思想的应用——位图、布隆过滤器和哈希切割

目录（一）位图1、概念2、海量数据处理的思路3、位图的模拟实现4、位图的应用应用一：应用二：应用三：（二）布隆过滤器1、概念2、布隆过滤器的
朱C.·2023-09-21 06:09

开源分布式中间件DBLE容器化快速安装部署

原创作者：[爱可生开源社区]DBLE是基于开源项目MyCat发展的企业级开源分布式中间件，适用于高并发及TB级海量数据处理场景；江湖人送外号“MyCatPlus”；其简单稳定，持续维护，良好的社区环境和广大的群众基础使
爱可生开源社区·2023-09-20 14:58

校招季求职知识储备建议

基础知识储备方面：Ø语言：C/C++语系、Java、Javascript、PHP、Python、Linux、HTML5等；Ø海量数据处理技术和算法Ø数据结构：排序（堆排序+基数排序+快排）、图、栈+堆+
hebeind100·2023-09-18 03:16

Apache Spark 2.2.0 官方文档中文版

原文链接:http://www.apachecn.org/bigdata/spark/268.htmlApacheSpark™是一个快速的,用于海量数据处理的通用引擎.官方网址:http://spark.apache.org
boonya·2023-09-17 10:40

C++数据结构-海量数据处理

海量数据处理海量数据，不能一次加载到内存中海量数据topK(最大和最小k个数)，第k大，第k小的数海量数据判断一个整数是否存在其中海量数据找出不重复的数字找出A,B两个海量url文件中共同的url10亿搜索关键词中热度最高的
Runjavago·2023-09-17 00:16

位图和布隆过滤器的实现

1.位图1.1位图的概念所谓位图就是用每一位来存放某种状态，适用于海量数据处理，数据无重复的场景。通过用于判断某个数据在不在。1.2位图的实现#includ
小羊byte·2023-09-15 18:49

哈希切割 及 海量数据处理面试题讲解

文章目录哈希切割及海量数据处理面试题讲解问题1问题2哈希切割及海量数据处理面试题讲解问题1给两个文件，分别有100亿个query字符串，我们只有1G内存，如何找到两个文件交集？
YIN_尹·2023-09-12 01:24

CQRS架构采用Apache Kafka和MongoDB作为基础设施，支持分布式消息系统和NoSQL文档数据库，可以极大地解决海量数据处理问题

作者：禅与计算机程序设计艺术1.简介Command-QueryResponsibilitySegregation(CQRS)，是一种软件设计模式，用于划分数据处理的职责。其中的C(ommand)指的是数据更新，包括插入、删除、修改等；Q(uery)指的是数据读取，即数据库中数据的查询。CQRS将这两种不同的职责分离开来，可以提升系统的可维护性和可扩展性。CQRS是建立在事件溯源架构上的。它可以实现
禅与计算机程序设计艺术·2023-09-10 13:04

SpringBoot+MP操作DM8

（同时也是一款RDBMS，关系型数据库管理系统，和oracle比较像）DM8采用全新的体系架构，在保证大型通用的基础上，针对可靠性、高性能、海量数据处理和安全性做了大量的研发和改进工作，极大提升了达梦数据库产品的性能
白豆五·2023-09-09 20:56

哈希的应用——位图

文章目录前言1.面试题思考2.位图2.1位图的概念2.2思路讲解及代码实现结构定义构造函数set和reset接口实现set和reset测试观察test接口实现test接口测试思考3.位图的应用（海量数据处理面试题
YIN_尹·2023-09-09 17:27

更快更强更稳定：腾讯向量数据库测评

向量数据库：AI时代的新基座人工智能在无处不在影响着我们的生活，而人工智能飞速发展的背后是需要对越来越多的海量数据处理，传统数据库已经难以支撑大规模的复杂数据处理。
沉迷单车的追风少年·2023-09-09 14:30

疑难解答｜我是学Java的，想从事大数据相关工作，该怎么规划学习？

策略一想从事大数据、海量数据处理相关的工作，如何自学打基础？想做数据处理尤其是大数据量处理的相关工作必须兼具计算机科学基础和统计基础。
yoku酱·2023-09-09 13:14

算法通关村第十五关：青铜-用4KB内存寻找重复元素

思路分析本题是非常典型的海量数据处理的问题，使用的是位运算结构内存大小关系1字节=1byte（拜特）=1B=8bit（比特，位）1KB=1024B1MB=1024KB1GB=1024MB如
ListenYin·2023-09-06 03:22

谈谈Hadoop MapReduce和Spark MR实现

MapReduce是一种分布式海量数据处理的编程模型，用于大规模数据集的并行运算。有以下几个特点：分而治之，并行处理。
码农峰·2023-09-04 10:40

MongoDB 的简介

OLTP\OLAP数据库，类似于Oracle,MySQL,海量数据处理，数据平台。主要特点是什
弓长三虎·2023-09-03 15:00

电商项目part07 订单系统的设计与海量数据处理

订单重复下单问题（幂等）用户在点击“提交订单”的按钮时，不小心点了两下，那么浏览器就会向服务端连续发送两条创建订单的请求。这样肯定是不行的解决办法是,让订单服务具备幂等性。什么是幂等性？幂等操作的特点是，操作任意多次执行所产生的影响，均与一次执行所产生的影响相同。也就是说,对于幂等方法，使用同样的参数，对它进行多次调用和一次调用，其对系统产生的影响是一样的。读写分离与分库分表使用Redis作为My
渔阳节度使·2023-09-03 00:01

面试题-海量数据处理问题

类型一海量数据，出现次数最多or前K分而治之/Hash映射+Hash统计+堆/快速/归并排序1、海量日志数据，提取出某日访问百度次数最多的那个IP。IP有32位，共有232232个IP。1）采用hash的方式，ip%m，将大文件分成m个小文件。2）对每个小文件，用hash表统计ip出现的次数。找出这个小文件出现次数最多的ip3）在这m个ip中，比较得到出现次数最多的ip。如果是topk的话，就维护
Alukar·2023-08-26 08:07

数字化来了，该如何选择大数据存储？主流架构MPP与Hadoop的对比

关注：工众号；数元斋随着云计算、大数据产业的不断发展，传统使用单机数据库进行数据存储的模式已经不能满足业界日益增长需求，海量数据处理成为一个关键问题。
少晗·2023-08-19 02:34

不惧流量持续上涨，BIGO 借助 Flink 与 Pulsar 打造实时消息系统

开源的Kafka集群难以支撑海量数据处理场景，我们需要投入更多的人力去维护多个Kafka集群，这样成本会越来越高，主要体现在以下几个方面：1、数据存储
zhisheng_blog·2023-08-13 15:53

使用Flink 与 Pulsar 打造实时消息系统

开源的Kafka集群难以支撑海量数据处理场景，我们需要投入更多的人力去维护多个Kafka集群，这样成本会越来越高，主要体现在以下几个方面：1、数据存储
ITFLY8·2023-08-13 15:22

【C++】位图｜布隆过滤器｜海量数据处理面试题

文章目录一.位图1.位图的概念2.位图的使用3.位图的实现二.布隆过滤器1.布隆过滤器2.布隆过滤器的实现三.海量数据处理面试题1.位图2.布隆过滤器3.哈希切割一.位图1.位图的概念所谓位图，就是用每一位来存放某种状态
殿下p·2023-08-12 16:14

Hadoop之MapReduce实现原理-基础篇

基础篇一、基础篇1.MR设计目标2.MR编程模型3.MR基本架构1.MapTask执行过程2.ReduceTask执行过程4.MR作业的生命周期一、基础篇1.MR设计目标MR诞生于搜索领域，主要是为了解决海量数据处理扩展性差的问题
数据的小伙伴·2023-08-09 08:39

C++ 哈希思想应用 位图 布隆过滤器 海量数据处理

文章目录问题引入位图（附C++模拟实现源码）布隆过滤器（附C++模拟实现源码）问题引入问题：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。问题分析：时间复杂度角度：直接遍历，时间复杂度O(N)；以文件为单位进行归并排序(O(NlogN))+二分查找O(logN);利用位图解决，时间复杂度0(1);空间复杂度角度：如果利用unordered_set
枫见木·2023-08-06 21:52

海量数据处理

位图-BitMap（二进制位数组，节省内存，速度O1）（只能处理有范围正整数）如何从40亿个qq号中快速查找到一个qq号是否存在？要求内存在1GB内，且响应速度在一秒内。无法使用hashset（内存不够）、hashMape也不行他的key也是存在内存上的使用一个二进制数组，开辟43亿二进制位数组，里面存的都是1.0.（占用512MB内存）为啥要43亿呢，因为我们qq号是一个int类型，4个字节，4
陈岂几真幸运·2023-08-02 09:24

阿里云ACA证书有什么用？

ACA(助理工程师)：取得该系列认证的用户可以获得对阿里云基础产品的管理能力，并具备一定的海量数据处理与分析能力。ACP(认证工程师)：取得该系列认证的用户将可以基于阿里
outuo219·2023-08-02 02:13

十、批流一体流程化大数据架构设计

1、技术背景在当代信息社会中，数据的处理和分析已经成为了一个重要的议题，大量的数据处理需求推动了数据处理技术不断的发展，出现了很多解决海量数据处理的软件方案。
vandh·2023-07-25 22:03

常见海量数据问题处理

海量数据处理：1.topk问题海量数据中找出最大的前k个数（或者最小的前k个数）一般的套路是：hash分割数据集+trie树/hash统计出词频+小顶堆（1）使用hash的方法将数据集分成多个小的数据集
CgySHFF·2023-07-24 17:15

如何在银行系统中做批量测试~

导读当前，在计算机主机的应用处理模式中，批量处理作为一种事后数据处理方式，一直是一种简单而又非常重要的处理方式，尤其是对于海量数据处理，批量方式就更能显示其高效的处理效果。
测试萧十一郎·2023-07-21 11:04

昆仑分布式数据库架构介绍

一、前言昆仑分布式数据库集群（下文简称昆仑数据库）是一个分布式关系数据库管理系统，面向TB和PB级别海量数据处理，以高吞吐量和低延时处理海量数据高并发读写请求。
KunlunBase 昆仑数据库·2023-07-14 23:25

MongoDB和MySQL和Redis的区别

4、缺点就是在海量数据处理的时候效率会显著变慢。MongoDB：Mongodb是非关系型数据库(nosql),属于文档型数据库。
lvlv。·2023-07-14 07:29

mongodb,redis,mysql 区别

缺点就是在海量数据处理的时候效率会显著变慢。二、Mongodb非关系型数据库(nosql),属于文档型数据库。先解释一下文档的数据库，即可以存放xml、json、bson类型系那个的数据。
xmh-sxh-1314·2023-07-14 07:18

哈希的应用 -- 布隆过滤器与海量数据处理

文章目录布隆过滤器概念布隆过滤器设计思路布隆过滤器的应用布隆过滤器模拟实现布隆过滤器的基本框架布隆过滤器的插入布隆过滤器的探测布隆过滤器的删除布隆过滤器优点布隆过滤器缺陷布隆过滤器模拟实现代码及测试代码海量数据处理哈希切割布隆过滤器概念布隆过滤器是由布隆
清欢Allen·2023-06-18 13:34

C++【位图/布隆过滤器—海量数据处理】

文章目录一、位图（1）位图概念介绍（2）简单模拟实现（3）位图应用二、布隆过滤器（1）关于布隆过滤器概念及介绍（2）布隆过滤器的使用场景（3）模拟实现（4）布隆过滤器天生不支持删除reset（5）BF总结三、海量数据处理
7昂7.·2023-06-18 13:02

老大难的分布式锁与幂等性问题，如何解决？长文干货！

来源：blog.csdn.net/zdy0_2004/article/details/52760404随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多
zl1zl2zl3·2023-06-18 06:19

分布式锁与幂等性解决方案

2019独角兽企业重金招聘Python工程师标准>>>随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多。
weixin_33989058·2023-06-18 06:49

DPDK分析--深入浅出

在这些针对海量数据处理或海量用户的服务场景，高性能编程显得尤为重要。
蒋暕青de博客·2023-06-09 12:05

关于MLOps中的数据工程，你一定要知道的.......

随着海量数据处理工具集的发展以及数据源和数据格式在种类和规模
狐狸的帽子·2023-06-07 14:47

mongodb redis mysql 区别

缺点就是在海量数据处理的时候效率会显著变慢。二、Mongodb非关系型数据库(nosql),属于文档型数据库。先解释一下文档的数据库，即可以存放xml、json、bson类型系那个的数据。
xmh-sxh-1314·2023-06-07 10:58

【C++】位图/布隆过滤器+海量数据处理

✍作者：阿润菜菜专栏：C++文章目录前言一位图1.位图法介绍2.位图实现的细节二、布隆过滤器1.布隆过滤器概念2.布隆过滤器实现三、海量数据处理1.位图应用2.哈希切割3.布隆过滤器前言题目给40亿个不重复的无符号整数
阿润菜菜·2023-06-07 04:55

海量数据面试题分析策略及对应知识点Blog汇总+10道海量数据面试题解答（仅供参考）

文章一：MapReduce技术的初步了解与学习文章二：从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）文章三：海量数据处理之BloomFilter详解文章四：十道海量数据处理面试题与十个方法大总结文章五
zhongwen7710·2023-04-21 05:30

99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文
穿袜子的流氓兔·2023-04-21 05:28

海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文
帝王铠·2023-04-21 05:25

MySQL和MongoDB的区别

4、缺点就是在海量数据处理的时候效率会显著变慢。MongoDB非关系型数据库(nosql),属于文档型数据库。先解释一下文档的数据库，即可以存放xml、json、bson类型系那个的数据。
折花载酒z·2023-04-21 04:06

【从0-1成为架构师】网络架构模式

反向代理本地缓存分布式缓存异步提高系统可用行加快网站相应速度消除并发访问高峰冗余自动化自动化代码管理自动化测试自动化安全检查自动化部署自动化监控自动化报警自动化失效转移自动化失效恢复自动化降级自动化分配资源网络架构模式为了解决大型互联网公司面临的高并发，海量数据处理
学疏才浅·2023-04-19 11:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他