海量数据处理

算法必刷系列之位运算

位运算的基本运算单元是bit，相比于整数的int占据四个字节，大量节约运算空间，适用于海量数据处理位1的个数leetcode191通过1移位并与给出的数字进行与运算判断对应位置是否位1publicinthammingWeight
今天不coding·2023-11-25 21:59

通过BitSet源码来理解BitMap算法

BitMap是一种很常用的数据结构，它的思想的和原理是很多算法的基础，当然，并且在索引，数据压缩，海量数据处理等方面有广泛应用。
goldenJetty·2023-11-23 17:26

Hadoop中HDFS文件管理系统的使用

它具有以下优点适合海量数据处理：能够处理百万规模以上的文件数量，数据存储可达TB、P
Vic·Tory·2023-11-23 06:54

教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文
pi9nc·2023-11-21 06:26

海量数据处理

海量数据处理面试题：考虑点：一台计算机究竟能装下多少数据（计算），拆分这些数据会产生什么问题，如何合理拆分数据（拆分规则，底层存储结构），一台计算机需要不同的数据片段时，如何查找（快速查找）。
diaomu5377·2023-11-21 06:23

何谓海量数据处理？

所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。那解决办法呢?
aodaidi6752·2023-11-21 06:22

2019-08-08

缺点就是在海量数据处理的时候效率会显著变慢。Mongodb非关系型数据库(nosql),属于文档型数据库。先解释一下文档的数据库，即可以存放xml、json、bson类型系那个的数据。这些数据
善_46f5·2023-11-20 21:02

人工智能芯片报告

每执行一条指令都需要从存储器中读取数据，根据指令对数据进行相应的操作；CPU的主要职责并不只是数据运算，还需要执行存储读取、指令分析、分支跳转等命令CPU的频率、内存带宽条件，限制了处理器的性能，而深度学习算法需要海量数据处理人工智能芯片目前有两种发展路径
AgileHouse·2023-11-19 19:57

大数据基础设施Apache Hadoop简介

在海量数据处理的需求下，一个通用的分布式数据处理技术框架应运而生
chenhjia·2023-11-19 10:10

海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）

topK问题在大规模数据处理中，经常会遇到的一类问题：在海量数据中找出出现频率最好的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为topK问题。例如，在搜索引擎中，统计搜索最热门的10个查询词；在歌曲库中统计下载最高的前10首歌等。针对topK类问题，通常比较好的方案是分治+Trie树/hash+小顶堆（就是上面提到的最小堆），即先将数据集按照Hash方法分解成多个小数据集，然后
谈胖胖·2023-11-17 09:23

算法之分治算法

分治思想在海量数据处理中的应用总结：参考资料：前言：MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
遇见更好的自己、·2023-11-17 09:22

海量数据处理－－从分而治之到Mapreduce

海量数据处理常用技术概述如今互联网产生的数据量已经达到PB级别，如何在数据量不断增大的情况下，依然保证快速的检索或者更新数据，是我们面临的问题。所谓海量数据处理，是指基于海量数据的存储、处理和操作等。
xiaoranone·2023-11-17 09:21

38.分治算法：谈一谈大规模计算框架MapReduce中的分治思想

2.分治算法应用举例分析2.1暴力法2.2借助归并排序3.分治思想在海量数据处理中的应用1.如何理解分治算法？
tobebetter9527·2023-11-17 09:49

算法学习笔记23：分治算法

目录分治算法：谈一谈大规模计算框架MapReduce中的分治思想如何理解分治算法分治算法应用举例分析分治思想在海量数据处理中的应用解答开篇内容小结分治算法：谈一谈大规模计算框架MapReduce中的分治思想
_无感·2023-11-17 09:47

yo！这里是哈希应用相关介绍

受这种思想启发，许多哈希应用应运而生，包括位图、布隆过滤器、海量数据处理等，
大写的酷·2023-11-12 10:27

3DGIS软件之VRMap：应用VRMap软件实现三维建模和可视化应用

其海量数据处理能力、高级仿真效果、快速集成传统GIS数据构建场景、二次开发支持等关键技术指标均全面领先于国内外其他同类产品。与国内外同类产品相比，VRMap能够为政府部门、
weixin_30877227·2023-11-11 13:02

hadoop

MapReduce对海量数据处理map函数进行数据的提取、排序，实现mapper，四个形参（
yuanjianqiang_0925·2023-11-11 08:01

【观察】华为：释放知识计算新力量，开启联接计算新未来

特别是5G、AI的加速落地，让海量的应用、百亿级联接、无处不在的智能变为现实，这就要求企业必须快速具备海量数据处理分析能力、各种应用场景下人工智能训练和推理能力、知识计算和知识图谱的构建能
申耀的科技观察·2023-11-10 07:05

golang实现简易Raft

golang实现简易Raft文章目录golang实现简易RaftRaft简介官方动画golang实现raftRaft简介随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩
jenrain·2023-11-07 02:42

阿里blink架构

业务背景各大公司也都基于自身业务场景和数据规模定制了自己的大数据计算平台，但这些大数据计算平台大都是批处理系统，虽然具备海量数据处理能力，但在时效性上有明显的滞后。
生活的探路者·2023-11-04 13:02

算法与数据结构-分治算法

文章目录什么是分治算法分治算法应用举例分析分治思想在海量数据处理中的应用什么是分治算法分治算法（divideandconquer）的核心思想其实就是四个字，分而治之，也就是将原问题划分成n个规模较小，并且结构与原问题相似的子问题
码农界的菜鸟·2023-11-04 07:50

实战——幂等性+海量数据处理

当用户在提交订单的时候1.2重复下单解决方案1.3案例一幂等性总结2防止订单ABA问题2.1场景如下：当在修改订单用户信息的时候发生服务器或者网络问题导致的重试2.2ABA问题解决方案2.3业务ABA问题总结二、海量数据处理
甲乙Rocket·2023-11-02 05:24

那些年，我们在Apache SeaTunnel 2.1.0部署中踩过的坑【含源码分析】

02特点易于使用，配置灵活，低代码开发实时流媒体离线多源数据分析高性能、海量数据处理能力模块化和插入式机构，易于扩展支持通过SQL进行数据处理
SeaTunnel·2023-11-01 21:53

seatunnel同步Mysql至Hive

使用场景海量数据同步海量数据整合具有海量数据的ETL海量数据聚合多源数据处理特点简单易用，配置灵活，低代码开发实时流式传输离线多源数据分析高性能、海量数据处理能力模块化和插件机制，易于扩展支持SQL数据处理和聚合支持
帅骚贯彻一生·2023-11-01 21:49

通信工程导论（13）

大数据=海量数据+针对海量数据处理的解决方案我们为什么要进行信号处理：削弱信号中的多余内容；滤除混杂的噪声与干扰；将信号变换成容易处理，
Edward_Ci·2023-10-31 09:54

大宝大话大数据(二)——大数据的学习路径和方法

当时上刘军老师《海量数据处理》这门课的时候，老师很好，很认真讲了Hadoop的
北邮郭大宝·2023-10-30 08:48

国家数据局正式揭牌，数据专业融合型人才迎来发展良机

分布式统一大数据虚拟文件系统Alluxio原理、技术与实践》《云原生数据中台：架构、方法论与实践》《腾讯大数据构建之道》《运维数据治理:构筑智能运维的基石》《智能数据分析：入门、实战与平台构建》《电商存储系统实战：架构设计与海量数据处理
想你依然心痛·2023-10-28 20:04

Hive安装笔记

本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来，更正了原书中的一些细节处的问题。
碣石观海·2023-10-27 04:11

storm--流式分布式系统介绍

Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Ha
bupt_小新·2023-10-26 15:13

Hadoop完全分布式部署笔记

目录一、安装两台虚拟机二、修改主机名和用户名三、配置静态IP地址四、配置SSH无密码连接五、安装JDK：六、配置Hadoop本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来，修正了原书中的一些细节处的问题
碣石观海·2023-10-24 16:12

十道海量数据处理面试题与十个方法大总结（转载）

时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。有任何问题，欢迎随时交流、指正。
考古学家lx(李玺)·2023-10-24 12:27

面试中问最常问的海量数据处理你拿捏了没？

目录问题一：在40亿数据中查找一个元素是否存在？1.位图解决相关问题问题二：给一个超过100G大小的logfifile,log中存着IP地址,设计算法找到出现次数最多的IP地址？与上题条件相同，如何找到topK的IP？2.哈希切割问题三：给定100亿个整数，设计算法找到只出现一次的整数？1.双位图法：2.单位图法：3.比特位法：问题四：给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两
月半木斤·2023-10-24 12:27

海量数据处理——基于hash的常见问题总结

一、信息压缩处理问题1：如果有40亿个数（不重复无符号整数），需要知道某个数是否在这40个亿中？答：如果利用hash表来查找，需要int[]array=newint[40亿],用这40亿个数作为下标初始化一个数组，各个值为0，然后遍历数组，下标等于这个数的位置存1，根据所有位置存的是0还是1就能知道某个数是否存在了。40亿×4字节=160亿字节，每个位置只需要存0或1，用4字节来存太浪费空间。由此
小矮多·2023-10-23 07:59

超长解析：一文带你分析与解决分布式系统互斥性与幂等性问题

随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。
风平浪静如码·2023-10-23 03:27

mongodb和mysql应用场景区别_MySQL和Mongodb的区别与应用场景对比

缺点：在海量数据处理的时候效率会显著变慢。
xuming zheng·2023-10-21 09:58

MYSQL和MongoDB的分析

④缺点就是在海量数据处理的时候效率会显著变慢。2、非关系型数据库—M
Begin to change·2023-10-21 09:24

数据结构——哈希

.原理说明2.代码实现3.优缺点分析4.二次探测②开散列1.原理说明2.代码实现③闭散列与开散列的比较4.哈希的应用①位图②布隆过滤器1.布隆过滤器概念2.布隆过滤器的模拟实现3.布隆过滤器的优缺点③海量数据处理
轩轩曲觞阁·2023-10-21 00:21

大数据和智能数据应用架构系列教程之：大数据与环境监测

由于信息时代的到来，环境监测领域也逐渐成为数据化驱动、海量数据处理、智能控制的关键环节。二、核心概念1.数据流转
禅与计算机程序设计艺术·2023-10-19 22:40

【哈希】——哈希的应用-位图/布隆过滤器+海量数据处理

一、位图1.1位图概念面试题给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】1.遍历，时间复杂度O(N)2.排序(O(NlogN))，利用二分查找:logN3.位图解决数据是否在给定的整形数据中，结果是在或者不在，刚好是两种状态，那么可以使用一个二进制比特位来代表数据是否存在的信息，如果二进制比特位为1，代表存在，为0代表不存在。比如：位图
gtyyky·2023-10-18 18:25

2019-08-09

缺点就是在海量数据处理的时候效率会显著变慢。Mongodb非关系型数据库(nosql),属于文档型数据库。先解释一下文档的数据库，即可以存放xml、json、bson类型系那个的数据。这些数据具备
Overonenewsi·2023-10-13 10:12

mongodb与mysql区别（超详细）

缺点：在海量数据处理的时候效率会显著变慢。Mongodb是非关系型数据库(nosql),属于文档型数据库。
中v中·2023-10-09 12:06

大数据Hadoop原理：大数据Hadoop技术原理简介

关于Hadoop，大家都知道这是目前市面上主流的大数据都在用的框架，通过分布式存储和分布式计算来解决海量数据处理的问题。目前Hadoop已经更
加米谷大数据张老师·2023-10-08 06:05

腾讯云计算型GPU云服务器应用于哪些场景？

海量计算处理GPU云服务器超强的计算功能可应用于海量数据处理方面的运算。如搜索、
dechenBlog·2023-10-08 05:30

【数据结构】海量数据处理

【数据结构】海量数据处理前言海量数据处理是指基于海量数据的存储和处理，正因为数据量太大，所以导致要么无法在短时间内迅速处理，要么无法一次性装入内存。
ikun66666·2023-10-04 09:29

Hadoop的技术内幕：深入理解Hadoop体系架构

作者：禅与计算机程序设计艺术1.简介Hadoop是目前最流行的开源分布式计算系统之一，其主要特点是高容错性、可扩展性和海量数据处理能力。
禅与计算机程序设计艺术·2023-10-01 17:40

助企上云新举措！移动云网盘服务平台正式上线

产品优势●攻关元数据处理，打造海量数据处理引擎DSP为
移动云开发者联盟·2023-09-30 20:42

c++面试总结

目录C/C++STL数据结构算法Problems操作系统计算机网络网络编程数据库设计模式链接装载库海量数据处理音视频其他书籍C/C++const作用修饰变量，说明该变量不可以被改变；修饰指针，分为指向常量的指针和指针常量
吐币蓝波万·2023-09-29 19:51

干货推荐 ：五万字长文总结 C/C++ 知识

目录C/C++STL数据结构算法Problems操作系统计算机网络网络编程数据库设计模式链接装载库海量数据处理音视频其他C/C++const作用修饰变量，说明该变量不可以被改变；修饰指针，分为指向常量的指针和指针常量
程序IT圈·2023-09-29 19:50

海量数据处理

十道海量数据处理面试题与十个方法大总结-CSDN博客这类博客写的有的有问题，注意辨别1000瓶药其中1瓶毒药，最少多少只老鼠可以验出毒药（药可以混合）1000个瓶子中有一瓶毒药，一只老鼠吃到毒药一周之内会死
坠金·2023-09-28 11:47

哈量数据处理面试题(哈希切割，位图，布隆过滤器)

目录前言一.位图应用二.布隆过滤器三.哈希切割前言海量数据处理，顾名思义。就是数据两很大，内存不足以保存这么多数据的问题该如何解决。一般可以使用位图(整形)，布隆过滤器(非整形)，哈希切割的方法。
两片空白·2023-09-25 03:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他