海量数据处理

STL---hash_map介绍与海量数据处理

一、hash_map简介hash_map的用法和map是一样的，提供了insert，size，count等操作，并且里面的元素也是以pair类型来存贮的。虽然对外部提供的函数和数据类型是一致的，但是其底层实现是完全不同的，map底层的数据结构是rb_tree，红黑树有序，每次操作的复杂度稳定在logN。而hansh_map却是哈希表（hashtable）来实现的，在hash函数恰当的情况下，可以提
爱橙子的OK绷·2020-08-24 21:54

释放存储与计算压力，MySQL用户升级到EB级数据仓库MaxCompute攻略

廉价的存储和计算，高效的海量数据处理，我们已经进入了“大数据时代”。今天，移动、交易、广告、社会化游戏、在线传感器以及工业传感器数量在迅猛增长，数据规模给传统技术带来了很大的挑战。
weixin_34331102·2020-08-24 20:19

Hive部署和3种搭建模式

Hive部署以上，是参考《Hadoop海量数据处理技术详解与项目实战》Hive搭建模式1、local模式此模式连接到一个In-memory的数据库Derby，一般用于UnitTest。
WF_事难懂·2020-08-24 15:00

Hadoop学习笔记（8）－简述分布式数据库Hbase原理

1.Hbase简介Hbase是一个分布式可扩展的NoSQL数据库，提供对结构化，半结构化，非结构化大数据的实时读写和随机访问能力，而且操作速度与数据量基本无关，所以可以用于海量数据处理。
XianMing的博客·2020-08-24 12:54

技术 | 分布式系统的共识算法及其容错 · 上

众所周知，分布式系统可以实现海量数据处理能力和可扩展计算能力。区块链系统作为一种分布式系统，多个节点之间如果想要对某个状态达成一致结果，则需要依靠共识。
Trias·2020-08-24 12:04

《后端知识体系系列》之分布式系统中的CAP理论

分布式系统的特点随着互联网技术的发展，产生的数据量越来越大，对系统的要求更高，这就要求系统需要支持高并发和海量数据处理。分布式系统技术就是用来解决集中式架构的性能瓶颈问题。
陈汤姆·2020-08-24 12:41

海量数据处理问题（一） ---- 内存无法处理的词频统计

这篇博客源自对一个内存无法处理的词频统计问题的思考，最后给出的解决办法是自己想的，可以肯定这不是最好的解法。但是通过和同学的讨论，仍然感觉这是一个有意义及有意思的问题，所以和大家分享与探讨。如果有误，请大家指正。如果有更好的方法，望不吝赐教。一、提出问题实际问题:当前有10T中文关键词数据，需要统计出词频最高的1000个词。可用的只有1G内存和磁盘。那么如何提取？大概估算一下这个问题，设中文词汇平
vc0051127833·2020-08-24 03:39

常见海量数据处理面试题与方法总结

1、海量日志数据，提取出某日访问百度次数最多的那个IP。此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大
lchengcome·2020-08-23 17:01

多级缓存设计详解 | 给数据库减负，刻不容缓！

王梓晨：物流研发部架构师，GIS技术部负责人，2012年加入京东，多年一线团队大促备战经验，负责物流研发一些部门的架构工作，专注于低延迟系统设计与海量数据处理。
gt9000·2020-08-23 14:35

MongoDB和MySQL和Redis的区别

4、缺点就是在海量数据处理的时候效率会显著变慢。MongoDBMongodb是非关系型数据库(nosql),属于文档型数据库。文档是mongoDB中数据的基本单元，类似关系数据库的
ERROR:NOT FOUND·2020-08-23 09:10

教你如何迅速秒杀99%的海量数据处理面试题

教你如何迅速秒杀99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文
iuhsihsow·2020-08-23 06:41

MapReduce的Combine操作&shuffle控制&sort控制

------------本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来一、Combine操作1.combine在MapReduce中是一个可选的过程。
碣石观海·2020-08-23 00:41

python的大数据处理应用与实现

最近看到一篇关于海量数据处理的python实现，具体参（http://blog.csdn.net/quicktest/article/details/7453189#comments）。
池塘的蜗牛·2020-08-23 00:46

(Java)海量数据处理

原文：http://blog.sina.com.cn/s/blog_466678e801011fif.html前言本博客内曾经整理过有关海量数据处理的10道面试题（十道海量数据处理面试题与十个方法大总结
暴风君·2020-08-22 21:29

Java面试笔试指南（七）---海量数据处理

通过对海量数据的挖掘能有效地揭示用户的行为模式，加深对用户需求的理解，提取用户的集体智慧，从而为研发人员决策提供依据，提升产品和用户体验，进而占领市场基础方法1、Hash法Hash一般被称为散列，一种映射关系（即给定一个数据元素，其关键字为key，按一个确定的散列函数计算出hash（key），并把hash（key）作为关键字key对应元素的存储地址，再进行数据元素的插入和检索操作），散列函数就是一
狮锅艺·2020-08-22 21:12

mysql与mongodb的优缺点以及适用场景

缺点：在海量数据处理的时候效率会显著变慢。Mongodb是非关系型数据库(nosql),属于文档型数据库。文档是mongoDB中数据的基本单元，类似关系数据库的行，多个键值对有序地
HelloLV111·2020-08-22 18:09

数据恢复之commitlog

cassandra作为海量数据处理的DB，为了提升性能，则先将数据写入到内存表memtable中，然后当memtable达到一定容量条件时，再将memtable中数据持久化到硬盘上。
jessicaWX·2020-08-22 12:21

十道海量数据处理面试题与十个方法大总结

archive/2013/03/27/2984100.html====================================================================第一部分、十道海量数据处理面试题
ailv6840·2020-08-22 12:41

hadoop中利用mapreduce统计--每日登陆系统的用户频次

这些相关项目都使用这个基础平台进行分布式计算和海量数据处理。1、本次技术交流的目的通过一个事例使大家明白什么是HDFS，什么是MapReduce。2、Had
weixin_33938733·2020-08-22 04:29

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
原文链接·2020-08-22 02:48

分布式系统测试在阿里云的实践

基于飞天大规模分布式系统，我们开发了弹性计算，海量邮箱服务，Key－Value存储引擎，结构化数据存储引擎和海量数据处理服务等一系
原文链接·2020-08-22 01:16

ODPS技术架构及应用实践

初识ODPSODPS是分布式的海量数据处理平台，提供了丰富的数据处理功能和灵活的编程框架，主要的功能组件有如下几个。
CSDN·2020-08-22 01:51

海量数据处理面试题集锦

十七道海量数据处理面试题与Bit-map详解作者：小桥流水，redfox66，July。
v_JULY_v·2020-08-21 21:13

【数据结构】topK问题，海量数据找出前K个大的数据

topK问题：假如需要从十亿个数据中找出最大的前k个数，也就是海量数据处理问题。一般遇见这种问题，我们肯定会想到先排序，再取前K个数据就可以了。但是海量数据如果这样处理，那就会大大提高时间复杂度了。
sofia_m·2020-08-21 21:27

海量数据处理

1.Hadoop2.HPCC系统（High-PerformanceClusterComputing高性能集群计算），http://hpccsystems.com/
flserver·2020-08-21 19:55

大型网站的架构设计图分享-转

近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。
weixin_30379911·2020-08-21 17:33

海量数据问题总结

海量数据处理能力是一家大公司必须要做得非常硬的一个技术块，这样才能在互联网行业
_fh·2020-08-21 06:14

关于高并发及海量数据处理，个人浅显理解

高并发海量数据处理，在我经历中，这是两个事情但又相关连的。高并发怎么处理，这个问题应该是具体问题具体分析，应该是找到瓶颈再做针对处理。不可能全部做升级，那样成本太高了。一般是一步步的解决。
luochengbang·2020-08-21 00:32

海量数据处理问题 分而治之 hash表 堆排序

一、分而治之/Hash映射+Hash统计+堆/快速/归并排序分而治之：通过hash将大文件分为小文件，大数据分为小数据等；hash统计：整合每个小文件，筛选重复数据，记录大小；（可用到map/hash_map/set/hash_set等）http://blog.csdn.net/yusiguyuan/article/details/12882309归并：整合每个小文件的hash统计结果，得到最终结
鱼思故渊·2020-08-20 20:06

乱谈高并发、大吞吐量、海量数据处理的性能问题的背后

事实上我并没有做过任何大型的项目，但是高并发、大数据（此处指大量的数据，而不是在大量数据的基础上进行分析）、性能、缓存等字眼现在更频繁的被提出，甚至有的网友在面试普通程序员的时候也会被询问有关的问题，而且他们还郑重其事的咨询我的意见，还好这只是通过网络的问答，还是比较容易混过去的，不过我还是不得不认真思考一下，下次再有人问我我就可以直接发链接了。防误导声明：本文内容纯属臆测，作者没有相关的实际经验
incNick·2020-08-20 19:56

乱谈高并发、大吞吐量、海量数据处理的性能问题的背后

事实上我并没有做过任何大型的项目，但是高并发、大数据（此处指大量的数据，而不是在大量数据的基础上进行分析）、性能、缓存等字眼现在更频繁的被提出，甚至有的网友在面试普通程序员的时候也会被询问有关的问题，而且他们还郑重其事的咨询我的意见，还好这只是通过网络的问答，还是比较容易混过去的，不过我还是不得不认真思考一下，下次再有人问我我就可以直接发链接了。防误导声明：本文内容纯属臆测，作者没有相关的实际经验
incNick·2020-08-20 19:56

海量数据处理策略之一—Hash映射 + Hash_map统计 + 堆/快速/归并排序

时间：2014.05.21地点：基地说明：根据July的博客等整理，感谢July的无私奉献心情：现在都好开心呀，想着要为以后的时光好好奋斗~---------------------------------------------------------------------------------------一、问题描述海量日志数据，提取出某日访问百度次数最多的那个IP。思路：由于数据集很大，
云梦泽1989·2020-08-20 18:07

[数据结构] 从Trie树到后缀树

之前在此文：海量数据处理
1.02^365的成长裂变·2020-08-20 18:12

海量数据处理----哈希分治

在开始之前，因为以下代码都是使用的C++以及其中的容器来实现，所以要先对容器进行简单的理解vector:属于C++的顺序容器之一，底层类似“动态数组”。也就是大小可以动态改变大的数组。因为其里面提供了resize扩容成员方法。并且也提供了[]运算符重载，可以让我们像使用数组一样去访问其元素。它还提供了迭代器，我们也可以使用迭代器遍历和访问其元素。顺序容器在删除（erase）和增加（insert）元
Gamebot·2020-08-20 14:26

海量数据处理——分治和hash映射

什么是HashHash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射，pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。HASH主要用
taxue505·2020-08-20 14:07

海量数据处理

1、GB级海量访问日志数据存在一台电脑中，提取出某日访问次数最多的那个IP。hash计算ip，均衡分发到N个文件或者机器中，并行计算出IP频率最高的，最后合并最后结果，得到最多的那个IP。map－reduce2.海量数据分布在10000台电脑中，想个办法高效统计出这批数据的TOPK。如果每个数据只出现在同一台电脑上，那么就可以用上面的方法解决，还省去了Hash的过程。但是如果同样的数据可能出现在不
ZOUHUST·2020-08-20 02:15

【福利】同性交友网站（github）知名项目（持续更新）

文档类1、advanced-java链接：advanced-java，star41k，fork11.3k互联网Java工程师进阶知识完全扫盲：涵盖高并发、分布式、高可用、微服务、海量数据处理等领域知识，
章 鱼·2020-08-19 16:43

海量数据处理之分而治之/hash映射 + hash统计 + 堆/快速/归并排序

本章和后面的几章我将对海量数据和其处理的方法进行一些总结，很多内容转自博文http://blog.csdn.net/v_july_v/article/details/7382693何谓海量数据处理？
ts173383201·2020-08-19 04:14

数据结构&算法-----（11）海量数据处理的一些思路

数据结构&算法-----（10）海量数据处理的一些思路常见的海量处理问题何谓海量数据处理？
王胖泽·2020-08-18 23:18

infoQ 百度技术沙龙第25期回顾：海量数据处理技术解析

百度技术沙龙第25期回顾：海量数据处理技术解析（含资料下载）作者贾国清发布于2012年4月8日领域运维&基础架构,架构&设计,语言&开发主题HBase,MySQL,大数据,数据库设计,关系型数据库,云计算
zcmssd·2020-08-18 18:55

海量数据处理技巧

我将在下面介绍一些基本的海量数据处理的方法，供大家参考。需要明确的一点是，现实情况复杂多变，所以对于海量数据处理这样大的主题，是不可能用一篇博
bidianzhang·2020-08-17 17:43

老大难的分布式锁与幂等性问题，如何解决？长文干货！

来源：blog.csdn.net/zdy0_2004/article/details/52760404随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多
Java知音_·2020-08-17 07:23

100000个数找出最小或最大的10个

大体思路：首先一点，对于海量数据处理，思路基本上是确定的，必须分块处理，然后再合并起来。对于每一块必须找出10个最大的数，因为第一块中10个最大数中的最小的，可能比第二块中10最大数中的最大的还要大。
HelloWorld丶丶·2020-08-17 00:03

分布式事务之2PC和3PC

随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题，大型网站的架构也在不断发展。
xiaomisolo·2020-08-16 22:00

海量数据处理:排序问题

一个文件中有9亿条不重复的9位整数,对这个文件中数字进行排序;针对这个问题,最容易想到的方法是将所有数据导入到内存中,然后使用常规的排序方法,例如插入排序,快速排序,归并排序等各种排序方法对数据进行排序,最后将排序好的数据存入文件.但这些方法在此并不适用,由于数据量巨大,对32位机器而言,很难将这么多数据一次载入到内存,更不用说进行排序了.所以此种方法一般不可行,需要考虑其他方法.方法一.数据库排
李俊标·2020-08-16 21:29

海量数据处理的 Top K算法(问题) 小顶堆实现

我实现的代码，下面是转载别人的voidswap(int&n1,int&n2){inttemp=n1;n1=n2;n2=temp;}/*inti起始下标intN从i开始的元素个数*/voidELementDown(intA[],inti,intN){for(intindex=2*i+1;indexA[index+1]){index++;}if(A[i]>A[index]){inttmp=A[i];A
金士顿·2020-08-16 16:17

经典算法-海量数据处理算法（top K问题）

举例有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。思路首先把文件分开针对每个文件hash遍历，统计每个词语的频率使用堆进行遍历把堆归并起来具体的方案1.分治：顺序读文件中，对于每个词c，取hash(c)%2000，然后按照该值存到2000个小文件中。这样每个文件大概是500k左右。注意：如果其中的有的文件超过了1M大小，还可以按
weixin_34175509·2020-08-16 16:47

关于分布式事务、两阶段提交协议、三阶提交协议

关于分布式事务、两阶段提交协议、三阶提交协议随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。
crosskey_dcc·2020-08-16 06:08

excel表海量数据处理方法探索

事件要从上周四说起，小G同学要处理海量的excel表的数据，大致要求是：一excel表其中一列的数据是按顺序排列的，此列中的数据有重复，现需要将在这列所有的数据按出现的顺序加上四位数，比如第一行的数据是12345，它是第一次出现，则将数据改写为123450001，同理当12345第二次出现时，将其改写为123450002，依此类推。起初拿到问题，由于对excel的函数处理方法不熟悉，而另写一个程序
wlj19870825·2020-08-16 03:10

面试笔试问题：大数据量，海量数据 处理方法总结

2019独角兽企业重金招聘Python工程师标准>>>面试笔试问题：大数据量，海量数据处理方法总结Hashing适用范围：快速查找，删除的基本数据结构，通常需要总数据量可以放入内存基本原理及要点：hash
weixin_34341229·2020-08-16 03:26
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他