海量数据处理

海量数据处理算法—Bloom Filter

海量数据处理算法—BloomFilter具体参考:http://blog.csdn.net/hguisu/article/details/7866173#1.Bloom-Filter算法简介     Bloom-Filter
XingKong_678·2014-11-08 13:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
chenchong_219·2014-11-05 23:00

云计算与大数据处理技术

2，牵涉到海量数据处理的机构数
shenmanli·2014-10-28 16:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
huangxiaominglipeng·2014-10-21 21:00

hadoop压缩与解压

压缩广泛应用于海量数据处理中，对数据文件进行压缩，可以有效减少存储文件所需的空间，并加快数据在网络上或者到磁盘上的传输速度
闵开慧·2014-10-20 10:00

万能数据库查询分析器 6.01发布，本人为之撰写的相关技术文章达69篇

   中国本土程序员马根峰（CSDN专访马根峰：海量数据处理与分析大师的中国本土程序员 http://www.csdn.net/article/2014-08-09/2821124）推出的个人作品---
有人·2014-10-17 17:00

阿里云技术探秘之旅：云安全的架构设计与实践

阿里云将携手InfoQ等技术媒体社区在全国12个城市开展阿里云技术公开课，涉及课程从编程开发、数据中心运维、海量数据处理、深度学习、移动开发等等时下最热的技术，通过面对面的交流，使开发者真正了解云计算、
昵称4·2014-10-13 08:00

阿里云技术探秘之旅：云安全的架构设计与实践

阿里云将携手 InfoQ等技术媒体社区在全国12个城市开展阿里云技术公开课，涉及课程从编程开发、数据中心运维、海量数据处理、深度学习、移动开发等等时下最热的技术，通过面对面的交流，使开发者真正了解云计算
崔康·2014-10-13 00:00

海量数据处理之分而治之/hash映射 + hash统计 + 堆/快速/归并排序

本章和后面的几章我将对海量数据和其处理的方法进行一些总结，很多内容转自博文http://blog.csdn.net/v_july_v/article/details/7382693何谓海量数据处理？  
zeq9069·2014-10-12 22:00

大数据处理面试汇总

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
修仙的兔子·2014-10-09 21:53

海量数据处理算法—Bloom Filter

引自：http://blog.csdn.net/hguisu/article/details/78661731.Bloom-Filter算法简介       Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。      BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属
dien·2014-10-09 14:00

程序员面试常见海量数据处理问题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
yangcs2009·2014-09-24 10:00

大数据挑战与NoSQL数据库技术（阅读笔记）

大数据挑战与NoSQL数据库技术目录1概论2数据一致性理论3存储模型4分区与放置策略5海量数据处理6复制与容错7数据压缩8缓存9key-value10列向11文档12图13基于Hadoop14NewSQL15
cteng·2014-09-23 23:00

十道海量数据处理面试题与十个方法大总结

     海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。
wind520·2014-09-21 21:00

数据挖掘（hadoop的mapReduce技术概念）

前言海量数据处理是目前许多程序员面临的一个难题。尽管我们的计算机硬件在飞速的发展，但是相对于互联网中日益增长的数据来说，计算机的处理能力就相形见绌。处理海量数据可以从算法方面入手。
CodeAsWind·2014-09-18 14:12

数据挖掘（hadoop的mapReduce技术概念）

前言海量数据处理是目前许多程序员面临的一个难题。尽管我们的计算机硬件在飞速的发展，但是相对于互联网中日益增长的数据来说，计算机的处理能力就相形见绌。处理海量数据可以从算法方面入手。
CodeAsWind·2014-09-18 14:12

转载和积累系列 - MapReduce原理

MapReduce是由Google公司的JeffreyDean和SanjayGhemawat开发的一个针对大规模群组中的海量数据处理的分布式编程模型。MapReduce实现了两个功能。
initphp·2014-09-17 16:00

从算法的角度去考虑处理海量数据——海量数据处理算法总结

1.BloomFilter【BloomFilter】BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。BloomFilter有可能会出现错误判断，但不会漏掉判断。也就是BloomFilter判断元素不再集合，那肯定不在。如果判断元素存在集合中，有一定的概率判断错误。因此，
zhongwen7710·2014-09-11 20:00

十道大数据的题

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
小竹zz·2014-09-10 12:00

【海量数据处理——01】搜索引擎Top K热词以及倒排索引

1.        倒排索引当在百度输入“数据结构”之后发生了什么？就是把文章中的关键词和对应的文章标题和链接放到一张索引表，当输入关键词时，就去表里边索引链接，确定记录的位置。2.        当输入“北京”，为什么会有很多展示的词？trie树+topk[1]      首先，trie树是用来做文本存储。根节点没有字符，每个节点包含一个字符，从根到某节点，就是对应的字符串，从根遍历单词，存在的
muyimo·2014-09-10 10:00

海量数据面试题分析策略及对应知识点Blog汇总+10道海量数据面试题解答（仅供参考）

文章一：MapReduce技术的初步了解与学习文章二：从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）文章三：海量数据处理之BloomFilter详解文章四：十道海量数据处理面试题与十个方法大总结文章五
zhongwen7710·2014-09-08 23:00

王延炯_海量数据处理的架构与实践

王延炯_海量数据处理的架构与实践在PWorld2014软件架构&平台创新大会上，业内资深架构师王延炯发表主题为《海量数据处理的架构与实践》的演讲，他围绕企业与互联网海量数据的差异进行演讲，并详细介绍企业级流数据处理架构
李航421·2014-09-03 14:00

hadoop中利用mapreduce统计--每日登陆系统的用户频次

这些相关项目都使用这个基础平台进行分布式计算和海量数据处理。1、本次技术交流的目的通过一个事例使大家明白什么是HDFS，什么是MapReduce。2、Hadoop产生背景2.1、Hadoop项目创
hiqj·2014-09-01 21:00

Java线程池使用

前言：最近在做分布式海量数据处理项目，使用到了java的线程池，所以搜集了一些资料对它的使用做了一下总结和探究， 前面介绍的东西大多都是从网上搜集整理而来。
xp9802·2014-08-31 23:00

知名互联网公司网站架构图

引言   近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。
linlzk·2014-08-31 22:00

十道海量数据处理面试题与十个方法大总结

 第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。     首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
u012138828·2014-08-29 16:00

大型网站系统架构分析

数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但
hongxuecn·2014-08-28 18:42

大型网站系统架构分析

数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但
hongxuecn·2014-08-28 18:42

教你如何迅速秒杀掉：99%的海量数据处理面试题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
kefeng824·2014-08-22 17:00

大数据量的算法一

时间：二零一一年三月二十六日说明：本文分为俩部分，第一部分为10道海量数据处理的面试题，第二部分为10个海量数据处理的方法总结。有任何问题，欢迎交流、指正。
focusjava·2014-08-21 18:00

大数据量的算法二

第二部分、十个海量数据处理方法大总结ok，看了上面这么多的面试题，是否有点头晕。是的，需要一个总结。接下来，本文将简单总结下一些处理海量数据问题的常见方法，而日后，本BLOG内会具体阐述这些方法。
focusjava·2014-08-21 18:00

海量数据处理算法—Bloom Filter

1.Bloom-Filter算法简介     Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。    BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。BloomFilter有可能会出现错误判断，但不会漏掉判断
caomiao2006·2014-08-18 16:00

海量数据处理算法—Bit-Map

1.BitMap算法简介     来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。2、BitMap的基本思想    我们先来看一个具体的例子，假设我们要对0-7内的5个元素(4,7,2,5,3)排序（这里假设这些元素没有重复）。那么我们就可以采用Bit-map的方法来达
ustbgaofan·2014-08-15 16:00

百度是如何使用hadoop的

标签：  hadoop  百度  百度作为全球最大的中文搜索引擎公司，提供基于搜索引擎的各种产品，几乎覆盖了中文网络世界中所有的搜索需求,因此，百度对海量数据处理的要求是比较高的，要在线下对数据进行分析
童燕群·2014-08-13 12:00

分布式流式处理框架：Storm

Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，
标点符·2014-08-13 00:00

海量数据处理常用的数据结构

1、BloomFilterhttp://blog.csdn.net/v_july_v/article/details/6685894/当一个元素被加入集合时，通过K个Hash函数将这个元素映射成一个位阵列（Bitarray）中的K个点，把它们置为1。检索时，我们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检索元素一定不在；如果都是1，则被检索元素很可能在。
memristor·2014-08-12 21:00

从hadoop框架与MapReduce模式中谈海量数据处理

转自：http://blog.csdn.net/v_july_v/article/details/6704077 从hadoop框架与MapReduce模式中谈海量数据处理前言   几周前，当我最初听到
WitsMakeMen·2014-08-12 18:00

分布式流式处理框架：Storm

Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，
标点符·2014-08-12 16:00

[已招满，谢谢关注]Sogou招聘C#开发人员，有意者请进

.计算机或者相关专业本科或以上学历2.精通c#，两年以上实际项目开发经验3.熟悉C/S开发架构和设计模式，有较强的理解能力和分析能力4.有SQLite开发经验者优先5.有移动App开发经验者优先6.对海量数据处理设计以及开发经验者优先
玉开·2014-08-07 13:00

springbatch简介与helloworld

一、SpringBatch简介SpringBatch是一个轻量级的批处理框架,可以用于企业级海量数据处理,它提供以下技术解决方案:1.定时批处理2.大规模并行处理3.企业消息驱动处理二、SpringBatch
zdp072·2014-08-07 05:00

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

从hadoop框架与MapReduce模式中谈海量数据处理前言   几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣
libing13810124573·2014-08-06 23:00

springbatch简介与helloworld

一、SpringBatch简介SpringBatch是一个轻量级的批处理框架,可以用于企业级海量数据处理,它提供以下技术解决方案:1.定时批处理2.大规模并行处理3.企业消息驱动处理二、SpringBatch
zdp072·2014-08-06 21:00

springbatch简介与helloworld

一、SpringBatch简介SpringBatch是一个轻量级的批处理框架,可以用于企业级海量数据处理,它提供以下技术解决方案:1.定时批处理2.大规模并行处理3.企业消息驱动处理二、SpringBatch
zdp072·2014-08-06 21:00

海量数据处理方法

一、Bloom filter适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点：对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是 c
borey·2014-08-01 15:00

数据挖掘、数据分析、海量数据处理的面试题（总结july的博客）

缘由由于有面试通知，现在复习一下十道和海量数据处理相关的题。两篇博客已经讲的非常完备了，但是我怕读懂了并非真的懂，所以必须自己复述一遍。
小飞鹤·2014-07-30 14:55

海量数据处理 面试题

1.   给40亿个不重复的unsignedint的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？方案1：oo，申请512M的内存，一个bit位代表一个unsignedint值。读入40亿个数，设置相应的bit位，读入要查询的数，查看相应bit位是否为1，为1表示存在，为0表示不存在。   方案2：这个问题在《编程珠玑》里有很好的描述，大家可以参考下面的思路，探讨一下
ZHANG2012LIANG·2014-07-21 15:00

企业邮箱服务优化软件

  我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，企业邮箱服务也面临着大数据处理，海量数据处理的三个主要因素：大容量数据、多格式数据和速度。
hyfsoft·2014-07-15 16:00

企业邮箱服务优化软件

   我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，企业邮箱服务也面临着大数据处理，海量数据处理的三个主要因素：大容量数据、多格式数据和速度。
hyfsoft·2014-07-15 16:00

海量数据处理之Bloom Filter详解

前言   本博客内曾已经整理过十道海量数据处理面试题与十个方法大总结。接下来，本博客内会重点分析那些海量数据处理的方法，并重写十道海量数据处理的面试题。如果有任何问题，欢迎不吝指正。谢谢。
wenyusuran·2014-07-07 11:00

海量数据处理面试题与Bit-map详解

海量数据面试题目解析：1、A,B两个文件各存放50亿条URL，每条URL占用64字节，内存限制4G，找出A,B文件共同的URL 答：方案一、50亿条数据，每条64字节。文件大小等于50G*64=320G，远大于内存限制的4G，不能将其完全加载到内存中，考虑分而治之的方法：             1、分而治之/hash映射：遍历文件A，对每个url求取hash(url)%1000，然后根据所取得的
wenyusuran·2014-07-07 11:00
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他