海量数据处理

海量数据处理算法总结

1.BloomFilter【BloomFilter】BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。BloomFilter有可能会出现错误判断，但不会漏掉判断。也就是BloomFilter判断元素不再集合，那肯定不在。如果判断元素存在集合中，有一定的概率判断错误。因此，
hepeng597·2013-07-30 22:00

海量数据挖掘--DB优化篇

     上一篇博客我们介绍了针对大数据量的处理，我们应该对程序做什么样的处理，但是一个程序的优化是有底线的，我们要考虑人力，物力，程序的优化是海量数据处理的一部分，这里介绍我们的重头戏，对数据库的优化
xvshu·2013-07-30 14:00

(Java)海量数据处理

原文：http://blog.sina.com.cn/s/blog_466678e801011fif.html前言本博客内曾经整理过有关海量数据处理的10道面试题（十道海量数据处理面试题与十个方法大总结
暴风君·2013-07-27 17:06

十道海量数据处理面试题与十个方法大总结

原文here，感谢July~第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。     首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
zhouyongsdzh·2013-07-25 21:00

大数据量算法

第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
wbj0110·2013-07-24 13:00

大数据量算法

第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
wbj0110·2013-07-24 13:00

大数据量算法

第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
wbj0110·2013-07-24 13:00

海量数据处理算法—Bloom Filter

这是转载的guisu：http://blog.csdn.net/hguisu/article/details/7866173的文章，欢迎大家前往阅读。1.Bloom-Filter算法简介     Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。    BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表
zoushidexing·2013-07-21 14:00

海量数据处理分析

海量数据处理分析 （作者 北京迈思奇科技有限公司 戴子良） 原文地址： 转载自：http://blog.csdn.net/DaiZiLiang/archive/2006/12/06/1432193.aspx
·2013-07-18 11:00

大型网站系统架构分析

数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。
lifan_3a·2013-07-17 13:00

海量数据处理之求1亿个整数中的最大的k个数

题目描述：输入：一亿个整数，有重复的数字，整数保存在一个文件中输出：文件中最大的k个数限制：尽量以最快的速度完成任务。具体解决方法：1.位图解决位图为用比特位来存储数据，如果i比特位为1，则该位在表示整数i，为0，则不是用该方法主要提供三个函数接口：设置比特位：set_bit(int*data,int num) 清除比特位：clr_bit(int*data,intnum)获得某个比特位：get_b
kate19930802·2013-07-09 23:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
xiyanlgu·2013-07-09 16:00

NoSQL数据库的分布式算法

译者介绍：Juliashine是多年抓娃工程师，现工作方向是海量数据处理与分析，关注Hadoop与NoSQL生态体系。 英文原文：《DistributedAlgorithmsinNoSQLDataba
san_yun·2013-07-09 12:00

教你如何迅速秒杀99%的海量数据处理面试题（转）

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
LCZ777·2013-07-07 21:00

第二部分、十个海量数据处理方法大总结

ok，看了上面这么多的面试题，是否有点头晕。是的，需要一个总结。接下来，本文将简单总结下一些处理海量数据问题的常见方法，而日后，本BLOG内会具体阐述这些方法。下面的方法全部来自http://hi.baidu.com/yanxionglu/blog/博客，对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的
LCZ777·2013-07-07 21:00

十道海量数据处理面试题与十个方法大总结 （转）

 海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。
LCZ777·2013-07-07 21:00

99%的海量数据处理面试题

转自：http://blog.csdn.net/v_july_v/article/details/7382693这篇文章也不错：十道海量数据处理面试题与十个方法大总结海量处理题目：各种海量处理  教你如何迅速秒杀掉
u010064842·2013-07-07 12:00

Oracle海量数据处理-并行

Oracle海量数据并行处理：在海量数据处理中，系统资源充足的情况下，使用并行处理，可以很好的提高系统查询性能。可以通过下面两种方式来实现:1.对象的属性:在对象（表、索引等）上创建并行度。
qptufly·2013-07-02 03:00

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
guru13·2013-07-01 17:00

Oracle 海量数据处理- 索引的选择

在Oracle数据库中，索引按照索引机制的不同，可以分为三种。1.B-Tree索引B-Treeindex应用场景：OLTP使用比较多，处理键值重复率比较低的字段比较适合使用B-Tree索引，处理效率极高。反之当键值重复率很高时，B-Tree索引的效率会非常的低效。在Oracle中主键会默认加上B-Tree索引。在Oracle的主键和唯一性约束上使用B-Tree索引B-Tree索引又可以分为：唯一索
qptufly·2013-06-29 17:00

海量数据处理利器之Hash——在线邮件地址过滤

标题用了了海量数据（Massivedatasets）而不用大数据（Bigdata）。感觉大数据还是略微有点虚，来点实际的。一、需求现在我们需要设计一个在线过滤垃圾邮件地址的方案，我们的数据库里面已经有10亿个合法的邮件地址（称为合法地址集S），当有新的邮件发过来时，要检查这个邮件地址是不是在我们的数据库里面，如果在，我们接收邮件，如果不在，我们就把它当做垃圾邮件过滤掉。二、直觉想到的方法一拿到这个
dyllove98·2013-06-28 19:00

海量数据处理分析(部分)

1.海量数据处理分析   原文地址：http://blog.csdn.net/DaiZiLiang/archive/2006/12/06/1432193.aspx笔者在实际工作中，有幸接触到海量的数据处理问题
0o清风徐来o0·2013-06-27 21:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

   教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
yunzhongguwu005·2013-06-27 21:00

海量数据处理利器之Hash——在线邮件地址过滤 - MyDetail

原帖地址：http://www.cnblogs.com/fengfenggirl/p/bloom_filter.html标题用了了海量数据（Massivedatasets）而不用大数据（Bigdata）。感觉大数据还是略微有点虚，来点实际的。一、需求现在我们需要设计一个在线过滤垃圾邮件地址的方案，我们的数据库里面已经有10亿个合法的邮件地址（称为合法地址集S），当有新的邮件发过来时，要检查这个邮件
rocshaw·2013-06-27 12:00

海量数据处理利器之Hash——在线邮件地址过滤 - MyDetail

阅读更多原帖地址：http://www.cnblogs.com/fengfenggirl/p/bloom_filter.html标题用了了海量数据（Massivedatasets）而不用大数据（Bigdata）。感觉大数据还是略微有点虚，来点实际的。一、需求现在我们需要设计一个在线过滤垃圾邮件地址的方案，我们的数据库里面已经有10亿个合法的邮件地址（称为合法地址集S），当有新的邮件发过来时，要检查
rocshaw·2013-06-27 12:00

云计算与海量数据处理技术

为此，人们把目光转向了刚刚兴起的云计算，希望通过云计算来实施海量数据处理解决方案，实现以更小的成本来处理更大规模数据的目标，并成为目前云计算应用所面对的极大挑战。
shenmanli·2013-06-26 09:00

海量数据的处理分析

  海量数据处理问题是一项艰巨而复杂的任务。原因有以下几个方面：   一、数据量过大，数据中什么情况都可能存在。
wuxiaozeng2440·2013-06-21 23:00

京东商城招聘自动调价系统架构师 T4级别

岗位级别：T4岗位职责：1.负责自动调价系统的架构设计2.负责自动调价的预测、相关性算法设计3.核心代码编写，代码review 任职要求：1.熟悉数据挖掘、机器学习理论和算法2.熟悉海量数据处理技术，hadoop
erick·2013-06-19 13:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
niuyisheng·2013-06-09 19:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

  十道海量数据处理面试题与十个方法大总结 所谓海量数据处理，就是基于海量数据上的存储、处理、操作。       海量就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是无法一次性装入内存。
htyurencaotang·2013-06-07 11:00

算法总结 大数据处理 我的硬伤

这个也是面试遇到的些问题不过都是转自网络大家可以看看           海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。
javascrack·2013-06-05 17:00

海量数据处理算法—Bit-Map

1.BitMap算法简介来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。  2、BitMap的基本思想我们先来看一个具体的例子，假设我们要对0-7内的5个元素(4,7,2,5,3)排序（这里假设这些元素没有重复）。那么我们就可以采用Bit-map的方法来达到排序的目的。
peirenlei·2013-06-04 09:00

为什么我们说海量数据处理技术会火

为什么我们说海量数据处理技术会火 大数据处理技术正在改变目前计算机的运行模式。我们已经从中获得了大量收益，因为正是大数据处理技术给我们带来了搜索引擎Google。
qingfeng812·2013-06-03 23:00

海量数据处理

海量数据处理的基本思路：1.分组2.二叉树3.堆（大顶堆，小顶堆）4.Hash5.索引6.映射
wenph2008·2013-06-03 20:00

十七道海量数据处理面试题与Bit-map详解

前言   本博客内曾经整理过有关海量数据处理的10道面试题（十道海量数据处理面试题与十个方法大总结），此次除了重复了之前的10道面试题之后，重新多整理了7道。仅作各位参考，不作它用。   
caschaoxin·2013-05-30 19:00

《海量数据处理常用思路和方法》

1.Bloomfilter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是
caschaoxin·2013-05-30 19:00

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
caschaoxin·2013-05-30 19:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
Hsuxu·2013-05-29 22:00

C++算法之海量数据处理方法的总结分析

海量数据处理中常用到的技术1.BloomFiltering基本的BloomFiltering支持快速的插入和查找操作，是一种hash表技术。
·2013-05-29 09:36

海量数据处理系列之:用C++实现Bitmap算法

bitmap是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码扩展：bloomfilter可以看做是对bit-map的扩
·2013-05-29 09:25

海量数据处理分析

http://www.iteye.com/topic/172255 在实际工作中，有幸接触到海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面： 一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据
lixg425·2013-05-27 16:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个
lucky_greenegg·2013-05-26 10:00

教你如何迅速秒杀99%的海量数据处理面试题

教你如何迅速秒杀99%的海量数据处理面试题教你如何迅速秒杀99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌
bjdu_jlxs·2013-05-23 00:42

Hadoop HDFS分布式文件系统特点

HadoopHDFS分布式文件系统具有如下特点：1.非常适合PB级以上海量数据的存储和处理，已在Yahoo、亚马逊、Facebook、百度、淘宝等海量数据处理平台上得到了广泛验证。
hope_fu·2013-05-21 09:22

Hadoop HDFS分布式文件系统特点

HadoopHDFS分布式文件系统具有如下特点：1.非常适合PB级以上海量数据的存储和处理，已在Yahoo、亚马逊、Facebook、百度、淘宝等海量数据处理平台上得到了广泛验证。
hope_fu·2013-05-21 09:22

从海量数据中找出重复次数最多的一个

从海量数据中找出重复次数最多的一个  2011-05-3114:12:38|  分类： 海量数据处理|字号 订阅/********************************************
itianyi·2013-05-17 21:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
wdzxl198·2013-05-14 15:00

海量数据处理面试题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
leoleocmm·2013-05-12 07:00

IT旅途——程序员面试经验分享

[1]教你如何迅速秒杀掉：99%的海量数据处理面试题 本文分成两部分。
bboyfeiyu·2013-05-11 23:00

被神化的海量数据处理和高并发处理

被神化的海量数据处理和高并发处理   其实任何简单的问题，只要规模大了都会成为一个问题，就如中国人口多，很多小问题都会变成大问题一样。但处理这种海量数据的方法无非就是分治和”人海”战术。
QuitePig·2013-05-10 10:00
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他