海量数据处理

从1亿个ip中找出访问次数最多的IP

看了教你如何迅速秒杀掉：99%的海量数据处理面试题一文，的确是挺有收获的，特别是对这种海量数据的处理，的确是有了一个挺清晰的思路，特别感谢原文博主July。
foolsheep·2014-02-16 18:00

php 大数据量及海量数据处理算法总结

下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloomfilter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独
fableboy·2014-01-29 23:00

云计算与海量数据处理技术

为解决广大系统设计人员深入研究与开发云计算系统的需要，培训中心特举办“云计算与海量数据处理技术”培训班，具体事宜通知如下：一、培训对象1，系统架构师、系统分析师、高级程序员、资深开发人员。
shenmanli·2014-01-16 15:00

海量数据处理之归并、堆排、前K方法的应用：一道面试题

最初关注海量处理方面是因为好久以前在西安交大BBS算法版上看到一个牛人总结的帖子，收集了起来，后来发现网上铺天盖地地转载过，那个帖子提供了一些解决问题很好的思路，所以就零碎地整理过海量数据处理方面的一些方法
yusiguyuan·2014-01-12 08:00

【机器学习系列】新的面向机器学习的并行框架（GraphLab）

1.1GraphLab简介在海量数据盛行的今天，大规模并行计算已经随处可见，尤其是MapReduce框架的出现，促进了并行计算在互联网海量数据处理中的广泛应用。
piaoxuefengqi·2014-01-09 15:00

从hadoop框架与MapReduce模式中谈海量数据处理

MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理
gridmix·2014-01-01 18:42

从hadoop框架与MapReduce模式中谈海量数据处理

MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理
gridmix·2014-01-01 18:42

海量数据处理之Bloom Filter详解

前言   本博客内曾已经整理过十道海量数据处理面试题与十个方法大总结。接下来，本博客内会重点分析那些海量数据处理的方法，并重写十道海量数据处理的面试题。如果有任何问题，欢迎不吝指正。谢谢。
gridmix·2014-01-01 18:47

海量数据处理之Bloom Filter详解

前言本博客内曾已经整理过十道海量数据处理面试题与十个方法大总结。接下来，本博客内会重点分析那些海量数据处理的方法，并重写十道海量数据处理的面试题。如果有任何问题，欢迎不吝指正。谢谢。
gridmix·2014-01-01 18:47

教你如何迅速秒杀掉：99%的海量数据处理面试题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
gridmix·2014-01-01 18:31

教你如何迅速秒杀掉：99%的海量数据处理面试题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
gridmix·2014-01-01 18:31

十道海量数据处理面试题与十个方法大总结

时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。有任何问题，欢迎随时交流、指正。出处：http://blog.csdn.net/v_JULY_v。
gridmix·2014-01-01 18:03

十道海量数据处理面试题与十个方法大总结

时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。有任何问题，欢迎随时交流、指正。出处：http://blog.csdn.net/v_JULY_v。
gridmix·2014-01-01 18:03

教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题 作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
u010236550·2013-12-30 21:00

[置顶] 教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
u010590166·2013-12-12 12:00

《大型网站技术架构》学习笔记——架构模式

为了解决高并发访问、海量数据处理和高可靠性运行一系列问题，大型网站架构都会有一些大同小异的套路，可称为大型网站的架构模式：1、分层逻辑概念。
leftfist·2013-12-08 22:00

云计算与海量数据处理技术

为解决广大系统设计人员深入研究与开发云计算系统的需要，培训中心特举办“云计算与海量数据处理技术”培训班，具体事宜通知如下：一、培训对象1，系统架构师、系统分析师、高级程序员、资深开发人员。
shenmanli·2013-12-04 11:00

十道海量数据处理题

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。     首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
nory889·2013-11-25 14:00

十道海量数据处理面试题与十个方法大总结

     海量数据处理：十道面试题与十个海量数据处理方法总结  第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。     
zeq9069·2013-11-23 14:00

十道海量数据处理面试题与十个方法大总结

原文：http://blog.csdn.net/v_JULY_v/article/details/6279498 海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu
chj90220·2013-11-19 16:00

Hadoop笔记本

海量数据那些年Google公开的大数据领域论文大数据量，海量数据处理方法总结布隆过滤器应用GoogleDremel原理–如何能3秒分析1PB  GoogleSpanner原理-全球级的分布式数据库  悉数那些
twlkyao·2013-11-19 11:00

海量数据处理常用思路和方法

下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点：对 于原理来说很简单，位数组
wbj0110·2013-11-18 08:00

海量数据处理常用思路和方法

阅读更多下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。1.Bloomfilter适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点：对于原理来说很简单，位数组+k个独
wbj0110·2013-11-18 08:00

海量数据处理常用思路和方法

下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点：对 于原理来说很简单，位数组
wbj0110·2013-11-18 08:00

海量数据处理常用思路和方法

下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点：对 于原理来说很简单，位数组
wbj0110·2013-11-18 08:00

MongoDB MapReduce 使用（一）

一 Map/Reduce简介      MapReduce是目前最流行和被普遍研究的海量数据处理方法。它是Google公司的核心模型，用于大规模数据集(大于1TB）的并行计算。
Crazy__Programmer·2013-11-15 16:00

hadoop mapreduce中压缩

压缩广泛应用于海量数据处理中，对数据文件进行压缩，可以有效减少存储文件所需的空间，并加快数据在网络上或者到磁盘上的传输
wisgood·2013-11-07 14:00

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
Flood_Dragon·2013-11-07 11:00

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
地狱的烈火·2013-11-04 12:00

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）   从hadoop框架与MapReduce模式中谈海量数据处理前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce
anhuidelinger·2013-10-29 20:00

大数据量，海量数据 处理方法总结

大数据量，海量数据处理方法总结大数据量的问题是很多面试笔试中经常出现的问题，比如baidugoogle腾讯这样的一些涉及到海量数据的公司经常会问到。
anhuidelinger·2013-10-29 20:00

hadoop笔记本

p=1072【有很多好文章】hadoop笔记本海量数据 【视频】BBC.地平线.大数据时代大数据量，海量数据处理方法总结布隆过滤器应用悉数那些“巨型”数据仓库Hadoop在业界的使用情况淘宝Hadoop
anhuidelinger·2013-10-29 20:00

大数据处理

海量数据处理问题汇总及方法总结面试题中总是有好多海量数据的处理问题，在这里列出一些常见问题，便于以后查阅： 类型1：hash映射+hash统计+堆排序1、给你A,B两个文件，各存放50亿条URL，每条URL
hemeinvyiqiluoben·2013-10-29 13:00

Java线程池使用

前言：最近在做分布式海量数据处理项目，使用到了java的线程池，所以搜集了一些资料对它的使用做了一下总结和探究， 前面介绍的东西大多都是从网上搜集整理而来。
超超超哥2010·2013-10-27 21:00

十七道海量数据处理面试题与Bit-map详解

前言   本博客内曾经整理过有关海量数据处理的10道面试题（十道海量数据处理面试题与十个方法大总结），此次除了重复了之前的10道面试题之后，重新多整理了7道。仅作各位参考，不作它用。   
luyafei_89430·2013-10-25 10:00

海量数据处理：十道面试题与十个海量数据处理方法总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。     首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
luyafei_89430·2013-10-25 09:00

海量数据处理之-Bloom Filter详解

海量数据处理之BloomFilter详解 前言   本博客内曾已经整理过十道海量数据处理面试题与十个方法大总结。接下来，本博客内会重点分析那些海量数据处理的方法，并重写十道海量数据处理的面试题。
yusiguyuan·2013-10-24 20:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

 教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
DianaCody·2013-10-24 19:00

bitmap 在海量数据处理中的使用

1，在处理海量数据的时候，必须要高效利用内存空间，否则内存不可能存下这么多数据。如果我只想记录某个数据的存在性，可以利用bitmap原理，把每个数据映射为一个bit。1表示存在，0把表示不存在。2，bitmap原理：涉及到的变量bitmap：一个char型数组，用于存储信息。index：bitmap中的一个位置size：bitmap中能存储的数据个数。base：计划存储数据的最小值。base和si
luckyjoy521·2013-10-21 10:00

海量数据处理方法（转）

大数据量的问题是很多面试笔试中经常出现的问题，比如baidugoogle腾讯这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloomfilte
hemeinvyiqiluoben·2013-10-20 21:00

按行读取文件（php、c实现）

海量数据处理经常涉及到hash将原来文件的每一行散列到子文件中，那如何按行读取文件呢，这里记录一下php和c的实现很水的一篇，只是记录一下常用的方法，防止面试尴尬php #include #include
zinss26914·2013-10-15 19:00

海量数据处理面试题

http://blog.csdn.net/v_july_v/article/details/7382693
mihenyinghua·2013-10-15 16:00

云计算与海量数据处理技术

为解决广大系统设计人员深入研究与开发云计算系统的需要，培训中心特举办“云计算与海量数据处理技术”培训班，具体事宜通知如下：一、培训对象1，系统架构师、系统分析师、高级程序员、资深开发人员。
shenmanli·2013-10-14 10:00

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
zgtjwyftc·2013-10-12 17:00

大数据实验数据集何处来？

相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓炙手可热！越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到
xuhaijiao99·2013-10-09 11:10

海量数据处理

1、海量日志数据，提取出某日访问百度次数最多的那个IP。     大文件化为小文件，每个小文件分别进行IP次数统计，hash_map:     再把每个小文件次数最多的IP取出来进行比较。2、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询
u011407501·2013-10-07 20:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

   教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
yusiguyuan·2013-10-07 15:00

十道海量数据处理面试题

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
SprintfWater·2013-10-07 10:00

MapReduce原理

MapReduce 是由Google公司的JeffreyDean 和 SanjayGhemawat 开发的一个针对大规模群组中的海量数据处理的分布式编程模型。MapReduce实现了两个功能。
SprintfWater·2013-09-27 00:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

 教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
twlkyao·2013-09-26 09:00
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他