海量数据处理

全方位的技术服务及相关技术解决方案（纯java解决方案）

1.技术产品及应用产品体系架构图2.成熟的高性能Web应用解决方案3.成熟的分布式解决方案 4.成熟的海量数据处理方案 5.成熟的海量数据缓存方案 6.成熟的海量数据搜索方案 7.成熟稳定的系统推送方案
天天顺利·2015-10-23 17:00

读《海量数据处理常用思路和方法》

1.Bloom filter  适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集  基本原理及要点：  对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会
·2015-10-23 09:52

100亿个数字找出最大的10个

1、首先一点，对于海量数据处理，思路基本上是确定的，必须分块处理，然后再合并起来。
·2015-10-23 09:06

[原创] 学习笔记：海量数据处理总结

　　本文简要总结了一下海量数据处理的常见方法和思路。总结的比较粗糙，主要作为知识提纲使用。请各位高手不吝赐教。 　　
·2015-10-23 08:39

关于海量数据处理的各种常用数据结构浅谈

　　随着互联网的兴起，越来越多的内容被放到互联网中，从而导致海量数据处理受到更多人的重视，尤其是在百度、腾讯等这些涉及海量数据的公司。下面我们简单谈一下关于海量数据处理的一些常用数据结构。
·2015-10-23 08:18

海量数据处理

十道海量数据处理面试题与十个方法大总结【转】 第一部分、十道海量数据处理面试题  1、海量日志数据，提取出某日访问百度次数最多的那个IP。
·2015-10-23 08:30

Hadoop平台实验报告

前言 通过基于MapReduce云计算平台的海量数据处理实验，我们了解了Hadoop的基本架构，已经如何编写MapReduce程序，本实验中我主要使用到的两个程序分别是WordCount（词频统计）和
·2015-10-22 21:31

堆排序在TOP K问题中的应用

在海量数据处理的时候这个优化的效果是很明显的。代码题目描述：输入
u010902721·2015-10-22 15:00

海量数据处理方法的分析

海量数据处理的常用方法包括一下几种： 1.分而治之/hash映射 + hash统计 + 堆/快速/归并排序；2.双层桶划分3.Bloom filter/Bitmap；4.Trie树/数据库/倒排索引；
·2015-10-21 13:51

高并发、海量数据处理尽量少使用using也能提升效率

      刚开始看到这个标题，估计很多人都云里雾里的。 　　请看下面两段： 第一种方式： MemoryStream stream = new MemoryStream(); 　　　　　　　　　 string text = "aasasdfasdfad;sas;fkqeworpkqwefkasdj
·2015-10-21 12:12

算法导论第九章 第K顺序统计量

之前写过的一篇有关文章是： 海量数据处理的 Top K算法(问题) 小顶堆实现 　　第K
·2015-10-21 11:24

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题  1、海量日志数据，提取出某日访问百度次数最多的那个IP。
·2015-10-21 11:13

海量数据处理分析

海量数据处理分析   北京迈思奇科技有限公司 戴子良     笔者在实际工作中，有幸接触到海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。
·2015-10-21 10:26

海量数据处理：十道面试题与十个海量数据处理方法总结

1、海量日志数据，提取出某日访问百度次数最多的那个IP。     首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大
ahucsxl·2015-10-08 22:00

海量数据处理分析

笔者在实际工作中，有幸接触到海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时
hackshi008·2015-10-08 20:25

十八道海量数据处理面试题与相关知识详解

   海量数据处理面试题与相关知识讲解 第一部分 十八道海量数据处理面试题1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？
u013719780·2015-10-05 10:00

Cuckoo Filter：设计与实现

CuckooFilter：设计与实现http://coolshell.cn/articles/17225.html对于海量数据处理业务，我们通常需要一个索引数据结构，用来帮助查询，快速判断数据记录是否存在
zdy0_2004·2015-09-29 14:00

MongoDB MapReduce 使用

一 Map/Reduce简介      MapReduce是目前最流行和被普遍研究的海量数据处理方法。它是Google公司的核心模型，用于大规模数据集(大于1TB）的并行计算。
qq_20545159·2015-09-26 09:00

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理
白志华·2015-09-19 16:00

十道海量数据处理面试题

第一部分、十道海量数据处理面试题http://blog.csdn.net/yclzh0522/article/details/69222191、海量日志数据，提取出某日访问百度次数最多的那个IP。     
nysyxxg·2015-09-17 15:00

大型互联网站解决海量数据的常见策略

 大型互联网站解决海量数据的常见策略信息时代，海量数据处理已成为一个老话题，今天看到一篇不错的文章，分享给大家  大型互联网站的数据存储与传统存储环境相比不仅是一个服务器、一个数据库那么简单，而是由网络设备
u014774781·2015-09-16 23:00

github-july-海量数据处理

海量数据处理关联容器分而治之1、海量日志数据，提取出某日访问百度次数最多的那个IP解法：具体分为以下3个步骤a.分而治之/hash映射首先把这一天访问百度日志的所有IP提取出来，然后逐个写入到一个大文件中
pb09013037·2015-09-16 19:00

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构 前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上
马哥教育Linux·2015-09-11 10:00

storm简介.docx

2012/09/introduction-to-storm.htmlStorm背景全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用
hiqj·2015-09-10 12:00

十道海量数据处理题

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。     首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
u014774781·2015-09-08 19:00

bitset bitmap 海量数据处理

bitmap：是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。     适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码扩展：bloomfilter可以看做是对bit
您这磨人的小妖精·2015-09-05 22:00

大数据——海量数据处理的基本方法总结

声明：原文引用参考July大神的csdn博客文章=>海量处理面试题海量数据处理概述所谓海量数据处理，就是数据量太大，无法在较短时间内迅速解决，无法一次性装入内存。
lili0710432·2015-09-03 22:45

分布式系统的特点以及设计理念

正是这些分布式系统，使得Google可以处理高并发请求响应以及海量数据处理等。Apache旗下的Hadoop、Spa
zwk626542417·2015-08-25 22:00

ODPS简介

初识ODPSODPS是分布式的海量数据处理平台，提供了丰富的数据处理功能和灵活的编程框架，主要的功能组件有如下几个。
Listron·2015-08-24 16:46

[转帖]十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
南郭子綦·2015-08-21 13:00

海量数据处理：十道面试题与十个海量数据处理方法总结

 海量数据处理：十道面试题与十个海量数据处理方法总结出处：http://blog.csdn.net/v_JULY_v。 
a2796749·2015-08-20 21:00

决战2016校招

/www.dajie.com/corp/1001989/applyanalysis/apply/56557岗位描述1.面向互联网的用户行为应用的调研和研究；2.面向具体挖掘方向的算法的研究和设计；3.海量数据处理的优化算法的研究和设计
xuxiuning·2015-08-19 09:00

海量数据处理之Tire树（字典树）

原文：http://blog.csdn.net/ts173383201/article/details/7858598参考博文：http://blog.csdn.net/v_july_v/article/details/6897097第一部分、Trie树1.1、什么是Trie树   Trie树，即字典树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串
u012599545·2015-08-18 11:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

原作者地址:http://blog.csdn.net/v_july_v/article/details/7382693 教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道
qingyuanluofeng·2015-08-12 09:00

海量数据处理面试题集锦

原作者地址:http://blog.csdn.net/v_july_v/article/details/6685962 十七道海量数据处理面试题与Bit-map详解作者：小桥流水，redfox66，July
qingyuanluofeng·2015-08-12 09:00

十道海量数据处理面试题与十个方法大总结

原作者地址:http://blog.csdn.net/v_JULY_v/article/details/6279498 海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、
qingyuanluofeng·2015-08-12 09:00

海量数据处理：十道面试题与十个海量数据处理方法总结

一、十道海量数据处理面试题1、海量数据找出频度最高的关键字1）题目：海量日志数据，提取出某日访问百度次数最多的那个IP。
EbowTang·2015-08-02 00:36

海量数据处理：十道面试题与十个海量数据处理方法总结

一、十道海量数据处理面试题1、海量数据找出频度最高的关键字   1）题目：海量日志数据，提取出某日访问百度次数最多的那个IP。   
EbowTang·2015-08-02 00:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
MrChen11·2015-07-30 19:00

海量数据处理算法—Bloom Filter

1.Bloom-Filter算法简介    Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。    BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。BloomFilter有可能会出现错误判断，但不会漏掉判断。
dannyhe·2015-07-28 16:00

bigdata

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。     首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
zengzelin·2015-07-28 14:00

国外、国内Hadoop的应用现状

2015-04-23 大数据 摘要：Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理
·2015-07-23 19:00

十道海量数据处理面试题与十个方法大总结

  海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。
ZhikangFu·2015-07-20 12:00

海量数据处理 算法总结

1.BloomFilter【BloomFilter】BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。BloomFilter有可能会出现错误判断，但不会漏掉判断。也就是BloomFilter判断元素不再集合，那肯定不在。如果判断元素存在集合中，有一定的概率判断错误。因此，
jamesjxin·2015-07-16 21:00

教你如何迅速秒杀掉：99%的海量数据处理面试题

   教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言  一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲
xtzmm1215·2015-07-14 00:00

十道海量数据处理面试题与十个方法大总结

           海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。
xtzmm1215·2015-07-14 00:00

海量数据解决思路之Hash算法

另外，探讨一下Hash算法在海量数据处理方案中的通用性。最后，从源代码出发，具体分析一下Hash算法在MapReduce框架的中的应用。
·2015-07-05 17:00

深度学习数据集（一）

相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓炙手可热！越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到，或者有机会去处理海量数据
深度学习思考者·2015-07-01 09:36

深度学习数据集

相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓炙手可热！越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到，或者有机会去处理海量数据
u010402786·2015-07-01 09:00

ODPS技术架构及应用实践

原文链接：http://www.csdn.net/article/2014-10-20/2822184作者张云远，李妹芳初识ODPSODPS是分布式的海量数据处理平台，提供了丰富的数据处理功能和灵活的编程框架
xinxing__8185·2015-06-30 19:00
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他