海量数据处理

AC算法，多模式匹配

- 博客频道 - CSDN.NET AC算法，多模式匹配 分类： 转型——创业/经济/金融/投资/理财 C/C++（win32和linux） 搜索引擎开发(数据挖掘、海量数据处理
·2015-11-13 14:01

大数据处理系列之（一）Java线程池使用

前言：最近在做分布式海量数据处理项目，使用到了java的线程池，所以搜集了一些资料对它的使用做了一下总结和探究， 前面介绍的东西大多都是从网上搜集整理而来。
·2015-11-13 14:02

海量数据处理面试题集锦

十七道海量数据处理面试题与Bit-map具体解释 作者：小桥流水，redfox66，July。
·2015-11-13 13:34

海量数据处理专题（六）——双层桶划分

海量数据处理专题（六）——双层桶划分 | 帝都码农 海量数据处理专题（六）——双层桶划分 一共被浏览 8336次 ，发表于 2010 年 10 月 8 日 by pkuoliver
·2015-11-13 13:37

海量数据处理专题（八）——倒排索引(搜索引擎之基石)

海量数据处理专题（八）——倒排索引(搜索引擎之基石) | 帝都码农 海量数据处理专题（八）——倒排索引(搜索引擎之基石) 一共被浏览 13,708次 ，发表于 2011 年 9 月 25 日
·2015-11-13 13:35

海量数据处理专题（九）——外排序

海量数据处理专题（九）——外排序 | 帝都码农 海量数据处理专题（九）——外排序 一共被浏览 632次 ，发表于 2012 年 8 月 14 日 by pkuoliver
·2015-11-13 13:34

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

            从hadoop框架与MapReduce模式中谈海量数据处理
·2015-11-13 12:56

GraphLab:新的面向机器学习的并行框架

locking 多线程 框架引擎 [+] 1.1 GraphLab简介 在海量数据盛行的今天，大规模并行计算已经随处可见，尤其是MapReduce框架的出现，促进了并行计算在互联网海量数据处理中的广泛应用
·2015-11-13 10:42

企业邮箱服务优化软件

      我们已经进入了大数据处理时代，须要高速、简单的处理海量数据，企业邮箱服务也面临着大数据处理，海量数据处理的三个主要因素：大容量数据、多格式数据和速度。
·2015-11-13 10:04

Bit-Map

      昨日读July大神《教你如何迅速秒杀掉：99%的海量数据处理面试题》博客，有这么一题与大家分享：     
·2015-11-13 07:01

京东商城招聘匹配系统资深工程师 T4级别

匹配等算法设计3.核心代码编写，代码review 任职要求： 1.熟悉机器学习、自然语言处理理论和算法2.三年以上的自然语言处理、机器学习相关项目经验 3.在项目中应用机器学习算法解决过具体问题4.熟悉海量数据处理技术
·2015-11-13 06:54

京东商城招聘自动调价系统架构师 T4级别

岗位职责： 1.负责自动调价系统的架构设计 2.负责自动调价的预测、相关性算法设计 3.核心代码编写，代码review  任职要求： 1.熟悉数据挖掘、机器学习理论和算法 2.熟悉海量数据处理技术
·2015-11-13 06:53

从上百幅架构图中学大型网站建设经验（上）

结构之法 算法之道 字号: 大 中 小 分享到： QQ空间 新浪微博 腾讯微博 人人网 豆瓣网 开心网 更多 1 引言 近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术
·2015-11-13 05:06

海量数据处理算法—Bit-Map

1. Bit Map算法简介          来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 2、 Bit Map的基本思想         我们先来看
·2015-11-13 01:59

海量数据处理 算法总结

      前面我们说海量数据处理提到，从算法的角度去考虑处理海量数据。 1.
·2015-11-13 01:52

海量数据处理算法—Bloom Filter

1. Bloom-Filter算法简介         Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。        Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于
·2015-11-13 01:51

海量数据处理

       海量数据处理是基于海量数据上的存储、处理、操作。
·2015-11-13 01:50

海量数据处理方法总结

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。     下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方
·2015-11-13 00:43

海量数据处理 从哈希存储到Bloom Filter(1)

先解释一下什么是哈希函数。哈希函数简单来说就是一种映射，它可取值的范围（定义域）通常很大，但值域相对较小。哈希函数所作的工作就是将一个很大定义域内的值映射到一个相对较小的值域内。   传统的哈希存储   假设要哈希的集合为S，它有n个元素。传统的哈希方法是，将哈希区域组织成h（h > n）个格子的列表，每一个格子都能存储S中的一个元素。存储时将S中的每一个元素映射到{0
·2015-11-13 00:25

海量数据处理方法

第一部分、十道海量数据处理面试题 　　1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　
·2015-11-12 23:38

教你如何迅速秒杀掉：99%的海量数据处理面试题

      教你如何迅速秒杀掉：99%的海量数据处理面试题 作者：July出处：结构之法算法之道blog   前言    一般而言，标题含有
·2015-11-12 19:19

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。
·2015-11-12 19:18

海量数据处理优化方案

    海量的数据处理问题，这是一项艰巨而复杂的任务。原因有以下几个方面：   一、 数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，在海量的数据中，什么情况都可能存在，例如，数据中某处格式出
·2015-11-12 18:06

大型网站系统架构分析大型网站系统架构分析

数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速 的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。
·2015-11-12 18:01

大数据量及海量数据处理算法总结

      大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。       下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到 的
·2015-11-12 17:57

转 海量数据处理（2）

十七道海量数据处理面试题与Bit-map详解 出处： http://blog.csdn.net/v_july_v  前言  
·2015-11-12 16:07

转 海量数据处理（1）

  海量数据处理：十道面试题与十个海量数据处理方法总结 出处：http://blog.csdn.net/v_JULY_v。
·2015-11-12 16:06

一篇好文章:《海量数据处理常用思路和方法》

最近有点忙，稍微空闲下来，发篇总结贴。 大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理
·2015-11-12 16:04

大型网站系统架构分析

数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。
·2015-11-12 15:03

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

从hadoop框架与MapReduce模式中谈海量数据处理 前言     几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西
·2015-11-12 13:36

11g包dbms_parallel_execute在海量数据处理过程中的应用

11g包dbms_parallel_execute在海量数据处理过程中的应用 一.1  BLOG文档结构图       一.2  前言部分  
·2015-11-12 13:38

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

            从hadoop框架与MapReduce模式中谈海量数据处理
·2015-11-12 13:43

海量数据处理：十道面试题与十个海量数据处理方法总结

第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。
·2015-11-12 11:15

教你如何迅速秒杀掉：99%的海量数据处理面试题

原文：http://blog.csdn.net/v_july_v/article/details/7382693 教你如何迅速秒杀掉：99%的海量数据处理面试题 作者
·2015-11-12 11:15

【原创】海量数据处理问题（一） ---- 外排，堆排，K查找的应用

这篇博客源自对一个内存无法处理的词频统计问题的思考，最后给出的解决办法是自己想的，可以肯定这不是最好的解法。但是通过和同学的讨论，仍然感觉这是一个有意义及有意思的问题，所以和大家分享与探讨。 如果有误，请大家指正。如果有更好的方法，望不吝赐教。   1、提出问题   实际问题: 当前有10T中文关键词数据，需要统计出词频最高的1000个词。可用的只有1G内存和磁盘。
·2015-11-12 10:24

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

            从hadoop框架与MapReduce模式中谈海量数据处理
·2015-11-12 09:43

海量数据处理面试题集锦

十七道海量数据处理面试题与Bit-map具体解释 作者：小桥流水，redfox66，July。
·2015-11-12 09:36

SQL Server 2005对海量数据处理

超大型数据库的大小常常达到数百GB，有时甚至要用TB来计算。而单表的数据量往往会达到上亿的记录，并且记录数会随着时间而增长。这不但影响着数据库的运行效率，也增大数据库的维护难度。除了表的数据量外，对表不同的访问模式也可能会影响性能和可用性。这些问题都可以通过对大表进行合理分区得到很大的改善。当表和索引变得非常大时，分区可以将数据分为更小、更容易管理的部分来提高系统的运行效率。如果系统有多个CPU或
·2015-11-12 09:06

十道海量数据处理面试题与十个方法大总结

　第一部分、十道海量数据处理面试题 　　1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　
·2015-11-12 09:38

常用海量数据处理方法

1.Bloomfilter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是
ljlstart·2015-11-11 16:00

从hadoop框架与MapReduce模式中谈海量数据处理

转自： http://blog.csdn.net/v_july_v/article/details/6704077 前言     几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还
·2015-11-11 15:40

【原创】Hadoop机架感知对性能调优的理解

　　Hadoop作为大数据处理的典型平台，在海量数据处理过程中，其主要限制因素是节点之间的数据传输速率。
·2015-11-11 14:14

海量数据处理方法小结

  本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/ganghust/archive/2010/08/26/5839335.aspx   大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯 alibaba 这样的一些涉及到海量数据的互联网公司经常会问到。 下面综合网上的资料和一般的出现的问题。对海量数据的处理方
·2015-11-11 13:59

Hadoop在百度的应用

    百度对海量数据处理的要求是比较高的，要在线下对数据进行分析，还要在规定的时间内处理完并
·2015-11-11 10:54

MapReduce 目前研究的概况和发展趋势

传统的数据分析技术已经越来越不适应当前密集型海量数据处理的需求。而近几年兴起的云计算（Cloud Computing），其实本质上是一种新的提供资源按需租用的服务模式，是一种新型的互
·2015-11-11 08:06

10道海量数据处理的面试题

说明：本文分为俩部分，第一部分为10道海量数据处理的面试题，第二部分为10个海量数据处理的方法总结。 出处：http://blog.csdn.net/v_JULY_v。
·2015-11-11 06:35

Machine Learning & Data Mining 资料整合

数据挖掘十大经典算法 | CSDN博客 (内含十个算法具体介绍) 支持向量机通俗导论（理解 SVM 的三层境界）| CSDN博客 （强烈推荐关注博主） 教你如何迅速秒杀掉：99% 的海量数据处理面试题
·2015-11-11 06:56

java面试(2)--大数据相关

第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
·2015-11-11 05:20

教你如何迅速秒杀掉：99%的海量数据处理面试题

 教你如何迅速秒杀掉：99%的海量数据处理面试题 作者：July 出处：结构之法算法之道blog 前言   
·2015-11-11 05:20

海量数据处理问题总结

常见问题： ①Top K问题：分治+Trie树/Hash_map+小顶堆。采用Hash(x)%M将原文件分割成小文件，如果小文件太大则继续Hash分割，直至可以放入内存。 ②重复问题：BitMap位图 或 Bloom Filter布隆过滤器 或 Hash_set集合。每个元素对应一个bit处理。 ③排序问题：外排序 或 BitMap位图。分割文件+文件内排序+文件之间归并。  
·2015-11-11 04:26
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他