海量数据处理

十道海量数据处理面试题与十个方法大总结

第一部分十道海量数据处理面试题1海量日志数据提取出某日访问百度次数最多的那个IP2搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来每个查询串的长度为1-255字节3有一个1G大小的一个文件里面每一行是一个词词的大小不超过
sinat_29912455·2016-03-16 11:00

乱谈高并发、大吞吐量、海量数据处理的性能问题的背后

事实上我并没有做过任何大型的项目，但是高并发、大数据（此处指大量的数据，而不是在大量数据的基础上进行分析）、性能、缓存等字眼现在更频繁的被提出，甚至有的网友在面试普通程序员的时候也会被询问有关的问题，而且他们还郑重其事的咨询我的意见，还好这只是通过网络的问答，还是比较容易混过去的，不过我还是不得不认真思考一下，下次再有人问我我就可以直接发链接了。防误导声明：本文内容纯属臆测，作者没有相关的实际经验
incNick·2016-03-16 00:00

海量数据处理技术学习

海量数据处理的常用技术可分为:外排序：因为海量数据无法全部装入内存，所以数据的大部分存入磁盘中，小部分在排序需要时存入内存。
超大的雪童子·2016-03-11 22:00

［转］海量数据处理的面试题的方法总结

本文接下来的部分，便针对这5种方法模式结合对应的海量数据处理面试题分别具体阐述。密匙一、分而治之/hash映射+hash统计+堆/快速/归并排序1、海量日志数据，提取出某日访问百度次数最多的那
十一11·2016-03-11 20:00

海量数据处理常用的方法

通过对海量数据的挖掘能有效地揭示用户的行为模式，加深对用户需求的理解，提取用户的集体智慧，从而为研发人员决策提供依据，提升产品用户体验，进而占领市场。本文内容总结自《Java程序员面试笔试宝典》。海量处理的基本方法：1.     Hash法构造hash表和处理冲突的方法和上面介绍的一样。在处理海量数据的过程中，使用Hash方法一般可以快速存取、统计某些数据，将大量数据进行分类，例如提取某日访问网站
u010339647·2016-03-10 22:00

开源的实时计算平台storm简介

实现一个实时计算系统全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。
泡海椒·2016-03-08 10:00

开源的实时计算平台storm简介

实现一个实时计算系统全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。
泡海椒·2016-03-08 10:00

开源的实时计算平台storm简介

实现一个实时计算系统全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。
泡海椒·2016-03-08 10:00

海量数据处理一：一个实例

题目：给定一个输入文件，包含40亿个非负整数，请设计一种算法，产生一个不在该文件中的整数。假定你有1GB内存来完成这个任务。一、几个数字1、40亿==4*109~~22*230==232，也就是说整数就这么多个2、1GB==230B==8*230b~~80亿，也就是说如果用一位表示一个整数，可以表示80亿个整数（虽然没有这么多）二、需要用到的C++基础知识1、byte类型：byte并不是C++数据
努力找坑的小萝卜·2016-03-07 21:00

今天发现了CSDN上的一个大神，建议大家都去看看

网址如下：http://blog.csdn.net/v_JULY_v博主CSDN博客号:v_july_v或者搜索结构之法，里面有很多对算法和数据结构的讲解都十分详细和到位，同时还有许多关于海量数据处理的思想
代码的搬运工·2016-02-26 20:00

php 大数据量及海量数据处理算法总结

下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloomfilter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独
zhongchengbin·2016-02-26 15:00

优酷笔试题（部分）

1、求循环次数[死循环]unsignedchark=20;intcount=0;while（k>=0）{  k--;  count++;}2、三门问题，解法列举可能性3、海量数据处理方法Postedon2012
angle1b622·2016-02-22 00:02

盘点Hadoop生态圈：13个让大象飞起来的开源工具

摘要：借助Google的三大论文，Hadoop打开了低成本海量数据处理之门；同时，借助了开源运动，Hadoop生态圈得以迅速成熟，也催生了处理各种业务及数据的工具，这里带大家回顾2013年让大象飞起来的
强子哥哥·2016-02-21 12:00

海量数据处理

1、何谓海量数据处理？  所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。   
coodoing·2016-02-21 10:33

《大型网站技术架构――核心原理与案例分析》读书笔记(2)

为了解决大型网站面临的高并发访问、海量数据处理、高可靠运行等一系列问题与挑战，大型互联网公司在实践中提出了许多解决方案，以实现网站高性能、高可用、易伸缩、可扩展、安全等各种技术架构目标。
csuwzc·2016-02-18 16:55

直接无序搜索 vs 先排序后搜索

算法的时间复杂度分析和算法流程共同构成算法本身，如果一个算法的时间复杂度是指数级O(2^n)的，当面对海量数据处理时，将是灾难性的。
lanchunhui·2016-02-17 15:00

海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文
u010913001·2016-02-15 12:00

说说这些年做的云计算和大数据项目

      入行十几年了，做了不少分布计算、并行计算、内存计算、海量数据处理的项目，按照现在的分类，这些都属于云计算/大数据范畴。今天说说我做过的其中三个项目，只三个。    
laxcus·2016-02-12 20:26

Hash算法与Consistent Hashing算法

另外，探讨一下Hash算法在海量数据处理方案中的通用性。最后，从源代码出发，具体分析一下Hash算法在MapReduce框架的中的应用。     
tjbsl·2016-02-02 10:00

MapReduce TopK问题实际应用

一：背景TopK问题应该是海量数据处理中应用最广泛的了，比如在海量日志数据处理中，对数据清洗完成之后统计某日访问网站次数最多的前K个IP。
importdate·2016-01-31 18:00

深度学习数据集

相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓炙手可热！越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到，或者有机会去处理海量数据
beihangzxm123·2016-01-27 12:55

[置顶] 深度学习数据集

相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓炙手可热！越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到，或者有机会去处理海量数据
qq_26898461·2016-01-27 12:00

storm入门架构

storm介绍全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。
张欢19933·2016-01-25 17:00

Storm简介

Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。
FlyingAngelet·2016-01-15 15:00

【总结】MyCat分布式数据库中间件

1，数据库概述在互联网时代，海量数据的存储与访问成为系统设计与使用的瓶颈问题，对于海量数据处理，按照使用场景，主要分为两种类型联机事务处理（OLTP：On-linetransactionprocessing
BradyZhu·2016-01-14 14:00

海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）

前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。       先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆时间复
飞翔神话·2016-01-13 20:00

海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）

[size=small]前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。
iteye_6926·2016-01-13 00:00

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构 前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上
马哥linux运维·2016-01-11 21:00

大数据， 海量数据算法

原文地址：http://blog.sina.com.cn/s/blog_55ba8b4601012ken.html第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
libaolin198706231987·2015-12-30 18:00

hadoop 视频教程3之实战教程

一，视频内容：海量数据处理平台框架hadoop介绍hadoop生态系统介绍hdfs设计原则hdfs系统架构namenodedatanodesecondarynamenodehdfs文件读取mapreduce
·2015-12-30 11:48

分布式统一框架的设计与实现（数据库）

他主要是面向海量数据处理、海量数据访问、并解决互联网开发中经常会碰到的数据海量增长问题，也一并解决互联网开发团队中，开发人员的水平参差不齐的问题。albianj还应当具有良好的伸缩性和可
FishBear_move_on·2015-12-25 20:57

算法学习——海量数据处理

参考博客：http://blog.csdn.net/zzran/article/category/1247568该博客中提到了几种海量数据数据的方法。恰好最近的项目需要处理百万级别以上的数据，所以学习下博主提到的相关的算法和数据处理的方法。本科的时候没有学过算法和数据结构，所以在这个方面的基础比较薄弱，需要好好补补课，好好把一些基本的算法掌握好。在写论文时，相关的算法需要对算法的复杂度进行分析，比
lynnucas·2015-12-22 20:00

关于分布式事务、两阶段提交协议、三阶提交协议

来源： 伯乐在线 - HollisChuang链接：http://blog.jobbole.com/95632/随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展
数通畅联·2015-12-17 16:00

关于分布式事务、两阶段提交协议、三阶提交协议

来源： 伯乐在线 - HollisChuang链接：http://blog.jobbole.com/95632/随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展
agileai·2015-12-17 16:00

海量数据处理算法之Bloom Filter

算法介绍BloomFilter的中文名称叫做布隆过滤器，因为他最早的提出者叫做布隆(Bloom)，因而而得此名。布隆过滤器简单的说就是为了检索一个元素是否存在于某个集合当中，以此实现数据的过滤。也许你会想，这还不简单，判断元素是否存在某集合中，遍历集合，一个个去比较不就能得出结果，当然这没有任何的问题，但是当你面对的是海量数据的时候，在空间和时间上的代价是非常恐怖的，显然需要更好的办法来解决这个问
qq_26562641·2015-12-17 16:00

关于分布式事务、两阶段提交协议、三阶提交协议

来源： 伯乐在线 - HollisChuang链接：http://blog.jobbole.com/95632/随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展
aeaiportal·2015-12-17 16:38

关于分布式事务、两阶段提交协议、三阶提交协议

来源： 伯乐在线 - HollisChuang链接：http://blog.jobbole.com/95632/随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展
aeaiportal·2015-12-17 16:38

一:MapReduce入门

1:什么是MapReduceMapReduce 是一个针对大规模群组中的海量数据处理的分布式编程框架。MapReduce实现了两个功能。
51zhangyanfeng·2015-12-06 00:57

hbase的sql工具phoenix整合到pentaho中

原创文章，转载请注明出处：http://qq85609655.iteye.com/blog/2260728     海量数据处理过程中，数据统计使用hive是完全OK的，但如果遇到数据需要及时的响应，hive
qq85609655·2015-12-01 10:00

第一部分、十道海量数据处理面试题

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。     首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
buster2014·2015-11-28 17:00

十七道海量数据处理面试题与Bit-map详解

十七道海量数据处理面试题与Bit-map详解作者：小桥流水，redfox66，July。
buster2014·2015-11-28 17:00

海量数据处理算法—Bit-Map

转自：http://blog.csdn.net/hguisu/article/details/78802881.BitMap算法简介     来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。2、BitMap的基本思想    我们先来看一个具体的例子，假设我们要对0-7内
oldbai001·2015-11-25 15:00

ma-大数据mapreduce思想和数据切割

在Hadoop集群中有两类节点来执行两类job进程的执行1.2MapReduce和大数据问题海量数据处理的核心思想无非是将一个较大的
chengjianxiaoxue·2015-11-16 11:00

ma-大数据mapreduce思想和数据切割

在Hadoop集群中有两类节点来执行两类job进程的执行  1.2MapReduce和大数据问题 海量数据处理的核心思想无非是
chengjianxiaoxue·2015-11-16 11:00

各种大型网站技术架构

引言近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。
·2015-11-13 22:33

海量数据处理面试题集锦

十七道海量数据处理面试题与Bit-map具体解释 作者：小桥流水，redfox66，July。
·2015-11-13 21:12

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

            从hadoop框架与MapReduce模式中谈海量数据处理
·2015-11-13 20:09

海量数据处理分析

  海量数据处理分析   北京迈思奇科技有限公司 戴子良     笔者在实际工作中，有幸接触到海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务
·2015-11-13 16:31

大数据处理系列之（一）Java线程池使用

前言：最近在做分布式海量数据处理项目，使用到了java的线程池，所以搜集了一些资料对它的使用做了一下总结和探究， 前面介绍的东西大多都是从网上搜集整理而来。
·2015-11-13 14:55

教你怎样迅速秒杀掉：99%的海量数据处理面试题

      教你怎样迅速秒杀掉：99%的海量数据处理面试题 作者：July出处：结构之法算法之道blog 前言   
·2015-11-13 14:36
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他