海量数据处理第25页

DM7新特性白皮书

针对可靠性，高性能，海量数据处理和安全性做了大量的研发和改进工作，极大提升了达梦数据库产品的...详细解读和小伙伴们一起来吐槽

李航421·2015-06-19 13:00

[Hadoop]序列化机制

传统的计算机系统通过I/O操作与外界进行交流，Hadoop的I/O由传统的I/O系统发展而来，但又有些不同，Hadoop需要处理P、T级别的数据，所以在org.apache.hadoop.io包中包含了一些面向海量数据处理的基本输入输出工具

SunnyYoona·2015-06-18 09:00

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

从hadoop框架与MapReduce模式中谈海量数据处理前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘

DavidBao·2015-06-16 21:00

第一部分、十道海量数据处理面试题

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。

ZhikangFu·2015-06-16 18:00

分布式系统的特点以及设计理念

正是这些分布式系统，使得Google可以处理高并发请求响应以及海量数据处理等。Apache旗下的Hadoop、Spark、Me

王璞·2015-06-12 00:00

NoSQL数据库的分布式算法

译者介绍：Juliashine是多年抓娃工程师，现工作方向是海量数据处理与分析，关注Hadoop与NoSQL生态体系。

BearCatYN·2015-06-10 15:00

04Top K算法问题

但这个寻找最大的k个数的问题的实用范围更广，因为它牵扯到了一个TopK算法问题，以及有关搜索引擎，海量数据处理等广泛的问题，所以本文特意对这个TopK算法问题，进行阐述以及实现。

gqtcgq·2015-06-09 11:00

海量数据处理

常用的数据结构：1.BloomFilter 大致思想是这样，把一个数据通过N个哈希函数映射到一个长度为M的数组的一位上，将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明该数据的存在。但不能保证完全正确性，但是此方法无比高效。2.哈希法这个简单，无非是通过一些哈希函数把元素搞到一个指定的位置，简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函

zero__007·2015-06-07 10:00

说说这些年做的云计算和大数据项目

入行十几年了，做了不少分布计算、并行计算、内存计算、海量数据处理的项目，按照现在的分类，这些都属于云计算/大数据范畴。今天说说我做过的其中三个项目，只三个。

laxcus·2015-06-06 10:00

11g包dbms_parallel_execute在海量数据处理过程中的应用

11g包dbms_parallel_execute在海量数据处理过程中的应用一.1BLOG文档结构图一.2前言部分一.2.1导读各位技术爱好者，看完本文后，你可以掌握如下的技能，也可以学到一些其它你所不知道的知识

lhrbest·2015-06-03 17:04

11g包dbms_parallel_execute在海量数据处理过程中的应用

11g包dbms_parallel_execute在海量数据处理过程中的应用一.1BLOG文档结构图一.2前言部分一.2.1导读各位技术爱好者，看完本文后，你可以掌握如下的技能，也可以学到一些其它你所不知道的知识

lhrbest·2015-06-03 17:04

海量数据处理---倒排索引

方法介绍倒排索引是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射，常被应用于搜索引擎和关键字查询的问题中。以英文为例，下面是要被索引的文本：T0="itiswhatitis" T1="whatisit" T2="itisabanana" 我们就能得到下面的反向文件索引："a":{2} "banana":{2} "is":{0,1,2} "it":{0,1,2}

qisefengzheng·2015-05-26 16:00

海量数据处理---Trie树（字典树）

方法介绍1.1、什么是Trie树Trie树，即字典树，又称单词查找树或键树，是一种树形结构。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是最大限度地减少无谓的字符串比较，查询效率比较高。Trie的核心思想是空间换时间，利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。它有3个基本性质：根节点不包含字符，除根节点外每一个节点都

qisefengzheng·2015-05-26 16:00

海量数据处理---位图法Bitmap

方法介绍什么是Bit-map所谓的Bit-map就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。来看一个具体的例子，假设我们要对0-7内的5个元素(4,7,2,5,3)排序（这里假设这些元素没有重复）。那么我们就可以采用Bit-map的方法来达到排序的目的。要表示8个数，我们就只需要8个Bit（1Bytes）

qisefengzheng·2015-05-26 15:00

海量数据处理---分布式处理之MapReduce

方法介绍MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。这样做的好处是可以在任务被分解后，可以通过大量机器进行并行计算，减少整个操作的时间。但如果你要我再通俗点介绍，那么，说白了，Mapreduce的原理就是一个归并排序。适用范围：数据量大，但是数据种类小可以放入内存基本原理及要点：将数据交给不同的机器去处理，数据

在云边听雨·2015-05-26 15:36

海量数据处理---分布式处理之MapReduce

方法介绍MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。这样做的好处是可以在任务被分解后，可以通过大量机器进行并行计算，减少整个操作的时间。但如果你要我再通俗点介绍，那么，说白了，Mapreduce的原理就是一个归并排序。适用范围：数据量大，但是数据种类小可以放入内存基本原理及要点：将数据交给不同的机器去处理，数据

qisefengzheng·2015-05-26 15:00

海量数据处理---外排序

方法介绍所谓外排序，顾名思义，即是在内存外面的排序，因为当要处理的数据量很大，而不能一次装入内存时，此时只能放在读写较慢的外存储器（通常是硬盘）上。外排序通常采用的是一种“排序-归并”的策略。在排序阶段，先读入能放在内存中的数据量，将其排序输出到一个临时文件，依此进行，将待排序数据组织为多个有序的临时文件；尔后在归并阶段将这些临时文件组合为一个大的有序文件，也即排序结果。假定现在有20个数据的文件

qisefengzheng·2015-05-26 15:00

海量数据处理---simhash算法

方法介绍背景如果某一天，面试官问你如何设计一个比较两篇文章相似度的算法？可能你会回答几个比较传统点的思路：一种方案是先将两篇文章分别进行分词，得到一系列特征向量，然后计算特征向量之间的距离（可以计算它们之间的欧氏距离、海明距离或者夹角余弦等等），从而通过距离的大小来判断两篇文章的相似度。另外一种方案是传统hash，我们考虑为每一个web文档通过hash的方式生成一个指纹（fingerprint）。

在云边听雨·2015-05-26 14:32

海量数据处理---simhash算法

方法介绍背景如果某一天，面试官问你如何设计一个比较两篇文章相似度的算法？可能你会回答几个比较传统点的思路：一种方案是先将两篇文章分别进行分词，得到一系列特征向量，然后计算特征向量之间的距离（可以计算它们之间的欧氏距离、海明距离或者夹角余弦等等），从而通过距离的大小来判断两篇文章的相似度。另外一种方案是传统hash，我们考虑为每一个web文档通过hash的方式生成一个指纹（fingerprint）。

qisefengzheng·2015-05-26 14:00

海量数据处理---分而治之

方法介绍对于海量数据而言，由于无法一次性装进内存处理，导致我们不得不把海量的数据通过hash映射分割成相应的小块数据，然后再针对各个小块数据通过hash_map进行统计或其它操作。那什么是hash映射呢？简单来说，就是为了便于计算机在有限的内存中处理big数据，我们通过一种映射散列的方式让数据均匀分布在对应的内存位置(如大数据通过取余的方式映射成小数存放在内存中，或大文件映射成多个小文件)，而这个

qisefengzheng·2015-05-26 14:00

大型网站架构模式

2.1网站架构模式为了解决大型网站面临的高并发访问，海量数据处理，高可靠运行等一系列问题与挑战，大型互联网公司在实践中提出了许多解决方案，以实现网站高性能，高可用，易伸缩，可扩展，安全等各种技术架构目标

不正经啊不正经·2015-05-21 10:00

海量数据处理面试题集锦

十七道海量数据处理面试题与Bit-map详解http://blog.csdn.net/v_july_v/article/details/6685962前言本博客内曾经整理过有关海量数据处理的10道面试题

luyuncheng·2015-05-18 17:00

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

http://blog.csdn.net/v_july_v/article/details/6704077 从hadoop框架与MapReduce模式中谈海量数据处理前言几周前，当我最初听到

cto_stone·2015-05-14 15:33

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

http://blog.csdn.net/v_july_v/article/details/6704077从hadoop框架与MapReduce模式中谈海量数据处理前言几周前，当我最初听到，以致后来初次接触

cto_stone·2015-05-14 15:33